Hugging Face's logo

codersan
/
FaLaBSE-v4

Sentence Similarity
sentence-transformers
Safetensors
bert
feature-extraction
Generated from Trainer
dataset_size:165665
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Inference Endpoints
Model card Files Community
FaLaBSE-v4 / README.md
codersan's picture
codersan
Add new SentenceTransformer model
e12cdbe verified
preview code
|
raw
history blame contribute delete
15.8 kB
metadata
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:165665
  - loss:MultipleNegativesRankingLoss
base_model: sentence-transformers/LaBSE
widget:
  - source_sentence: کدام یک از تجربیات بدی که در زندگی داشتید؟
    sentences:
      - آیا Urjit Patel برای فرماندار RBI مناسب است؟
      - چگونه برای اولین بار با پورنو آشنا شدید؟
      - برخی از تجربیات خوب و بد زندگی شما چه بود؟
  - source_sentence: بهترین مشاغل در فیلیپین چیست؟
    sentences:
      - >-
        چرا مردم در مورد Quora سؤالاتی می پرسند که به راحتی توسط Google قابل
        پاسخگویی است؟
      - آیا جهان بی نهایت است یا به جهان پایان می یابد؟
      - بهترین کار در فیلیپین چیست؟
  - source_sentence: آیا بروس لی می تواند جنگجویان MMA را تحمل کند؟
    sentences:
      - آیا بروس لی در اوج خود می تواند با مبارزان برتر MMA امروز رقابت کند؟
      - آیا باید تصاویر را در رسانه های اجتماعی ارسال کنید؟
      - آیا ظرفیت گرما همان گرمای خاص است؟
  - source_sentence: چگونه می توانم موهای زائد را متوقف کنم؟
    sentences:
      - چه اتفاقی می افتد اگر نامزد ریاست جمهوری قبل از انتخابات نوامبر درگذشت؟
      - بهترین وسایل آیفون که واقعاً ارزش خرید دارند چیست؟
      - چگونه می توانم موهای زائد را متوقف کنم؟
  - source_sentence: معنی و هدف زندگی چیست؟
    sentences:
      - چه فیلم هایی را به همه توصیه می کنید که تماشا کنند؟
      - مراکز خرید در آینده چگونه خواهد بود؟
      - معنی دقیق زندگی چیست؟
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on sentence-transformers/LaBSE

This is a sentence-transformers model finetuned from sentence-transformers/LaBSE. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: sentence-transformers/LaBSE
  • Maximum Sequence Length: 256 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (3): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("codersan/FaLaBSE-v4")
# Run inference
sentences = [
    'معنی و هدف زندگی چیست؟',
    'معنی دقیق زندگی چیست؟',
    'چه فیلم هایی را به همه توصیه می کنید که تماشا کنند؟',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 165,665 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 5 tokens
    • mean: 14.65 tokens
    • max: 48 tokens
    • min: 5 tokens
    • mean: 14.87 tokens
    • max: 53 tokens
  • Samples:
    anchor positive
    طالع بینی: من یک ماه و کلاه درپوش خورشید است ... این در مورد من چه می گوید؟ من یک برج سه گانه (خورشید ، ماه و صعود در برجستگی) هستم که این در مورد من چه می گوید؟
    چگونه می توانم یک زمین شناس خوب باشم؟ چه کاری باید انجام دهم تا یک زمین شناس عالی باشم؟
    چگونه می توانم نظرات YouTube خود را بخوانم و پیدا کنم؟ چگونه می توانم تمام نظرات YouTube خود را ببینم؟
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 32
  • learning_rate: 2e-05
  • weight_decay: 0.01
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 3
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss
0.0386 100 0.0863
0.0772 200 0.0652
0.1159 300 0.0595
0.1545 400 0.0614
0.1931 500 0.05
0.2317 600 0.0453
0.2704 700 0.0579
0.3090 800 0.0542
0.3476 900 0.0534
0.3862 1000 0.0532
0.4249 1100 0.0548
0.4635 1200 0.0519
0.5021 1300 0.0547
0.5407 1400 0.0563
0.5794 1500 0.0474
0.6180 1600 0.0433
0.6566 1700 0.0545
0.6952 1800 0.0509
0.7339 1900 0.0453
0.7725 2000 0.0446
0.8111 2100 0.0506
0.8497 2200 0.046
0.8884 2300 0.0413
0.9270 2400 0.149
0.9656 2500 0.6993
1.0039 2600 1.081
1.0425 2700 0.0397
1.0811 2800 0.0337
1.1197 2900 0.0307
1.1584 3000 0.0323
1.1970 3100 0.0273
1.2356 3200 0.0292
1.2742 3300 0.0323
1.3129 3400 0.0352
1.3515 3500 0.0281
1.3901 3600 0.0318
1.4287 3700 0.0281
1.4674 3800 0.0304
1.5060 3900 0.0321
1.5446 4000 0.035
1.5832 4100 0.0279
1.6219 4200 0.0286
1.6605 4300 0.0333
1.6991 4400 0.0323
1.7377 4500 0.0312
1.7764 4600 0.0261
1.8150 4700 0.0361
1.8536 4800 0.0306
1.8922 4900 0.028
1.9309 5000 0.1226
1.9695 5100 0.5625
2.0077 5200 0.8337
2.0463 5300 0.0273
2.0850 5400 0.0242
2.1236 5500 0.0236
2.1622 5600 0.0237
2.2008 5700 0.0197
2.2395 5800 0.0217
2.2781 5900 0.0244
2.3167 6000 0.027
2.3553 6100 0.0235
2.3940 6200 0.0233
2.4326 6300 0.0225
2.4712 6400 0.023
2.5098 6500 0.023
2.5485 6600 0.0243
2.5871 6700 0.0215
2.6257 6800 0.0236
2.6643 6900 0.0234
2.7030 7000 0.0239
2.7416 7100 0.0248
2.7802 7200 0.02
2.8188 7300 0.0271
2.8575 7400 0.0235
2.8961 7500 0.0214
2.9347 7600 0.1147
2.9733 7700 0.5838

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.3.1
  • Transformers: 4.47.0
  • PyTorch: 2.5.1+cu121
  • Accelerate: 1.2.1
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}