DGSMsRzJ6xC2JthtHG9W/nomic-v2-tuned-1

tuned nomic v2

This is a sentence-transformers model finetuned from nomic-ai/nomic-embed-text-v2-moe on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: nomic-ai/nomic-embed-text-v2-moe
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: mit

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("DGSMsRzJ6xC2JthtHG9W/nomic-v2-tuned-1")
# Run inference
sentences = [
    'Если гражданин, ограниченный в дееспособности из-за психического расстройства, совершил сделку, повлекшую имущественные потери, кто несет ответственность за причиненный ущерб и на каких основаниях?',
    '<p>Гражданин, ограниченный судом в дееспособности по основаниям, предусмотренным настоящим пунктом, может распоряжаться выплачиваемыми на него алиментами, социальной пенсией, возмещением вреда здоровью и в связи со смертью кормильца и иными предоставляемыми на его содержание выплатами с письменного согласия попечителя, за исключением выплат, которые указаны в подпункте 1 пункта 2 статьи 26 настоящего Кодекса и которыми он вправе распоряжаться самостоятельно. Такой гражданин вправе распоряжаться указанными выплатами в течение срока, определенного попечителем. Распоряжение указанными выплатами может быть прекращено до истечения данного срока по решению попечителя.</p><p>При наличии достаточных оснований суд по ходатайству попечителя либо органа опеки и попечительства может ограничить или лишить такого гражданина права самостоятельно распоряжаться своими доходами, указанными в подпункте 1 пункта 2 статьи 26 настоящего Кодекса.</p><p>Гражданин, дееспособность которого ограничена вследствие психического расстройства, самостоятельно несет имущественную ответственность по сделкам, совершенным им в соответствии с настоящей статьей. За причиненный им вред такой гражданин несет ответственность в соответствии с настоящим Кодексом.</p><p>(Пункт в редакции Федерального закона <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p><p>3. Если основания, в силу которых гражданин был ограничен в дееспособности, отпали, суд отменяет ограничение его дееспособности. На основании решения суда отменяется установленное над гражданином попечительство.</p><p>Если психическое состояние гражданина, который вследствие психического расстройства был в соответствии с пунктом 2 настоящей статьи ограничен в дееспособности, изменилось, суд признает его недееспособным в соответствии со статьей 29 настоящего Кодекса или отменяет ограничение его дееспособности.</p><p>(Дополнение пунктом - Федеральный закон <a href="102162486">от 30.12.2012 № 302-ФЗ</a>)</p>',
    '<p>1. По договору складского хранения товарный склад (хранитель) обязуется за вознаграждение хранить товары, переданные ему товаровладельцем (поклажедателем), и возвратить эти товары в сохранности.</p><p>Товарным складом признается организация, осуществляющая в качестве предпринимательской деятельности хранение товаров и оказывающая связанные с хранением услуги.</p><p>2. Письменная форма договора складского хранения считается соблюденной, если его заключение и принятие товара на склад удостоверены складским документом (статья 912).</p>',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768, dim_512 and dim_256
• Evaluated with InformationRetrievalEvaluator

Metric	dim_768	dim_512	dim_256
cosine_accuracy@1	0.0068	0.0075	0.0068
cosine_accuracy@3	0.0832	0.0737	0.075
cosine_accuracy@5	0.4625	0.4434	0.4222
cosine_accuracy@10	0.7933	0.7851	0.7701
cosine_precision@1	0.0068	0.0075	0.0068
cosine_precision@3	0.0277	0.0246	0.025
cosine_precision@5	0.0925	0.0887	0.0844
cosine_precision@10	0.0793	0.0785	0.077
cosine_recall@1	0.0068	0.0075	0.0068
cosine_recall@3	0.0832	0.0737	0.075
cosine_recall@5	0.4625	0.4434	0.4222
cosine_recall@10	0.7933	0.7851	0.7701
cosine_ndcg@10	0.3164	0.312	0.3048
cosine_mrr@10	0.1717	0.1686	0.164
cosine_map@100	0.1842	0.1814	0.1769

Training Details

Training Dataset

json

• Dataset: json
• Size: 13,186 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 19 tokens mean: 59.74 tokens max: 162 tokens	min: 40 tokens mean: 257.8 tokens max: 512 tokens

• Samples:

  anchor	positive
  Предположим, работник должника действовал вопреки указаниям руководства и тем самым причинил ущерб кредитору. Изменит ли это подход к определению ответственности должника?	Действия работников должника по исполнению его обязательства считаются действиями должника. Должник отвечает за эти действия, если они повлекли неисполнение или ненадлежащее исполнение обязательства.
  Композитор Петров заключил договор с аккредитованной организацией «Мелодия» на управление правами на его произведения. Через год Петров решил передать права на управление одной конкретной песней новой организации «Звук». Какие действия должен предпринять Петров, чтобы передать права на управление песней организации «Звук», и какие обязательства при этом возникают у «Мелодии»?	Наличие аккредитованной организации не препятствует созданию других организаций по управлению правами на коллективной основе, в том числе в сферах коллективного управления, указанных в пункте 1 настоящей статьи. Такие организации вправе заключать договоры с пользователями только в интересах правообладателей, предоставивших им полномочия по управлению правами в порядке, предусмотренном пунктом 3 статьи 1242 настоящего Кодекса. 4. Правообладатель, не заключивший с аккредитованной организацией договора о передаче полномочий по управлению правами (пункт 3 настоящей статьи), вправе в любой момент полностью или частично отказаться от управления этой организацией его правами. Правообладатель должен письменно уведомить о своем решении аккредитованную организацию. В случае, если правообладатель намеревается отказаться от управления аккредитованной организацией только частью авторских или смежных прав и (или) объектов этих прав, он должен представить ей перечень таких исключаемых прав и...
  Мария получила цифровое право на использование музыкального трека в онлайн-сервисе. Правила сервиса не определяют, кто является обладателем цифрового права в случае смерти пользователя. Мария умерла. Кто будет считаться обладателем цифрового права на музыкальный трек после смерти Марии, согласно тексту статьи?	1. Цифровыми правами признаются названные в таком качестве в законе обязательственные и иные права, содержание и условия осуществления которых определяются в соответствии с правилами информационной системы, отвечающей установленным законом признакам. Осуществление, распоряжение, в том числе передача, залог, обременение цифрового права другими способами или ограничение распоряжения цифровым правом возможны только в информационной системе без обращения к третьему лицу. 2. Если иное не предусмотрено законом, обладателем цифрового права признается лицо, которое в соответствии с правилами информационной системы имеет возможность распоряжаться этим правом. В случаях и по основаниям, которые предусмотрены законом, обладателем цифрового права признается иное лицо. 3. Переход цифрового права на основании сделки не требует согласия лица, обязанного по такому цифровому праву. (Дополнение статьей - Федеральный закон от 18.03.2019 № 34-ФЗ)

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256
      ],
      "matryoshka_weights": [
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10	dim_512_cosine_ndcg@10	dim_256_cosine_ndcg@10
0.3874	10	0.7904	-	-	-
0.7748	20	0.3376	-	-	-
0.9685	25	-	0.3066	0.3046	0.2903
1.1622	30	0.2443	-	-	-
1.5496	40	0.1593	-	-	-
1.9370	50	0.1378	-	-	-
1.9758	51	-	0.3164	0.3133	0.3031
2.3245	60	0.1064	-	-	-
2.7119	70	0.0956	-	-	-
2.9831	77	-	0.3159	0.3141	0.3034
3.0993	80	0.0915	-	-	-
3.4867	90	0.0847	-	-	-
3.8741	100	0.0885	0.3164	0.312	0.3048

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.43.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.2
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}