Romaniox/paraphrase-multilingual-mpnet-base-v2-sts

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-mpnet-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Romaniox/paraphrase-multilingual-mpnet-base-v2-sts")
# Run inference
sentences = [
    'При составлении технологического регламента (ТР) возник вопрос, какой документ брать за основу при оформлении. Существуют три документа: Приказ N 500 от 07.12.2020 ФНП "Правила безопасности химически опасных производственных объектов РД 09-251-98 Положение о технологических регламентах производства продукции на предприятиях химического комплекса В данных документах прописаны одинаковые разделы ТР, но таблицы, приведенные в них, могут отличаться. Какой документ является основополагающим для разработки ТР?',
    '1. Требования промышленной безопасности - условия, запреты, ограничения и другие обязательные требования, содержащиеся в настоящем Федеральном законе, других федеральных законах, принимаемых в соответствии с ними нормативных правовых актах Президента Российской Федерации, нормативных правовых актах Правительства Российской Федерации, а также федеральных нормах и правилах в области промышленной безопасности.',
    '2. В соответствии с настоящими Правилами и без получения разрешения (лицензии) общество: а) осуществляет страхование экспортных кредитов и инвестиций от предпринимательских и (или) политических рисков экспортеров товаров (работ, услуг, результатов интеллектуальной деятельности), российских инвесторов, осуществляющих инвестиции за пределами Российской Федерации, их иностранных контрагентов по соответствующим сделкам, кредитных организаций, международных финансовых организаций, государственной корпорации развития "ВЭБ.РФ" (далее - ВЭБ.РФ), а также иных организаций, оказывающих финансовую поддержку указанным лицам;  б) осуществляет деятельность по перестрахованию с участием российских и иностранных страховщиков и перестраховщиков, экспортно-кредитных агентств и иного лица, реализующего в соответствии со статьей 46_1 Федерального закона "Об основах государственного регулирования внешнеторговой деятельности" функции по осуществлению страховой поддержки экспорта;  в) обеспечивает исполнение обязательств резидентов Российской Федерации и их иностранных контрагентов при экспорте и осуществлении инвестиций за пределами Российской Федерации в том числе путем выдачи независимых гарантий, предоставления поручительств и применения иных способов обеспечения исполнения обязательств в отношении проектов, имеющих общегосударственное, стратегическое или приоритетное значение для экономики Российской Федерации. ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: sts-dev
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8012
spearman_cosine	0.784
pearson_manhattan	0.7879
spearman_manhattan	0.7836
pearson_euclidean	0.7893
spearman_euclidean	0.7848
pearson_dot	0.7709
spearman_dot	0.7686
pearson_max	0.8012
spearman_max	0.7848

Semantic Similarity

• Dataset: sts-test
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8012
spearman_cosine	0.784
pearson_manhattan	0.7879
spearman_manhattan	0.7836
pearson_euclidean	0.7893
spearman_euclidean	0.7848
pearson_dot	0.7709
spearman_dot	0.7686
pearson_max	0.8012
spearman_max	0.7848

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,000 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 15 tokens mean: 95.55 tokens max: 128 tokens	min: 26 tokens mean: 101.51 tokens max: 128 tokens	min: 0.0 mean: 0.5 max: 1.0

• Samples:

  sentence1	sentence2	score
  П.174.Раздела Х СанПиН 2.1.3684-21 "Санитарно-эпидемиологические требования к содержанию территорий городских и сельских поселений, к водным объектам, питьевой воде и питьевому водоснабжению, атмосферному воздуху, почвам, жилым помещениям, эксплуатации производственных, общественных помещений, организации и проведению санитарно-противоэпидемических (профилактических) мероприятий" указано, что медицинские отходы класса Б подлежат обязательному обеззараживанию (обезвреживанию), дезинфекции. Имеет ли право медицинская организация заключить договор с организацией по транспортировке, обезвреживанию и утилизации медотходов и не производить обезвреживание (дезинфекцию) медотходов на своей территории, а собирать и хранить отходы в помещении для временного хранения медотходов и в ежедневном режиме сдавать отходы указанной организации?	174. Медицинские отходы класса Б подлежат обязательному обеззараживанию (обезвреживанию), дезинфекции. Выбор метода обеззараживания (обезвреживания) определяется исходя из возможностей организации и определяется при разработке Схемы. В случае отсутствия в организации участка по обеззараживанию (обезвреживанию) медицинских отходов класса Б или централизованной системы обеззараживания (обезвреживания) медицинских отходов, принятой на административной территории, медицинские отходы класса Б обеззараживаются (обезвреживаются) работниками данной организации в местах их образования.	1.0
  П.174.Раздела Х СанПиН 2.1.3684-21 "Санитарно-эпидемиологические требования к содержанию территорий городских и сельских поселений, к водным объектам, питьевой воде и питьевому водоснабжению, атмосферному воздуху, почвам, жилым помещениям, эксплуатации производственных, общественных помещений, организации и проведению санитарно-противоэпидемических (профилактических) мероприятий" указано, что медицинские отходы класса Б подлежат обязательному обеззараживанию (обезвреживанию), дезинфекции. Имеет ли право медицинская организация заключить договор с организацией по транспортировке, обезвреживанию и утилизации медотходов и не производить обезвреживание (дезинфекцию) медотходов на своей территории, а собирать и хранить отходы в помещении для временного хранения медотходов и в ежедневном режиме сдавать отходы указанной организации?	183. Медицинские отходы класса В подлежат обязательному обеззараживанию (обезвреживанию), дезинфекции физическими методами. Применение химических методов дезинфекции допускается только для обеззараживания пищевых отходов и выделений больных лиц, а также при организации первичных противоэпидемических мероприятий в очагах инфекционных заболеваний. Выбор метода обеззараживания (обезвреживания) определяется исходя из возможностей организации и определяется при разработке Схемы. Вывоз необеззараженных медицинских отходов класса В за пределы территории медицинский организации не допускается. Вывоз необеззараженных медицинских отходов класса В, а также, относящихся к классу Б, загрязненных и потенциально загрязненных мокротой пациентов, лиц, больных туберкулезом, в том числе из лечебно-диагностических подразделений фтизиатрических стационаров (диспансеров), отходов микробиологических лабораторий, осуществляющих работы с возбудителями туберкулеза, за пределы территории медицинский организации не допускается.	1.0
  Возможно ли прохождение в 2019 году профессиональной переподготовки по специальности "Детская эндокринология" специалистом со следующим образованием: диплом "Лечебное дело" (1982), интернатура "Терапия" (1982), профессиональная переподготовка "Эндокринология" (1986)?	1.2. Реализация Программы осуществляется в рамках образовательной деятельности по дополнительным профессиональным программам и направлена на удовлетворение образовательных и профессиональных потребностей врачей, качественного расширения области знаний, умений и навыков, востребованных при выполнении нового вида профессиональной деятельности по специальности "Рентгенология". На обучение по программе могут быть зачислены медицинские работники, соответствующие Квалификационным требованиям к медицинским работникам с высшим образованием по специальности "Рентгенология".	1.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 2,000 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 15 tokens mean: 85.78 tokens max: 128 tokens	min: 22 tokens mean: 102.9 tokens max: 128 tokens	min: 0.0 mean: 0.5 max: 1.0

• Samples:

  sentence1	sentence2	score
  У нас арендовал помещение один арендатор. По долгам учредителя арендатора судебный пристав-исполнитель наложил арест на станки и расчетный счет арендатора без права использования станков. При этом указанные станки были переданы на ответственное хранение генеральному директору арендатора. При этом местом хранения арестованного имущества установлен наш адрес. Арендатор уволил весь свой персонал. В связи с тем что арендатор не ведет деятельность и не платил арендной платы более двух месяцев, мы в одностороннем порядке расторгли договор аренды. В рамках указанного исполнительного производства на основании постановления о наложении ареста на имущество должника судебным приставом-исполнителем 22.07.2021 произведена опись оборудования, о чем составлен Акт о наложении ареста от 22.07.2021. В соответствии с вышеуказанным Актом арестованное имущество передано на ответственное хранение Генеральному директору арендатора. В связи с тем что арендатор не платил арендную плату более двух месяцев, с ним был расторгнут договор аренды. Следовательно, арестованное имущество должника в помещениях завода находится без законных оснований. Завод направил арендатору письмо с требованием в течение 7 дней вернуть арендованное нежилое помещение. Арендатор ответил, что не может освободить занимаемые площади по причине того, что там стоит арестованное оборудование, переданное ему на ответственное хранение. Мы подали в Арбитражный суд о взыскании арендной платы с арендатора на основании ст.622 ГК РФ . Одновременно подали иск в Арбитражный суд Москвы на арендатора и судебного пристава-исполнителя с требованием признать незаконными действия (бездействие) административного ответчика ведущего судебного пристава-исполнителя, обязать административного ответчика устранить нарушения прав и законных интересов административного истца путем освобождения нежилого помещения от арестованного имущества и обязать арендатора вернуть арендованное имущество по акту приема-передачи. Арбитражный суд удовлетворил наши требования: признал бездействие судебного исполнителя по смене места хранения арестованного имущества незаконным, и обязал его освободить нежилое помещение от арестованного имущества, и обязал арендатора передать помещение по акту приема-передачи. Решение вступило в силу 07.12.2022. Однако Арбитражный суд 2 декабря 2022 года по заявлению должника признал арендатора банкротом и в отношении его ввел процедуру наблюдения. В данной ситуации кто должен исполнить решение суда: временный управляющий или судебный исполнитель? Арендатор готов передать нам помещение по акту приемки помещения, но с оборудованием. Зачем нам получать помещение с оборудованием? Мы не можем сдать указанное помещение в аренду, так как там стоят станки арендатора. Мы несем убытки в виде неполученной арендной платы. Как нам поступить в такой сложной ситуации?	9. В случае признания решения, действия (бездействия) незаконными орган, организация, лицо, наделенные государственными или иными публичными полномочиями и принявшие оспоренное решение или совершившие оспоренное действие (бездействие), обязаны устранить допущенные нарушения или препятствия к осуществлению прав, свобод и реализации законных интересов административного истца либо прав, свобод и законных интересов лиц, в интересах которых было подано соответствующее административное исковое заявление, и восстановить данные права, свободы и законные интересы указанным судом способом в установленный им срок, а также сообщить об этом в течение одного месяца со дня вступления в законную силу решения по административному делу об оспаривании решения, действия (бездействия) в суд, гражданину, в организацию, иному лицу, в отношении которых соответственно допущены нарушения, созданы препятствия.	1.0
  Правомерно ли в заключении судебной экспертизы в выводах делать ссылки на рекомендательные (необязательные) нормы и правила и указывать, что авария или какое-то другое действие произошло по причине нарушения этих норм (необязательных)?	2. Нормативные правовые акты издаются федеральными органами исполнительной власти в виде постановлений, приказов, правил, инструкций и положений. Издание нормативных правовых актов в виде писем, распоряжений и телеграмм не допускается. Структурные подразделения и территориальные органы федеральных органов исполнительной власти не вправе издавать нормативные правовые акты.	1.0
  Правомерно ли в заключении судебной экспертизы в выводах делать ссылки на рекомендательные (необязательные) нормы и правила и указывать, что авария или какое-то другое действие произошло по причине нарушения этих норм (необязательных)?	7. Нормативные правовые акты федеральных органов исполнительной власти издаются в виде постановлений, приказов, правил, инструкций и положений, если иное не предусмотрено законодательством Российской Федерации. Акты, изданные в ином виде, не должны содержать предписания нормативно-правового характера.	1.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss	sts-dev_spearman_cosine	sts-test_spearman_cosine
0.4	100	0.1322	0.1051	0.7762	-
0.8	200	0.113	0.1074	0.7579	-
1.2	300	0.0779	0.1010	0.7781	-
1.6	400	0.0523	0.1035	0.7720	-
2.0	500	0.0529	0.0995	0.7788	-
2.4	600	0.0243	0.0947	0.7832	-
2.8	700	0.0207	0.0937	0.7850	-
3.2	800	0.015	0.0925	0.7841	-
3.6	900	0.0086	0.0929	0.7826	-
4.0	1000	0.01	0.0929	0.7840	0.7840

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.1.0.dev0
• Transformers: 4.42.2
• PyTorch: 2.3.1+cu121
• Accelerate: 0.31.0
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}