rztk-bohdanbilonoh's picture
Model save
c1f514e verified
metadata
base_model: intfloat/multilingual-e5-base
datasets:
  - rztk/rozetka_positive_pairs
language: []
library_name: sentence-transformers
metrics:
  - dot_accuracy@1
  - dot_accuracy@3
  - dot_accuracy@5
  - dot_accuracy@10
  - dot_precision@1
  - dot_precision@3
  - dot_precision@5
  - dot_precision@10
  - dot_recall@1
  - dot_recall@3
  - dot_recall@5
  - dot_recall@10
  - dot_ndcg@10
  - dot_mrr@10
  - dot_map@100
  - dot_ndcg@1
  - dot_mrr@1
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:44800
  - loss:RZTKMatryoshka2dLoss
widget:
  - source_sentence: папка планшет
    sentences:
      - >-
        <category>Сифони</category><brand>Alcaplast</brand><options><option_title>Гарантія</option_title><option_value>24
        місяці офіційної гарантії від
        виробника</option_value><option_title>Кількість вантажних
        місць</option_title><option_value>1</option_value><option_title>Країна-виробник
        товару</option_title><option_value>Чехія</option_value><option_title>Призначення</option_title><option_value>Для
        душових
        піддонів</option_value><option_title>Матеріал</option_title><option_value>Пластик</option_value><option_title>Вид</option_title><option_value>Пляшковий</option_value><option_title>Під'єднані
        до пральної
        машини</option_title><option_value>Немає</option_value><option_title>Колір</option_title><option_value>Білий
        +
        Хром</option_value><option_title>Тип</option_title><option_value>Сифон</option_value><option_title>Теги</option_title><option_value>недорогий
        сифон</option_value><option_title>відкривання/перекриття зливних
        отворів</option_title><option_value>Неперекривний</option_value><option_title>Різновид
        гідрозатвора</option_title><option_value>Мокрий (без
        мембрани)</option_value><option_title>Діаметр
        під'єднання</option_title><option_value>90
        мм</option_value><option_title>Діаметр патрубка в
        каналізацію</option_title><option_value>40
        мм</option_value><option_title>Переливання</option_title><option_value>Без
        функції переливу</option_value><option_title>Тип гарантійного
        талона</option_title><option_value>Гарантія по
        чеку</option_value><option_title>Доставка
        Premium</option_title><option_title>Доставка</option_title><option_value>Доставка
        в магазини ROZETKA</option_value></options>
      - Сифон для душевого поддона ALCA PLAST A49CR (8594045930627)
      - >-
        <category>Папки-планшеты</category><brand>iTEM</brand><options><option_title>Формат</option_title><option_value>A4</option_value><option_title>Материал</option_title><option_value>Картон</option_value><option_title>Страна
        регистрации
        бренда</option_title><option_value>Украина</option_value><option_title>Страна-производитель
        товара</option_title><option_value>Украина</option_value></options>
  - source_sentence: вино игристое
    sentences:
      - >-
        Женские резиновые сапоги Demar HAWAI LADY 0076V 36 (23.8 см) Черные
        (5901232011374)
      - Верстак складной Ryobi RWB01
      - Вино ігристе Adamanti біле напівсолодке 0.75 л 12.5% (4860004073259)
  - source_sentence: елка искуственная
    sentences:
      - >-
        <category>Підставки та столики для
        ноутбуків</category><brand>UFT</brand><options><option_title>Вид</option_title><option_value>Столики</option_value><option_title>Охолодження</option_title><option_value>Активне</option_value><option_title>Максимальна
        діагональ
        ноутбука</option_title><option_value>16"</option_value><option_title>Колір</option_title><option_value>Синій</option_value><option_title>Матеріал</option_title><option_value>Метал</option_value><option_title>Кількість
        вантажних місць</option_title><option_value>1</option_value></options>
      - Декоративная елка, 90см (122-F12)
      - Конструктор LEGO Minecraft Гарбузова ферма 257 деталей (21248)
  - source_sentence: переходник
    sentences:
      - Штучна ялинка «Ніка» 1.8 м
      - Набір інструментів NEO торцевих головок 108 шт., 1, 4, 1/2 "CrV (08-666)
      - >-
        <category>Кабели и
        адаптеры</category><brand>Protech</brand><options><option_title>Гарантия</option_title><option_value>6
        месяцев</option_value><option_title>Длина</option_title><option_value>0.2
        м</option_value><option_title>Тип</option_title><option_value>Адаптеры
        (Переходники)</option_value><option_title>Количество грузовых
        мест</option_title><option_value>1</option_value><option_title>Страна
        регистрации
        бренда</option_title><option_value>Китай</option_value><option_title>Страна-производитель
        товара</option_title><option_value>Китай</option_value><option_title>Цвет</option_title><option_value>Серебристый</option_value><option_title>Тип
        гарантийного талона</option_title><option_value>Гарантия по
        чеку</option_value><option_title>Доставка
        Premium</option_title><option_title>Тип коннектора
        1</option_title><option_value>USB Type-C</option_value><option_title>Тип
        коннектора 2</option_title><option_value>USB</option_value></options>
  - source_sentence: поилка для детей
    sentences:
      - Шафа розпашній Fenster Оксфорд Лагуна
      - >-
        <category>Аксессуары для
        наушников</category><brand>ArmorStandart</brand><options><option_title>Гарантия</option_title><option_value>14
        дней</option_value><option_title>Тип
        наушников</option_title><option_value>Вкладыши</option_value><option_title>Вид</option_title><option_value>Чехлы</option_value><option_title>Цвет</option_title><option_value>Dark
        Green</option_value><option_title>Количество грузовых
        мест</option_title><option_value>1</option_value><option_title>Страна
        регистрации
        бренда</option_title><option_value>Украина</option_value><option_title>Страна-производитель
        товара</option_title><option_value>Китай</option_value><option_title>Тип
        гарантийного талона</option_title><option_value>Гарантия по
        чеку</option_value><option_title>Материал</option_title><option_value>Силикон</option_value><option_title>Доставка
        Premium</option_title><option_title>Совместимая
        серия</option_title><option_value>Apple
        AirPods</option_value><option_title>Доставка</option_title><option_value>Доставка
        в магазины ROZETKA</option_value></options>
      - >-
        <category>Поїльники та
        непроливайки</category><brand>Nuk</brand><options><option_title>Стать
        дитини</option_title><option_value>Хлопчик</option_value><option_title>Стать
        дитини</option_title><option_value>Дівчинка</option_value><option_title>Кількість
        вантажних
        місць</option_title><option_value>1</option_value><option_title>Країна
        реєстрації
        бренда</option_title><option_value>Німеччина</option_value><option_title>Країна-виробник
        товару</option_title><option_value>Німеччина</option_value><option_title>Об'єм,
        мл</option_title><option_value>300</option_value><option_title>Матеріал</option_title><option_value>Пластик</option_value><option_title>Колір</option_title><option_value>Блакитний</option_value><option_title>Тип</option_title><option_value>Поїльник</option_value><option_title>Тип
        гарантійного талона</option_title><option_value>Гарантія по
        чеку</option_value><option_title>Доставка
        Premium</option_title></options>
model-index:
  - name: SentenceTransformer based on intfloat/multilingual-e5-base
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: rusisms uk title
          type: rusisms-uk-title
        metrics:
          - type: dot_accuracy@1
            value: 0.5428571428571428
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.6888888888888889
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.7492063492063492
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.8
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.5428571428571428
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.5216931216931217
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.5034920634920634
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.47682539682539676
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.009248137199056617
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.023803562659985587
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.03509680885707945
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.05987127144737185
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.4936504584984999
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.6286608717561099
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.14035920755466383
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'rusisms uk title  matryoshka dim 768  '
          type: rusisms-uk-title--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.1619047619047619
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.1619047619047619
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.0020219082190057404
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.1619047619047619
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.1619047619047619
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.02128340409566104
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'rusisms uk title  matryoshka dim 512  '
          type: rusisms-uk-title--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.14603174603174604
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.14603174603174604
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.0016964404522008209
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.14603174603174604
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.14603174603174604
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.015212846443877073
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'rusisms uk title  matryoshka dim 256  '
          type: rusisms-uk-title--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.10158730158730159
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.10158730158730159
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.0012653450153450154
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.10158730158730159
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.10158730158730159
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.011952854173853285
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'rusisms uk title  matryoshka dim 128  '
          type: rusisms-uk-title--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.05396825396825397
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.05396825396825397
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.0007494719994719994
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.05396825396825397
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.05396825396825397
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.0053781586003166125
            name: Dot Map@100

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the rztk/rozetka_positive_pairs dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'поилка для детей',
    "<category>Поїльники та непроливайки</category><brand>Nuk</brand><options><option_title>Стать дитини</option_title><option_value>Хлопчик</option_value><option_title>Стать дитини</option_title><option_value>Дівчинка</option_value><option_title>Кількість вантажних місць</option_title><option_value>1</option_value><option_title>Країна реєстрації бренда</option_title><option_value>Німеччина</option_value><option_title>Країна-виробник товару</option_title><option_value>Німеччина</option_value><option_title>Об'єм, мл</option_title><option_value>300</option_value><option_title>Матеріал</option_title><option_value>Пластик</option_value><option_title>Колір</option_title><option_value>Блакитний</option_value><option_title>Тип</option_title><option_value>Поїльник</option_value><option_title>Тип гарантійного талона</option_title><option_value>Гарантія по чеку</option_value><option_title>Доставка Premium</option_title></options>",
    'Шафа розпашній Fenster Оксфорд Лагуна',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Metric Value
dot_accuracy@1 0.5429
dot_accuracy@3 0.6889
dot_accuracy@5 0.7492
dot_accuracy@10 0.8
dot_precision@1 0.5429
dot_precision@3 0.5217
dot_precision@5 0.5035
dot_precision@10 0.4768
dot_recall@1 0.0092
dot_recall@3 0.0238
dot_recall@5 0.0351
dot_recall@10 0.0599
dot_ndcg@10 0.4937
dot_mrr@10 0.6287
dot_map@100 0.1404

Information Retrieval

Metric Value
dot_accuracy@1 0.1619
dot_precision@1 0.1619
dot_recall@1 0.002
dot_ndcg@1 0.1619
dot_mrr@1 0.1619
dot_map@100 0.0213

Information Retrieval

Metric Value
dot_accuracy@1 0.146
dot_precision@1 0.146
dot_recall@1 0.0017
dot_ndcg@1 0.146
dot_mrr@1 0.146
dot_map@100 0.0152

Information Retrieval

Metric Value
dot_accuracy@1 0.1016
dot_precision@1 0.1016
dot_recall@1 0.0013
dot_ndcg@1 0.1016
dot_mrr@1 0.1016
dot_map@100 0.012

Information Retrieval

Metric Value
dot_accuracy@1 0.054
dot_precision@1 0.054
dot_recall@1 0.0007
dot_ndcg@1 0.054
dot_mrr@1 0.054
dot_map@100 0.0054

Training Details

Training Dataset

rztk/rozetka_positive_pairs

  • Dataset: rztk/rozetka_positive_pairs
  • Size: 44,800 training samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 3 tokens
    • mean: 7.18 tokens
    • max: 16 tokens
    • min: 9 tokens
    • mean: 158.88 tokens
    • max: 512 tokens
  • Samples:
    query text
    p smart z TPU чехол Ultrathin Series 0,33 mm для Huawei P Smart Z Безбарвний (прозорий)
    p smart z Чохли для мобільних телефонівМатеріалСиліконКолірTransparentСумісна модельP Smart Z
    p smart z TPU чехол Ultrathin Series 0,33mm для Huawei P Smart Z Бесцветный (прозрачный)
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Evaluation Dataset

rztk/rozetka_positive_pairs

  • Dataset: rztk/rozetka_positive_pairs
  • Size: 4,480 evaluation samples
  • Columns: query and text
  • Approximate statistics based on the first 1000 samples:
    query text
    type string string
    details
    • min: 3 tokens
    • mean: 6.29 tokens
    • max: 11 tokens
    • min: 12 tokens
    • mean: 161.36 tokens
    • max: 512 tokens
  • Samples:
    query text
    кошелек женский Портмоне BAELLERRY Forever N2345 Черный (020354)
    кошелек женский ГаманціBaellerryДля когоДля жінокВидПортмонеМатеріалШтучна шкіраКраїна-виробник товаруКитай
    кошелек женский Портмоне BAELLERRY Forever N2345 Черный (020354)
  • Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:
    {
        "loss": "RZTKMultipleNegativesRankingLoss",
        "n_layers_per_step": 1,
        "last_layer_weight": 1.0,
        "prior_layers_weight": 1.0,
        "kl_div_weight": 1.0,
        "kl_temperature": 0.3,
        "matryoshka_dims": [
            768,
            512,
            256,
            128
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": 1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 112
  • per_device_eval_batch_size: 112
  • torch_empty_cache_steps: 30
  • learning_rate: 2e-05
  • num_train_epochs: 1.0
  • warmup_ratio: 0.1
  • bf16: True
  • bf16_full_eval: True
  • tf32: True
  • dataloader_num_workers: 2
  • load_best_model_at_end: True
  • optim: adafactor
  • push_to_hub: True

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 112
  • per_device_eval_batch_size: 112
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: 30
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1.0
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: True
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 2
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adafactor
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: True
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional
  • ddp_static_graph: False
  • ddp_comm_hook: bf16
  • gradient_as_bucket_view: False

Training Logs

Epoch Step Training Loss loss rusisms-uk-title--matryoshka_dim-128--_dot_map@100 rusisms-uk-title--matryoshka_dim-256--_dot_map@100 rusisms-uk-title--matryoshka_dim-512--_dot_map@100 rusisms-uk-title--matryoshka_dim-768--_dot_map@100 rusisms-uk-title_dot_map@100
0.1 10 6.6103 - - - - - -
0.2 20 5.524 - - - - - -
0.3 30 4.759 3.6444 - - - - -
0.4 40 4.5195 - - - - - -
0.5 50 3.6598 - - - - - -
0.6 60 3.7912 2.8962 - - - - -
0.7 70 3.9935 - - - - - -
0.8 80 3.3929 - - - - - -
0.9 90 3.6101 2.6889 - - - - -
1.0 100 3.8753 - 0.0054 0.0120 0.0152 0.0213 0.1404
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.12.6
  • Sentence Transformers: 3.0.1
  • Transformers: 4.45.1
  • PyTorch: 2.4.1
  • Accelerate: 0.34.2
  • Datasets: 3.0.0
  • Tokenizers: 0.20.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}