metadata
base_model: intfloat/multilingual-e5-base
datasets:
- rztk/rozetka_positive_pairs
language: []
library_name: sentence-transformers
metrics:
- dot_accuracy@1
- dot_accuracy@3
- dot_accuracy@5
- dot_accuracy@10
- dot_precision@1
- dot_precision@3
- dot_precision@5
- dot_precision@10
- dot_recall@1
- dot_recall@3
- dot_recall@5
- dot_recall@10
- dot_ndcg@10
- dot_mrr@10
- dot_map@100
- dot_ndcg@1
- dot_mrr@1
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:44800
- loss:RZTKMatryoshka2dLoss
widget:
- source_sentence: папка планшет
sentences:
- >-
<category>Сифони</category><brand>Alcaplast</brand><options><option_title>Гарантія</option_title><option_value>24
місяці офіційної гарантії від
виробника</option_value><option_title>Кількість вантажних
місць</option_title><option_value>1</option_value><option_title>Країна-виробник
товару</option_title><option_value>Чехія</option_value><option_title>Призначення</option_title><option_value>Для
душових
піддонів</option_value><option_title>Матеріал</option_title><option_value>Пластик</option_value><option_title>Вид</option_title><option_value>Пляшковий</option_value><option_title>Під'єднані
до пральної
машини</option_title><option_value>Немає</option_value><option_title>Колір</option_title><option_value>Білий
+
Хром</option_value><option_title>Тип</option_title><option_value>Сифон</option_value><option_title>Теги</option_title><option_value>недорогий
сифон</option_value><option_title>відкривання/перекриття зливних
отворів</option_title><option_value>Неперекривний</option_value><option_title>Різновид
гідрозатвора</option_title><option_value>Мокрий (без
мембрани)</option_value><option_title>Діаметр
під'єднання</option_title><option_value>90
мм</option_value><option_title>Діаметр патрубка в
каналізацію</option_title><option_value>40
мм</option_value><option_title>Переливання</option_title><option_value>Без
функції переливу</option_value><option_title>Тип гарантійного
талона</option_title><option_value>Гарантія по
чеку</option_value><option_title>Доставка
Premium</option_title><option_title>Доставка</option_title><option_value>Доставка
в магазини ROZETKA</option_value></options>
- Сифон для душевого поддона ALCA PLAST A49CR (8594045930627)
- >-
<category>Папки-планшеты</category><brand>iTEM</brand><options><option_title>Формат</option_title><option_value>A4</option_value><option_title>Материал</option_title><option_value>Картон</option_value><option_title>Страна
регистрации
бренда</option_title><option_value>Украина</option_value><option_title>Страна-производитель
товара</option_title><option_value>Украина</option_value></options>
- source_sentence: вино игристое
sentences:
- >-
Женские резиновые сапоги Demar HAWAI LADY 0076V 36 (23.8 см) Черные
(5901232011374)
- Верстак складной Ryobi RWB01
- Вино ігристе Adamanti біле напівсолодке 0.75 л 12.5% (4860004073259)
- source_sentence: елка искуственная
sentences:
- >-
<category>Підставки та столики для
ноутбуків</category><brand>UFT</brand><options><option_title>Вид</option_title><option_value>Столики</option_value><option_title>Охолодження</option_title><option_value>Активне</option_value><option_title>Максимальна
діагональ
ноутбука</option_title><option_value>16"</option_value><option_title>Колір</option_title><option_value>Синій</option_value><option_title>Матеріал</option_title><option_value>Метал</option_value><option_title>Кількість
вантажних місць</option_title><option_value>1</option_value></options>
- Декоративная елка, 90см (122-F12)
- Конструктор LEGO Minecraft Гарбузова ферма 257 деталей (21248)
- source_sentence: переходник
sentences:
- Штучна ялинка «Ніка» 1.8 м
- Набір інструментів NEO торцевих головок 108 шт., 1, 4, 1/2 "CrV (08-666)
- >-
<category>Кабели и
адаптеры</category><brand>Protech</brand><options><option_title>Гарантия</option_title><option_value>6
месяцев</option_value><option_title>Длина</option_title><option_value>0.2
м</option_value><option_title>Тип</option_title><option_value>Адаптеры
(Переходники)</option_value><option_title>Количество грузовых
мест</option_title><option_value>1</option_value><option_title>Страна
регистрации
бренда</option_title><option_value>Китай</option_value><option_title>Страна-производитель
товара</option_title><option_value>Китай</option_value><option_title>Цвет</option_title><option_value>Серебристый</option_value><option_title>Тип
гарантийного талона</option_title><option_value>Гарантия по
чеку</option_value><option_title>Доставка
Premium</option_title><option_title>Тип коннектора
1</option_title><option_value>USB Type-C</option_value><option_title>Тип
коннектора 2</option_title><option_value>USB</option_value></options>
- source_sentence: поилка для детей
sentences:
- Шафа розпашній Fenster Оксфорд Лагуна
- >-
<category>Аксессуары для
наушников</category><brand>ArmorStandart</brand><options><option_title>Гарантия</option_title><option_value>14
дней</option_value><option_title>Тип
наушников</option_title><option_value>Вкладыши</option_value><option_title>Вид</option_title><option_value>Чехлы</option_value><option_title>Цвет</option_title><option_value>Dark
Green</option_value><option_title>Количество грузовых
мест</option_title><option_value>1</option_value><option_title>Страна
регистрации
бренда</option_title><option_value>Украина</option_value><option_title>Страна-производитель
товара</option_title><option_value>Китай</option_value><option_title>Тип
гарантийного талона</option_title><option_value>Гарантия по
чеку</option_value><option_title>Материал</option_title><option_value>Силикон</option_value><option_title>Доставка
Premium</option_title><option_title>Совместимая
серия</option_title><option_value>Apple
AirPods</option_value><option_title>Доставка</option_title><option_value>Доставка
в магазины ROZETKA</option_value></options>
- >-
<category>Поїльники та
непроливайки</category><brand>Nuk</brand><options><option_title>Стать
дитини</option_title><option_value>Хлопчик</option_value><option_title>Стать
дитини</option_title><option_value>Дівчинка</option_value><option_title>Кількість
вантажних
місць</option_title><option_value>1</option_value><option_title>Країна
реєстрації
бренда</option_title><option_value>Німеччина</option_value><option_title>Країна-виробник
товару</option_title><option_value>Німеччина</option_value><option_title>Об'єм,
мл</option_title><option_value>300</option_value><option_title>Матеріал</option_title><option_value>Пластик</option_value><option_title>Колір</option_title><option_value>Блакитний</option_value><option_title>Тип</option_title><option_value>Поїльник</option_value><option_title>Тип
гарантійного талона</option_title><option_value>Гарантія по
чеку</option_value><option_title>Доставка
Premium</option_title></options>
model-index:
- name: SentenceTransformer based on intfloat/multilingual-e5-base
results:
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: rusisms uk title
type: rusisms-uk-title
metrics:
- type: dot_accuracy@1
value: 0.5428571428571428
name: Dot Accuracy@1
- type: dot_accuracy@3
value: 0.6888888888888889
name: Dot Accuracy@3
- type: dot_accuracy@5
value: 0.7492063492063492
name: Dot Accuracy@5
- type: dot_accuracy@10
value: 0.8
name: Dot Accuracy@10
- type: dot_precision@1
value: 0.5428571428571428
name: Dot Precision@1
- type: dot_precision@3
value: 0.5216931216931217
name: Dot Precision@3
- type: dot_precision@5
value: 0.5034920634920634
name: Dot Precision@5
- type: dot_precision@10
value: 0.47682539682539676
name: Dot Precision@10
- type: dot_recall@1
value: 0.009248137199056617
name: Dot Recall@1
- type: dot_recall@3
value: 0.023803562659985587
name: Dot Recall@3
- type: dot_recall@5
value: 0.03509680885707945
name: Dot Recall@5
- type: dot_recall@10
value: 0.05987127144737185
name: Dot Recall@10
- type: dot_ndcg@10
value: 0.4936504584984999
name: Dot Ndcg@10
- type: dot_mrr@10
value: 0.6286608717561099
name: Dot Mrr@10
- type: dot_map@100
value: 0.14035920755466383
name: Dot Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: 'rusisms uk title matryoshka dim 768 '
type: rusisms-uk-title--matryoshka_dim-768--
metrics:
- type: dot_accuracy@1
value: 0.1619047619047619
name: Dot Accuracy@1
- type: dot_precision@1
value: 0.1619047619047619
name: Dot Precision@1
- type: dot_recall@1
value: 0.0020219082190057404
name: Dot Recall@1
- type: dot_ndcg@1
value: 0.1619047619047619
name: Dot Ndcg@1
- type: dot_mrr@1
value: 0.1619047619047619
name: Dot Mrr@1
- type: dot_map@100
value: 0.02128340409566104
name: Dot Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: 'rusisms uk title matryoshka dim 512 '
type: rusisms-uk-title--matryoshka_dim-512--
metrics:
- type: dot_accuracy@1
value: 0.14603174603174604
name: Dot Accuracy@1
- type: dot_precision@1
value: 0.14603174603174604
name: Dot Precision@1
- type: dot_recall@1
value: 0.0016964404522008209
name: Dot Recall@1
- type: dot_ndcg@1
value: 0.14603174603174604
name: Dot Ndcg@1
- type: dot_mrr@1
value: 0.14603174603174604
name: Dot Mrr@1
- type: dot_map@100
value: 0.015212846443877073
name: Dot Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: 'rusisms uk title matryoshka dim 256 '
type: rusisms-uk-title--matryoshka_dim-256--
metrics:
- type: dot_accuracy@1
value: 0.10158730158730159
name: Dot Accuracy@1
- type: dot_precision@1
value: 0.10158730158730159
name: Dot Precision@1
- type: dot_recall@1
value: 0.0012653450153450154
name: Dot Recall@1
- type: dot_ndcg@1
value: 0.10158730158730159
name: Dot Ndcg@1
- type: dot_mrr@1
value: 0.10158730158730159
name: Dot Mrr@1
- type: dot_map@100
value: 0.011952854173853285
name: Dot Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: 'rusisms uk title matryoshka dim 128 '
type: rusisms-uk-title--matryoshka_dim-128--
metrics:
- type: dot_accuracy@1
value: 0.05396825396825397
name: Dot Accuracy@1
- type: dot_precision@1
value: 0.05396825396825397
name: Dot Precision@1
- type: dot_recall@1
value: 0.0007494719994719994
name: Dot Recall@1
- type: dot_ndcg@1
value: 0.05396825396825397
name: Dot Ndcg@1
- type: dot_mrr@1
value: 0.05396825396825397
name: Dot Mrr@1
- type: dot_map@100
value: 0.0053781586003166125
name: Dot Map@100
SentenceTransformer based on intfloat/multilingual-e5-base
This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the rztk/rozetka_positive_pairs dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: intfloat/multilingual-e5-base
- Maximum Sequence Length: 512 tokens
- Output Dimensionality: 768 tokens
- Similarity Function: Cosine Similarity
- Training Dataset:
Model Sources
Full Model Architecture
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("sentence_transformers_model_id")
sentences = [
'поилка для детей',
"<category>Поїльники та непроливайки</category><brand>Nuk</brand><options><option_title>Стать дитини</option_title><option_value>Хлопчик</option_value><option_title>Стать дитини</option_title><option_value>Дівчинка</option_value><option_title>Кількість вантажних місць</option_title><option_value>1</option_value><option_title>Країна реєстрації бренда</option_title><option_value>Німеччина</option_value><option_title>Країна-виробник товару</option_title><option_value>Німеччина</option_value><option_title>Об'єм, мл</option_title><option_value>300</option_value><option_title>Матеріал</option_title><option_value>Пластик</option_value><option_title>Колір</option_title><option_value>Блакитний</option_value><option_title>Тип</option_title><option_value>Поїльник</option_value><option_title>Тип гарантійного талона</option_title><option_value>Гарантія по чеку</option_value><option_title>Доставка Premium</option_title></options>",
'Шафа розпашній Fenster Оксфорд Лагуна',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
Evaluation
Metrics
Information Retrieval
Metric |
Value |
dot_accuracy@1 |
0.5429 |
dot_accuracy@3 |
0.6889 |
dot_accuracy@5 |
0.7492 |
dot_accuracy@10 |
0.8 |
dot_precision@1 |
0.5429 |
dot_precision@3 |
0.5217 |
dot_precision@5 |
0.5035 |
dot_precision@10 |
0.4768 |
dot_recall@1 |
0.0092 |
dot_recall@3 |
0.0238 |
dot_recall@5 |
0.0351 |
dot_recall@10 |
0.0599 |
dot_ndcg@10 |
0.4937 |
dot_mrr@10 |
0.6287 |
dot_map@100 |
0.1404 |
Information Retrieval
Metric |
Value |
dot_accuracy@1 |
0.1619 |
dot_precision@1 |
0.1619 |
dot_recall@1 |
0.002 |
dot_ndcg@1 |
0.1619 |
dot_mrr@1 |
0.1619 |
dot_map@100 |
0.0213 |
Information Retrieval
Metric |
Value |
dot_accuracy@1 |
0.146 |
dot_precision@1 |
0.146 |
dot_recall@1 |
0.0017 |
dot_ndcg@1 |
0.146 |
dot_mrr@1 |
0.146 |
dot_map@100 |
0.0152 |
Information Retrieval
Metric |
Value |
dot_accuracy@1 |
0.1016 |
dot_precision@1 |
0.1016 |
dot_recall@1 |
0.0013 |
dot_ndcg@1 |
0.1016 |
dot_mrr@1 |
0.1016 |
dot_map@100 |
0.012 |
Information Retrieval
Metric |
Value |
dot_accuracy@1 |
0.054 |
dot_precision@1 |
0.054 |
dot_recall@1 |
0.0007 |
dot_ndcg@1 |
0.054 |
dot_mrr@1 |
0.054 |
dot_map@100 |
0.0054 |
Training Details
Training Dataset
rztk/rozetka_positive_pairs
- Dataset: rztk/rozetka_positive_pairs
- Size: 44,800 training samples
- Columns:
query
and text
- Approximate statistics based on the first 1000 samples:
|
query |
text |
type |
string |
string |
details |
- min: 3 tokens
- mean: 7.18 tokens
- max: 16 tokens
|
- min: 9 tokens
- mean: 158.88 tokens
- max: 512 tokens
|
- Samples:
query |
text |
p smart z |
TPU чехол Ultrathin Series 0,33 mm для Huawei P Smart Z Безбарвний (прозорий) |
p smart z |
Чохли для мобільних телефонівМатеріалСиліконКолірTransparentСумісна модельP Smart Z |
p smart z |
TPU чехол Ultrathin Series 0,33mm для Huawei P Smart Z Бесцветный (прозрачный) |
- Loss:
sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss
with these parameters:{
"loss": "RZTKMultipleNegativesRankingLoss",
"n_layers_per_step": 1,
"last_layer_weight": 1.0,
"prior_layers_weight": 1.0,
"kl_div_weight": 1.0,
"kl_temperature": 0.3,
"matryoshka_dims": [
768,
512,
256,
128
],
"matryoshka_weights": [
1,
1,
1,
1
],
"n_dims_per_step": 1
}
Evaluation Dataset
rztk/rozetka_positive_pairs
- Dataset: rztk/rozetka_positive_pairs
- Size: 4,480 evaluation samples
- Columns:
query
and text
- Approximate statistics based on the first 1000 samples:
|
query |
text |
type |
string |
string |
details |
- min: 3 tokens
- mean: 6.29 tokens
- max: 11 tokens
|
- min: 12 tokens
- mean: 161.36 tokens
- max: 512 tokens
|
- Samples:
query |
text |
кошелек женский |
Портмоне BAELLERRY Forever N2345 Черный (020354) |
кошелек женский |
ГаманціBaellerryДля когоДля жінокВидПортмонеМатеріалШтучна шкіраКраїна-виробник товаруКитай |
кошелек женский |
Портмоне BAELLERRY Forever N2345 Черный (020354) |
- Loss:
sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss
with these parameters:{
"loss": "RZTKMultipleNegativesRankingLoss",
"n_layers_per_step": 1,
"last_layer_weight": 1.0,
"prior_layers_weight": 1.0,
"kl_div_weight": 1.0,
"kl_temperature": 0.3,
"matryoshka_dims": [
768,
512,
256,
128
],
"matryoshka_weights": [
1,
1,
1,
1
],
"n_dims_per_step": 1
}
Training Hyperparameters
Non-Default Hyperparameters
eval_strategy
: steps
per_device_train_batch_size
: 112
per_device_eval_batch_size
: 112
torch_empty_cache_steps
: 30
learning_rate
: 2e-05
num_train_epochs
: 1.0
warmup_ratio
: 0.1
bf16
: True
bf16_full_eval
: True
tf32
: True
dataloader_num_workers
: 2
load_best_model_at_end
: True
optim
: adafactor
push_to_hub
: True
All Hyperparameters
Click to expand
overwrite_output_dir
: False
do_predict
: False
eval_strategy
: steps
prediction_loss_only
: True
per_device_train_batch_size
: 112
per_device_eval_batch_size
: 112
per_gpu_train_batch_size
: None
per_gpu_eval_batch_size
: None
gradient_accumulation_steps
: 1
eval_accumulation_steps
: None
torch_empty_cache_steps
: 30
learning_rate
: 2e-05
weight_decay
: 0.0
adam_beta1
: 0.9
adam_beta2
: 0.999
adam_epsilon
: 1e-08
max_grad_norm
: 1.0
num_train_epochs
: 1.0
max_steps
: -1
lr_scheduler_type
: linear
lr_scheduler_kwargs
: {}
warmup_ratio
: 0.1
warmup_steps
: 0
log_level
: passive
log_level_replica
: warning
log_on_each_node
: True
logging_nan_inf_filter
: True
save_safetensors
: True
save_on_each_node
: False
save_only_model
: False
restore_callback_states_from_checkpoint
: False
no_cuda
: False
use_cpu
: False
use_mps_device
: False
seed
: 42
data_seed
: None
jit_mode_eval
: False
use_ipex
: False
bf16
: True
fp16
: False
fp16_opt_level
: O1
half_precision_backend
: auto
bf16_full_eval
: True
fp16_full_eval
: False
tf32
: True
local_rank
: 0
ddp_backend
: None
tpu_num_cores
: None
tpu_metrics_debug
: False
debug
: []
dataloader_drop_last
: True
dataloader_num_workers
: 2
dataloader_prefetch_factor
: None
past_index
: -1
disable_tqdm
: False
remove_unused_columns
: True
label_names
: None
load_best_model_at_end
: True
ignore_data_skip
: False
fsdp
: []
fsdp_min_num_params
: 0
fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap
: None
accelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed
: None
label_smoothing_factor
: 0.0
optim
: adafactor
optim_args
: None
adafactor
: False
group_by_length
: False
length_column_name
: length
ddp_find_unused_parameters
: None
ddp_bucket_cap_mb
: None
ddp_broadcast_buffers
: False
dataloader_pin_memory
: True
dataloader_persistent_workers
: False
skip_memory_metrics
: True
use_legacy_prediction_loop
: False
push_to_hub
: True
resume_from_checkpoint
: None
hub_model_id
: None
hub_strategy
: every_save
hub_private_repo
: False
hub_always_push
: False
gradient_checkpointing
: False
gradient_checkpointing_kwargs
: None
include_inputs_for_metrics
: False
eval_do_concat_batches
: True
fp16_backend
: auto
push_to_hub_model_id
: None
push_to_hub_organization
: None
mp_parameters
:
auto_find_batch_size
: False
full_determinism
: False
torchdynamo
: None
ray_scope
: last
ddp_timeout
: 1800
torch_compile
: False
torch_compile_backend
: None
torch_compile_mode
: None
dispatch_batches
: None
split_batches
: None
include_tokens_per_second
: False
include_num_input_tokens_seen
: False
neftune_noise_alpha
: None
optim_target_modules
: None
batch_eval_metrics
: False
eval_on_start
: False
use_liger_kernel
: False
eval_use_gather_object
: False
batch_sampler
: batch_sampler
multi_dataset_batch_sampler
: proportional
ddp_static_graph
: False
ddp_comm_hook
: bf16
gradient_as_bucket_view
: False
Training Logs
Epoch |
Step |
Training Loss |
loss |
rusisms-uk-title--matryoshka_dim-128--_dot_map@100 |
rusisms-uk-title--matryoshka_dim-256--_dot_map@100 |
rusisms-uk-title--matryoshka_dim-512--_dot_map@100 |
rusisms-uk-title--matryoshka_dim-768--_dot_map@100 |
rusisms-uk-title_dot_map@100 |
0.1 |
10 |
6.6103 |
- |
- |
- |
- |
- |
- |
0.2 |
20 |
5.524 |
- |
- |
- |
- |
- |
- |
0.3 |
30 |
4.759 |
3.6444 |
- |
- |
- |
- |
- |
0.4 |
40 |
4.5195 |
- |
- |
- |
- |
- |
- |
0.5 |
50 |
3.6598 |
- |
- |
- |
- |
- |
- |
0.6 |
60 |
3.7912 |
2.8962 |
- |
- |
- |
- |
- |
0.7 |
70 |
3.9935 |
- |
- |
- |
- |
- |
- |
0.8 |
80 |
3.3929 |
- |
- |
- |
- |
- |
- |
0.9 |
90 |
3.6101 |
2.6889 |
- |
- |
- |
- |
- |
1.0 |
100 |
3.8753 |
- |
0.0054 |
0.0120 |
0.0152 |
0.0213 |
0.1404 |
- The bold row denotes the saved checkpoint.
Framework Versions
- Python: 3.12.6
- Sentence Transformers: 3.0.1
- Transformers: 4.45.1
- PyTorch: 2.4.1
- Accelerate: 0.34.2
- Datasets: 3.0.0
- Tokenizers: 0.20.0
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}