|
--- |
|
tags: |
|
- sentence-transformers |
|
- sentence-similarity |
|
- feature-extraction |
|
- generated_from_trainer |
|
- dataset_size:20000 |
|
- loss:RZTKMatryoshka2dLoss |
|
base_model: intfloat/multilingual-e5-base |
|
widget: |
|
- source_sentence: 'query: ба7кетка' |
|
sentences: |
|
- 'passage: Форми та деко для випікання Empire Можна мити в посудомийній машині |
|
Так Форма Фігурна Матеріал Вуглецева сталь Антипригарне покриття З внутрішнім |
|
антипригарним покриттям Колір Сірий' |
|
- 'passage: Банкетка-пуфик кованый Метал Арт "Ламия"' |
|
- 'passage: Повідці для тварин Fox Колір Рожевий Матеріал Нейлон Тип Повідець-рулетка |
|
Призначення Для собак' |
|
- source_sentence: 'query: мужские шлепанфы' |
|
sentences: |
|
- 'passage: Блоки живлення Thermaltake Гарантія 24 місяці Потужність 600 Вт Особливі |
|
властивості Підсвітка Роз''єм живлення процесора 1x4+4pin Кількість роз''ємів |
|
додаткового живлення для відеокарт 4 Тип роз''ємів додаткового живлення для відеокарт |
|
4x(6+2pin) Кількість вантажних місць 1 Країна реєстрації бренда Китай (Тайвань) |
|
Кількість предметів, шт 1 Форм-фактор ATX (PS/2) Підтримка 80 PLUS 80 PLUS Gold |
|
Живлення материнської плати 24 pin Модуль PFC Активний Тип Комп''ютерний Тип Для |
|
геймерів Країна-виробник товару Китай теги Для GTX 1060 теги Прості теги Для GTX |
|
1080 ti Тип гарантійного талона Гарантійний талон магазина Технології захисту |
|
Захист від перевантаження (OPP) Технології захисту Захист від перевантаження через |
|
струм (OCP) Технології захисту Захист від перегрівання (OTP) Технології захисту |
|
Захист від перепадів напруги (OVP/UVP) Технології захисту Захист від короткого |
|
замикання (SCP) Кількість SATA роз''ємів 9 Система охолодження Активна Діаметр |
|
вентилятора, мм 140' |
|
- 'passage: Блоки живлення MSI Гарантія 5 років Потужність 1000 Вт Особливі властивості |
|
Модульні (з відстібними дротами) Роз''єм живлення процесора 2x4+4pin Кількість |
|
роз''ємів додаткового живлення для відеокарт 7 Тип роз''ємів додаткового живлення |
|
для відеокарт 7x(6+2pin) Форм-фактор ATX Підтримка 80 PLUS 80 PLUS Gold Живлення |
|
материнської плати 20+4 pin Модуль PFC Активний Тип Комп''ютерний Технології захисту |
|
Захист від перепадів напруги (OVP/UVP) Технології захисту Захист від перевантаження |
|
(OPP) Технології захисту Захист від короткого замикання (SCP) Технології захисту |
|
Захист від перевантаження через струм (OCP) Технології захисту Захист від перегрівання |
|
(OTP) Кількість SATA роз''ємів 12' |
|
- 'passage: Мужские шлепанцы ARTIGIANO Цвет Светло-коричневый Материал верха Кожа |
|
Материал подкладки Натуральная кожа Материал подошвы Термополиуретан Размер 42 |
|
Сезон Летний Количество грузовых мест 1 Страна регистрации бренда Турция Страна-производитель |
|
товара Турция Назначение Для повседневной носки' |
|
- source_sentence: 'query: видеокарты' |
|
sentences: |
|
- 'passage: Гумки для фітнесу Lpowex 5 в 1 Різнокольорові' |
|
- 'passage: Шланг високого тиску Intertool армований 10 x 17 мм 10 м (PT-1734)' |
|
- 'passage: Видеокарты ASUS Гарантия 36 месяцев Графический чип R5 230 Интерфейс |
|
PCI Express 2.0 x16 Максимально поддерживаемое разрешение 2560x1600 Поддерживаемые |
|
3D API DirectX 11, OpenGL 4.1 Объем памяти 1 ГБ Семейство графического процессора |
|
AMD/ATI Radeon Разрядность шины памяти 64 бит Тип системы охлаждения Пассивная |
|
Назначение Обычные Поддержка DirectX 11 Есть Тип памяти GDDR3 Разъемы VGA Разъемы |
|
HDMI Разъемы DVI Дополнительное питание Нет Количество грузовых мест 1 Страна |
|
регистрации бренда Китай (Тайвань) Страна-производитель товара Китай теги Хорошие |
|
теги В кредит теги бюджетные Форм-фактор Низкопрофильная Горячая линия производителя ASUS |
|
+38 044 545-77-27 Пн - Пт, 09:00-18:00 Тип гарантийного талона Гарантийный талон |
|
магазина Возможность доставки Почтоматы Производитель графического процессора |
|
AMD' |
|
- source_sentence: 'query: лента для фитнеса' |
|
sentences: |
|
- 'passage: Электропилы Machtz Гарантия 24 месяца Страна регистрации бренда Германия |
|
Теги недорогие Теги профессиональные Особенности Плавный пуск Особенности Блокировка |
|
кнопки включения Особенности Автоматическая смазка цепи' |
|
- 'passage: Еспандери Perto Гарантія 14 днів Кількість вантажних місць 1 Країна |
|
реєстрації бренда Україна Кількість предметів, шт 4 Рівень навантаження еспандера |
|
13 Країна-виробник товару Китай Тип гарантійного талона Гарантія по чеку Тип Стрічкові |
|
Застосування Універсальні Тип навантаження Розтягування Вікова категорія One size |
|
Доставка Доставка в магазини ROZETKA ТЕГИ для спорту ТЕГИ резинка для качання |
|
м''язів ТЕГИ для схуднення ТЕГИ резинка для вправ ТЕГИ для фітнесу ТЕГИ для початківців |
|
ТЕГИ стрічки для силових тренувань ТЕГИ для розминки' |
|
- 'passage: Радиоуправляемые игрушки UKC Гарантия 14 дней Тип Роботы Цвет Белый |
|
Количество грузовых мест 1' |
|
- source_sentence: 'query: садовые качели' |
|
sentences: |
|
- 'passage: Еспандери Profi Країна реєстрації бренда Китай Країна-виробник товару |
|
Китай Тип Стрічкові ТЕГИ еластичний еспандер ТЕГИ резинка для качання м''язів |
|
ТЕГИ стрічки для силових тренувань ТЕГИ резинки для фітнесу довгі ТЕГИ для розминки |
|
ТЕГИ для спорту ТЕГИ резинка для вправ ТЕГИ для фітнесу ТЕГИ резинка для занять |
|
ТЕГИ резинка для залу ТЕГИ для початківців ТЕГИ для схуднення ТЕГИ резинки для |
|
фітнесу широкі' |
|
- 'passage: Садовые качели Фортнокс Гарантия 14 дней Цвет Коричневый Количество |
|
грузовых мест 1 Страна регистрации бренда Украина Тип Матрасы/подушки Количество |
|
предметов, шт 1 Материал обивки Ткань Страна-производитель товара Украина Тип |
|
гарантийного талона Гарантия по чеку Доставка Доставка в магазины ROZETKA' |
|
- 'passage: Видеокарта INNO3D PCI-Ex GeForce GTX 1070 Ti iChill HerculeZ X4 8GB |
|
GDDR5 (256bit) (1607/8000) (DVI, HDMI, 3 x DisplayPort) (C107T4-1SDN-P5DN)' |
|
pipeline_tag: sentence-similarity |
|
library_name: sentence-transformers |
|
metrics: |
|
- dot_accuracy@1 |
|
- dot_accuracy@3 |
|
- dot_accuracy@5 |
|
- dot_accuracy@10 |
|
- dot_precision@1 |
|
- dot_precision@3 |
|
- dot_precision@5 |
|
- dot_precision@10 |
|
- dot_recall@1 |
|
- dot_recall@3 |
|
- dot_recall@5 |
|
- dot_recall@10 |
|
- dot_ndcg@10 |
|
- dot_mrr@10 |
|
- dot_map@100 |
|
- dot_ndcg@1 |
|
- dot_mrr@1 |
|
- avg--matryoshka_dim-768--_dot_accuracy@1 |
|
- avg--matryoshka_dim-768--_dot_precision@1 |
|
- avg--matryoshka_dim-768--_dot_recall@1 |
|
- avg--matryoshka_dim-768--_dot_ndcg@1 |
|
- avg--matryoshka_dim-768--_dot_mrr@1 |
|
- avg--matryoshka_dim-768--_dot_map@100 |
|
- avg--matryoshka_dim-512--_dot_accuracy@1 |
|
- avg--matryoshka_dim-512--_dot_precision@1 |
|
- avg--matryoshka_dim-512--_dot_recall@1 |
|
- avg--matryoshka_dim-512--_dot_ndcg@1 |
|
- avg--matryoshka_dim-512--_dot_mrr@1 |
|
- avg--matryoshka_dim-512--_dot_map@100 |
|
- avg--matryoshka_dim-256--_dot_accuracy@1 |
|
- avg--matryoshka_dim-256--_dot_precision@1 |
|
- avg--matryoshka_dim-256--_dot_recall@1 |
|
- avg--matryoshka_dim-256--_dot_ndcg@1 |
|
- avg--matryoshka_dim-256--_dot_mrr@1 |
|
- avg--matryoshka_dim-256--_dot_map@100 |
|
- avg--matryoshka_dim-128--_dot_accuracy@1 |
|
- avg--matryoshka_dim-128--_dot_precision@1 |
|
- avg--matryoshka_dim-128--_dot_recall@1 |
|
- avg--matryoshka_dim-128--_dot_ndcg@1 |
|
- avg--matryoshka_dim-128--_dot_mrr@1 |
|
- avg--matryoshka_dim-128--_dot_map@100 |
|
model-index: |
|
- name: SentenceTransformer based on intfloat/multilingual-e5-base |
|
results: |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: core uk title |
|
type: core-uk-title |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.5636550308008214 |
|
name: Dot Accuracy@1 |
|
- type: dot_accuracy@3 |
|
value: 0.7813141683778234 |
|
name: Dot Accuracy@3 |
|
- type: dot_accuracy@5 |
|
value: 0.8613963039014374 |
|
name: Dot Accuracy@5 |
|
- type: dot_accuracy@10 |
|
value: 0.9219712525667351 |
|
name: Dot Accuracy@10 |
|
- type: dot_precision@1 |
|
value: 0.5636550308008214 |
|
name: Dot Precision@1 |
|
- type: dot_precision@3 |
|
value: 0.5441478439425051 |
|
name: Dot Precision@3 |
|
- type: dot_precision@5 |
|
value: 0.5250513347022587 |
|
name: Dot Precision@5 |
|
- type: dot_precision@10 |
|
value: 0.4309034907597536 |
|
name: Dot Precision@10 |
|
- type: dot_recall@1 |
|
value: 0.056669250747641856 |
|
name: Dot Recall@1 |
|
- type: dot_recall@3 |
|
value: 0.16368279641470845 |
|
name: Dot Recall@3 |
|
- type: dot_recall@5 |
|
value: 0.26202782442892963 |
|
name: Dot Recall@5 |
|
- type: dot_recall@10 |
|
value: 0.42164846475678097 |
|
name: Dot Recall@10 |
|
- type: dot_ndcg@10 |
|
value: 0.48870705750479365 |
|
name: Dot Ndcg@10 |
|
- type: dot_mrr@10 |
|
value: 0.6871989178970699 |
|
name: Dot Mrr@10 |
|
- type: dot_map@100 |
|
value: 0.4334566723391573 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: core uk options |
|
type: core-uk-options |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.2813141683778234 |
|
name: Dot Accuracy@1 |
|
- type: dot_accuracy@3 |
|
value: 0.45790554414784396 |
|
name: Dot Accuracy@3 |
|
- type: dot_accuracy@5 |
|
value: 0.5462012320328542 |
|
name: Dot Accuracy@5 |
|
- type: dot_accuracy@10 |
|
value: 0.6704312114989733 |
|
name: Dot Accuracy@10 |
|
- type: dot_precision@1 |
|
value: 0.2813141683778234 |
|
name: Dot Precision@1 |
|
- type: dot_precision@3 |
|
value: 0.2655715263518138 |
|
name: Dot Precision@3 |
|
- type: dot_precision@5 |
|
value: 0.2537987679671458 |
|
name: Dot Precision@5 |
|
- type: dot_precision@10 |
|
value: 0.22597535934291582 |
|
name: Dot Precision@10 |
|
- type: dot_recall@1 |
|
value: 0.02771316762514371 |
|
name: Dot Recall@1 |
|
- type: dot_recall@3 |
|
value: 0.0787562178966636 |
|
name: Dot Recall@3 |
|
- type: dot_recall@5 |
|
value: 0.12474162106364063 |
|
name: Dot Recall@5 |
|
- type: dot_recall@10 |
|
value: 0.2188411214176705 |
|
name: Dot Recall@10 |
|
- type: dot_ndcg@10 |
|
value: 0.24913193591618557 |
|
name: Dot Ndcg@10 |
|
- type: dot_mrr@10 |
|
value: 0.39500220005866815 |
|
name: Dot Mrr@10 |
|
- type: dot_map@100 |
|
value: 0.2354799456505539 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: core ru title |
|
type: core-ru-title |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.6098562628336756 |
|
name: Dot Accuracy@1 |
|
- type: dot_accuracy@3 |
|
value: 0.8069815195071869 |
|
name: Dot Accuracy@3 |
|
- type: dot_accuracy@5 |
|
value: 0.8685831622176592 |
|
name: Dot Accuracy@5 |
|
- type: dot_accuracy@10 |
|
value: 0.9301848049281314 |
|
name: Dot Accuracy@10 |
|
- type: dot_precision@1 |
|
value: 0.6098562628336756 |
|
name: Dot Precision@1 |
|
- type: dot_precision@3 |
|
value: 0.5811088295687885 |
|
name: Dot Precision@3 |
|
- type: dot_precision@5 |
|
value: 0.5609856262833676 |
|
name: Dot Precision@5 |
|
- type: dot_precision@10 |
|
value: 0.4491786447638604 |
|
name: Dot Precision@10 |
|
- type: dot_recall@1 |
|
value: 0.06239448889074448 |
|
name: Dot Recall@1 |
|
- type: dot_recall@3 |
|
value: 0.17881797310472272 |
|
name: Dot Recall@3 |
|
- type: dot_recall@5 |
|
value: 0.28646098000186654 |
|
name: Dot Recall@5 |
|
- type: dot_recall@10 |
|
value: 0.44703243686967564 |
|
name: Dot Recall@10 |
|
- type: dot_ndcg@10 |
|
value: 0.5170462544306493 |
|
name: Dot Ndcg@10 |
|
- type: dot_mrr@10 |
|
value: 0.7195703366904603 |
|
name: Dot Mrr@10 |
|
- type: dot_map@100 |
|
value: 0.4589675406718082 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: core ru options |
|
type: core-ru-options |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.2648870636550308 |
|
name: Dot Accuracy@1 |
|
- type: dot_accuracy@3 |
|
value: 0.44969199178644764 |
|
name: Dot Accuracy@3 |
|
- type: dot_accuracy@5 |
|
value: 0.5544147843942505 |
|
name: Dot Accuracy@5 |
|
- type: dot_accuracy@10 |
|
value: 0.6745379876796714 |
|
name: Dot Accuracy@10 |
|
- type: dot_precision@1 |
|
value: 0.2648870636550308 |
|
name: Dot Precision@1 |
|
- type: dot_precision@3 |
|
value: 0.2597535934291581 |
|
name: Dot Precision@3 |
|
- type: dot_precision@5 |
|
value: 0.25564681724846 |
|
name: Dot Precision@5 |
|
- type: dot_precision@10 |
|
value: 0.22525667351129364 |
|
name: Dot Precision@10 |
|
- type: dot_recall@1 |
|
value: 0.026731703292882183 |
|
name: Dot Recall@1 |
|
- type: dot_recall@3 |
|
value: 0.07822319873896152 |
|
name: Dot Recall@3 |
|
- type: dot_recall@5 |
|
value: 0.12747608178215739 |
|
name: Dot Recall@5 |
|
- type: dot_recall@10 |
|
value: 0.2228257824767065 |
|
name: Dot Recall@10 |
|
- type: dot_ndcg@10 |
|
value: 0.24764964219955515 |
|
name: Dot Ndcg@10 |
|
- type: dot_mrr@10 |
|
value: 0.3849463022717641 |
|
name: Dot Mrr@10 |
|
- type: dot_map@100 |
|
value: 0.23537321628456406 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: typos uk title |
|
type: typos-uk-title |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.48357289527720737 |
|
name: Dot Accuracy@1 |
|
- type: dot_accuracy@3 |
|
value: 0.7012320328542094 |
|
name: Dot Accuracy@3 |
|
- type: dot_accuracy@5 |
|
value: 0.7772073921971252 |
|
name: Dot Accuracy@5 |
|
- type: dot_accuracy@10 |
|
value: 0.8521560574948666 |
|
name: Dot Accuracy@10 |
|
- type: dot_precision@1 |
|
value: 0.48357289527720737 |
|
name: Dot Precision@1 |
|
- type: dot_precision@3 |
|
value: 0.460643394934976 |
|
name: Dot Precision@3 |
|
- type: dot_precision@5 |
|
value: 0.4404517453798768 |
|
name: Dot Precision@5 |
|
- type: dot_precision@10 |
|
value: 0.36190965092402466 |
|
name: Dot Precision@10 |
|
- type: dot_recall@1 |
|
value: 0.048759847522530216 |
|
name: Dot Recall@1 |
|
- type: dot_recall@3 |
|
value: 0.1389154873860152 |
|
name: Dot Recall@3 |
|
- type: dot_recall@5 |
|
value: 0.22013666250138045 |
|
name: Dot Recall@5 |
|
- type: dot_recall@10 |
|
value: 0.35537591594029566 |
|
name: Dot Recall@10 |
|
- type: dot_ndcg@10 |
|
value: 0.4121053326931487 |
|
name: Dot Ndcg@10 |
|
- type: dot_mrr@10 |
|
value: 0.6054524787327663 |
|
name: Dot Mrr@10 |
|
- type: dot_map@100 |
|
value: 0.3563610624902255 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: typos uk options |
|
type: typos-uk-options |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.24537987679671458 |
|
name: Dot Accuracy@1 |
|
- type: dot_accuracy@3 |
|
value: 0.38501026694045176 |
|
name: Dot Accuracy@3 |
|
- type: dot_accuracy@5 |
|
value: 0.4620123203285421 |
|
name: Dot Accuracy@5 |
|
- type: dot_accuracy@10 |
|
value: 0.5852156057494866 |
|
name: Dot Accuracy@10 |
|
- type: dot_precision@1 |
|
value: 0.24537987679671458 |
|
name: Dot Precision@1 |
|
- type: dot_precision@3 |
|
value: 0.22005475701574262 |
|
name: Dot Precision@3 |
|
- type: dot_precision@5 |
|
value: 0.21006160164271045 |
|
name: Dot Precision@5 |
|
- type: dot_precision@10 |
|
value: 0.18778234086242301 |
|
name: Dot Precision@10 |
|
- type: dot_recall@1 |
|
value: 0.02388695079463892 |
|
name: Dot Recall@1 |
|
- type: dot_recall@3 |
|
value: 0.06572512773291853 |
|
name: Dot Recall@3 |
|
- type: dot_recall@5 |
|
value: 0.1036704599536765 |
|
name: Dot Recall@5 |
|
- type: dot_recall@10 |
|
value: 0.18271556732044109 |
|
name: Dot Recall@10 |
|
- type: dot_ndcg@10 |
|
value: 0.20831828829611182 |
|
name: Dot Ndcg@10 |
|
- type: dot_mrr@10 |
|
value: 0.34078012450702394 |
|
name: Dot Mrr@10 |
|
- type: dot_map@100 |
|
value: 0.19291376020648895 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: typos ru title |
|
type: typos-ru-title |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.526694045174538 |
|
name: Dot Accuracy@1 |
|
- type: dot_accuracy@3 |
|
value: 0.7248459958932238 |
|
name: Dot Accuracy@3 |
|
- type: dot_accuracy@5 |
|
value: 0.797741273100616 |
|
name: Dot Accuracy@5 |
|
- type: dot_accuracy@10 |
|
value: 0.8613963039014374 |
|
name: Dot Accuracy@10 |
|
- type: dot_precision@1 |
|
value: 0.526694045174538 |
|
name: Dot Precision@1 |
|
- type: dot_precision@3 |
|
value: 0.5003422313483914 |
|
name: Dot Precision@3 |
|
- type: dot_precision@5 |
|
value: 0.47741273100616016 |
|
name: Dot Precision@5 |
|
- type: dot_precision@10 |
|
value: 0.3764887063655031 |
|
name: Dot Precision@10 |
|
- type: dot_recall@1 |
|
value: 0.054185029231079485 |
|
name: Dot Recall@1 |
|
- type: dot_recall@3 |
|
value: 0.1545812313500138 |
|
name: Dot Recall@3 |
|
- type: dot_recall@5 |
|
value: 0.2435707611830936 |
|
name: Dot Recall@5 |
|
- type: dot_recall@10 |
|
value: 0.37714019533230797 |
|
name: Dot Recall@10 |
|
- type: dot_ndcg@10 |
|
value: 0.43782606027860554 |
|
name: Dot Ndcg@10 |
|
- type: dot_mrr@10 |
|
value: 0.6382178709950782 |
|
name: Dot Mrr@10 |
|
- type: dot_map@100 |
|
value: 0.3792138240282883 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: typos ru options |
|
type: typos-ru-options |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.22176591375770022 |
|
name: Dot Accuracy@1 |
|
- type: dot_accuracy@3 |
|
value: 0.37474332648870634 |
|
name: Dot Accuracy@3 |
|
- type: dot_accuracy@5 |
|
value: 0.4671457905544148 |
|
name: Dot Accuracy@5 |
|
- type: dot_accuracy@10 |
|
value: 0.5770020533880903 |
|
name: Dot Accuracy@10 |
|
- type: dot_precision@1 |
|
value: 0.22176591375770022 |
|
name: Dot Precision@1 |
|
- type: dot_precision@3 |
|
value: 0.21184120465434633 |
|
name: Dot Precision@3 |
|
- type: dot_precision@5 |
|
value: 0.2051334702258727 |
|
name: Dot Precision@5 |
|
- type: dot_precision@10 |
|
value: 0.17997946611909652 |
|
name: Dot Precision@10 |
|
- type: dot_recall@1 |
|
value: 0.022084905170120777 |
|
name: Dot Recall@1 |
|
- type: dot_recall@3 |
|
value: 0.06382620102649694 |
|
name: Dot Recall@3 |
|
- type: dot_recall@5 |
|
value: 0.10289895747982473 |
|
name: Dot Recall@5 |
|
- type: dot_recall@10 |
|
value: 0.17856531863809313 |
|
name: Dot Recall@10 |
|
- type: dot_ndcg@10 |
|
value: 0.19985599732987902 |
|
name: Dot Ndcg@10 |
|
- type: dot_mrr@10 |
|
value: 0.3241436067924772 |
|
name: Dot Mrr@10 |
|
- type: dot_map@100 |
|
value: 0.18547483715449425 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core uk title matryoshka dim 768 ' |
|
type: core-uk-title--matryoshka_dim-768-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.5636550308008214 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.5636550308008214 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.056669250747641856 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.5636550308008214 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.5636550308008214 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.4334566723391573 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core uk options matryoshka dim 768 ' |
|
type: core-uk-options--matryoshka_dim-768-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.2813141683778234 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.2813141683778234 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.02771316762514371 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.2813141683778234 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.2813141683778234 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.2354799456505539 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core ru title matryoshka dim 768 ' |
|
type: core-ru-title--matryoshka_dim-768-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.6098562628336756 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.6098562628336756 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.06239448889074448 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.6098562628336756 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.6098562628336756 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.4589675406718082 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core ru options matryoshka dim 768 ' |
|
type: core-ru-options--matryoshka_dim-768-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.2648870636550308 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.2648870636550308 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.026731703292882183 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.2648870636550308 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.2648870636550308 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.23537321628456406 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos uk title matryoshka dim 768 ' |
|
type: typos-uk-title--matryoshka_dim-768-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.48357289527720737 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.48357289527720737 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.048759847522530216 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.48357289527720737 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.48357289527720737 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.3563610624902255 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos uk options matryoshka dim 768 ' |
|
type: typos-uk-options--matryoshka_dim-768-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.24537987679671458 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.24537987679671458 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.02388695079463892 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.24537987679671458 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.24537987679671458 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.19291376020648895 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos ru title matryoshka dim 768 ' |
|
type: typos-ru-title--matryoshka_dim-768-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.526694045174538 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.526694045174538 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.054185029231079485 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.526694045174538 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.526694045174538 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.3792138240282883 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos ru options matryoshka dim 768 ' |
|
type: typos-ru-options--matryoshka_dim-768-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.22176591375770022 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.22176591375770022 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.022084905170120777 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.22176591375770022 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.22176591375770022 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.18547483715449425 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core uk title matryoshka dim 512 ' |
|
type: core-uk-title--matryoshka_dim-512-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.5482546201232033 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.5482546201232033 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.05510935302501312 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.5482546201232033 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.5482546201232033 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.41406135884253514 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core uk options matryoshka dim 512 ' |
|
type: core-uk-options--matryoshka_dim-512-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.25667351129363447 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.25667351129363447 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.025196252510088724 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.25667351129363447 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.25667351129363447 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.22352007565947246 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core ru title matryoshka dim 512 ' |
|
type: core-ru-title--matryoshka_dim-512-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.5862422997946611 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.5862422997946611 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.060585035661282795 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.5862422997946611 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.5862422997946611 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.4412021814416918 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core ru options matryoshka dim 512 ' |
|
type: core-ru-options--matryoshka_dim-512-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.2587268993839836 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.2587268993839836 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.02606732945089027 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.2587268993839836 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.2587268993839836 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.22770873319640578 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos uk title matryoshka dim 512 ' |
|
type: typos-uk-title--matryoshka_dim-512-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.4671457905544148 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.4671457905544148 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.04687585669286358 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.4671457905544148 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.4671457905544148 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.3360733164515791 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos uk options matryoshka dim 512 ' |
|
type: typos-uk-options--matryoshka_dim-512-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.21868583162217659 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.21868583162217659 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.02159985134378177 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.21868583162217659 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.21868583162217659 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.1788149796862516 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos ru title matryoshka dim 512 ' |
|
type: typos-ru-title--matryoshka_dim-512-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.5143737166324436 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.5143737166324436 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.05308123442031523 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.5143737166324436 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.5143737166324436 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.36149722038128135 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos ru options matryoshka dim 512 ' |
|
type: typos-ru-options--matryoshka_dim-512-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.21765913757700206 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.21765913757700206 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.02138869429680518 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.21765913757700206 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.21765913757700206 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.17773792043579667 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core uk title matryoshka dim 256 ' |
|
type: core-uk-title--matryoshka_dim-256-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.5184804928131417 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.5184804928131417 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.05206731891265048 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.5184804928131417 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.5184804928131417 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.36749292627875024 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core uk options matryoshka dim 256 ' |
|
type: core-uk-options--matryoshka_dim-256-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.21560574948665298 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.21560574948665298 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.021176806293517248 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.21560574948665298 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.21560574948665298 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.18418804250402207 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core ru title matryoshka dim 256 ' |
|
type: core-ru-title--matryoshka_dim-256-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.553388090349076 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.553388090349076 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.056813837643346035 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.553388090349076 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.553388090349076 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.39399753771974827 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core ru options matryoshka dim 256 ' |
|
type: core-ru-options--matryoshka_dim-256-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.2135523613963039 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.2135523613963039 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.021783322048299702 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.2135523613963039 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.2135523613963039 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.188008273726993 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos uk title matryoshka dim 256 ' |
|
type: typos-uk-title--matryoshka_dim-256-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.4209445585215606 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.4209445585215606 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.04253948364046202 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.4209445585215606 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.4209445585215606 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.28228040765047097 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos uk options matryoshka dim 256 ' |
|
type: typos-uk-options--matryoshka_dim-256-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.18993839835728954 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.18993839835728954 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.01889805280009411 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.18993839835728954 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.18993839835728954 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.14304592636000613 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos ru title matryoshka dim 256 ' |
|
type: typos-ru-title--matryoshka_dim-256-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.44763860369609854 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.44763860369609854 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.04626742493257169 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.44763860369609854 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.44763860369609854 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.3084357137318868 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos ru options matryoshka dim 256 ' |
|
type: typos-ru-options--matryoshka_dim-256-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.1673511293634497 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.1673511293634497 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.01656977946762341 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.1673511293634497 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.1673511293634497 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.1424634309575395 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core uk title matryoshka dim 128 ' |
|
type: core-uk-title--matryoshka_dim-128-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.44763860369609854 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.44763860369609854 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.045333851604234504 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.44763860369609854 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.44763860369609854 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.3064769063721133 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core uk options matryoshka dim 128 ' |
|
type: core-uk-options--matryoshka_dim-128-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.1673511293634497 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.1673511293634497 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.01671324667534959 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.1673511293634497 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.1673511293634497 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.1333697110354052 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core ru title matryoshka dim 128 ' |
|
type: core-ru-title--matryoshka_dim-128-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.4989733059548255 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.4989733059548255 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.05141558174080218 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.4989733059548255 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.4989733059548255 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.32743609790439665 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'core ru options matryoshka dim 128 ' |
|
type: core-ru-options--matryoshka_dim-128-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.16427104722792607 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.16427104722792607 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.016753150454382488 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.16427104722792607 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.16427104722792607 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.13100600867206844 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos uk title matryoshka dim 128 ' |
|
type: typos-uk-title--matryoshka_dim-128-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.33572895277207393 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.33572895277207393 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.03421740944766069 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.33572895277207393 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.33572895277207393 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.21630861317926925 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos uk options matryoshka dim 128 ' |
|
type: typos-uk-options--matryoshka_dim-128-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.12833675564681724 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.12833675564681724 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.012732813900678376 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.12833675564681724 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.12833675564681724 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.09542688472768034 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos ru title matryoshka dim 128 ' |
|
type: typos-ru-title--matryoshka_dim-128-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.35523613963039014 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.35523613963039014 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.03722197716792475 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.35523613963039014 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.35523613963039014 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.23238903238035286 |
|
name: Dot Map@100 |
|
- task: |
|
type: information-retrieval |
|
name: Information Retrieval |
|
dataset: |
|
name: 'typos ru options matryoshka dim 128 ' |
|
type: typos-ru-options--matryoshka_dim-128-- |
|
metrics: |
|
- type: dot_accuracy@1 |
|
value: 0.12422997946611909 |
|
name: Dot Accuracy@1 |
|
- type: dot_precision@1 |
|
value: 0.12422997946611909 |
|
name: Dot Precision@1 |
|
- type: dot_recall@1 |
|
value: 0.01256810438021937 |
|
name: Dot Recall@1 |
|
- type: dot_ndcg@1 |
|
value: 0.12422997946611909 |
|
name: Dot Ndcg@1 |
|
- type: dot_mrr@1 |
|
value: 0.12422997946611909 |
|
name: Dot Mrr@1 |
|
- type: dot_map@100 |
|
value: 0.09132750319576456 |
|
name: Dot Map@100 |
|
- task: |
|
type: sequential |
|
name: Sequential |
|
dataset: |
|
name: full benchmark |
|
type: full-benchmark |
|
metrics: |
|
- type: avg--matryoshka_dim-768--_dot_accuracy@1 |
|
value: 0.3996406570841889 |
|
name: Avg--Matryoshka Dim-768-- Dot Accuracy@1 |
|
- type: avg--matryoshka_dim-768--_dot_precision@1 |
|
value: 0.3996406570841889 |
|
name: Avg--Matryoshka Dim-768-- Dot Precision@1 |
|
- type: avg--matryoshka_dim-768--_dot_recall@1 |
|
value: 0.0403031679093477 |
|
name: Avg--Matryoshka Dim-768-- Dot Recall@1 |
|
- type: avg--matryoshka_dim-768--_dot_ndcg@1 |
|
value: 0.3996406570841889 |
|
name: Avg--Matryoshka Dim-768-- Dot Ndcg@1 |
|
- type: avg--matryoshka_dim-768--_dot_mrr@1 |
|
value: 0.3996406570841889 |
|
name: Avg--Matryoshka Dim-768-- Dot Mrr@1 |
|
- type: avg--matryoshka_dim-768--_dot_map@100 |
|
value: 0.30965510735319757 |
|
name: Avg--Matryoshka Dim-768-- Dot Map@100 |
|
- type: avg--matryoshka_dim-512--_dot_accuracy@1 |
|
value: 0.3834702258726899 |
|
name: Avg--Matryoshka Dim-512-- Dot Accuracy@1 |
|
- type: avg--matryoshka_dim-512--_dot_precision@1 |
|
value: 0.3834702258726899 |
|
name: Avg--Matryoshka Dim-512-- Dot Precision@1 |
|
- type: avg--matryoshka_dim-512--_dot_recall@1 |
|
value: 0.038737950925130084 |
|
name: Avg--Matryoshka Dim-512-- Dot Recall@1 |
|
- type: avg--matryoshka_dim-512--_dot_ndcg@1 |
|
value: 0.3834702258726899 |
|
name: Avg--Matryoshka Dim-512-- Dot Ndcg@1 |
|
- type: avg--matryoshka_dim-512--_dot_mrr@1 |
|
value: 0.3834702258726899 |
|
name: Avg--Matryoshka Dim-512-- Dot Mrr@1 |
|
- type: avg--matryoshka_dim-512--_dot_map@100 |
|
value: 0.2950769732618767 |
|
name: Avg--Matryoshka Dim-512-- Dot Map@100 |
|
- type: avg--matryoshka_dim-256--_dot_accuracy@1 |
|
value: 0.3408624229979466 |
|
name: Avg--Matryoshka Dim-256-- Dot Accuracy@1 |
|
- type: avg--matryoshka_dim-256--_dot_precision@1 |
|
value: 0.3408624229979466 |
|
name: Avg--Matryoshka Dim-256-- Dot Precision@1 |
|
- type: avg--matryoshka_dim-256--_dot_recall@1 |
|
value: 0.03451450321732058 |
|
name: Avg--Matryoshka Dim-256-- Dot Recall@1 |
|
- type: avg--matryoshka_dim-256--_dot_ndcg@1 |
|
value: 0.3408624229979466 |
|
name: Avg--Matryoshka Dim-256-- Dot Ndcg@1 |
|
- type: avg--matryoshka_dim-256--_dot_mrr@1 |
|
value: 0.3408624229979466 |
|
name: Avg--Matryoshka Dim-256-- Dot Mrr@1 |
|
- type: avg--matryoshka_dim-256--_dot_map@100 |
|
value: 0.2512390323661771 |
|
name: Avg--Matryoshka Dim-256-- Dot Map@100 |
|
- type: avg--matryoshka_dim-128--_dot_accuracy@1 |
|
value: 0.27772073921971246 |
|
name: Avg--Matryoshka Dim-128-- Dot Accuracy@1 |
|
- type: avg--matryoshka_dim-128--_dot_precision@1 |
|
value: 0.27772073921971246 |
|
name: Avg--Matryoshka Dim-128-- Dot Precision@1 |
|
- type: avg--matryoshka_dim-128--_dot_recall@1 |
|
value: 0.028369516921406494 |
|
name: Avg--Matryoshka Dim-128-- Dot Recall@1 |
|
- type: avg--matryoshka_dim-128--_dot_ndcg@1 |
|
value: 0.27772073921971246 |
|
name: Avg--Matryoshka Dim-128-- Dot Ndcg@1 |
|
- type: avg--matryoshka_dim-128--_dot_mrr@1 |
|
value: 0.27772073921971246 |
|
name: Avg--Matryoshka Dim-128-- Dot Mrr@1 |
|
- type: avg--matryoshka_dim-128--_dot_map@100 |
|
value: 0.19171759468338131 |
|
name: Avg--Matryoshka Dim-128-- Dot Map@100 |
|
--- |
|
|
|
# SentenceTransformer based on intfloat/multilingual-e5-base |
|
|
|
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) on the core and typos datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. |
|
|
|
## Model Details |
|
|
|
### Model Description |
|
- **Model Type:** Sentence Transformer |
|
- **Base model:** [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) <!-- at revision d13f1b27baf31030b7fd040960d60d909913633f --> |
|
- **Maximum Sequence Length:** 512 tokens |
|
- **Output Dimensionality:** 768 dimensions |
|
- **Similarity Function:** Dot Product |
|
- **Training Datasets:** |
|
- core |
|
- typos |
|
<!-- - **Language:** Unknown --> |
|
<!-- - **License:** Unknown --> |
|
|
|
### Model Sources |
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) |
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) |
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) |
|
|
|
### Full Model Architecture |
|
|
|
``` |
|
RZTKSentenceTransformer( |
|
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel |
|
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) |
|
(2): Normalize() |
|
) |
|
``` |
|
|
|
## Usage |
|
|
|
### Direct Usage (Sentence Transformers) |
|
|
|
First install the Sentence Transformers library: |
|
|
|
```bash |
|
pip install -U sentence-transformers |
|
``` |
|
|
|
Then you can load this model and run inference. |
|
```python |
|
from sentence_transformers import SentenceTransformer |
|
|
|
# Download from the 🤗 Hub |
|
model = SentenceTransformer("yklymchuk-rztk/multiple-datasets-test-v3") |
|
# Run inference |
|
sentences = [ |
|
'query: садовые качели', |
|
'passage: Садовые качели Фортнокс Гарантия 14 дней Цвет Коричневый Количество грузовых мест 1 Страна регистрации бренда Украина Тип Матрасы/подушки Количество предметов, шт 1 Материал обивки Ткань Страна-производитель товара Украина Тип гарантийного талона Гарантия по чеку Доставка Доставка в магазины ROZETKA', |
|
'passage: Видеокарта INNO3D PCI-Ex GeForce GTX 1070 Ti iChill HerculeZ X4 8GB GDDR5 (256bit) (1607/8000) (DVI, HDMI, 3 x DisplayPort) (C107T4-1SDN-P5DN)', |
|
] |
|
embeddings = model.encode(sentences) |
|
print(embeddings.shape) |
|
# [3, 768] |
|
|
|
# Get the similarity scores for the embeddings |
|
similarities = model.similarity(embeddings, embeddings) |
|
print(similarities.shape) |
|
# [3, 3] |
|
``` |
|
|
|
<!-- |
|
### Direct Usage (Transformers) |
|
|
|
<details><summary>Click to see the direct usage in Transformers</summary> |
|
|
|
</details> |
|
--> |
|
|
|
<!-- |
|
### Downstream Usage (Sentence Transformers) |
|
|
|
You can finetune this model on your own dataset. |
|
|
|
<details><summary>Click to expand</summary> |
|
|
|
</details> |
|
--> |
|
|
|
<!-- |
|
### Out-of-Scope Use |
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.* |
|
--> |
|
|
|
## Evaluation |
|
|
|
### Metrics |
|
|
|
#### Information Retrieval |
|
|
|
* Datasets: `core-uk-title`, `core-uk-options`, `core-ru-title`, `core-ru-options`, `typos-uk-title`, `typos-uk-options`, `typos-ru-title` and `typos-ru-options` |
|
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) |
|
|
|
| Metric | core-uk-title | core-uk-options | core-ru-title | core-ru-options | typos-uk-title | typos-uk-options | typos-ru-title | typos-ru-options | |
|
|:-----------------|:--------------|:----------------|:--------------|:----------------|:---------------|:-----------------|:---------------|:-----------------| |
|
| dot_accuracy@1 | 0.5637 | 0.2813 | 0.6099 | 0.2649 | 0.4836 | 0.2454 | 0.5267 | 0.2218 | |
|
| dot_accuracy@3 | 0.7813 | 0.4579 | 0.807 | 0.4497 | 0.7012 | 0.385 | 0.7248 | 0.3747 | |
|
| dot_accuracy@5 | 0.8614 | 0.5462 | 0.8686 | 0.5544 | 0.7772 | 0.462 | 0.7977 | 0.4671 | |
|
| dot_accuracy@10 | 0.922 | 0.6704 | 0.9302 | 0.6745 | 0.8522 | 0.5852 | 0.8614 | 0.577 | |
|
| dot_precision@1 | 0.5637 | 0.2813 | 0.6099 | 0.2649 | 0.4836 | 0.2454 | 0.5267 | 0.2218 | |
|
| dot_precision@3 | 0.5441 | 0.2656 | 0.5811 | 0.2598 | 0.4606 | 0.2201 | 0.5003 | 0.2118 | |
|
| dot_precision@5 | 0.5251 | 0.2538 | 0.561 | 0.2556 | 0.4405 | 0.2101 | 0.4774 | 0.2051 | |
|
| dot_precision@10 | 0.4309 | 0.226 | 0.4492 | 0.2253 | 0.3619 | 0.1878 | 0.3765 | 0.18 | |
|
| dot_recall@1 | 0.0567 | 0.0277 | 0.0624 | 0.0267 | 0.0488 | 0.0239 | 0.0542 | 0.0221 | |
|
| dot_recall@3 | 0.1637 | 0.0788 | 0.1788 | 0.0782 | 0.1389 | 0.0657 | 0.1546 | 0.0638 | |
|
| dot_recall@5 | 0.262 | 0.1247 | 0.2865 | 0.1275 | 0.2201 | 0.1037 | 0.2436 | 0.1029 | |
|
| dot_recall@10 | 0.4216 | 0.2188 | 0.447 | 0.2228 | 0.3554 | 0.1827 | 0.3771 | 0.1786 | |
|
| **dot_ndcg@10** | **0.4887** | **0.2491** | **0.517** | **0.2476** | **0.4121** | **0.2083** | **0.4378** | **0.1999** | |
|
| dot_mrr@10 | 0.6872 | 0.395 | 0.7196 | 0.3849 | 0.6055 | 0.3408 | 0.6382 | 0.3241 | |
|
| dot_map@100 | 0.4335 | 0.2355 | 0.459 | 0.2354 | 0.3564 | 0.1929 | 0.3792 | 0.1855 | |
|
|
|
#### Information Retrieval |
|
|
|
* Datasets: `core-uk-title--matryoshka_dim-768--`, `core-uk-options--matryoshka_dim-768--`, `core-ru-title--matryoshka_dim-768--`, `core-ru-options--matryoshka_dim-768--`, `typos-uk-title--matryoshka_dim-768--`, `typos-uk-options--matryoshka_dim-768--`, `typos-ru-title--matryoshka_dim-768--`, `typos-ru-options--matryoshka_dim-768--`, `core-uk-title--matryoshka_dim-512--`, `core-uk-options--matryoshka_dim-512--`, `core-ru-title--matryoshka_dim-512--`, `core-ru-options--matryoshka_dim-512--`, `typos-uk-title--matryoshka_dim-512--`, `typos-uk-options--matryoshka_dim-512--`, `typos-ru-title--matryoshka_dim-512--`, `typos-ru-options--matryoshka_dim-512--`, `core-uk-title--matryoshka_dim-256--`, `core-uk-options--matryoshka_dim-256--`, `core-ru-title--matryoshka_dim-256--`, `core-ru-options--matryoshka_dim-256--`, `typos-uk-title--matryoshka_dim-256--`, `typos-uk-options--matryoshka_dim-256--`, `typos-ru-title--matryoshka_dim-256--`, `typos-ru-options--matryoshka_dim-256--`, `core-uk-title--matryoshka_dim-128--`, `core-uk-options--matryoshka_dim-128--`, `core-ru-title--matryoshka_dim-128--`, `core-ru-options--matryoshka_dim-128--`, `typos-uk-title--matryoshka_dim-128--`, `typos-uk-options--matryoshka_dim-128--`, `typos-ru-title--matryoshka_dim-128--` and `typos-ru-options--matryoshka_dim-128--` |
|
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) |
|
|
|
| Metric | core-uk-title--matryoshka_dim-768-- | core-uk-options--matryoshka_dim-768-- | core-ru-title--matryoshka_dim-768-- | core-ru-options--matryoshka_dim-768-- | typos-uk-title--matryoshka_dim-768-- | typos-uk-options--matryoshka_dim-768-- | typos-ru-title--matryoshka_dim-768-- | typos-ru-options--matryoshka_dim-768-- | core-uk-title--matryoshka_dim-512-- | core-uk-options--matryoshka_dim-512-- | core-ru-title--matryoshka_dim-512-- | core-ru-options--matryoshka_dim-512-- | typos-uk-title--matryoshka_dim-512-- | typos-uk-options--matryoshka_dim-512-- | typos-ru-title--matryoshka_dim-512-- | typos-ru-options--matryoshka_dim-512-- | core-uk-title--matryoshka_dim-256-- | core-uk-options--matryoshka_dim-256-- | core-ru-title--matryoshka_dim-256-- | core-ru-options--matryoshka_dim-256-- | typos-uk-title--matryoshka_dim-256-- | typos-uk-options--matryoshka_dim-256-- | typos-ru-title--matryoshka_dim-256-- | typos-ru-options--matryoshka_dim-256-- | core-uk-title--matryoshka_dim-128-- | core-uk-options--matryoshka_dim-128-- | core-ru-title--matryoshka_dim-128-- | core-ru-options--matryoshka_dim-128-- | typos-uk-title--matryoshka_dim-128-- | typos-uk-options--matryoshka_dim-128-- | typos-ru-title--matryoshka_dim-128-- | typos-ru-options--matryoshka_dim-128-- | |
|
|:----------------|:------------------------------------|:--------------------------------------|:------------------------------------|:--------------------------------------|:-------------------------------------|:---------------------------------------|:-------------------------------------|:---------------------------------------|:------------------------------------|:--------------------------------------|:------------------------------------|:--------------------------------------|:-------------------------------------|:---------------------------------------|:-------------------------------------|:---------------------------------------|:------------------------------------|:--------------------------------------|:------------------------------------|:--------------------------------------|:-------------------------------------|:---------------------------------------|:-------------------------------------|:---------------------------------------|:------------------------------------|:--------------------------------------|:------------------------------------|:--------------------------------------|:-------------------------------------|:---------------------------------------|:-------------------------------------|:---------------------------------------| |
|
| dot_accuracy@1 | 0.5637 | 0.2813 | 0.6099 | 0.2649 | 0.4836 | 0.2454 | 0.5267 | 0.2218 | 0.5483 | 0.2567 | 0.5862 | 0.2587 | 0.4671 | 0.2187 | 0.5144 | 0.2177 | 0.5185 | 0.2156 | 0.5534 | 0.2136 | 0.4209 | 0.1899 | 0.4476 | 0.1674 | 0.4476 | 0.1674 | 0.499 | 0.1643 | 0.3357 | 0.1283 | 0.3552 | 0.1242 | |
|
| dot_precision@1 | 0.5637 | 0.2813 | 0.6099 | 0.2649 | 0.4836 | 0.2454 | 0.5267 | 0.2218 | 0.5483 | 0.2567 | 0.5862 | 0.2587 | 0.4671 | 0.2187 | 0.5144 | 0.2177 | 0.5185 | 0.2156 | 0.5534 | 0.2136 | 0.4209 | 0.1899 | 0.4476 | 0.1674 | 0.4476 | 0.1674 | 0.499 | 0.1643 | 0.3357 | 0.1283 | 0.3552 | 0.1242 | |
|
| dot_recall@1 | 0.0567 | 0.0277 | 0.0624 | 0.0267 | 0.0488 | 0.0239 | 0.0542 | 0.0221 | 0.0551 | 0.0252 | 0.0606 | 0.0261 | 0.0469 | 0.0216 | 0.0531 | 0.0214 | 0.0521 | 0.0212 | 0.0568 | 0.0218 | 0.0425 | 0.0189 | 0.0463 | 0.0166 | 0.0453 | 0.0167 | 0.0514 | 0.0168 | 0.0342 | 0.0127 | 0.0372 | 0.0126 | |
|
| **dot_ndcg@1** | **0.5637** | **0.2813** | **0.6099** | **0.2649** | **0.4836** | **0.2454** | **0.5267** | **0.2218** | **0.5483** | **0.2567** | **0.5862** | **0.2587** | **0.4671** | **0.2187** | **0.5144** | **0.2177** | **0.5185** | **0.2156** | **0.5534** | **0.2136** | **0.4209** | **0.1899** | **0.4476** | **0.1674** | **0.4476** | **0.1674** | **0.499** | **0.1643** | **0.3357** | **0.1283** | **0.3552** | **0.1242** | |
|
| dot_mrr@1 | 0.5637 | 0.2813 | 0.6099 | 0.2649 | 0.4836 | 0.2454 | 0.5267 | 0.2218 | 0.5483 | 0.2567 | 0.5862 | 0.2587 | 0.4671 | 0.2187 | 0.5144 | 0.2177 | 0.5185 | 0.2156 | 0.5534 | 0.2136 | 0.4209 | 0.1899 | 0.4476 | 0.1674 | 0.4476 | 0.1674 | 0.499 | 0.1643 | 0.3357 | 0.1283 | 0.3552 | 0.1242 | |
|
| dot_map@100 | 0.4335 | 0.2355 | 0.459 | 0.2354 | 0.3564 | 0.1929 | 0.3792 | 0.1855 | 0.4141 | 0.2235 | 0.4412 | 0.2277 | 0.3361 | 0.1788 | 0.3615 | 0.1777 | 0.3675 | 0.1842 | 0.394 | 0.188 | 0.2823 | 0.143 | 0.3084 | 0.1425 | 0.3065 | 0.1334 | 0.3274 | 0.131 | 0.2163 | 0.0954 | 0.2324 | 0.0913 | |
|
|
|
#### Sequential |
|
|
|
* Dataset: `full-benchmark` |
|
* Evaluated with [<code>SequentialEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.SequentialEvaluator) |
|
|
|
| Metric | Value | |
|
|:------------------------------------------|:-------| |
|
| avg--matryoshka_dim-768--_dot_accuracy@1 | 0.3996 | |
|
| avg--matryoshka_dim-768--_dot_precision@1 | 0.3996 | |
|
| avg--matryoshka_dim-768--_dot_recall@1 | 0.0403 | |
|
| avg--matryoshka_dim-768--_dot_ndcg@1 | 0.3996 | |
|
| avg--matryoshka_dim-768--_dot_mrr@1 | 0.3996 | |
|
| avg--matryoshka_dim-768--_dot_map@100 | 0.3097 | |
|
| avg--matryoshka_dim-512--_dot_accuracy@1 | 0.3835 | |
|
| avg--matryoshka_dim-512--_dot_precision@1 | 0.3835 | |
|
| avg--matryoshka_dim-512--_dot_recall@1 | 0.0387 | |
|
| avg--matryoshka_dim-512--_dot_ndcg@1 | 0.3835 | |
|
| avg--matryoshka_dim-512--_dot_mrr@1 | 0.3835 | |
|
| avg--matryoshka_dim-512--_dot_map@100 | 0.2951 | |
|
| avg--matryoshka_dim-256--_dot_accuracy@1 | 0.3409 | |
|
| avg--matryoshka_dim-256--_dot_precision@1 | 0.3409 | |
|
| avg--matryoshka_dim-256--_dot_recall@1 | 0.0345 | |
|
| avg--matryoshka_dim-256--_dot_ndcg@1 | 0.3409 | |
|
| avg--matryoshka_dim-256--_dot_mrr@1 | 0.3409 | |
|
| avg--matryoshka_dim-256--_dot_map@100 | 0.2512 | |
|
| avg--matryoshka_dim-128--_dot_accuracy@1 | 0.2777 | |
|
| avg--matryoshka_dim-128--_dot_precision@1 | 0.2777 | |
|
| avg--matryoshka_dim-128--_dot_recall@1 | 0.0284 | |
|
| avg--matryoshka_dim-128--_dot_ndcg@1 | 0.2777 | |
|
| avg--matryoshka_dim-128--_dot_mrr@1 | 0.2777 | |
|
| avg--matryoshka_dim-128--_dot_map@100 | 0.1917 | |
|
|
|
<!-- |
|
## Bias, Risks and Limitations |
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* |
|
--> |
|
|
|
<!-- |
|
### Recommendations |
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* |
|
--> |
|
|
|
## Training Details |
|
|
|
### Training Datasets |
|
|
|
#### core |
|
|
|
* Dataset: core |
|
* Size: 10,000 training samples |
|
* Columns: <code>query</code> and <code>text</code> |
|
* Approximate statistics based on the first 1000 samples: |
|
| | query | text | |
|
|:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| |
|
| type | string | string | |
|
| details | <ul><li>min: 7 tokens</li><li>mean: 9.95 tokens</li><li>max: 21 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 55.92 tokens</li><li>max: 512 tokens</li></ul> | |
|
* Samples: |
|
| query | text | |
|
|:----------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>query: la roche posa</code> | <code>passage: Сироватка для обличчя La Roche-Posay Клас косметики Дерматокосметика Час застосування Універсально Вік Від 18 Стать Для чоловіків Стать Для жінок Кількість вантажних місць 1 Країна реєстрації бренда Франція Кількість предметів, шт 1 Країна-виробник товару Франція Об'єм 30 мл Формат Флакон Домішки Гліцерин Домішки Ретинол Домішки Ніацинамід Сфера застосування Обличчя Дія Вирівнює тон Тип шкіри Для всіх типів Призначення Проти перших ознак старіння Можливість доставки Почтомати Доставка Готовий до відправлення Доставка Доставка в магазини ROZETKA</code> | |
|
| <code>query: la roche posa</code> | <code>passage: Пребіотичний зволожувальний крем La Roche-Posay Toleriane Sensitive Зменшення чутливості шкіри 40 мл (3337875578486)</code> | |
|
| <code>query: la roche posa</code> | <code>passage: Сонцезахисні засоби La Roche-Posay Клас косметики Дерматокосметика Тип засобу Спрей Вид Захисні засоби Ступінь захисту SPF 50 Кількість вантажних місць 1 Країна реєстрації бренда Франція Кількість предметів, шт 1 Серія Anthelios Країна-виробник товару Франція Об'єм 75 мл Сфера застосування Обличчя Тип шкіри Для всіх типів Тип шкіри Нормальна Тип шкіри Жирна Тип шкіри Чутлива Тип гарантійного талона Без гарантійного талона Можливість доставки Почтомати Доставка Доставка в магазини ROZETKA Доставка Готовий до відправлення</code> | |
|
* Loss: <code>sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss</code> with these parameters: |
|
```json |
|
{ |
|
"loss": "RZTKMultipleNegativesRankingLoss", |
|
"n_layers_per_step": 1, |
|
"last_layer_weight": 1.0, |
|
"prior_layers_weight": 1.0, |
|
"kl_div_weight": 1.0, |
|
"kl_temperature": 0.3, |
|
"matryoshka_dims": [ |
|
768, |
|
512, |
|
256, |
|
128 |
|
], |
|
"matryoshka_weights": [ |
|
1, |
|
1, |
|
1, |
|
1 |
|
], |
|
"n_dims_per_step": 1 |
|
} |
|
``` |
|
|
|
#### typos |
|
|
|
* Dataset: typos |
|
* Size: 10,000 training samples |
|
* Columns: <code>query</code> and <code>text</code> |
|
* Approximate statistics based on the first 1000 samples: |
|
| | query | text | |
|
|:--------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| |
|
| type | string | string | |
|
| details | <ul><li>min: 8 tokens</li><li>mean: 10.46 tokens</li><li>max: 16 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 68.69 tokens</li><li>max: 510 tokens</li></ul> | |
|
* Samples: |
|
| query | text | |
|
|:---------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>query: масло ромпшк</code> | <code>passage: Эфирное масло Ароматика Класс косметики Аптечная Количество грузовых мест 1 Страна регистрации бренда Украина Количество предметов, шт 1 Страна-производитель товара Украина Объем 50 мл Вид Ромашки Возможность доставки Почтоматы Доставка Premium Доставка Доставка в магазины ROZETKA Доставка Готов к отправке</code> | |
|
| <code>query: масло ромпшк</code> | <code>passage: Олія Ароматика Ромашкова 50 мл (4820031052436)</code> | |
|
| <code>query: масло ромпшк</code> | <code>passage: Ефірна олія Ароматика Клас косметики Аптечна Кількість вантажних місць 1 Країна реєстрації бренда Україна Кількість предметів, шт 1 Країна-виробник товару Україна Об'єм 50 мл Вид Ромашки Можливість доставки Почтомати Доставка Premium Доставка Доставка в магазини ROZETKA Доставка Готовий до відправлення</code> | |
|
* Loss: <code>sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss</code> with these parameters: |
|
```json |
|
{ |
|
"loss": "RZTKMultipleNegativesRankingLoss", |
|
"n_layers_per_step": 1, |
|
"last_layer_weight": 1.0, |
|
"prior_layers_weight": 1.0, |
|
"kl_div_weight": 1.0, |
|
"kl_temperature": 0.3, |
|
"matryoshka_dims": [ |
|
768, |
|
512, |
|
256, |
|
128 |
|
], |
|
"matryoshka_weights": [ |
|
1, |
|
1, |
|
1, |
|
1 |
|
], |
|
"n_dims_per_step": 1 |
|
} |
|
``` |
|
|
|
### Evaluation Datasets |
|
|
|
#### core |
|
|
|
* Dataset: core |
|
* Size: 10,000 evaluation samples |
|
* Columns: <code>query</code> and <code>text</code> |
|
* Approximate statistics based on the first 1000 samples: |
|
| | query | text | |
|
|:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| |
|
| type | string | string | |
|
| details | <ul><li>min: 6 tokens</li><li>mean: 8.53 tokens</li><li>max: 12 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 78.28 tokens</li><li>max: 332 tokens</li></ul> | |
|
* Samples: |
|
| query | text | |
|
|:-------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>query: корм для собак оптимил</code> | <code>passage: Сухой корм для взрослых собак малых пород Optimeal 4 кг (утка)</code> | |
|
| <code>query: корм для собак оптимил</code> | <code>passage: Корма для собак Optimeal Вид корма Сухой корм Класс корма Супер премиум Возраст собаки Для взрослых собак на всех стадиях жизни Размер животного Средние Назначение Забота о коже и шерсти Вес 1 шт 1.5 кг Страна-производитель товара Украина Доставка Доставка в магазины ROZETKA</code> | |
|
| <code>query: корм для собак оптимил</code> | <code>passage: Корм для собак Optimeal Вид корму Сухий корм Клас корму Суперпреміум Вік собаки Для дорослих собак на всіх стадіях життя Розмір тварини Середні Призначення Основне годування Призначення Для вагітних собак Призначення Для активних собак Призначення Турбота про травлення Призначення Турбота про суглоби Вага 1 шт 4 кг Країна реєстрації бренда Україна Країна-виробник товару Україна</code> | |
|
* Loss: <code>sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss</code> with these parameters: |
|
```json |
|
{ |
|
"loss": "RZTKMultipleNegativesRankingLoss", |
|
"n_layers_per_step": 1, |
|
"last_layer_weight": 1.0, |
|
"prior_layers_weight": 1.0, |
|
"kl_div_weight": 1.0, |
|
"kl_temperature": 0.3, |
|
"matryoshka_dims": [ |
|
768, |
|
512, |
|
256, |
|
128 |
|
], |
|
"matryoshka_weights": [ |
|
1, |
|
1, |
|
1, |
|
1 |
|
], |
|
"n_dims_per_step": 1 |
|
} |
|
``` |
|
|
|
#### typos |
|
|
|
* Dataset: typos |
|
* Size: 10,000 evaluation samples |
|
* Columns: <code>query</code> and <code>text</code> |
|
* Approximate statistics based on the first 1000 samples: |
|
| | query | text | |
|
|:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| |
|
| type | string | string | |
|
| details | <ul><li>min: 8 tokens</li><li>mean: 10.28 tokens</li><li>max: 13 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 61.71 tokens</li><li>max: 297 tokens</li></ul> | |
|
* Samples: |
|
| query | text | |
|
|:-----------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>query: ба7кетка</code> | <code>passage: Банкетки Fenster Гарантия 24 месяца Цвет Дуб Сонома Трюфель Страна-производитель товара Украина Особенности С полками Стиль Лофт Назначение Для прихожей Материал корпуса Металл Материал корпуса ЛДСП</code> | |
|
| <code>query: ба7кетка</code> | <code>passage: Банкетки Metalzavod Гарантія 12 місяців Країна реєстрації бренда Україна Наповнювач Поролон Висота, см 75 Глибина, см 35 Ширина, см 100 Колір Коричнево-сірий Країна-виробник товару Україна Максимальне навантаження, кг 150 Особливості З полицями Матеріал оббивки Велюр Стиль Класичний Призначення Для передпокою Призначення Для офісу Призначення Для вітальні Матеріал корпусу Сталь Ширина спинки, мм 650 Вага, кг 28</code> | |
|
| <code>query: ба7кетка</code> | <code>passage: Банкетка-Фенстер Прем'єра Міні Чорний</code> | |
|
* Loss: <code>sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss</code> with these parameters: |
|
```json |
|
{ |
|
"loss": "RZTKMultipleNegativesRankingLoss", |
|
"n_layers_per_step": 1, |
|
"last_layer_weight": 1.0, |
|
"prior_layers_weight": 1.0, |
|
"kl_div_weight": 1.0, |
|
"kl_temperature": 0.3, |
|
"matryoshka_dims": [ |
|
768, |
|
512, |
|
256, |
|
128 |
|
], |
|
"matryoshka_weights": [ |
|
1, |
|
1, |
|
1, |
|
1 |
|
], |
|
"n_dims_per_step": 1 |
|
} |
|
``` |
|
|
|
### Training Hyperparameters |
|
#### Non-Default Hyperparameters |
|
|
|
- `eval_strategy`: steps |
|
- `per_device_train_batch_size`: 88 |
|
- `per_device_eval_batch_size`: 88 |
|
- `learning_rate`: 2e-05 |
|
- `num_train_epochs`: 1.0 |
|
- `warmup_ratio`: 0.1 |
|
- `bf16`: True |
|
- `bf16_full_eval`: True |
|
- `tf32`: True |
|
- `dataloader_num_workers`: 12 |
|
- `load_best_model_at_end`: True |
|
- `optim`: adafactor |
|
- `push_to_hub`: True |
|
- `hub_model_id`: yklymchuk-rztk/multiple-datasets-test-v3 |
|
- `hub_private_repo`: True |
|
- `prompts`: {'query': 'query: ', 'text': 'passage: '} |
|
- `batch_sampler`: no_duplicates |
|
|
|
#### All Hyperparameters |
|
<details><summary>Click to expand</summary> |
|
|
|
- `overwrite_output_dir`: False |
|
- `do_predict`: False |
|
- `eval_strategy`: steps |
|
- `prediction_loss_only`: True |
|
- `per_device_train_batch_size`: 88 |
|
- `per_device_eval_batch_size`: 88 |
|
- `per_gpu_train_batch_size`: None |
|
- `per_gpu_eval_batch_size`: None |
|
- `gradient_accumulation_steps`: 1 |
|
- `eval_accumulation_steps`: None |
|
- `torch_empty_cache_steps`: None |
|
- `learning_rate`: 2e-05 |
|
- `weight_decay`: 0.0 |
|
- `adam_beta1`: 0.9 |
|
- `adam_beta2`: 0.999 |
|
- `adam_epsilon`: 1e-08 |
|
- `max_grad_norm`: 1.0 |
|
- `num_train_epochs`: 1.0 |
|
- `max_steps`: -1 |
|
- `lr_scheduler_type`: linear |
|
- `lr_scheduler_kwargs`: {} |
|
- `warmup_ratio`: 0.1 |
|
- `warmup_steps`: 0 |
|
- `log_level`: passive |
|
- `log_level_replica`: warning |
|
- `log_on_each_node`: True |
|
- `logging_nan_inf_filter`: True |
|
- `save_safetensors`: True |
|
- `save_on_each_node`: False |
|
- `save_only_model`: False |
|
- `restore_callback_states_from_checkpoint`: False |
|
- `no_cuda`: False |
|
- `use_cpu`: False |
|
- `use_mps_device`: False |
|
- `seed`: 42 |
|
- `data_seed`: None |
|
- `jit_mode_eval`: False |
|
- `use_ipex`: False |
|
- `bf16`: True |
|
- `fp16`: False |
|
- `fp16_opt_level`: O1 |
|
- `half_precision_backend`: auto |
|
- `bf16_full_eval`: True |
|
- `fp16_full_eval`: False |
|
- `tf32`: True |
|
- `local_rank`: 0 |
|
- `ddp_backend`: None |
|
- `tpu_num_cores`: None |
|
- `tpu_metrics_debug`: False |
|
- `debug`: [] |
|
- `dataloader_drop_last`: True |
|
- `dataloader_num_workers`: 12 |
|
- `dataloader_prefetch_factor`: None |
|
- `past_index`: -1 |
|
- `disable_tqdm`: False |
|
- `remove_unused_columns`: True |
|
- `label_names`: None |
|
- `load_best_model_at_end`: True |
|
- `ignore_data_skip`: False |
|
- `fsdp`: [] |
|
- `fsdp_min_num_params`: 0 |
|
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} |
|
- `fsdp_transformer_layer_cls_to_wrap`: None |
|
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} |
|
- `deepspeed`: None |
|
- `label_smoothing_factor`: 0.0 |
|
- `optim`: adafactor |
|
- `optim_args`: None |
|
- `adafactor`: False |
|
- `group_by_length`: False |
|
- `length_column_name`: length |
|
- `ddp_find_unused_parameters`: None |
|
- `ddp_bucket_cap_mb`: None |
|
- `ddp_broadcast_buffers`: False |
|
- `dataloader_pin_memory`: True |
|
- `dataloader_persistent_workers`: False |
|
- `skip_memory_metrics`: True |
|
- `use_legacy_prediction_loop`: False |
|
- `push_to_hub`: True |
|
- `resume_from_checkpoint`: None |
|
- `hub_model_id`: yklymchuk-rztk/multiple-datasets-test-v3 |
|
- `hub_strategy`: every_save |
|
- `hub_private_repo`: True |
|
- `hub_always_push`: False |
|
- `gradient_checkpointing`: False |
|
- `gradient_checkpointing_kwargs`: None |
|
- `include_inputs_for_metrics`: False |
|
- `include_for_metrics`: [] |
|
- `eval_do_concat_batches`: True |
|
- `fp16_backend`: auto |
|
- `push_to_hub_model_id`: None |
|
- `push_to_hub_organization`: None |
|
- `mp_parameters`: |
|
- `auto_find_batch_size`: False |
|
- `full_determinism`: False |
|
- `torchdynamo`: None |
|
- `ray_scope`: last |
|
- `ddp_timeout`: 1800 |
|
- `torch_compile`: False |
|
- `torch_compile_backend`: None |
|
- `torch_compile_mode`: None |
|
- `dispatch_batches`: None |
|
- `split_batches`: None |
|
- `include_tokens_per_second`: False |
|
- `include_num_input_tokens_seen`: False |
|
- `neftune_noise_alpha`: None |
|
- `optim_target_modules`: None |
|
- `batch_eval_metrics`: False |
|
- `eval_on_start`: False |
|
- `use_liger_kernel`: False |
|
- `eval_use_gather_object`: False |
|
- `average_tokens_across_devices`: False |
|
- `prompts`: {'query': 'query: ', 'text': 'passage: '} |
|
- `batch_sampler`: no_duplicates |
|
- `multi_dataset_batch_sampler`: proportional |
|
- `ddp_static_graph`: False |
|
- `ddp_comm_hook`: bf16 |
|
- `gradient_as_bucket_view`: False |
|
- `num_proc`: 22 |
|
|
|
</details> |
|
|
|
### Training Logs |
|
| Epoch | Step | core loss | typos loss | core-uk-title_dot_ndcg@10 | core-uk-options_dot_ndcg@10 | core-ru-title_dot_ndcg@10 | core-ru-options_dot_ndcg@10 | typos-uk-title_dot_ndcg@10 | typos-uk-options_dot_ndcg@10 | typos-ru-title_dot_ndcg@10 | typos-ru-options_dot_ndcg@10 | core-uk-title--matryoshka_dim-768--_dot_ndcg@1 | core-uk-options--matryoshka_dim-768--_dot_ndcg@1 | core-ru-title--matryoshka_dim-768--_dot_ndcg@1 | core-ru-options--matryoshka_dim-768--_dot_ndcg@1 | typos-uk-title--matryoshka_dim-768--_dot_ndcg@1 | typos-uk-options--matryoshka_dim-768--_dot_ndcg@1 | typos-ru-title--matryoshka_dim-768--_dot_ndcg@1 | typos-ru-options--matryoshka_dim-768--_dot_ndcg@1 | core-uk-title--matryoshka_dim-512--_dot_ndcg@1 | core-uk-options--matryoshka_dim-512--_dot_ndcg@1 | core-ru-title--matryoshka_dim-512--_dot_ndcg@1 | core-ru-options--matryoshka_dim-512--_dot_ndcg@1 | typos-uk-title--matryoshka_dim-512--_dot_ndcg@1 | typos-uk-options--matryoshka_dim-512--_dot_ndcg@1 | typos-ru-title--matryoshka_dim-512--_dot_ndcg@1 | typos-ru-options--matryoshka_dim-512--_dot_ndcg@1 | core-uk-title--matryoshka_dim-256--_dot_ndcg@1 | core-uk-options--matryoshka_dim-256--_dot_ndcg@1 | core-ru-title--matryoshka_dim-256--_dot_ndcg@1 | core-ru-options--matryoshka_dim-256--_dot_ndcg@1 | typos-uk-title--matryoshka_dim-256--_dot_ndcg@1 | typos-uk-options--matryoshka_dim-256--_dot_ndcg@1 | typos-ru-title--matryoshka_dim-256--_dot_ndcg@1 | typos-ru-options--matryoshka_dim-256--_dot_ndcg@1 | core-uk-title--matryoshka_dim-128--_dot_ndcg@1 | core-uk-options--matryoshka_dim-128--_dot_ndcg@1 | core-ru-title--matryoshka_dim-128--_dot_ndcg@1 | core-ru-options--matryoshka_dim-128--_dot_ndcg@1 | typos-uk-title--matryoshka_dim-128--_dot_ndcg@1 | typos-uk-options--matryoshka_dim-128--_dot_ndcg@1 | typos-ru-title--matryoshka_dim-128--_dot_ndcg@1 | typos-ru-options--matryoshka_dim-128--_dot_ndcg@1 | |
|
|:---------:|:------:|:----------:|:----------:|:-------------------------:|:---------------------------:|:-------------------------:|:---------------------------:|:--------------------------:|:----------------------------:|:--------------------------:|:----------------------------:|:----------------------------------------------:|:------------------------------------------------:|:----------------------------------------------:|:------------------------------------------------:|:-----------------------------------------------:|:-------------------------------------------------:|:-----------------------------------------------:|:-------------------------------------------------:|:----------------------------------------------:|:------------------------------------------------:|:----------------------------------------------:|:------------------------------------------------:|:-----------------------------------------------:|:-------------------------------------------------:|:-----------------------------------------------:|:-------------------------------------------------:|:----------------------------------------------:|:------------------------------------------------:|:----------------------------------------------:|:------------------------------------------------:|:-----------------------------------------------:|:-------------------------------------------------:|:-----------------------------------------------:|:-------------------------------------------------:|:----------------------------------------------:|:------------------------------------------------:|:----------------------------------------------:|:------------------------------------------------:|:-----------------------------------------------:|:-------------------------------------------------:|:-----------------------------------------------:|:-------------------------------------------------:| |
|
| 0.1062 | 12 | 4.6692 | 4.5771 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
|
| 0.2124 | 24 | 3.4698 | 4.1446 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
|
| 0.3186 | 36 | 3.1009 | 3.1853 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
|
| 0.4248 | 48 | 2.6710 | 3.6210 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | |
|
| **0.531** | **60** | **2.4917** | **3.5154** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | **-** | |
|
| 0.5487 | 62 | - | - | 0.4887 | 0.2491 | 0.5170 | 0.2476 | 0.4121 | 0.2083 | 0.4378 | 0.1999 | 0.5637 | 0.2813 | 0.6099 | 0.2649 | 0.4836 | 0.2454 | 0.5267 | 0.2218 | 0.5483 | 0.2567 | 0.5862 | 0.2587 | 0.4671 | 0.2187 | 0.5144 | 0.2177 | 0.5185 | 0.2156 | 0.5534 | 0.2136 | 0.4209 | 0.1899 | 0.4476 | 0.1674 | 0.4476 | 0.1674 | 0.4990 | 0.1643 | 0.3357 | 0.1283 | 0.3552 | 0.1242 | |
|
|
|
* The bold row denotes the saved checkpoint. |
|
|
|
### Framework Versions |
|
- Python: 3.11.10 |
|
- Sentence Transformers: 3.3.0 |
|
- Transformers: 4.46.3 |
|
- PyTorch: 2.5.1+cu124 |
|
- Accelerate: 1.1.1 |
|
- Datasets: 3.1.0 |
|
- Tokenizers: 0.20.3 |
|
|
|
## Citation |
|
|
|
### BibTeX |
|
|
|
#### Sentence Transformers |
|
```bibtex |
|
@inproceedings{reimers-2019-sentence-bert, |
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", |
|
author = "Reimers, Nils and Gurevych, Iryna", |
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", |
|
month = "11", |
|
year = "2019", |
|
publisher = "Association for Computational Linguistics", |
|
url = "https://arxiv.org/abs/1908.10084", |
|
} |
|
``` |
|
|
|
<!-- |
|
## Glossary |
|
|
|
*Clearly define terms in order to be accessible across audiences.* |
|
--> |
|
|
|
<!-- |
|
## Model Card Authors |
|
|
|
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* |
|
--> |
|
|
|
<!-- |
|
## Model Card Contact |
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* |
|
--> |