metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:20000
  - loss:RZTKMatryoshka2dLoss
base_model: intfloat/multilingual-e5-base
widget:
  - source_sentence: 'query: ба7кетка'
    sentences:
      - >-
        passage: Форми та деко для випікання Empire Можна мити в посудомийній
        машині Так Форма Фігурна Матеріал Вуглецева сталь Антипригарне покриття
        З внутрішнім антипригарним покриттям Колір Сірий
      - 'passage: Банкетка-пуфик кованый Метал Арт "Ламия"'
      - >-
        passage: Повідці для тварин Fox Колір Рожевий Матеріал Нейлон Тип
        Повідець-рулетка Призначення Для собак
  - source_sentence: 'query: мужские шлепанфы'
    sentences:
      - >-
        passage: Блоки живлення Thermaltake Гарантія 24 місяці Потужність 600 Вт
        Особливі властивості Підсвітка Роз'єм живлення процесора 1x4+4pin
        Кількість роз'ємів додаткового живлення для відеокарт 4 Тип роз'ємів
        додаткового живлення для відеокарт 4x(6+2pin) Кількість вантажних місць
        1 Країна реєстрації бренда Китай (Тайвань) Кількість предметів, шт 1
        Форм-фактор ATX (PS/2) Підтримка 80 PLUS 80 PLUS Gold Живлення
        материнської плати 24 pin Модуль PFC Активний Тип Комп'ютерний Тип Для
        геймерів Країна-виробник товару Китай теги Для GTX 1060 теги Прості теги
        Для GTX 1080 ti Тип гарантійного талона Гарантійний талон магазина
        Технології захисту Захист від перевантаження (OPP) Технології захисту
        Захист від перевантаження через струм (OCP) Технології захисту Захист
        від перегрівання (OTP) Технології захисту Захист від перепадів напруги
        (OVP/UVP) Технології захисту Захист від короткого замикання (SCP)
        Кількість SATA роз'ємів 9 Система охолодження Активна Діаметр
        вентилятора, мм 140
      - >-
        passage: Блоки живлення MSI Гарантія 5 років Потужність 1000 Вт Особливі
        властивості Модульні (з відстібними дротами) Роз'єм живлення процесора
        2x4+4pin Кількість роз'ємів додаткового живлення для відеокарт 7 Тип
        роз'ємів додаткового живлення для відеокарт 7x(6+2pin) Форм-фактор ATX
        Підтримка 80 PLUS 80 PLUS Gold Живлення материнської плати 20+4 pin
        Модуль PFC Активний Тип Комп'ютерний Технології захисту Захист від
        перепадів напруги (OVP/UVP) Технології захисту Захист від перевантаження
        (OPP) Технології захисту Захист від короткого замикання (SCP) Технології
        захисту Захист від перевантаження через струм (OCP) Технології захисту
        Захист від перегрівання (OTP) Кількість SATA роз'ємів 12
      - >-
        passage: Мужские шлепанцы ARTIGIANO Цвет Светло-коричневый Материал
        верха Кожа Материал подкладки Натуральная кожа Материал подошвы
        Термополиуретан Размер 42 Сезон Летний Количество грузовых мест 1 Страна
        регистрации бренда Турция Страна-производитель товара Турция Назначение
        Для повседневной носки
  - source_sentence: 'query: видеокарты'
    sentences:
      - 'passage: Гумки для фітнесу Lpowex 5 в 1 Різнокольорові'
      - >-
        passage: Шланг високого тиску Intertool армований 10 x 17 мм 10 м
        (PT-1734)
      - >-
        passage: Видеокарты ASUS Гарантия 36 месяцев Графический чип R5 230
        Интерфейс PCI Express 2.0 x16 Максимально поддерживаемое разрешение
        2560x1600 Поддерживаемые 3D API DirectX 11, OpenGL 4.1 Объем памяти 1 ГБ
        Семейство графического процессора AMD/ATI Radeon Разрядность шины памяти
        64 бит Тип системы охлаждения Пассивная Назначение Обычные Поддержка
        DirectX 11 Есть Тип памяти GDDR3 Разъемы VGA Разъемы HDMI Разъемы DVI
        Дополнительное питание Нет Количество грузовых мест 1 Страна регистрации
        бренда Китай (Тайвань) Страна-производитель товара Китай теги Хорошие
        теги В кредит теги бюджетные Форм-фактор Низкопрофильная Горячая линия
        производителя  ASUS +38 044 545-77-27 Пн - Пт, 09:00-18:00 Тип
        гарантийного талона Гарантийный талон магазина Возможность доставки
        Почтоматы Производитель графического процессора AMD
  - source_sentence: 'query: лента для фитнеса'
    sentences:
      - >-
        passage: Электропилы Machtz Гарантия 24 месяца Страна регистрации бренда
        Германия Теги недорогие Теги профессиональные Особенности Плавный пуск
        Особенности Блокировка кнопки включения Особенности Автоматическая
        смазка цепи
      - >-
        passage: Еспандери Perto Гарантія 14 днів Кількість вантажних місць 1
        Країна реєстрації бренда Україна Кількість предметів, шт 4 Рівень
        навантаження еспандера 13 Країна-виробник товару Китай Тип гарантійного
        талона Гарантія по чеку Тип Стрічкові Застосування Універсальні Тип
        навантаження Розтягування Вікова категорія One size Доставка Доставка в
        магазини ROZETKA ТЕГИ для спорту ТЕГИ резинка для качання м'язів ТЕГИ
        для схуднення ТЕГИ резинка для вправ ТЕГИ для фітнесу ТЕГИ для
        початківців ТЕГИ стрічки для силових тренувань ТЕГИ для розминки
      - >-
        passage: Радиоуправляемые игрушки UKC Гарантия 14 дней Тип Роботы Цвет
        Белый Количество грузовых мест 1
  - source_sentence: 'query: садовые качели'
    sentences:
      - >-
        passage: Еспандери Profi Країна реєстрації бренда Китай Країна-виробник
        товару Китай Тип Стрічкові ТЕГИ еластичний еспандер ТЕГИ резинка для
        качання м'язів ТЕГИ стрічки для силових тренувань ТЕГИ резинки для
        фітнесу довгі ТЕГИ для розминки ТЕГИ для спорту ТЕГИ резинка для вправ
        ТЕГИ для фітнесу ТЕГИ резинка для занять ТЕГИ резинка для залу ТЕГИ для
        початківців ТЕГИ для схуднення ТЕГИ резинки для фітнесу широкі
      - >-
        passage: Садовые качели Фортнокс Гарантия 14 дней Цвет Коричневый
        Количество грузовых мест 1 Страна регистрации бренда Украина Тип
        Матрасы/подушки Количество предметов, шт 1 Материал обивки Ткань
        Страна-производитель товара Украина Тип гарантийного талона Гарантия по
        чеку Доставка Доставка в магазины ROZETKA
      - >-
        passage: Видеокарта INNO3D PCI-Ex GeForce GTX 1070 Ti iChill HerculeZ X4
        8GB GDDR5 (256bit) (1607/8000) (DVI, HDMI, 3 x DisplayPort)
        (C107T4-1SDN-P5DN)
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - dot_accuracy@1
  - dot_accuracy@3
  - dot_accuracy@5
  - dot_accuracy@10
  - dot_precision@1
  - dot_precision@3
  - dot_precision@5
  - dot_precision@10
  - dot_recall@1
  - dot_recall@3
  - dot_recall@5
  - dot_recall@10
  - dot_ndcg@10
  - dot_mrr@10
  - dot_map@100
  - dot_ndcg@1
  - dot_mrr@1
  - avg--matryoshka_dim-768--_dot_accuracy@1
  - avg--matryoshka_dim-768--_dot_precision@1
  - avg--matryoshka_dim-768--_dot_recall@1
  - avg--matryoshka_dim-768--_dot_ndcg@1
  - avg--matryoshka_dim-768--_dot_mrr@1
  - avg--matryoshka_dim-768--_dot_map@100
  - avg--matryoshka_dim-512--_dot_accuracy@1
  - avg--matryoshka_dim-512--_dot_precision@1
  - avg--matryoshka_dim-512--_dot_recall@1
  - avg--matryoshka_dim-512--_dot_ndcg@1
  - avg--matryoshka_dim-512--_dot_mrr@1
  - avg--matryoshka_dim-512--_dot_map@100
  - avg--matryoshka_dim-256--_dot_accuracy@1
  - avg--matryoshka_dim-256--_dot_precision@1
  - avg--matryoshka_dim-256--_dot_recall@1
  - avg--matryoshka_dim-256--_dot_ndcg@1
  - avg--matryoshka_dim-256--_dot_mrr@1
  - avg--matryoshka_dim-256--_dot_map@100
  - avg--matryoshka_dim-128--_dot_accuracy@1
  - avg--matryoshka_dim-128--_dot_precision@1
  - avg--matryoshka_dim-128--_dot_recall@1
  - avg--matryoshka_dim-128--_dot_ndcg@1
  - avg--matryoshka_dim-128--_dot_mrr@1
  - avg--matryoshka_dim-128--_dot_map@100
model-index:
  - name: SentenceTransformer based on intfloat/multilingual-e5-base
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: core uk title
          type: core-uk-title
        metrics:
          - type: dot_accuracy@1
            value: 0.5636550308008214
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.7813141683778234
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.8613963039014374
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.9219712525667351
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.5636550308008214
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.5441478439425051
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.5250513347022587
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.4309034907597536
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.056669250747641856
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.16368279641470845
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.26202782442892963
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.42164846475678097
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.48870705750479365
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.6871989178970699
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.4334566723391573
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: core uk options
          type: core-uk-options
        metrics:
          - type: dot_accuracy@1
            value: 0.2813141683778234
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.45790554414784396
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.5462012320328542
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.6704312114989733
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.2813141683778234
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.2655715263518138
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.2537987679671458
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.22597535934291582
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.02771316762514371
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.0787562178966636
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.12474162106364063
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.2188411214176705
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.24913193591618557
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.39500220005866815
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.2354799456505539
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: core ru title
          type: core-ru-title
        metrics:
          - type: dot_accuracy@1
            value: 0.6098562628336756
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.8069815195071869
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.8685831622176592
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.9301848049281314
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.6098562628336756
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.5811088295687885
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.5609856262833676
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.4491786447638604
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.06239448889074448
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.17881797310472272
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.28646098000186654
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.44703243686967564
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.5170462544306493
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.7195703366904603
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.4589675406718082
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: core ru options
          type: core-ru-options
        metrics:
          - type: dot_accuracy@1
            value: 0.2648870636550308
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.44969199178644764
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.5544147843942505
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.6745379876796714
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.2648870636550308
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.2597535934291581
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.25564681724846
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.22525667351129364
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.026731703292882183
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.07822319873896152
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.12747608178215739
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.2228257824767065
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.24764964219955515
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.3849463022717641
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.23537321628456406
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: typos uk title
          type: typos-uk-title
        metrics:
          - type: dot_accuracy@1
            value: 0.48357289527720737
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.7012320328542094
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.7772073921971252
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.8521560574948666
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.48357289527720737
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.460643394934976
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.4404517453798768
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.36190965092402466
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.048759847522530216
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.1389154873860152
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.22013666250138045
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.35537591594029566
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.4121053326931487
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.6054524787327663
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.3563610624902255
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: typos uk options
          type: typos-uk-options
        metrics:
          - type: dot_accuracy@1
            value: 0.24537987679671458
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.38501026694045176
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.4620123203285421
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.5852156057494866
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.24537987679671458
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.22005475701574262
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.21006160164271045
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.18778234086242301
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.02388695079463892
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.06572512773291853
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.1036704599536765
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.18271556732044109
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.20831828829611182
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.34078012450702394
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.19291376020648895
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: typos ru title
          type: typos-ru-title
        metrics:
          - type: dot_accuracy@1
            value: 0.526694045174538
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.7248459958932238
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.797741273100616
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.8613963039014374
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.526694045174538
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.5003422313483914
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.47741273100616016
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.3764887063655031
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.054185029231079485
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.1545812313500138
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.2435707611830936
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.37714019533230797
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.43782606027860554
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.6382178709950782
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.3792138240282883
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: typos ru options
          type: typos-ru-options
        metrics:
          - type: dot_accuracy@1
            value: 0.22176591375770022
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.37474332648870634
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.4671457905544148
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.5770020533880903
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.22176591375770022
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.21184120465434633
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.2051334702258727
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.17997946611909652
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.022084905170120777
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.06382620102649694
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.10289895747982473
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.17856531863809313
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.19985599732987902
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.3241436067924772
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.18547483715449425
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core uk title  matryoshka dim 768  '
          type: core-uk-title--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.5636550308008214
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.5636550308008214
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.056669250747641856
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.5636550308008214
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.5636550308008214
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.4334566723391573
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core uk options  matryoshka dim 768  '
          type: core-uk-options--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.2813141683778234
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.2813141683778234
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.02771316762514371
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.2813141683778234
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.2813141683778234
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.2354799456505539
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core ru title  matryoshka dim 768  '
          type: core-ru-title--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.6098562628336756
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.6098562628336756
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.06239448889074448
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.6098562628336756
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.6098562628336756
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.4589675406718082
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core ru options  matryoshka dim 768  '
          type: core-ru-options--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.2648870636550308
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.2648870636550308
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.026731703292882183
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.2648870636550308
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.2648870636550308
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.23537321628456406
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos uk title  matryoshka dim 768  '
          type: typos-uk-title--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.48357289527720737
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.48357289527720737
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.048759847522530216
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.48357289527720737
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.48357289527720737
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.3563610624902255
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos uk options  matryoshka dim 768  '
          type: typos-uk-options--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.24537987679671458
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.24537987679671458
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.02388695079463892
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.24537987679671458
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.24537987679671458
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.19291376020648895
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos ru title  matryoshka dim 768  '
          type: typos-ru-title--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.526694045174538
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.526694045174538
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.054185029231079485
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.526694045174538
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.526694045174538
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.3792138240282883
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos ru options  matryoshka dim 768  '
          type: typos-ru-options--matryoshka_dim-768--
        metrics:
          - type: dot_accuracy@1
            value: 0.22176591375770022
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.22176591375770022
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.022084905170120777
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.22176591375770022
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.22176591375770022
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.18547483715449425
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core uk title  matryoshka dim 512  '
          type: core-uk-title--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.5482546201232033
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.5482546201232033
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.05510935302501312
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.5482546201232033
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.5482546201232033
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.41406135884253514
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core uk options  matryoshka dim 512  '
          type: core-uk-options--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.25667351129363447
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.25667351129363447
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.025196252510088724
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.25667351129363447
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.25667351129363447
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.22352007565947246
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core ru title  matryoshka dim 512  '
          type: core-ru-title--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.5862422997946611
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.5862422997946611
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.060585035661282795
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.5862422997946611
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.5862422997946611
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.4412021814416918
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core ru options  matryoshka dim 512  '
          type: core-ru-options--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.2587268993839836
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.2587268993839836
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.02606732945089027
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.2587268993839836
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.2587268993839836
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.22770873319640578
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos uk title  matryoshka dim 512  '
          type: typos-uk-title--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.4671457905544148
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.4671457905544148
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.04687585669286358
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.4671457905544148
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.4671457905544148
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.3360733164515791
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos uk options  matryoshka dim 512  '
          type: typos-uk-options--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.21868583162217659
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.21868583162217659
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.02159985134378177
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.21868583162217659
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.21868583162217659
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.1788149796862516
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos ru title  matryoshka dim 512  '
          type: typos-ru-title--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.5143737166324436
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.5143737166324436
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.05308123442031523
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.5143737166324436
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.5143737166324436
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.36149722038128135
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos ru options  matryoshka dim 512  '
          type: typos-ru-options--matryoshka_dim-512--
        metrics:
          - type: dot_accuracy@1
            value: 0.21765913757700206
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.21765913757700206
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.02138869429680518
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.21765913757700206
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.21765913757700206
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.17773792043579667
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core uk title  matryoshka dim 256  '
          type: core-uk-title--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.5184804928131417
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.5184804928131417
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.05206731891265048
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.5184804928131417
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.5184804928131417
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.36749292627875024
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core uk options  matryoshka dim 256  '
          type: core-uk-options--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.21560574948665298
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.21560574948665298
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.021176806293517248
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.21560574948665298
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.21560574948665298
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.18418804250402207
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core ru title  matryoshka dim 256  '
          type: core-ru-title--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.553388090349076
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.553388090349076
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.056813837643346035
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.553388090349076
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.553388090349076
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.39399753771974827
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core ru options  matryoshka dim 256  '
          type: core-ru-options--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.2135523613963039
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.2135523613963039
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.021783322048299702
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.2135523613963039
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.2135523613963039
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.188008273726993
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos uk title  matryoshka dim 256  '
          type: typos-uk-title--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.4209445585215606
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.4209445585215606
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.04253948364046202
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.4209445585215606
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.4209445585215606
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.28228040765047097
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos uk options  matryoshka dim 256  '
          type: typos-uk-options--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.18993839835728954
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.18993839835728954
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.01889805280009411
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.18993839835728954
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.18993839835728954
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.14304592636000613
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos ru title  matryoshka dim 256  '
          type: typos-ru-title--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.44763860369609854
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.44763860369609854
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.04626742493257169
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.44763860369609854
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.44763860369609854
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.3084357137318868
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos ru options  matryoshka dim 256  '
          type: typos-ru-options--matryoshka_dim-256--
        metrics:
          - type: dot_accuracy@1
            value: 0.1673511293634497
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.1673511293634497
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.01656977946762341
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.1673511293634497
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.1673511293634497
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.1424634309575395
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core uk title  matryoshka dim 128  '
          type: core-uk-title--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.44763860369609854
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.44763860369609854
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.045333851604234504
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.44763860369609854
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.44763860369609854
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.3064769063721133
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core uk options  matryoshka dim 128  '
          type: core-uk-options--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.1673511293634497
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.1673511293634497
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.01671324667534959
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.1673511293634497
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.1673511293634497
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.1333697110354052
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core ru title  matryoshka dim 128  '
          type: core-ru-title--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.4989733059548255
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.4989733059548255
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.05141558174080218
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.4989733059548255
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.4989733059548255
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.32743609790439665
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'core ru options  matryoshka dim 128  '
          type: core-ru-options--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.16427104722792607
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.16427104722792607
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.016753150454382488
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.16427104722792607
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.16427104722792607
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.13100600867206844
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos uk title  matryoshka dim 128  '
          type: typos-uk-title--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.33572895277207393
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.33572895277207393
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.03421740944766069
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.33572895277207393
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.33572895277207393
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.21630861317926925
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos uk options  matryoshka dim 128  '
          type: typos-uk-options--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.12833675564681724
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.12833675564681724
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.012732813900678376
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.12833675564681724
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.12833675564681724
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.09542688472768034
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos ru title  matryoshka dim 128  '
          type: typos-ru-title--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.35523613963039014
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.35523613963039014
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.03722197716792475
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.35523613963039014
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.35523613963039014
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.23238903238035286
            name: Dot Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: 'typos ru options  matryoshka dim 128  '
          type: typos-ru-options--matryoshka_dim-128--
        metrics:
          - type: dot_accuracy@1
            value: 0.12422997946611909
            name: Dot Accuracy@1
          - type: dot_precision@1
            value: 0.12422997946611909
            name: Dot Precision@1
          - type: dot_recall@1
            value: 0.01256810438021937
            name: Dot Recall@1
          - type: dot_ndcg@1
            value: 0.12422997946611909
            name: Dot Ndcg@1
          - type: dot_mrr@1
            value: 0.12422997946611909
            name: Dot Mrr@1
          - type: dot_map@100
            value: 0.09132750319576456
            name: Dot Map@100
      - task:
          type: sequential
          name: Sequential
        dataset:
          name: full benchmark
          type: full-benchmark
        metrics:
          - type: avg--matryoshka_dim-768--_dot_accuracy@1
            value: 0.3996406570841889
            name: Avg--Matryoshka Dim-768-- Dot Accuracy@1
          - type: avg--matryoshka_dim-768--_dot_precision@1
            value: 0.3996406570841889
            name: Avg--Matryoshka Dim-768-- Dot Precision@1
          - type: avg--matryoshka_dim-768--_dot_recall@1
            value: 0.0403031679093477
            name: Avg--Matryoshka Dim-768-- Dot Recall@1
          - type: avg--matryoshka_dim-768--_dot_ndcg@1
            value: 0.3996406570841889
            name: Avg--Matryoshka Dim-768-- Dot Ndcg@1
          - type: avg--matryoshka_dim-768--_dot_mrr@1
            value: 0.3996406570841889
            name: Avg--Matryoshka Dim-768-- Dot Mrr@1
          - type: avg--matryoshka_dim-768--_dot_map@100
            value: 0.30965510735319757
            name: Avg--Matryoshka Dim-768-- Dot Map@100
          - type: avg--matryoshka_dim-512--_dot_accuracy@1
            value: 0.3834702258726899
            name: Avg--Matryoshka Dim-512-- Dot Accuracy@1
          - type: avg--matryoshka_dim-512--_dot_precision@1
            value: 0.3834702258726899
            name: Avg--Matryoshka Dim-512-- Dot Precision@1
          - type: avg--matryoshka_dim-512--_dot_recall@1
            value: 0.038737950925130084
            name: Avg--Matryoshka Dim-512-- Dot Recall@1
          - type: avg--matryoshka_dim-512--_dot_ndcg@1
            value: 0.3834702258726899
            name: Avg--Matryoshka Dim-512-- Dot Ndcg@1
          - type: avg--matryoshka_dim-512--_dot_mrr@1
            value: 0.3834702258726899
            name: Avg--Matryoshka Dim-512-- Dot Mrr@1
          - type: avg--matryoshka_dim-512--_dot_map@100
            value: 0.2950769732618767
            name: Avg--Matryoshka Dim-512-- Dot Map@100
          - type: avg--matryoshka_dim-256--_dot_accuracy@1
            value: 0.3408624229979466
            name: Avg--Matryoshka Dim-256-- Dot Accuracy@1
          - type: avg--matryoshka_dim-256--_dot_precision@1
            value: 0.3408624229979466
            name: Avg--Matryoshka Dim-256-- Dot Precision@1
          - type: avg--matryoshka_dim-256--_dot_recall@1
            value: 0.03451450321732058
            name: Avg--Matryoshka Dim-256-- Dot Recall@1
          - type: avg--matryoshka_dim-256--_dot_ndcg@1
            value: 0.3408624229979466
            name: Avg--Matryoshka Dim-256-- Dot Ndcg@1
          - type: avg--matryoshka_dim-256--_dot_mrr@1
            value: 0.3408624229979466
            name: Avg--Matryoshka Dim-256-- Dot Mrr@1
          - type: avg--matryoshka_dim-256--_dot_map@100
            value: 0.2512390323661771
            name: Avg--Matryoshka Dim-256-- Dot Map@100
          - type: avg--matryoshka_dim-128--_dot_accuracy@1
            value: 0.27772073921971246
            name: Avg--Matryoshka Dim-128-- Dot Accuracy@1
          - type: avg--matryoshka_dim-128--_dot_precision@1
            value: 0.27772073921971246
            name: Avg--Matryoshka Dim-128-- Dot Precision@1
          - type: avg--matryoshka_dim-128--_dot_recall@1
            value: 0.028369516921406494
            name: Avg--Matryoshka Dim-128-- Dot Recall@1
          - type: avg--matryoshka_dim-128--_dot_ndcg@1
            value: 0.27772073921971246
            name: Avg--Matryoshka Dim-128-- Dot Ndcg@1
          - type: avg--matryoshka_dim-128--_dot_mrr@1
            value: 0.27772073921971246
            name: Avg--Matryoshka Dim-128-- Dot Mrr@1
          - type: avg--matryoshka_dim-128--_dot_map@100
            value: 0.19171759468338131
            name: Avg--Matryoshka Dim-128-- Dot Map@100

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the core and typos datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Dot Product
Training Datasets:
- core
- typos

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

RZTKSentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yklymchuk-rztk/multiple-datasets-test-v3")
# Run inference
sentences = [
    'query: садовые качели',
    'passage: Садовые качели Фортнокс Гарантия 14 дней Цвет Коричневый Количество грузовых мест 1 Страна регистрации бренда Украина Тип Матрасы/подушки Количество предметов, шт 1 Материал обивки Ткань Страна-производитель товара Украина Тип гарантийного талона Гарантия по чеку Доставка Доставка в магазины ROZETKA',
    'passage: Видеокарта INNO3D PCI-Ex GeForce GTX 1070 Ti iChill HerculeZ X4 8GB GDDR5 (256bit) (1607/8000) (DVI, HDMI, 3 x DisplayPort) (C107T4-1SDN-P5DN)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Datasets: core-uk-title, core-uk-options, core-ru-title, core-ru-options, typos-uk-title, typos-uk-options, typos-ru-title and typos-ru-options
Evaluated with InformationRetrievalEvaluator

Metric	core-uk-title	core-uk-options	core-ru-title	core-ru-options	typos-uk-title	typos-uk-options	typos-ru-title	typos-ru-options
dot_accuracy@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218
dot_accuracy@3	0.7813	0.4579	0.807	0.4497	0.7012	0.385	0.7248	0.3747
dot_accuracy@5	0.8614	0.5462	0.8686	0.5544	0.7772	0.462	0.7977	0.4671
dot_accuracy@10	0.922	0.6704	0.9302	0.6745	0.8522	0.5852	0.8614	0.577
dot_precision@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218
dot_precision@3	0.5441	0.2656	0.5811	0.2598	0.4606	0.2201	0.5003	0.2118
dot_precision@5	0.5251	0.2538	0.561	0.2556	0.4405	0.2101	0.4774	0.2051
dot_precision@10	0.4309	0.226	0.4492	0.2253	0.3619	0.1878	0.3765	0.18
dot_recall@1	0.0567	0.0277	0.0624	0.0267	0.0488	0.0239	0.0542	0.0221
dot_recall@3	0.1637	0.0788	0.1788	0.0782	0.1389	0.0657	0.1546	0.0638
dot_recall@5	0.262	0.1247	0.2865	0.1275	0.2201	0.1037	0.2436	0.1029
dot_recall@10	0.4216	0.2188	0.447	0.2228	0.3554	0.1827	0.3771	0.1786
dot_ndcg@10	0.4887	0.2491	0.517	0.2476	0.4121	0.2083	0.4378	0.1999
dot_mrr@10	0.6872	0.395	0.7196	0.3849	0.6055	0.3408	0.6382	0.3241
dot_map@100	0.4335	0.2355	0.459	0.2354	0.3564	0.1929	0.3792	0.1855

Information Retrieval

Datasets: core-uk-title--matryoshka_dim-768--, core-uk-options--matryoshka_dim-768--, core-ru-title--matryoshka_dim-768--, core-ru-options--matryoshka_dim-768--, typos-uk-title--matryoshka_dim-768--, typos-uk-options--matryoshka_dim-768--, typos-ru-title--matryoshka_dim-768--, typos-ru-options--matryoshka_dim-768--, core-uk-title--matryoshka_dim-512--, core-uk-options--matryoshka_dim-512--, core-ru-title--matryoshka_dim-512--, core-ru-options--matryoshka_dim-512--, typos-uk-title--matryoshka_dim-512--, typos-uk-options--matryoshka_dim-512--, typos-ru-title--matryoshka_dim-512--, typos-ru-options--matryoshka_dim-512--, core-uk-title--matryoshka_dim-256--, core-uk-options--matryoshka_dim-256--, core-ru-title--matryoshka_dim-256--, core-ru-options--matryoshka_dim-256--, typos-uk-title--matryoshka_dim-256--, typos-uk-options--matryoshka_dim-256--, typos-ru-title--matryoshka_dim-256--, typos-ru-options--matryoshka_dim-256--, core-uk-title--matryoshka_dim-128--, core-uk-options--matryoshka_dim-128--, core-ru-title--matryoshka_dim-128--, core-ru-options--matryoshka_dim-128--, typos-uk-title--matryoshka_dim-128--, typos-uk-options--matryoshka_dim-128--, typos-ru-title--matryoshka_dim-128-- and typos-ru-options--matryoshka_dim-128--
Evaluated with InformationRetrievalEvaluator

Metric	core-uk-title--matryoshka_dim-768--	core-uk-options--matryoshka_dim-768--	core-ru-title--matryoshka_dim-768--	core-ru-options--matryoshka_dim-768--	typos-uk-title--matryoshka_dim-768--	typos-uk-options--matryoshka_dim-768--	typos-ru-title--matryoshka_dim-768--	typos-ru-options--matryoshka_dim-768--	core-uk-title--matryoshka_dim-512--	core-uk-options--matryoshka_dim-512--	core-ru-title--matryoshka_dim-512--	core-ru-options--matryoshka_dim-512--	typos-uk-title--matryoshka_dim-512--	typos-uk-options--matryoshka_dim-512--	typos-ru-title--matryoshka_dim-512--	typos-ru-options--matryoshka_dim-512--	core-uk-title--matryoshka_dim-256--	core-uk-options--matryoshka_dim-256--	core-ru-title--matryoshka_dim-256--	core-ru-options--matryoshka_dim-256--	typos-uk-title--matryoshka_dim-256--	typos-uk-options--matryoshka_dim-256--	typos-ru-title--matryoshka_dim-256--	typos-ru-options--matryoshka_dim-256--	core-uk-title--matryoshka_dim-128--	core-uk-options--matryoshka_dim-128--	core-ru-title--matryoshka_dim-128--	core-ru-options--matryoshka_dim-128--	typos-uk-title--matryoshka_dim-128--	typos-uk-options--matryoshka_dim-128--	typos-ru-title--matryoshka_dim-128--	typos-ru-options--matryoshka_dim-128--
dot_accuracy@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.499	0.1643	0.3357	0.1283	0.3552	0.1242
dot_precision@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.499	0.1643	0.3357	0.1283	0.3552	0.1242
dot_recall@1	0.0567	0.0277	0.0624	0.0267	0.0488	0.0239	0.0542	0.0221	0.0551	0.0252	0.0606	0.0261	0.0469	0.0216	0.0531	0.0214	0.0521	0.0212	0.0568	0.0218	0.0425	0.0189	0.0463	0.0166	0.0453	0.0167	0.0514	0.0168	0.0342	0.0127	0.0372	0.0126
dot_ndcg@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.499	0.1643	0.3357	0.1283	0.3552	0.1242
dot_mrr@1	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.499	0.1643	0.3357	0.1283	0.3552	0.1242
dot_map@100	0.4335	0.2355	0.459	0.2354	0.3564	0.1929	0.3792	0.1855	0.4141	0.2235	0.4412	0.2277	0.3361	0.1788	0.3615	0.1777	0.3675	0.1842	0.394	0.188	0.2823	0.143	0.3084	0.1425	0.3065	0.1334	0.3274	0.131	0.2163	0.0954	0.2324	0.0913

Sequential

Dataset: full-benchmark
Evaluated with SequentialEvaluator

Metric	Value
avg--matryoshka_dim-768--_dot_accuracy@1	0.3996
avg--matryoshka_dim-768--_dot_precision@1	0.3996
avg--matryoshka_dim-768--_dot_recall@1	0.0403
avg--matryoshka_dim-768--_dot_ndcg@1	0.3996
avg--matryoshka_dim-768--_dot_mrr@1	0.3996
avg--matryoshka_dim-768--_dot_map@100	0.3097
avg--matryoshka_dim-512--_dot_accuracy@1	0.3835
avg--matryoshka_dim-512--_dot_precision@1	0.3835
avg--matryoshka_dim-512--_dot_recall@1	0.0387
avg--matryoshka_dim-512--_dot_ndcg@1	0.3835
avg--matryoshka_dim-512--_dot_mrr@1	0.3835
avg--matryoshka_dim-512--_dot_map@100	0.2951
avg--matryoshka_dim-256--_dot_accuracy@1	0.3409
avg--matryoshka_dim-256--_dot_precision@1	0.3409
avg--matryoshka_dim-256--_dot_recall@1	0.0345
avg--matryoshka_dim-256--_dot_ndcg@1	0.3409
avg--matryoshka_dim-256--_dot_mrr@1	0.3409
avg--matryoshka_dim-256--_dot_map@100	0.2512
avg--matryoshka_dim-128--_dot_accuracy@1	0.2777
avg--matryoshka_dim-128--_dot_precision@1	0.2777
avg--matryoshka_dim-128--_dot_recall@1	0.0284
avg--matryoshka_dim-128--_dot_ndcg@1	0.2777
avg--matryoshka_dim-128--_dot_mrr@1	0.2777
avg--matryoshka_dim-128--_dot_map@100	0.1917

Training Details

Training Datasets

core

Dataset: core
Size: 10,000 training samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 7 tokens
mean: 9.95 tokens
max: 21 tokens

min: 11 tokens
mean: 55.92 tokens
max: 512 tokens

	query	text
type	string	string
details	min: 7 tokens mean: 9.95 tokens max: 21 tokens	min: 11 tokens mean: 55.92 tokens max: 512 tokens

Samples:

query	text
`query: la roche posa`	passage: Сироватка для обличчя La Roche-Posay Клас косметики Дерматокосметика Час застосування Універсально Вік Від 18 Стать Для чоловіків Стать Для жінок Кількість вантажних місць 1 Країна реєстрації бренда Франція Кількість предметів, шт 1 Країна-виробник товару Франція Об'єм 30 мл Формат Флакон Домішки Гліцерин Домішки Ретинол Домішки Ніацинамід Сфера застосування Обличчя Дія Вирівнює тон Тип шкіри Для всіх типів Призначення Проти перших ознак старіння Можливість доставки Почтомати Доставка Готовий до відправлення Доставка Доставка в магазини ROZETKA
`query: la roche posa`	`passage: Пребіотичний зволожувальний крем La Roche-Posay Toleriane Sensitive Зменшення чутливості шкіри 40 мл (3337875578486)`
`query: la roche posa`	passage: Сонцезахисні засоби La Roche-Posay Клас косметики Дерматокосметика Тип засобу Спрей Вид Захисні засоби Ступінь захисту SPF 50 Кількість вантажних місць 1 Країна реєстрації бренда Франція Кількість предметів, шт 1 Серія Anthelios Країна-виробник товару Франція Об'єм 75 мл Сфера застосування Обличчя Тип шкіри Для всіх типів Тип шкіри Нормальна Тип шкіри Жирна Тип шкіри Чутлива Тип гарантійного талона Без гарантійного талона Можливість доставки Почтомати Доставка Доставка в магазини ROZETKA Доставка Готовий до відправлення

Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:

{
    "loss": "RZTKMultipleNegativesRankingLoss",
    "n_layers_per_step": 1,
    "last_layer_weight": 1.0,
    "prior_layers_weight": 1.0,
    "kl_div_weight": 1.0,
    "kl_temperature": 0.3,
    "matryoshka_dims": [
        768,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": 1
}

typos

Dataset: typos
Size: 10,000 training samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 8 tokens
mean: 10.46 tokens
max: 16 tokens

min: 7 tokens
mean: 68.69 tokens
max: 510 tokens

	query	text
type	string	string
details	min: 8 tokens mean: 10.46 tokens max: 16 tokens	min: 7 tokens mean: 68.69 tokens max: 510 tokens

Samples:

query	text
`query: масло ромпшк`	passage: Эфирное масло Ароматика Класс косметики Аптечная Количество грузовых мест 1 Страна регистрации бренда Украина Количество предметов, шт 1 Страна-производитель товара Украина Объем 50 мл Вид Ромашки Возможность доставки Почтоматы Доставка Premium Доставка Доставка в магазины ROZETKA Доставка Готов к отправке
`query: масло ромпшк`	`passage: Олія Ароматика Ромашкова 50 мл (4820031052436)`
`query: масло ромпшк`	passage: Ефірна олія Ароматика Клас косметики Аптечна Кількість вантажних місць 1 Країна реєстрації бренда Україна Кількість предметів, шт 1 Країна-виробник товару Україна Об'єм 50 мл Вид Ромашки Можливість доставки Почтомати Доставка Premium Доставка Доставка в магазини ROZETKA Доставка Готовий до відправлення

Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:

{
    "loss": "RZTKMultipleNegativesRankingLoss",
    "n_layers_per_step": 1,
    "last_layer_weight": 1.0,
    "prior_layers_weight": 1.0,
    "kl_div_weight": 1.0,
    "kl_temperature": 0.3,
    "matryoshka_dims": [
        768,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": 1
}

Evaluation Datasets

core

Dataset: core
Size: 10,000 evaluation samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 6 tokens
mean: 8.53 tokens
max: 12 tokens

min: 12 tokens
mean: 78.28 tokens
max: 332 tokens

	query	text
type	string	string
details	min: 6 tokens mean: 8.53 tokens max: 12 tokens	min: 12 tokens mean: 78.28 tokens max: 332 tokens

Samples:

query	text
`query: корм для собак оптимил`	`passage: Сухой корм для взрослых собак малых пород Optimeal 4 кг (утка)`
`query: корм для собак оптимил`	`passage: Корма для собак Optimeal Вид корма Сухой корм Класс корма Супер премиум Возраст собаки Для взрослых собак на всех стадиях жизни Размер животного Средние Назначение Забота о коже и шерсти Вес 1 шт 1.5 кг Страна-производитель товара Украина Доставка Доставка в магазины ROZETKA`
`query: корм для собак оптимил`	passage: Корм для собак Optimeal Вид корму Сухий корм Клас корму Суперпреміум Вік собаки Для дорослих собак на всіх стадіях життя Розмір тварини Середні Призначення Основне годування Призначення Для вагітних собак Призначення Для активних собак Призначення Турбота про травлення Призначення Турбота про суглоби Вага 1 шт 4 кг Країна реєстрації бренда Україна Країна-виробник товару Україна

Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:

{
    "loss": "RZTKMultipleNegativesRankingLoss",
    "n_layers_per_step": 1,
    "last_layer_weight": 1.0,
    "prior_layers_weight": 1.0,
    "kl_div_weight": 1.0,
    "kl_temperature": 0.3,
    "matryoshka_dims": [
        768,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": 1
}

typos

Dataset: typos
Size: 10,000 evaluation samples
Columns: query and text
Approximate statistics based on the first 1000 samples:
query text
type string string
details
min: 8 tokens
mean: 10.28 tokens
max: 13 tokens

min: 10 tokens
mean: 61.71 tokens
max: 297 tokens

	query	text
type	string	string
details	min: 8 tokens mean: 10.28 tokens max: 13 tokens	min: 10 tokens mean: 61.71 tokens max: 297 tokens

Samples:

query	text
`query: ба7кетка`	`passage: Банкетки Fenster Гарантия 24 месяца Цвет Дуб Сонома Трюфель Страна-производитель товара Украина Особенности С полками Стиль Лофт Назначение Для прихожей Материал корпуса Металл Материал корпуса ЛДСП`
`query: ба7кетка`	passage: Банкетки Metalzavod Гарантія 12 місяців Країна реєстрації бренда Україна Наповнювач Поролон Висота, см 75 Глибина, см 35 Ширина, см 100 Колір Коричнево-сірий Країна-виробник товару Україна Максимальне навантаження, кг 150 Особливості З полицями Матеріал оббивки Велюр Стиль Класичний Призначення Для передпокою Призначення Для офісу Призначення Для вітальні Матеріал корпусу Сталь Ширина спинки, мм 650 Вага, кг 28
`query: ба7кетка`	`passage: Банкетка-Фенстер Прем'єра Міні Чорний`

Loss: sentence_transformers_training.model.matryoshka2d_loss.RZTKMatryoshka2dLoss with these parameters:

{
    "loss": "RZTKMultipleNegativesRankingLoss",
    "n_layers_per_step": 1,
    "last_layer_weight": 1.0,
    "prior_layers_weight": 1.0,
    "kl_div_weight": 1.0,
    "kl_temperature": 0.3,
    "matryoshka_dims": [
        768,
        512,
        256,
        128
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": 1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 88
per_device_eval_batch_size: 88
learning_rate: 2e-05
num_train_epochs: 1.0
warmup_ratio: 0.1
bf16: True
bf16_full_eval: True
tf32: True
dataloader_num_workers: 12
load_best_model_at_end: True
optim: adafactor
push_to_hub: True
hub_model_id: yklymchuk-rztk/multiple-datasets-test-v3
hub_private_repo: True
prompts: {'query': 'query: ', 'text': 'passage: '}
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 88
per_device_eval_batch_size: 88
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1.0
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: True
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 12
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adafactor
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: True
resume_from_checkpoint: None
hub_model_id: yklymchuk-rztk/multiple-datasets-test-v3
hub_strategy: every_save
hub_private_repo: True
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: {'query': 'query: ', 'text': 'passage: '}
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
ddp_static_graph: False
ddp_comm_hook: bf16
gradient_as_bucket_view: False
num_proc: 22

Training Logs

Epoch	Step	core loss	typos loss	core-uk-title_dot_ndcg@10	core-uk-options_dot_ndcg@10	core-ru-title_dot_ndcg@10	core-ru-options_dot_ndcg@10	typos-uk-title_dot_ndcg@10	typos-uk-options_dot_ndcg@10	typos-ru-title_dot_ndcg@10	typos-ru-options_dot_ndcg@10	core-uk-title--matryoshka_dim-768--_dot_ndcg@1	core-uk-options--matryoshka_dim-768--_dot_ndcg@1	core-ru-title--matryoshka_dim-768--_dot_ndcg@1	core-ru-options--matryoshka_dim-768--_dot_ndcg@1	typos-uk-title--matryoshka_dim-768--_dot_ndcg@1	typos-uk-options--matryoshka_dim-768--_dot_ndcg@1	typos-ru-title--matryoshka_dim-768--_dot_ndcg@1	typos-ru-options--matryoshka_dim-768--_dot_ndcg@1	core-uk-title--matryoshka_dim-512--_dot_ndcg@1	core-uk-options--matryoshka_dim-512--_dot_ndcg@1	core-ru-title--matryoshka_dim-512--_dot_ndcg@1	core-ru-options--matryoshka_dim-512--_dot_ndcg@1	typos-uk-title--matryoshka_dim-512--_dot_ndcg@1	typos-uk-options--matryoshka_dim-512--_dot_ndcg@1	typos-ru-title--matryoshka_dim-512--_dot_ndcg@1	typos-ru-options--matryoshka_dim-512--_dot_ndcg@1	core-uk-title--matryoshka_dim-256--_dot_ndcg@1	core-uk-options--matryoshka_dim-256--_dot_ndcg@1	core-ru-title--matryoshka_dim-256--_dot_ndcg@1	core-ru-options--matryoshka_dim-256--_dot_ndcg@1	typos-uk-title--matryoshka_dim-256--_dot_ndcg@1	typos-uk-options--matryoshka_dim-256--_dot_ndcg@1	typos-ru-title--matryoshka_dim-256--_dot_ndcg@1	typos-ru-options--matryoshka_dim-256--_dot_ndcg@1	core-uk-title--matryoshka_dim-128--_dot_ndcg@1	core-uk-options--matryoshka_dim-128--_dot_ndcg@1	core-ru-title--matryoshka_dim-128--_dot_ndcg@1	core-ru-options--matryoshka_dim-128--_dot_ndcg@1	typos-uk-title--matryoshka_dim-128--_dot_ndcg@1	typos-uk-options--matryoshka_dim-128--_dot_ndcg@1	typos-ru-title--matryoshka_dim-128--_dot_ndcg@1	typos-ru-options--matryoshka_dim-128--_dot_ndcg@1
0.1062	12	4.6692	4.5771	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.2124	24	3.4698	4.1446	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.3186	36	3.1009	3.1853	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.4248	48	2.6710	3.6210	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.531	60	2.4917	3.5154	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.5487	62	-	-	0.4887	0.2491	0.5170	0.2476	0.4121	0.2083	0.4378	0.1999	0.5637	0.2813	0.6099	0.2649	0.4836	0.2454	0.5267	0.2218	0.5483	0.2567	0.5862	0.2587	0.4671	0.2187	0.5144	0.2177	0.5185	0.2156	0.5534	0.2136	0.4209	0.1899	0.4476	0.1674	0.4476	0.1674	0.4990	0.1643	0.3357	0.1283	0.3552	0.1242

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.11.10
Sentence Transformers: 3.3.0
Transformers: 4.46.3
PyTorch: 2.5.1+cu124
Accelerate: 1.1.1
Datasets: 3.1.0
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}