Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,1009 @@
+---
+language:
+- en
+license: apache-2.0
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:264810
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: answerdotai/ModernBERT-base
+widget:
+- source_sentence: Die Einwohner Haarens protestierten, da der Name ihrer Gemeinde
+    bei der Eröffnung der Strecke von den Wegweisern entfernt und durch "Wünnenberg"
+    ersetzt wurde.
+  sentences:
+  - Die Wirksamkeit von Duolingos Ansatz wurde von einer externen Studie untersucht,
+    die von der Firma selbst in Auftrag gegeben worden war. Professoren der City University
+    of New York und der University of South Carolina haben die Studie durchgeführt
+    und schätzen, dass 34 Stunden Duolingo den gleichen Fortschritt bei Lesen und
+    Schreiben erzielen wie ein Erstsemesterkurs an einem US-College, der mehr als
+    geschätzte 130 Stunden dauert. Die Studie untersuchte nicht die Sprechfähigkeiten
+    der Probanden. Bei einem Vergleich wurde festgestellt, dass Benutzer der Software
+    Rosetta Stone etwa 55 bis 60 Stunden benötigten, um den gleichen Stoff zu lernen.
+    Die Studie hat darüber hinaus keine Vergleiche mit anderen kostenlosen oder günstigen
+    Kursen durchgeführt wie "BBC", "Book2", oder "Before You Know It".
+  - Da im selben Jahr im Zuge der Gebietsreform in Nordrhein-Westfalen die Gemeinde
+    Haaren in die Stadt Wünnenberg eingemeindet wurde, änderte man kurzfristig vor
+    Eröffnung der Strecke den Namen der Anschlussstelle "Haaren" in "Wünnenberg",
+    sodass Haaren von den Wegweisern gänzlich verschwand. Bei der feierlichen Eröffnung
+    der Strecke kam es zu Protestaktionen seitens Einwohner Haarens, bei denen die
+    Fahrbahn blockiert wurde, sodass die Eröffnungskolonne nicht wie geplant stattfinden
+    konnte. Wünnenberger Lokalpolitiker erwirkten schließlich beim Landesverkehrsministerium
+    in Düsseldorf einen Kompromiss, sodass die Anschlussstelle, wie das spätere Autobahnkreuz,
+    ab Oktober 1975 "Wünnenberg-Haaren" hieß. Bemerkenswerterweise trägt das Autobahnkreuz
+    (noch 2021) diesen Namen, obwohl Wünnenberg seit dem Jahr 2000 "Bad Wünnenberg"
+    heißt und das Voranstellen des Gemeinde- bzw. Städtenamens vor den Stadtteilnamen
+    bei Orten mit weniger als 100.000 Einwohnern gegen die nordrhein-westfälischen
+    Wegweisungs-Richtlinien verstößt.
+  - Auf Basis der Planungen einer 1957 gegründeten Arbeitsgruppe der Industrie- und
+    Handelskammer Kassel genehmigte das Bundesverkehrsministerium in Bonn den Bau
+    einer 4,7 km langen Verbindung zwischen der Autobahn Hamburg–Frankfurt und der
+    B 3. Die einbahnige "hochwasserfreie Verbindung Kassel" entstand von 1958 bis
+    1962 auf der vorbereiteten Trasse der Reichsautobahn. Dabei wurde auch die Fuldatalbrücke
+    Bergshausen mit einer Fahrbahn fertiggestellt. Der Bau dieser Brücke wurde bereits
+    in der NS-Zeit begonnen, bis zur Einstellung des Baus infolge des Zweiten Weltkriegs
+    waren nur einige Arbeiten an der Gründung im Gange gewesen.
+- source_sentence: Das Weibchen legt jeden Tag in den Morgenstunden ein Ei und übernachtet
+    manchmal schon vor der Eiablage auf dem Nest.
+  sentences:
+  - Während der Phase der Eiablage legt das Weibchen jeden Tag in den Morgenstunden
+    ein Ei. Das Weibchen übernachtet auch vor der Eiablage bisweilen schon auf dem
+    Nest, die Bebrütung wird allerdings erst nach der Ablage des vorletzten (manchmal
+    des letzten) Eis begonnen, sodass alle Jungvögel etwa am selben Tag schlüpfen.
+  - Das Gelege besteht aus 2 bis maximal 8, zumeist 5–6 Eiern. Diese sind oval und
+    durchschnittlich 22 × 17 mm groß. Die möglichen Grundfärbungen – weißlich (weiß,
+    gelblich, hellgrau oder beige), grünlich oder rötlich – tragen eine Obersprenkelung,
+    die zwischen verschiedenen Brauntönen variieren kann. Darunter liegt eine blassere
+    Sprenkelung in je nach Farbtyp unterschiedlich getöntem Grau. Auch die Verteilung
+    der Sprenkelung kann recht unterschiedlich sein.
+  - Die Serienhandlung dreht sich am Anfang neben der Bewahrung von Clarks Geheimnis
+    hauptsächlich um das Stoppen von gewalttätigen und verbrecherischen „Meteoritenfreaks“,
+    die durch das Meteoritengestein (Kryptonit) nach den beiden Meteoritenschauern
+    auf Smallville (Anfang der ersten und Ende der vierten Staffel) besondere Fähigkeiten
+    erlangt haben und dadurch korrumpiert oder in den Wahnsinn getrieben werden. Die
+    entstandenen kuriosen Kräfte erinnern besonders in der Anfangszeit der Serie oft
+    an "Akte X". Von den Fans werden solche Charaktere in der Fantasy und der Science-Fiction
+    als "Freak of the Week" (dt. „Monster der Woche“) bezeichnet, da in der wöchentlich
+    ausgestrahlten Serie in jeder Folge einer der Freaks auftaucht und besiegt werden
+    muss.
+- source_sentence: Reichhart vollzog vertretungsweise Hinrichtungen in verschiedenen
+    deutschen Städten, darunter Berlin-Plötzensee, wo er unter anderem Hans und Sophie
+    Scholl hinrichtete.
+  sentences:
+  - Reichhart vollzog vertretungsweise auch Hinrichtungen in Köln, Frankfurt-Preungesheim,
+    Berlin-Plötzensee, Brandenburg-Görden und Breslau, wo ebenfalls zentrale Hinrichtungsstätten
+    eingerichtet worden waren. Von 1938 bis 1944 war er auch zuständiger Scharfrichter
+    für die zentralen Hinrichtungsstätten in Wien und Graz. Insgesamt vollstreckte
+    er seit 1924 während der Weimarer Republik und der Zeit des Nationalsozialismus
+    2.951 Todesurteile mit der Guillotine und 59 mit dem Galgen. Unter den Verurteilten
+    waren 250 Frauen. Er richtete auch Hans und Sophie Scholl hin († 22. Februar 1943),
+    die bekanntesten Mitglieder der Widerstandsgruppe Weiße Rose. Reichhart äußerte
+    später, er habe noch nie jemanden so tapfer sterben sehen wie Sophie Scholl.
+  - 2012 war Frentzen in Melbourne im Rahmenprogramm der Formel 1 Gaststarter im Porsche
+    Carrera Cup Australien.
+  - Im Juli 1932 veröffentlichten mehrere niederländische Zeitungen Artikel über Reichharts
+    andere Tätigkeit und lüfteten damit sein Inkognito. Seine Geschäfte florierten
+    nicht mehr; im Frühjahr 1933 kehrte er nach München zurück. Er erwog, seine Scharfrichtertätigkeit
+    aufzugeben.
+- source_sentence: Wann empfahl das RKI der Bevölkerung in Deutschland, einfachen
+    Mundschutz zusätzlich zu anderen Schutzmaßnahmen zu tragen?
+  sentences:
+  - Trotz des Festhaltens an ägyptischer Tradition war das Land auch großen Veränderungen
+    unterworfen. So verlor Theben seine Bedeutung als kultureller und administrativer
+    Mittelpunkt an Saïs. Weiterhin lässt sich bei allen Herrschern der 26. Dynastie
+    eine starke Anlehnung an die griechischen Stadtstaaten feststellen, wenn auch
+    unter Pharao Apries der Versuch einer Loslösung von den Griechen erkennbar ist,
+    die das Heer dominierten. Amasis eroberte Zypern im ersten Jahrzehnt seiner Herrschaft
+    und schloss ein Bündnis mit Kyrene, das sein Vorgänger noch bekämpft hatte. Dazu
+    heiratete er eine kyrenische Prinzessin. Dieses Bündnis war noch intakt, als 525
+    v. Chr. die Perser Ägypten attackierten.
+  - Das RKI bewertete das Risiko für die Bevölkerung in Deutschland am 28. Februar
+    2020 als „gering bis mäßig“, seit dem 17. März als „hoch“ und für Risikogruppen
+    seit dem 26. März als „sehr hoch“. Die Gefahr variiere regional; schwere Krankheitsverläufe
+    seien „mit zunehmendem Alter und bestehenden Vorerkrankungen“ wahrscheinlicher.
+    Das RKI empfahl zum Infektionsschutz, genügend Abstand zu anderen Menschen einzuhalten
+    (zum Eigen- und Fremdschutz), sich regelmäßig die Hände mit Seife zu waschen und
+    sich nicht ins Gesicht zu fassen, um nicht das Virus auf die Schleimhäute von
+    Mund, Nase oder Augen zu bringen. Nachdem am 26. März 2020 der Präsident der Bundesärztekammer
+    die Bevölkerung aufgerufen hatte, zusätzlich einfachen Mundschutz zu tragen, erklärte
+    das RKI am 2. April, das Tragen von einfachem Mundschutz könne zusätzlich mithelfen,
+    andere Menschen nicht anzustecken. Es sei aber kein Ersatz für andere Maßnahmen
+    wie das Abstandhalten.
+  - Nach dem Tod Kochs am 27. Mai 1910 wurde im Institutsgebäude eine Grabstätte für
+    ihn eingerichtet. Im Erdgeschoss des Südwestflügels wurde dafür ein großer Raum
+    gegenüber dem Hörsaal ausgewählt und mit Marmor in verschiedenen Farbtönen ausgekleidet.
+    In diesem Zimmer war zu Lebzeiten Kochs die photographische Abteilung untergebracht.
+    Die Adaptierung des Raums als Mausoleum erfolgte nach Plänen des Architekten Paul
+    Mebes. Am 4. Dezember 1910 wurde in Anwesenheit von Familienangehörigen Kochs
+    die kupferne Urne mit seiner Asche dort beigesetzt. Die offizielle Einweihung
+    des Mausoleums fand am 10. Dezember 1910 statt. Das Mausoleum des Institutsgebäudes
+    enthält an seiner westlichen Schmalseite das von dem Berliner Künstler Walter
+    Schmarje ausgeführte Epitaph mit dem Reliefbild Kochs. Darunter befindet sich
+    in einer durch eine weiße Marmorplatte verschlossenen Nische die Urne mit der
+    Asche Kochs. An der Ostseite des Raumes sind unter der Überschrift „Robert Koch
+    – Werke und Wirken“ wesentliche Daten zu den Ergebnissen seiner Forschungsarbeit
+    dargestellt. Die Bestattung Kochs im Institutsgebäude war möglich, da es zu der
+    Zeit in Preußen noch kein Gesetz über die Urnenbeisetzung gab.
+- source_sentence: Wieso verklagte die Familie von Ritter die behandelnden Ärzte auf
+    67 Millionen US-Dollar Schadensersatz?
+  sentences:
+  - Während Proben zu einer Folge von "Meine wilden Töchter" traten bei Ritter im
+    September 2003 starke Brustschmerzen auf, und er begab sich in das nahegelegene
+    "Providence Saint Joseph Medical Center", in dem er am 11. September 2003 im Alter
+    von 54 Jahren – eine Woche vor seinem 55. Geburtstag – an einer Aortendissektion
+    starb. Seine Familie verklagte Anfang 2008 die behandelnden Ärzte auf einen Schadensersatz
+    von 67 Millionen US-Dollar. Die Klage wurde im März 2008 abgewiesen.
+  - Nach der Einstellung der Fernsehserie "Herzbube mit zwei Damen" nach acht Staffeln
+    im Jahr 1984 machte er mit dem Spin-off "Three’s A Crowd" weiter, jedoch wurde
+    die Serie nach einer Staffel eingestellt. Weitere Fernsehrollen hatte er in "Inspektor
+    Hooperman" (1987), die ihm eine Nominierung sowohl für den Golden Globe als auch
+    für den Emmy einbrachte, "Küß’ mich, John" (1992), "Ally McBeal" (1997), "Buffy
+    – Im Bann der Dämonen" (1997), "Clifford the Big Red Dog" (2000), "Scrubs – Die
+    Anfänger" oder "Meine wilden Töchter" (2002).
+  - In Taiwan wurde im April 2014 der Bau des Kernkraftwerks Lungmen nach heftigen
+    Protesten bis zu einem Referendum ausgesetzt.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: BGE base Financial Matryoshka
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.5817699836867863
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.9327759651984774
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.952215878194671
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.9681552474170745
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.5817699836867863
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.3109253217328258
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.1904431756389342
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.09681552474170746
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.5817699836867863
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.9327759651984774
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.952215878194671
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.9681552474170745
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.8140491092898914
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.7608257917087448
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.7617714980276816
+      name: Cosine Map@100
+---
+
+# BGE base Financial Matryoshka
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [answerdotai/ModernBERT-base](https://huggingface.co/answerdotai/ModernBERT-base) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [answerdotai/ModernBERT-base](https://huggingface.co/answerdotai/ModernBERT-base) <!-- at revision 8949b909ec900327062f0ebf497f51aef5e6f0c8 -->
+- **Maximum Sequence Length:** 8192 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("avemio-digital/ModernBERT_base_triples_embedding")
+# Run inference
+sentences = [
+    'Wieso verklagte die Familie von Ritter die behandelnden Ärzte auf 67 Millionen US-Dollar Schadensersatz?',
+    'Während Proben zu einer Folge von "Meine wilden Töchter" traten bei Ritter im September 2003 starke Brustschmerzen auf, und er begab sich in das nahegelegene "Providence Saint Joseph Medical Center", in dem er am 11. September 2003 im Alter von 54 Jahren – eine Woche vor seinem 55. Geburtstag – an einer Aortendissektion starb. Seine Familie verklagte Anfang 2008 die behandelnden Ärzte auf einen Schadensersatz von 67 Millionen US-Dollar. Die Klage wurde im März 2008 abgewiesen.',
+    'Nach der Einstellung der Fernsehserie "Herzbube mit zwei Damen" nach acht Staffeln im Jahr 1984 machte er mit dem Spin-off "Three’s A Crowd" weiter, jedoch wurde die Serie nach einer Staffel eingestellt. Weitere Fernsehrollen hatte er in "Inspektor Hooperman" (1987), die ihm eine Nominierung sowohl für den Golden Globe als auch für den Emmy einbrachte, "Küß’ mich, John" (1992), "Ally McBeal" (1997), "Buffy – Im Bann der Dämonen" (1997), "Clifford the Big Red Dog" (2000), "Scrubs – Die Anfänger" oder "Meine wilden Töchter" (2002).',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Dataset: `dim_768`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value     |
+|:--------------------|:----------|
+| cosine_accuracy@1   | 0.5818    |
+| cosine_accuracy@3   | 0.9328    |
+| cosine_accuracy@5   | 0.9522    |
+| cosine_accuracy@10  | 0.9682    |
+| cosine_precision@1  | 0.5818    |
+| cosine_precision@3  | 0.3109    |
+| cosine_precision@5  | 0.1904    |
+| cosine_precision@10 | 0.0968    |
+| cosine_recall@1     | 0.5818    |
+| cosine_recall@3     | 0.9328    |
+| cosine_recall@5     | 0.9522    |
+| cosine_recall@10    | 0.9682    |
+| **cosine_ndcg@10**  | **0.814** |
+| cosine_mrr@10       | 0.7608    |
+| cosine_map@100      | 0.7618    |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 264,810 training samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                              | positive                                                                              | negative                                                                              |
+  |:--------|:------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                                | string                                                                                |
+  | details | <ul><li>min: 28 tokens</li><li>mean: 54.52 tokens</li><li>max: 307 tokens</li></ul> | <ul><li>min: 30 tokens</li><li>mean: 184.58 tokens</li><li>max: 1293 tokens</li></ul> | <ul><li>min: 33 tokens</li><li>mean: 151.69 tokens</li><li>max: 1297 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                          | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Was passiert, als die Haeduer sich gegen Caesar erheben und die Römer die Schlacht um Gergovia führen?</code>                                                                                                                                                             | <code>Während er Titus Labienus mit vier Legionen in die Gebiete der Senonen und Parisier verlegt, macht sich Caesar auf nach Gergovia ins Gebiet der Arverner und die Heimat des Vercingetorix. Die Haeduer erheben sich jedoch schon bald gegen Caesar. Während die Schlacht um Gergovia tobt, rücken die Haeduer auf die römischen Truppen zu. Die Römer verlieren an diesem Tag fast siebenhundert Männer, können die Stadt aber nicht einnehmen. Caesar zieht weiter zur Stadt Noviodunum, die von den Haeduern zerstört wurde, während Labienus gegen die Stadt Lutetia zieht. Dort kommt es für Labienus zur siegreichen Schlacht. Die Gallier fliehen. Nach drei Tagen vereinigen sich seine Truppen mit denen Caesars.</code> | <code>Unterdessen hält Vercingetorix gallischen Landtag in Bibracte. Fast alle gallischen Stämme nehmen teil und bestätigen Vercingetorix als Feldherrn. Es kommt zur Schlacht, in deren Verlauf die gallischen Reiter am Fluss Armançon vernichtet werden. Vercingetorix zieht mit seinen Fußtruppen zur Festung Alesia ab. Dort kommt es erneut zum Kampf, den Caesar dank germanischer Hilfstruppen für sich entscheiden kann. Ihm gelingt es, die Gallier einzuschließen und ein ausgeklügeltes Befestigungssystem rund um die Stadt zu errichten. Die eingeschlossenen Gallier warten jetzt dringend auf heranziehende gallische Hilfstruppen, denn ihre Lebensmittelvorräte sind fast aufgebraucht. Die Gallier diskutieren die Möglichkeit, sich zu ergeben. In der flammenden Rede des Arverners Critognatus spricht sich dieser gegen eine Kapitulation aus und überzeugt die Übrigen. Reitergefechte eröffnen die nächsten Kampfhandlungen, bis zum Abend bahnt sich aber keine Entscheidung an. Auch in den kommenden Tagen gelingt...</code> |
+  | <code>Wo war die Geburtsstätte der Hip-Hop-Musik und welches Label spielte eine bedeutende Rolle in den 1990er Jahren an der US-Ostküste?</code>                                                                                                                                | <code>Hip-Hop-Musik entstand in New York City, an der US-Ostküste. Obwohl es inzwischen auch andere wichtige Zentren wie zum Beispiel Philadelphia und Los Angeles gibt, ist die Stadt bis heute das Zentrum der Szene. 1992 begann sich die Musikszene zu verändern. Hip-Hop-Musik wurde immer mehr und schließlich endgültig vom Mainstream übernommen und versprach, kommerziell sehr lukrativ zu werden. Ein wichtiges Label an der Ostküste war zu dieser Zeit Bad Boy Entertainment von Puff Daddy, dort veröffentlichten Craig Mack, Mase und The Notorious B.I.G.</code>                                                                                                                                                       | <code>East Coast vs. West Coast ("Ostküste gegen Westküste") ist die gängigste Bezeichnung für den bekanntesten "Beef" – eine Fehde im Hip-Hop. Bei der in der Mitte der 1990er-Jahre stattfindenden Auseinandersetzung handelte es sich um eine Rivalität zwischen den Plattenfirmen Bad Boy Entertainment aus New York City und Death Row Records aus Los Angeles sowie den dazugehörigen Rappern und Produzenten, die gewaltsam eskalierte. In ihrer Folge wurden unter anderem die Rapper Tupac Shakur und Notorious B.I.G. erschossen, wobei die Täter und der jeweilige Zusammenhang mit der Fehde ungeklärt blieben. Benannt ist der Konflikt nach den Szenen des Eastcoast-Hip-Hops und des Westcoast-Hip-Hops.</code>                                                                                                                                                                                                                                                                                                                           |
+  | <code>Die Annäherung zwischen Nord- und Südkorea in Bezug auf die Olympischen Spiele von 2018 beinhaltete gemeinsame Gespräche, die Einigung auf die Teilnahme nordkoreanischer Athleten sowie das gemeinsame Eintreten bei der Eröffnungsfeier und im Frauen-Eishockey.</code> | <code>Am 1. Januar 2018 sagte der nordkoreanische Machthaber Kim Jong-un in seiner Neujahrsansprache, dass die beiden Länder wieder gemeinsame Gespräche führen sollten. Am 9. Januar 2018 trafen sich Regierungsvertreter beider Länder und einigten sich unter anderem auf Athleten aus Nordkorea bei den Wettkämpfen in Südkorea. Am 17. Januar 2018 sagte ein Sprecher des südkoreanischen Vereinigungsministeriums, dass die beiden Länder unter dem Namen „Korea“ bei der Eröffnungsfeier gemeinsam einlaufen und im Frauen-Eishockey gemeinsam antreten würden.</code>                                                                                                                                                          | <code>Während der XXIII. Olympischen Winterspiele gab es vier Dopingfälle. So wurde der japanische Shorttracker Kei Saito positiv auf das Diuretikum Acetazolamid, der slowenische Eishockeyspieler Žiga Jeglič positiv auf das Asthmamittel Fenoterol, der russische Curler Alexander Alexandrowitsch Kruschelnizki positiv auf das Herzmittel Meldonium und die russische Bobfahrerin Nadeschda Wiktorowna Sergejewa positiv auf das Herzmittel Trimetazidin getestet. Alle vier Athleten wurden von der Veranstaltung ausgeschlossen. Außerdem wurden dem russischen Curler und seiner Partnerin die zuvor gewonnene Bronzemedaille bei den Mixed Doubles aberkannt und dem norwegischen Team Kristin Skaslien/Magnus Nedregotten zugesprochen.</code>                                                                                                                                                                                                                                                                                                |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768
+      ],
+      "matryoshka_weights": [
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 1
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `tf32`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 8
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 1
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: True
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step | Training Loss | dim_768_cosine_ndcg@10 |
+|:------:|:----:|:-------------:|:----------------------:|
+| 0.0048 | 10   | 39.6025       | -                      |
+| 0.0097 | 20   | 37.9613       | -                      |
+| 0.0145 | 30   | 34.1056       | -                      |
+| 0.0193 | 40   | 27.0495       | -                      |
+| 0.0242 | 50   | 17.7033       | -                      |
+| 0.0290 | 60   | 11.5513       | -                      |
+| 0.0338 | 70   | 8.059         | -                      |
+| 0.0387 | 80   | 5.7182        | -                      |
+| 0.0435 | 90   | 4.1844        | -                      |
+| 0.0483 | 100  | 3.5612        | -                      |
+| 0.0532 | 110  | 2.7178        | -                      |
+| 0.0580 | 120  | 2.4993        | -                      |
+| 0.0628 | 130  | 2.0754        | -                      |
+| 0.0677 | 140  | 1.9418        | -                      |
+| 0.0725 | 150  | 1.4704        | -                      |
+| 0.0773 | 160  | 1.3959        | -                      |
+| 0.0822 | 170  | 1.4232        | -                      |
+| 0.0870 | 180  | 1.5266        | -                      |
+| 0.0918 | 190  | 1.2147        | -                      |
+| 0.0967 | 200  | 1.3711        | -                      |
+| 0.1015 | 210  | 1.0753        | -                      |
+| 0.1063 | 220  | 1.156         | -                      |
+| 0.1112 | 230  | 1.3619        | -                      |
+| 0.1160 | 240  | 1.1122        | -                      |
+| 0.1208 | 250  | 1.0742        | -                      |
+| 0.1257 | 260  | 1.136         | -                      |
+| 0.1305 | 270  | 0.858         | -                      |
+| 0.1353 | 280  | 1.068         | -                      |
+| 0.1402 | 290  | 0.6717        | -                      |
+| 0.1450 | 300  | 0.8825        | -                      |
+| 0.1498 | 310  | 0.7441        | -                      |
+| 0.1547 | 320  | 0.8464        | -                      |
+| 0.1595 | 330  | 0.7714        | -                      |
+| 0.1643 | 340  | 0.8174        | -                      |
+| 0.1692 | 350  | 0.7368        | -                      |
+| 0.1740 | 360  | 0.741         | -                      |
+| 0.1788 | 370  | 0.6764        | -                      |
+| 0.1837 | 380  | 0.7638        | -                      |
+| 0.1885 | 390  | 0.7172        | -                      |
+| 0.1933 | 400  | 0.7113        | -                      |
+| 0.1982 | 410  | 0.7091        | -                      |
+| 0.2030 | 420  | 0.5405        | -                      |
+| 0.2078 | 430  | 0.5891        | -                      |
+| 0.2127 | 440  | 0.6461        | -                      |
+| 0.2175 | 450  | 0.781         | -                      |
+| 0.2223 | 460  | 0.6744        | -                      |
+| 0.2272 | 470  | 0.5077        | -                      |
+| 0.2320 | 480  | 0.7061        | -                      |
+| 0.2368 | 490  | 0.5176        | -                      |
+| 0.2417 | 500  | 0.4864        | -                      |
+| 0.2465 | 510  | 0.5373        | -                      |
+| 0.2513 | 520  | 0.5507        | -                      |
+| 0.2562 | 530  | 0.6507        | -                      |
+| 0.2610 | 540  | 0.5708        | -                      |
+| 0.2658 | 550  | 0.4801        | -                      |
+| 0.2707 | 560  | 0.3825        | -                      |
+| 0.2755 | 570  | 0.5892        | -                      |
+| 0.2803 | 580  | 0.5823        | -                      |
+| 0.2852 | 590  | 0.51          | -                      |
+| 0.2900 | 600  | 0.5337        | -                      |
+| 0.2948 | 610  | 0.5187        | -                      |
+| 0.2997 | 620  | 0.471         | -                      |
+| 0.3045 | 630  | 0.5821        | -                      |
+| 0.3093 | 640  | 0.3278        | -                      |
+| 0.3142 | 650  | 0.5094        | -                      |
+| 0.3190 | 660  | 0.4114        | -                      |
+| 0.3238 | 670  | 0.4379        | -                      |
+| 0.3287 | 680  | 0.5234        | -                      |
+| 0.3335 | 690  | 0.5318        | -                      |
+| 0.3383 | 700  | 0.4787        | -                      |
+| 0.3432 | 710  | 0.3483        | -                      |
+| 0.3480 | 720  | 0.465         | -                      |
+| 0.3528 | 730  | 0.4302        | -                      |
+| 0.3577 | 740  | 0.3866        | -                      |
+| 0.3625 | 750  | 0.453         | -                      |
+| 0.3673 | 760  | 0.3842        | -                      |
+| 0.3722 | 770  | 0.4903        | -                      |
+| 0.3770 | 780  | 0.33          | -                      |
+| 0.3819 | 790  | 0.4736        | -                      |
+| 0.3867 | 800  | 0.3975        | -                      |
+| 0.3915 | 810  | 0.3676        | -                      |
+| 0.3964 | 820  | 0.2913        | -                      |
+| 0.4012 | 830  | 0.4038        | -                      |
+| 0.4060 | 840  | 0.4749        | -                      |
+| 0.4109 | 850  | 0.4103        | -                      |
+| 0.4157 | 860  | 0.4588        | -                      |
+| 0.4205 | 870  | 0.3013        | -                      |
+| 0.4254 | 880  | 0.4855        | -                      |
+| 0.4302 | 890  | 0.3959        | -                      |
+| 0.4350 | 900  | 0.3933        | -                      |
+| 0.4399 | 910  | 0.3598        | -                      |
+| 0.4447 | 920  | 0.4467        | -                      |
+| 0.4495 | 930  | 0.4035        | -                      |
+| 0.4544 | 940  | 0.4247        | -                      |
+| 0.4592 | 950  | 0.4468        | -                      |
+| 0.4640 | 960  | 0.3264        | -                      |
+| 0.4689 | 970  | 0.3445        | -                      |
+| 0.4737 | 980  | 0.363         | -                      |
+| 0.4785 | 990  | 0.3709        | -                      |
+| 0.4834 | 1000 | 0.4586        | -                      |
+| 0.4882 | 1010 | 0.3139        | -                      |
+| 0.4930 | 1020 | 0.567         | -                      |
+| 0.4979 | 1030 | 0.3755        | -                      |
+| 0.5027 | 1040 | 0.2952        | -                      |
+| 0.5075 | 1050 | 0.3576        | -                      |
+| 0.5124 | 1060 | 0.311         | -                      |
+| 0.5172 | 1070 | 0.381         | -                      |
+| 0.5220 | 1080 | 0.3554        | -                      |
+| 0.5269 | 1090 | 0.3065        | -                      |
+| 0.5317 | 1100 | 0.4087        | -                      |
+| 0.5365 | 1110 | 0.2437        | -                      |
+| 0.5414 | 1120 | 0.4124        | -                      |
+| 0.5462 | 1130 | 0.435         | -                      |
+| 0.5510 | 1140 | 0.2396        | -                      |
+| 0.5559 | 1150 | 0.3464        | -                      |
+| 0.5607 | 1160 | 0.3872        | -                      |
+| 0.5655 | 1170 | 0.4872        | -                      |
+| 0.5704 | 1180 | 0.351         | -                      |
+| 0.5752 | 1190 | 0.2864        | -                      |
+| 0.5800 | 1200 | 0.4254        | -                      |
+| 0.5849 | 1210 | 0.3073        | -                      |
+| 0.5897 | 1220 | 0.3146        | -                      |
+| 0.5945 | 1230 | 0.268         | -                      |
+| 0.5994 | 1240 | 0.3106        | -                      |
+| 0.6042 | 1250 | 0.426         | -                      |
+| 0.6090 | 1260 | 0.4197        | -                      |
+| 0.6139 | 1270 | 0.3648        | -                      |
+| 0.6187 | 1280 | 0.272         | -                      |
+| 0.6235 | 1290 | 0.3805        | -                      |
+| 0.6284 | 1300 | 0.3631        | -                      |
+| 0.6332 | 1310 | 0.265         | -                      |
+| 0.6380 | 1320 | 0.288         | -                      |
+| 0.6429 | 1330 | 0.2716        | -                      |
+| 0.6477 | 1340 | 0.3444        | -                      |
+| 0.6525 | 1350 | 0.2418        | -                      |
+| 0.6574 | 1360 | 0.3825        | -                      |
+| 0.6622 | 1370 | 0.2237        | -                      |
+| 0.6670 | 1380 | 0.2659        | -                      |
+| 0.6719 | 1390 | 0.244         | -                      |
+| 0.6767 | 1400 | 0.2628        | -                      |
+| 0.6815 | 1410 | 0.3385        | -                      |
+| 0.6864 | 1420 | 0.3503        | -                      |
+| 0.6912 | 1430 | 0.3228        | -                      |
+| 0.6960 | 1440 | 0.3461        | -                      |
+| 0.7009 | 1450 | 0.3283        | -                      |
+| 0.7057 | 1460 | 0.3345        | -                      |
+| 0.7105 | 1470 | 0.429         | -                      |
+| 0.7154 | 1480 | 0.254         | -                      |
+| 0.7202 | 1490 | 0.196         | -                      |
+| 0.7250 | 1500 | 0.3695        | -                      |
+| 0.7299 | 1510 | 0.2672        | -                      |
+| 0.7347 | 1520 | 0.3063        | -                      |
+| 0.7395 | 1530 | 0.3582        | -                      |
+| 0.7444 | 1540 | 0.3276        | -                      |
+| 0.7492 | 1550 | 0.3168        | -                      |
+| 0.7540 | 1560 | 0.3315        | -                      |
+| 0.7589 | 1570 | 0.3494        | -                      |
+| 0.7637 | 1580 | 0.3574        | -                      |
+| 0.7685 | 1590 | 0.2926        | -                      |
+| 0.7734 | 1600 | 0.3158        | -                      |
+| 0.7782 | 1610 | 0.2219        | -                      |
+| 0.7830 | 1620 | 0.2301        | -                      |
+| 0.7879 | 1630 | 0.3057        | -                      |
+| 0.7927 | 1640 | 0.2204        | -                      |
+| 0.7975 | 1650 | 0.2708        | -                      |
+| 0.8024 | 1660 | 0.2864        | -                      |
+| 0.8072 | 1670 | 0.3662        | -                      |
+| 0.8120 | 1680 | 0.2674        | -                      |
+| 0.8169 | 1690 | 0.284         | -                      |
+| 0.8217 | 1700 | 0.2438        | -                      |
+| 0.8265 | 1710 | 0.3772        | -                      |
+| 0.8314 | 1720 | 0.3122        | -                      |
+| 0.8362 | 1730 | 0.2474        | -                      |
+| 0.8410 | 1740 | 0.2981        | -                      |
+| 0.8459 | 1750 | 0.2331        | -                      |
+| 0.8507 | 1760 | 0.2858        | -                      |
+| 0.8555 | 1770 | 0.2362        | -                      |
+| 0.8604 | 1780 | 0.254         | -                      |
+| 0.8652 | 1790 | 0.2155        | -                      |
+| 0.8700 | 1800 | 0.2614        | -                      |
+| 0.8749 | 1810 | 0.2149        | -                      |
+| 0.8797 | 1820 | 0.2774        | -                      |
+| 0.8845 | 1830 | 0.3404        | -                      |
+| 0.8894 | 1840 | 0.2184        | -                      |
+| 0.8942 | 1850 | 0.2138        | -                      |
+| 0.8990 | 1860 | 0.3272        | -                      |
+| 0.9039 | 1870 | 0.3183        | -                      |
+| 0.9087 | 1880 | 0.2401        | -                      |
+| 0.9135 | 1890 | 0.2773        | -                      |
+| 0.9184 | 1900 | 0.2353        | -                      |
+| 0.9232 | 1910 | 0.2686        | -                      |
+| 0.9280 | 1920 | 0.3028        | -                      |
+| 0.9329 | 1930 | 0.2799        | -                      |
+| 0.9377 | 1940 | 0.4128        | -                      |
+| 0.9425 | 1950 | 0.1866        | -                      |
+| 0.9474 | 1960 | 0.2149        | -                      |
+| 0.9522 | 1970 | 0.2565        | -                      |
+| 0.9570 | 1980 | 0.3198        | -                      |
+| 0.9619 | 1990 | 0.2368        | -                      |
+| 0.9667 | 2000 | 0.1715        | -                      |
+| 0.9715 | 2010 | 0.2219        | -                      |
+| 0.9764 | 2020 | 0.2335        | -                      |
+| 0.9812 | 2030 | 0.2485        | -                      |
+| 0.9860 | 2040 | 0.2966        | -                      |
+| 0.9909 | 2050 | 0.2007        | -                      |
+| 0.9957 | 2060 | 0.2383        | -                      |
+| 0.9996 | 2068 | -             | 0.8064                 |
+| 0.0048 | 10   | 0.2327        | -                      |
+| 0.0097 | 20   | 0.2529        | -                      |
+| 0.0145 | 30   | 0.2527        | -                      |
+| 0.0193 | 40   | 0.2244        | -                      |
+| 0.0242 | 50   | 0.4014        | -                      |
+| 0.0290 | 60   | 0.3844        | -                      |
+| 0.0338 | 70   | 0.2978        | -                      |
+| 0.0387 | 80   | 0.3432        | -                      |
+| 0.0435 | 90   | 0.184         | -                      |
+| 0.0483 | 100  | 0.3491        | -                      |
+| 0.0532 | 110  | 0.2435        | -                      |
+| 0.0580 | 120  | 0.2032        | -                      |
+| 0.0628 | 130  | 0.257         | -                      |
+| 0.0677 | 140  | 0.3178        | -                      |
+| 0.0725 | 150  | 0.2575        | -                      |
+| 0.0773 | 160  | 0.2099        | -                      |
+| 0.0822 | 170  | 0.232         | -                      |
+| 0.0870 | 180  | 0.2196        | -                      |
+| 0.0918 | 190  | 0.2303        | -                      |
+| 0.0967 | 200  | 0.271         | -                      |
+| 0.1015 | 210  | 0.1831        | -                      |
+| 0.1063 | 220  | 0.1815        | -                      |
+| 0.1112 | 230  | 0.2543        | -                      |
+| 0.1160 | 240  | 0.2217        | -                      |
+| 0.1208 | 250  | 0.2435        | -                      |
+| 0.1257 | 260  | 0.247         | -                      |
+| 0.1305 | 270  | 0.2078        | -                      |
+| 0.1353 | 280  | 0.1966        | -                      |
+| 0.1402 | 290  | 0.13          | -                      |
+| 0.1450 | 300  | 0.1588        | -                      |
+| 0.1498 | 310  | 0.1402        | -                      |
+| 0.1547 | 320  | 0.1944        | -                      |
+| 0.1595 | 330  | 0.1297        | -                      |
+| 0.1643 | 340  | 0.2317        | -                      |
+| 0.1692 | 350  | 0.137         | -                      |
+| 0.1740 | 360  | 0.1501        | -                      |
+| 0.1788 | 370  | 0.1475        | -                      |
+| 0.1837 | 380  | 0.1325        | -                      |
+| 0.1885 | 390  | 0.1457        | -                      |
+| 0.1933 | 400  | 0.1415        | -                      |
+| 0.1982 | 410  | 0.1256        | -                      |
+| 0.2030 | 420  | 0.1201        | -                      |
+| 0.2078 | 430  | 0.0994        | -                      |
+| 0.2127 | 440  | 0.1208        | -                      |
+| 0.2175 | 450  | 0.158         | -                      |
+| 0.2223 | 460  | 0.1329        | -                      |
+| 0.2272 | 470  | 0.1148        | -                      |
+| 0.2320 | 480  | 0.1643        | -                      |
+| 0.2368 | 490  | 0.1067        | -                      |
+| 0.2417 | 500  | 0.089         | -                      |
+| 0.2465 | 510  | 0.1037        | -                      |
+| 0.2513 | 520  | 0.1159        | -                      |
+| 0.2562 | 530  | 0.102         | -                      |
+| 0.2610 | 540  | 0.1189        | -                      |
+| 0.2658 | 550  | 0.0932        | -                      |
+| 0.2707 | 560  | 0.0655        | -                      |
+| 0.2755 | 570  | 0.1196        | -                      |
+| 0.2803 | 580  | 0.1225        | -                      |
+| 0.2852 | 590  | 0.1129        | -                      |
+| 0.2900 | 600  | 0.098         | -                      |
+| 0.2948 | 610  | 0.1093        | -                      |
+| 0.2997 | 620  | 0.094         | -                      |
+| 0.3045 | 630  | 0.1147        | -                      |
+| 0.3093 | 640  | 0.0661        | -                      |
+| 0.3142 | 650  | 0.1133        | -                      |
+| 0.3190 | 660  | 0.0813        | -                      |
+| 0.3238 | 670  | 0.0922        | -                      |
+| 0.3287 | 680  | 0.1496        | -                      |
+| 0.3335 | 690  | 0.113         | -                      |
+| 0.3383 | 700  | 0.1132        | -                      |
+| 0.3432 | 710  | 0.0712        | -                      |
+| 0.3480 | 720  | 0.1276        | -                      |
+| 0.3528 | 730  | 0.1022        | -                      |
+| 0.3577 | 740  | 0.0779        | -                      |
+| 0.3625 | 750  | 0.1139        | -                      |
+| 0.3673 | 760  | 0.0753        | -                      |
+| 0.3722 | 770  | 0.1194        | -                      |
+| 0.3770 | 780  | 0.0701        | -                      |
+| 0.3819 | 790  | 0.1178        | -                      |
+| 0.3867 | 800  | 0.0992        | -                      |
+| 0.3915 | 810  | 0.0906        | -                      |
+| 0.3964 | 820  | 0.0699        | -                      |
+| 0.4012 | 830  | 0.1325        | -                      |
+| 0.4060 | 840  | 0.1236        | -                      |
+| 0.4109 | 850  | 0.1026        | -                      |
+| 0.4157 | 860  | 0.1389        | -                      |
+| 0.4205 | 870  | 0.087         | -                      |
+| 0.4254 | 880  | 0.134         | -                      |
+| 0.4302 | 890  | 0.1171        | -                      |
+| 0.4350 | 900  | 0.1081        | -                      |
+| 0.4399 | 910  | 0.1205        | -                      |
+| 0.4447 | 920  | 0.0975        | -                      |
+| 0.4495 | 930  | 0.1331        | -                      |
+| 0.4544 | 940  | 0.1272        | -                      |
+| 0.4592 | 950  | 0.1445        | -                      |
+| 0.4640 | 960  | 0.0818        | -                      |
+| 0.4689 | 970  | 0.0996        | -                      |
+| 0.4737 | 980  | 0.1063        | -                      |
+| 0.4785 | 990  | 0.1124        | -                      |
+| 0.4834 | 1000 | 0.168         | -                      |
+| 0.4882 | 1010 | 0.0961        | -                      |
+| 0.4930 | 1020 | 0.1498        | -                      |
+| 0.4979 | 1030 | 0.1202        | -                      |
+| 0.5027 | 1040 | 0.1063        | -                      |
+| 0.5075 | 1050 | 0.1772        | -                      |
+| 0.5124 | 1060 | 0.1073        | -                      |
+| 0.5172 | 1070 | 0.1248        | -                      |
+| 0.5220 | 1080 | 0.1265        | -                      |
+| 0.5269 | 1090 | 0.1239        | -                      |
+| 0.5317 | 1100 | 0.1154        | -                      |
+| 0.5365 | 1110 | 0.0984        | -                      |
+| 0.5414 | 1120 | 0.1572        | -                      |
+| 0.5462 | 1130 | 0.149         | -                      |
+| 0.5510 | 1140 | 0.0775        | -                      |
+| 0.5559 | 1150 | 0.1215        | -                      |
+| 0.5607 | 1160 | 0.1423        | -                      |
+| 0.5655 | 1170 | 0.2041        | -                      |
+| 0.5704 | 1180 | 0.1489        | -                      |
+| 0.5752 | 1190 | 0.1116        | -                      |
+| 0.5800 | 1200 | 0.1711        | -                      |
+| 0.5849 | 1210 | 0.1188        | -                      |
+| 0.5897 | 1220 | 0.1028        | -                      |
+| 0.5945 | 1230 | 0.0867        | -                      |
+| 0.5994 | 1240 | 0.1198        | -                      |
+| 0.6042 | 1250 | 0.1741        | -                      |
+| 0.6090 | 1260 | 0.1689        | -                      |
+| 0.6139 | 1270 | 0.1622        | -                      |
+| 0.6187 | 1280 | 0.1141        | -                      |
+| 0.6235 | 1290 | 0.161         | -                      |
+| 0.6284 | 1300 | 0.1321        | -                      |
+| 0.6332 | 1310 | 0.092         | -                      |
+| 0.6380 | 1320 | 0.1303        | -                      |
+| 0.6429 | 1330 | 0.1126        | -                      |
+| 0.6477 | 1340 | 0.1341        | -                      |
+| 0.6525 | 1350 | 0.0947        | -                      |
+| 0.6574 | 1360 | 0.2087        | -                      |
+| 0.6622 | 1370 | 0.1157        | -                      |
+| 0.6670 | 1380 | 0.1085        | -                      |
+| 0.6719 | 1390 | 0.0938        | -                      |
+| 0.6767 | 1400 | 0.125         | -                      |
+| 0.6815 | 1410 | 0.163         | -                      |
+| 0.6864 | 1420 | 0.1575        | -                      |
+| 0.6912 | 1430 | 0.1585        | -                      |
+| 0.6960 | 1440 | 0.1875        | -                      |
+| 0.7009 | 1450 | 0.1624        | -                      |
+| 0.7057 | 1460 | 0.1535        | -                      |
+| 0.7105 | 1470 | 0.2075        | -                      |
+| 0.7154 | 1480 | 0.1321        | -                      |
+| 0.7202 | 1490 | 0.0914        | -                      |
+| 0.7250 | 1500 | 0.1906        | -                      |
+| 0.7299 | 1510 | 0.1301        | -                      |
+| 0.7347 | 1520 | 0.1832        | -                      |
+| 0.7395 | 1530 | 0.1919        | -                      |
+| 0.7444 | 1540 | 0.1693        | -                      |
+| 0.7492 | 1550 | 0.193         | -                      |
+| 0.7540 | 1560 | 0.1707        | -                      |
+| 0.7589 | 1570 | 0.1851        | -                      |
+| 0.7637 | 1580 | 0.1886        | -                      |
+| 0.7685 | 1590 | 0.1727        | -                      |
+| 0.7734 | 1600 | 0.1654        | -                      |
+| 0.7782 | 1610 | 0.1279        | -                      |
+| 0.7830 | 1620 | 0.1506        | -                      |
+| 0.7879 | 1630 | 0.1939        | -                      |
+| 0.7927 | 1640 | 0.148         | -                      |
+| 0.7975 | 1650 | 0.1656        | -                      |
+| 0.8024 | 1660 | 0.1648        | -                      |
+| 0.8072 | 1670 | 0.2508        | -                      |
+| 0.8120 | 1680 | 0.1731        | -                      |
+| 0.8169 | 1690 | 0.1835        | -                      |
+| 0.8217 | 1700 | 0.1428        | -                      |
+| 0.8265 | 1710 | 0.231         | -                      |
+| 0.8314 | 1720 | 0.1976        | -                      |
+| 0.8362 | 1730 | 0.1659        | -                      |
+| 0.8410 | 1740 | 0.2064        | -                      |
+| 0.8459 | 1750 | 0.1229        | -                      |
+| 0.8507 | 1760 | 0.1709        | -                      |
+| 0.8555 | 1770 | 0.1506        | -                      |
+| 0.8604 | 1780 | 0.173         | -                      |
+| 0.8652 | 1790 | 0.1587        | -                      |
+| 0.8700 | 1800 | 0.1733        | -                      |
+| 0.8749 | 1810 | 0.1407        | -                      |
+| 0.8797 | 1820 | 0.187         | -                      |
+| 0.8845 | 1830 | 0.2365        | -                      |
+| 0.8894 | 1840 | 0.1434        | -                      |
+| 0.8942 | 1850 | 0.1547        | -                      |
+| 0.8990 | 1860 | 0.2597        | -                      |
+| 0.9039 | 1870 | 0.2158        | -                      |
+| 0.9087 | 1880 | 0.1674        | -                      |
+| 0.9135 | 1890 | 0.196         | -                      |
+| 0.9184 | 1900 | 0.2011        | -                      |
+| 0.9232 | 1910 | 0.2137        | -                      |
+| 0.9280 | 1920 | 0.2141        | -                      |
+| 0.9329 | 1930 | 0.2114        | -                      |
+| 0.9377 | 1940 | 0.2817        | -                      |
+| 0.9425 | 1950 | 0.1285        | -                      |
+| 0.9474 | 1960 | 0.1401        | -                      |
+| 0.9522 | 1970 | 0.2044        | -                      |
+| 0.9570 | 1980 | 0.2434        | -                      |
+| 0.9619 | 1990 | 0.1693        | -                      |
+| 0.9667 | 2000 | 0.1225        | -                      |
+| 0.9715 | 2010 | 0.1716        | -                      |
+| 0.9764 | 2020 | 0.1703        | -                      |
+| 0.9812 | 2030 | 0.1686        | -                      |
+| 0.9860 | 2040 | 0.242         | -                      |
+| 0.9909 | 2050 | 0.1553        | -                      |
+| 0.9957 | 2060 | 0.1721        | -                      |
+| 0.9996 | 2068 | -             | 0.8140                 |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.11
+- Sentence Transformers: 3.3.1
+- Transformers: 4.48.1
+- PyTorch: 2.5.1+cu124
+- Accelerate: 1.2.1
+- Datasets: 2.19.1
+- Tokenizers: 0.21.0
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,47 @@
+{
+  "_name_or_path": "/content/ModernBERT-base-financial-matryoshka/checkpoint-2068",
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 50281,
+  "classifier_activation": "gelu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 50281,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "embedding_dropout": 0.0,
+  "eos_token_id": 50282,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 10000.0,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 50283,
+  "position_embedding_type": "absolute",
+  "reference_compile": true,
+  "repad_logits_with_grad": false,
+  "sep_token_id": 50282,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.48.1",
+  "vocab_size": 50368
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.3.1",
+    "transformers": "4.48.1",
+    "pytorch": "2.5.1+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2e2bf5b9e8e9026a619a10d2e62a10e7d097b8872dc9c11948f0be1362002606
+size 596070136

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 8192,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,952 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "|||IP_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "1": {
+      "content": "<|padding|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50254": {
+      "content": "                        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50255": {
+      "content": "                       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50256": {
+      "content": "                      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50257": {
+      "content": "                     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50258": {
+      "content": "                    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50259": {
+      "content": "                   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50260": {
+      "content": "                  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50261": {
+      "content": "                 ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50262": {
+      "content": "                ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50263": {
+      "content": "               ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50264": {
+      "content": "              ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50265": {
+      "content": "             ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50266": {
+      "content": "            ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50267": {
+      "content": "           ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50268": {
+      "content": "          ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50269": {
+      "content": "         ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50270": {
+      "content": "        ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50271": {
+      "content": "       ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50272": {
+      "content": "      ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50273": {
+      "content": "     ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50274": {
+      "content": "    ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50275": {
+      "content": "   ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50276": {
+      "content": "  ",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50277": {
+      "content": "|||EMAIL_ADDRESS|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50278": {
+      "content": "|||PHONE_NUMBER|||",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50279": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50280": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50281": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50282": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50283": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50284": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50285": {
+      "content": "[unused0]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50286": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50287": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50288": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50289": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50290": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50291": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50292": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50293": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50294": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50295": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50296": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50297": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50298": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50299": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50300": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50301": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50302": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50303": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50304": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50305": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50306": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50307": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50308": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50309": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50310": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50311": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50312": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50313": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50314": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50315": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50316": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50317": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50318": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50319": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50320": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50321": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50322": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50323": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50324": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50325": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50326": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50327": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50328": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50329": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50330": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50331": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50332": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50333": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50334": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50335": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50336": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50337": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50338": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50339": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50340": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50341": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50342": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50343": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50344": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50345": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50346": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50347": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50348": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50349": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50350": {
+      "content": "[unused65]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50351": {
+      "content": "[unused66]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50352": {
+      "content": "[unused67]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50353": {
+      "content": "[unused68]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50354": {
+      "content": "[unused69]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50355": {
+      "content": "[unused70]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50356": {
+      "content": "[unused71]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50357": {
+      "content": "[unused72]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50358": {
+      "content": "[unused73]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50359": {
+      "content": "[unused74]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50360": {
+      "content": "[unused75]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50361": {
+      "content": "[unused76]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50362": {
+      "content": "[unused77]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50363": {
+      "content": "[unused78]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50364": {
+      "content": "[unused79]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50365": {
+      "content": "[unused80]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50366": {
+      "content": "[unused81]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "50367": {
+      "content": "[unused82]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "max_length": 8192,
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 8192,
+  "pad_to_multiple_of": null,
+  "pad_token": "[PAD]",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "[SEP]",
+  "stride": 0,
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "[UNK]"
+}