thomheinrich/CEREBORN-german

✅ Model Card for CEREBORN_german

3Step Version I just (14.03.25) added a new "3step Model" als GGUP that implements a 3 step reasoning, answer and remembering process for cereborn-german.

CEREBORN-german is a neat little model built on top of Phi 3.5 4B Instruct, fine-tuned via LoRA on an A100 using carefully curated data. We ended up adjusting about 5.5% of the parameters, hit a 0.76 loss on our eval set, and chugged through 1.2 billion tokens during training. This project came about because we needed a smaller language model that speaks German like a pro, responds quickly, and handles instruct tasks with ease. The model was fine-tuned by Thom Heinrich (Linguist & AI Guy @ Big4). If you want to reach out, feel free to connect on LinkedIn.

✅ Model Details

CEREBORN-german is primarily designed as a compact local model for generating conversational German responses. It also excels at understanding and classifying German texts (e.g., extracting entities, topics, relationships, and more). It’s part of the broader CEREBORN framework (www.cereborn.com) and is optimized for use with laitly (www.laitly.com) and chunkyDB (www.chunkydb.com).

As of 2025-03-10, those domains aren’t live just yet, but stay tuned!

✅ Examples

Here are some unedited examples:

❓ Was ist ein Quantencomputer?

❗ Ein Quantencomputer ist ein Computer, der die Prinzipien der Quantenmechanik verwendet, um Berechnungen durchzuführen. Während ein herkömmlicher Computer mit Bits arbeitet, die entweder einen binären Zustand von 0 oder 1 annehmen können, verwenden Quantencomputer Qubits, die Zustände von 0, 1 und alles dazwischen annehmen können. Diese Eigenschaft, bekannt als Superposition, ermöglicht es Quantencomputern, viele Berechnungen gleichzeitig durchzuführen und somit eine exponentielle Steigerung der Rechenleistung im Vergleich zu traditionellen Computern zu erreichen.

❓ Fasse die Geschichte von Goethes Faust in 5 Sätzen zusammen!

❗ Faust, ein Gelehrter, ist unzufrieden mit seinem Leben und schließt einen Pakt mit Mephistopheles, um die ultimative menschliche Erfahrung zu erlangen. Sie reisen zu verschiedenen Orten und erleben verschiedene Lebensstile, aber Faust ist immer noch unzufrieden. Faust wird von Mephistopheles dazu gebracht, eine Frau namens Gretchen zu lieben, und ihre Beziehung führt zu ihrem tragischen Ende. Faust erkennt, dass er seine Liebe zu Gretchen und die Konsequenzen seines Pakts nicht mehr ignorieren kann. In einem letzten Versuch, Erlösung zu finden, opfert sich Faust und wird in den Himmel aufgenommen.

❓ Schreibe einen kurzen Werbepost für ein orthopädisches Hundebett!

❗ Erlebe die ultimative Komfortzone für deinen pelzigen Freund mit unserem neu gestalteten orthopädischen Hundebett! Unsere innovative Konstruktion bietet eine maßgeschneiderte Unterstützung für deinen Hund, die seine natürliche Bewegung fördert und gleichzeitig Schmerzen lindert. Von der hochwertigen, atmungsaktiven Stoffauswahl bis hin zur maßgeschneiderten Form: Das orthopädische Hundebett ist darauf ausgelegt, deinem tierischen Begleiter das Leben zu erleichtern.

✅ Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.849	0.2210	280	0.8296	92108800
0.8254	0.4420	560	0.8104	184217600
0.8036	0.6630	840	0.7972	276326400
0.8005	0.8841	1120	0.7879	368435200
0.7892	1.1058	1400	0.7814	460626240
0.7827	1.3268	1680	0.7769	552735040
0.7731	1.5478	1960	0.7729	644843840
0.7763	1.7688	2240	0.7700	736952640
0.7728	1.9898	2520	0.7677	829061440
0.7682	2.2115	2800	0.7661	921252480
0.7597	2.4326	3080	0.7652	1013361280
0.764	2.6536	3360	0.7646	1105470080
0.7626	2.8746	3640	0.7644	1197578880

✅ Environment

The model was trained entirely sustainable on hyperstack.

✅ Sources

CEREBORN-german is a fine-tuned version of microsoft/Phi-3.5-mini-instruct.