✅ Model Card for CEREBORN_german

3Step Version I just (14.03.25) added a new "3step Model" als GGUP that implements a 3 step reasoning, answer and remembering process for cereborn-german.

CEREBORN-german is a neat little model built on top of Phi 3.5 4B Instruct, fine-tuned via LoRA on an A100 using carefully curated data. We ended up adjusting about 5.5% of the parameters, hit a 0.76 loss on our eval set, and chugged through 1.2 billion tokens during training. This project came about because we needed a smaller language model that speaks German like a pro, responds quickly, and handles instruct tasks with ease. The model was fine-tuned by Thom Heinrich (Linguist & AI Guy @ Big4). If you want to reach out, feel free to connect on LinkedIn.

✅ Model Details

CEREBORN-german is primarily designed as a compact local model for generating conversational German responses. It also excels at understanding and classifying German texts (e.g., extracting entities, topics, relationships, and more). It’s part of the broader CEREBORN framework (www.cereborn.com) and is optimized for use with laitly (www.laitly.com) and chunkyDB (www.chunkydb.com).

As of 2025-03-10, those domains aren’t live just yet, but stay tuned!

✅ Examples

Here are some unedited examples:

Was ist ein Quantencomputer?

Ein Quantencomputer ist ein Computer, der die Prinzipien der Quantenmechanik verwendet, um Berechnungen durchzuführen. Während ein herkömmlicher Computer mit Bits arbeitet, die entweder einen binären Zustand von 0 oder 1 annehmen können, verwenden Quantencomputer Qubits, die Zustände von 0, 1 und alles dazwischen annehmen können. Diese Eigenschaft, bekannt als Superposition, ermöglicht es Quantencomputern, viele Berechnungen gleichzeitig durchzuführen und somit eine exponentielle Steigerung der Rechenleistung im Vergleich zu traditionellen Computern zu erreichen.

Fasse die Geschichte von Goethes Faust in 5 Sätzen zusammen!

Faust, ein Gelehrter, ist unzufrieden mit seinem Leben und schließt einen Pakt mit Mephistopheles, um die ultimative menschliche Erfahrung zu erlangen. Sie reisen zu verschiedenen Orten und erleben verschiedene Lebensstile, aber Faust ist immer noch unzufrieden. Faust wird von Mephistopheles dazu gebracht, eine Frau namens Gretchen zu lieben, und ihre Beziehung führt zu ihrem tragischen Ende. Faust erkennt, dass er seine Liebe zu Gretchen und die Konsequenzen seines Pakts nicht mehr ignorieren kann. In einem letzten Versuch, Erlösung zu finden, opfert sich Faust und wird in den Himmel aufgenommen.

Schreibe einen kurzen Werbepost für ein orthopädisches Hundebett!

Erlebe die ultimative Komfortzone für deinen pelzigen Freund mit unserem neu gestalteten orthopädischen Hundebett! Unsere innovative Konstruktion bietet eine maßgeschneiderte Unterstützung für deinen Hund, die seine natürliche Bewegung fördert und gleichzeitig Schmerzen lindert. Von der hochwertigen, atmungsaktiven Stoffauswahl bis hin zur maßgeschneiderten Form: Das orthopädische Hundebett ist darauf ausgelegt, deinem tierischen Begleiter das Leben zu erleichtern.

✅ Training results

Training Loss Epoch Step Validation Loss Input Tokens Seen
0.849 0.2210 280 0.8296 92108800
0.8254 0.4420 560 0.8104 184217600
0.8036 0.6630 840 0.7972 276326400
0.8005 0.8841 1120 0.7879 368435200
0.7892 1.1058 1400 0.7814 460626240
0.7827 1.3268 1680 0.7769 552735040
0.7731 1.5478 1960 0.7729 644843840
0.7763 1.7688 2240 0.7700 736952640
0.7728 1.9898 2520 0.7677 829061440
0.7682 2.2115 2800 0.7661 921252480
0.7597 2.4326 3080 0.7652 1013361280
0.764 2.6536 3360 0.7646 1105470080
0.7626 2.8746 3640 0.7644 1197578880

✅ Environment

The model was trained entirely sustainable on hyperstack.

✅ Sources

CEREBORN-german is a fine-tuned version of microsoft/Phi-3.5-mini-instruct.

Downloads last month
88
GGUF
Model size
3.82B params
Architecture
phi3
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API: The model has no library tag.

Model tree for thomheinrich/CEREBORN-german

Quantized
(138)
this model