|
--- |
|
license: apache-2.0 |
|
pipeline_tag: text-generation |
|
language: |
|
- en |
|
- fr |
|
- es |
|
- it |
|
- de |
|
library_name: transformers |
|
tags: |
|
- moe |
|
- text-generation-inference |
|
--- |
|
# Mixtral-8x22B-v0.1 |
|
New MoE model by MistralAI |
|
|
|
## Model Details: |
|
- 65k context window |
|
- 48 attention heads |
|
- 56 layers |
|
- 8 experts |
|
|
|
## Benchmarks |
|
``` |
|
ARC C (25-shot): 70.5 |
|
Hellaswag (10-shot): 88.9 |
|
MMLU (5-shot): 77.3 |
|
TruthfulQA: 52.3 |
|
Winogrande (5-shot): 85.2 |
|
GSM8K (5-shot): 76.5 |
|
|
|
Source: https://huggingface.co/mistral-community/Mixtral-8x22B-v0.1/discussions/4#6616c393b8d25135997cdd45 |
|
``` |
|
The model is split into 27 parts, from the original torrent. |
|
|
|
Magnet link and checksum: [https://twitter.com/mistralai/status/1777869263778291896](https://twitter.com/mistralai/status/1777869263778291896) |
|
|
|
## How to use: |
|
Run git clone: |
|
``` |
|
git clone https://huggingface.co/leafspark/mixtral-8x22b |
|
cd mixtral-8x22b |
|
``` |
|
Make sure you have Python 2 or 3 installed (HuggingFace libraries not required): |
|
``` |
|
python merge.py |
|
``` |
|
This should take approximately 2 hours, you will be left with a 274GB file. |
|
Check the MD5 hash of consolidated.safetensors: |
|
``` |
|
3816cd2c4f827b4b868bc6481d5d3ba2 |
|
``` |
|
|
|
That's it! Now you have the complete torrent download on your computer. |
|
|
|
## Credit to: |
|
``` |
|
|
|
▄▄▄░░ |
|
▄▄▄▄▄█████████░░░░ |
|
▄▄▄▄▄▄████████████████████░░░░░ |
|
█████████████████████████████░░░░░ |
|
▄▄▄▄▄▄█████░░░ █████████████████████████████░░░░░ |
|
▄▄▄▄▄██████████████████░░░░░░ ██████████████████████████████░░░░░ |
|
▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░ |
|
███████████████████████████████░░░░░░░██████████████████████████████░░░░░ |
|
███████████████████████████████░░░░░░░██████████████████████████████░░░░░ |
|
███████████████████████████████░░░░░░███████████████████████████████░░░░░ |
|
████████████████████████████████░░░░░███████████████████████████████░░░░░ |
|
████████████████████████████████░░░░████████████████████████████████░░░░░ |
|
█████████████████████████████████░░░████████████████████████████████░░░░░ |
|
█████████████████████████████████░░░████████████░███████████████████░░░░░ |
|
██████████████████████████████████░█████████████░███████████████████░░░░░ |
|
███████████████████░██████████████▄█████████████░███████████████████░░░░░ |
|
███████████████████░███████████████████████████░░███████████████████░░░░░ |
|
███████████████████░░██████████████████████████░░███████████████████░░░░░ |
|
███████████████████░░█████████████████████████░░░███████████████████░░░░░ |
|
███████████████████░░░████████████████████████░░░███████████████████░░░░░ |
|
███████████████████░░░████████████████████████░░░███████████████████░░░░░ |
|
███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ |
|
███████████████████░░░░██████████████████████░░░░███████████████████░░░░░ |
|
███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░ |
|
███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░ |
|
███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░ |
|
███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░ |
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░ |
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░ |
|
░░░░░░░░░░░░░░░░░░░░░░░░░░░░ |
|
░░░░░░░░░░░░░░░░░ |
|
░░░░░ |
|
``` |
|
## Released by the Mistral AI team: |
|
Albert Jiang, Alexandre Sablayrolles, Alexis Tacnet, Antoine Roux, |
|
Arthur Mensch, Audrey Herblin-Stoop, Baptiste Bout, Baudouin de Monicault, |
|
Blanche Savary, Bam4d, Caroline Feldman, Devendra Singh Chaplot, |
|
Diego de las Casas, Eleonore Arcelin, Emma Bou Hanna, Etienne Metzger, |
|
Gianna Lengyel, Guillaume Bour, Guillaume Lample, Harizo Rajaona, |
|
Jean-Malo Delignon, Jia Li, Justus Murke, Louis Martin, Louis Ternon |
|
Lucile Saulnier, Lélio Renard Lavaud, Margaret Jennings, Marie Pellat, |
|
Marie Torelli, Marie-Anne Lachaux, Nicolas Schuhl, Patrick von Platen, |
|
Pierre Stock, Sandeep Subramanian, Sophia Yang, Szymon Antoniak, |
|
Teven Le Scao, Thibaut Lavril, Timothée Lacroix, Théophile Gervet, |
|
Thomas Wang, Valera Nemychnikova, William El Sayed, William Marshall |
|
|
