chenxingphh
commited on
Commit
•
6782937
1
Parent(s):
6f60ce3
Update README.md
Browse files
README.md
CHANGED
@@ -20,6 +20,7 @@ pipeline_tag: text-generation
|
|
20 |
</div>
|
21 |
|
22 |
<p align="center">
|
|
|
23 |
<a href="https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat" target="_blank">Github</a>
|
24 |
</p>
|
25 |
|
@@ -41,6 +42,21 @@ pipeline_tag: text-generation
|
|
41 |
- 我们微调的模型对学术研究完全开放,同时请大家遵守[协议](#协议)
|
42 |
和 [Yi License](https://github.com/01-ai/Yi/blob/main/MODEL_LICENSE_AGREEMENT.txt)
|
43 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
44 |
# 模型推理
|
45 |
|
46 |
推理所需的相关代码已发布在 Github上。Github仓库链接:[OrionStar-Yi-34B-Chat](https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat)。
|
|
|
20 |
</div>
|
21 |
|
22 |
<p align="center">
|
23 |
+
🤗 <a href="https://huggingface.co/OrionStarAI/OrionStar-Yi-34B-Chat" target="_blank">Hugging Face</a> |
|
24 |
<a href="https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat" target="_blank">Github</a>
|
25 |
</p>
|
26 |
|
|
|
42 |
- 我们微调的模型对学术研究完全开放,同时请大家遵守[协议](#协议)
|
43 |
和 [Yi License](https://github.com/01-ai/Yi/blob/main/MODEL_LICENSE_AGREEMENT.txt)
|
44 |
|
45 |
+
- 模型评估结果
|
46 |
+
|
47 |
+
我们使用[opencompass](https://opencompass.org.cn)对以下通用领域数据集进行了 5-shot
|
48 |
+
测试。其他模型评估结果取自[opencompass-leaderboard](https://opencompass.org.cn/leaderboard-llm)。
|
49 |
+
|
50 |
+
| | C-Eval | MMLU | CMMLU |
|
51 |
+
|---------------------------|--------|-------|-------|
|
52 |
+
| **GPT-4** | 69.9 | 83 | 71 |
|
53 |
+
| **ChatGPT** | 52.5 | 69.1 | 53.9 |
|
54 |
+
| **Claude-1** | 52 | 65.7 | - |
|
55 |
+
| **TigerBot-70B-Chat-V2** | 57.7 | 65.9 | 59.9 |
|
56 |
+
| **WeMix-LLaMA2-70B** | 55.2 | 71.3 | 56 |
|
57 |
+
| **LLaMA-2-70B-Chat** | 44.3 | 63.8 | 43.3 |
|
58 |
+
| **OrionStar-Yi-34B-Chat** | 77.71 | 78.32 | 73.52 |
|
59 |
+
|
60 |
# 模型推理
|
61 |
|
62 |
推理所需的相关代码已发布在 Github上。Github仓库链接:[OrionStar-Yi-34B-Chat](https://github.com/OrionStarAI/OrionStar-Yi-34B-Chat)。
|