Update README_zh.md
Browse files- README_zh.md +6 -5
README_zh.md
CHANGED
@@ -16,11 +16,12 @@
|
|
16 |
## 模型简介
|
17 |
Index-1.9B-32K 是一个仅有 1.9B 参数、却具备 32K 上下文长度的语言模型(这意味着,这个超小精灵可以一次性读完 3.5 万字以上的文档)。该模型专门针对 32K 以上的长文本进行了持续预训练(Continue Pre-Train)和监督微调(SFT),主要基于我们精心清洗的长文本预训练语料、自建的长文本指令集进行训练。目前,我们已在 Hugging Face 和 ModelScope 上同步开源。
|
18 |
|
19 |
-
Index-1.9B-32K
|
20 |
-
<
|
21 |
-
<img src="z-attach-pic-pk-all
|
22 |
-
|
23 |
-
</
|
|
|
24 |
|
25 |
Index-1.9B-32K在32K长度的大海捞针测试下,评测结果优异,如下图,评测结果只在(32K 长度,%10 深度)区域有一处黄斑(91.08分),其他范围表现优异,几乎全绿。
|
26 |
<div style="text-align: center;">
|
|
|
16 |
## 模型简介
|
17 |
Index-1.9B-32K 是一个仅有 1.9B 参数、却具备 32K 上下文长度的语言模型(这意味着,这个超小精灵可以一次性读完 3.5 万字以上的文档)。该模型专门针对 32K 以上的长文本进行了持续预训练(Continue Pre-Train)和监督微调(SFT),主要基于我们精心清洗的长文本预训练语料、自建的长文本指令集进行训练。目前,我们已在 Hugging Face 和 ModelScope 上同步开源。
|
18 |
|
19 |
+
Index-1.9B-32K 以极小的模型体积(约为 GPT-4 等模型的 2%),实现了出色的长文本处理能力。如下图,我们1.9B尺寸的模型分数甚至远超7B尺寸的模型。以下为与 GPT-4、Qwen2等模型的对比:
|
20 |
+
<p align="center">
|
21 |
+
<img src="z-attach-pic-pk-all" alt="" width="800">
|
22 |
+
</p>
|
23 |
+
<p align="center"><strong>Index-1.9B-32K与GPT-4、Qwen2等模型长文本能力对比 </strong></p>
|
24 |
+
|
25 |
|
26 |
Index-1.9B-32K在32K长度的大海捞针测试下,评测结果优异,如下图,评测结果只在(32K 长度,%10 深度)区域有一处黄斑(91.08分),其他范围表现优异,几乎全绿。
|
27 |
<div style="text-align: center;">
|