changyeyu commited on
Commit
732199d
·
verified ·
1 Parent(s): 6614299

Update README_zh.md

Browse files
Files changed (1) hide show
  1. README_zh.md +6 -5
README_zh.md CHANGED
@@ -16,11 +16,12 @@
16
  ## 模型简介
17
  Index-1.9B-32K 是一个仅有 1.9B 参数、却具备 32K 上下文长度的语言模型(这意味着,这个超小精灵可以一次性读完 3.5 万字以上的文档)。该模型专门针对 32K 以上的长文本进行了持续预训练(Continue Pre-Train)和监督微调(SFT),主要基于我们精心清洗的长文本预训练语料、自建的长文本指令集进行训练。目前,我们已在 Hugging Face 和 ModelScope 上同步开源。
18
 
19
- Index-1.9B-32K **以极小的模型体积(体积约为GPT-4等模型的2%)实现了出色的长文本处理能力**。以下为与 GPT-4、GPT-3.5-turbo-16k 的对比评测结果:
20
- <div style="text-align: center;">
21
- <img src="z-attach-pic-pk-all.png" alt="" width="700">
22
- <p><strong>Index-1.9B-32K与GPT-4等模型的长文本能力对比</strong></p>
23
- </div>
 
24
 
25
  Index-1.9B-32K在32K长度的大海捞针测试下,评测结果优异,如下图,评测结果只在(32K 长度,%10 深度)区域有一处黄斑(91.08分),其他范围表现优异,几乎全绿。
26
  <div style="text-align: center;">
 
16
  ## 模型简介
17
  Index-1.9B-32K 是一个仅有 1.9B 参数、却具备 32K 上下文长度的语言模型(这意味着,这个超小精灵可以一次性读完 3.5 万字以上的文档)。该模型专门针对 32K 以上的长文本进行了持续预训练(Continue Pre-Train)和监督微调(SFT),主要基于我们精心清洗的长文本预训练语料、自建的长文本指令集进行训练。目前,我们已在 Hugging Face 和 ModelScope 上同步开源。
18
 
19
+ Index-1.9B-32K 以极小的模型体积(约为 GPT-4 等模型的 2%),实现了出色的长文本处理能力。如下图,我们1.9B尺寸的模型分数甚至远超7B尺寸的模型。以下为与 GPT-4、Qwen2等模型的对比:
20
+ <p align="center">
21
+ <img src="z-attach-pic-pk-all" alt="" width="800">
22
+ </p>
23
+ <p align="center"><strong>Index-1.9B-32K与GPT-4、Qwen2等模型长文本能力对比 </strong></p>
24
+
25
 
26
  Index-1.9B-32K在32K长度的大海捞针测试下,评测结果优异,如下图,评测结果只在(32K 长度,%10 深度)区域有一处黄斑(91.08分),其他范围表现优异,几乎全绿。
27
  <div style="text-align: center;">