Update README_zh.md
Browse files- README_zh.md +5 -0
README_zh.md
CHANGED
|
@@ -52,10 +52,15 @@ pipeline_tag: text-generation
|
|
| 52 |
|
| 53 |
## 更新
|
| 54 |
|
|
|
|
| 55 |
- ✨✨ `2024/08/12`: 我们发布了 [继续预训练数据集](https://huggingface.co/datasets/survivi/Llama-3-SynE-Dataset)。
|
| 56 |
- ✨✨ `2024/08/10`: 我们发布了 [Llama-3-SynE 模型](https://huggingface.co/survivi/Llama-3-SynE)。
|
| 57 |
- ✨ `2024/07/26`: 我们发布了 Llama-3-SynE 的 [技术报告](https://arxiv.org/abs/2407.18743)，欢迎查阅！
|
| 58 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 59 |
## 模型介绍
|
| 60 |
|
| 61 |
**Llama-3-SynE**（**Syn**thetic data **E**nhanced Llama-3）是 [Llama-3（8B）](https://github.com/meta-llama/llama3)的增强版，通过继续预训练（continual pre-training，CPT）来提升其**中文语言能力和科学推理能力**。通过精心设计的数据混合和课程策略，Llama-3-SynE 成功地在保持原始模型性能的同时增强了新能力。这个增强过程包括利用现有数据集并合成专门为目标任务设计的高质量数据集。
|
|
|
|
| 52 |
|
| 53 |
## 更新
|
| 54 |
|
| 55 |
+
- 🌟🌟 `2024/12/17`: 我们发布了用于继续预训练和数据准备的 [代码](https://github.com/RUC-GSAI/Llama-3-SynE/blob/main/src)，代码中包含详尽的文档注释。
|
| 56 |
- ✨✨ `2024/08/12`: 我们发布了 [继续预训练数据集](https://huggingface.co/datasets/survivi/Llama-3-SynE-Dataset)。
|
| 57 |
- ✨✨ `2024/08/10`: 我们发布了 [Llama-3-SynE 模型](https://huggingface.co/survivi/Llama-3-SynE)。
|
| 58 |
- ✨ `2024/07/26`: 我们发布了 Llama-3-SynE 的 [技术报告](https://arxiv.org/abs/2407.18743)，欢迎查阅！
|
| 59 |
|
| 60 |
+
<p align="center">
|
| 61 |
+
<img src="https://cdn-uploads.huggingface.co/production/uploads/651a29d566e78720a78317ec/NyF6C4JJ98E9PXxJ3R7mr.png" width="800"/>
|
| 62 |
+
</p>
|
| 63 |
+
|
| 64 |
## 模型介绍
|
| 65 |
|
| 66 |
**Llama-3-SynE**（**Syn**thetic data **E**nhanced Llama-3）是 [Llama-3（8B）](https://github.com/meta-llama/llama3)的增强版，通过继续预训练（continual pre-training，CPT）来提升其**中文语言能力和科学推理能力**。通过精心设计的数据混合和课程策略，Llama-3-SynE 成功地在保持原始模型性能的同时增强了新能力。这个增强过程包括利用现有数据集并合成专门为目标任务设计的高质量数据集。
|