Commit
•
866edb9
1
Parent(s):
3f3e1d1
Update README.md
Browse files
README.md
CHANGED
|
@@ -21,7 +21,7 @@ tags:
|
|
| 21 |
- **训练类型**：全量指令微调
|
| 22 |
- **训练任务**：采用最大似然估计与对比排序学习的多任务算法。
|
| 23 |
- **损失函数**：
|
| 24 |
-
- `loss_likelihood`与`loss_contrast`的比例基本保持在9:1至8:2
|
| 25 |
- **排序对比数据**：从原训练集中采样。
|
| 26 |
- **生成样本对数据集以进行排序**：使用双底座模型qwen-plus及ENIRE-128K生成。
|
| 27 |
- **排序评估**：使用传统的ROUGE-F，计算`ROUGE_1`、`ROUGE_2`、`ROUGE_L`的平均值进行排序。
|
|
@@ -74,7 +74,7 @@ print(response)
|
|
| 74 |
在200条测试数据集上的ROUGE评分如下：
|
| 75 |
- `ROUGE_1`：0.5703008654122925
|
| 76 |
- `ROUGE_2`：0.4040075748793321
|
| 77 |
-
- `ROUGE_L`：0.
|
| 78 |
|
| 79 |
|
| 80 |
|
|
|
|
| 21 |
- **训练类型**：全量指令微调
|
| 22 |
- **训练任务**：采用最大似然估计与对比排序学习的多任务算法。
|
| 23 |
- **损失函数**：
|
| 24 |
+
- `loss_likelihood`与`loss_contrast`的比例基本保持在9:1至8:2之间，根据原论文的实验，这可能并未是最佳配比。
|
| 25 |
- **排序对比数据**：从原训练集中采样。
|
| 26 |
- **生成样本对数据集以进行排序**：使用双底座模型qwen-plus及ENIRE-128K生成。
|
| 27 |
- **排序评估**：使用传统的ROUGE-F，计算`ROUGE_1`、`ROUGE_2`、`ROUGE_L`的平均值进行排序。
|
|
|
|
| 74 |
在200条测试数据集上的ROUGE评分如下：
|
| 75 |
- `ROUGE_1`：0.5703008654122925
|
| 76 |
- `ROUGE_2`：0.4040075748793321
|
| 77 |
+
- `ROUGE_L`：0.47319922532178305
|
| 78 |
|
| 79 |
|
| 80 |
|