| 参数名 解释 | |
| data_path 数据路径或 HuggingFace 仓库名 | |
| max_length 单条数据最大 Token 数，超过则截断 | |
| pack_to_max_length 是否将多条短数据拼接到 max_length，提高 GPU 利用率 | |
| accumulative_counts 梯度累积，每多少次 backward 更新一次参数 | |
| sequence_parallel_size 并行序列处理的大小，用于模型训练时的序列并行 | |
| batch_size 每个设备上的批量大小 | |
| dataloader_num_workers 数据加载器中工作进程的数量 | |
| max_epochs 训练的最大轮数 | |
| optim_type 优化器类型，例如 AdamW | |
| lr 学习率 | |
| betas 优化器中的 beta 参数，控制动量和平方梯度的移动平均 | |
| weight_decay 权重衰减系数，用于正则化和避免过拟合 | |
| max_norm 梯度裁剪的最大范数，用于防止梯度爆炸 | |
| warmup_ratio 预热的比例，学习率在这个比例的训练过程中线性增加到初始学习率 | |
| save_steps 保存模型的步数间隔 | |
| save_total_limit 保存的模型总数限制，超过限制时删除旧的模型文件 | |
| prompt_template 模板提示，用于定义生成文本的格式或结构 | |
| ...... ...... | |
| 如果想充分利用显卡资源，可以将 max_length 和 batch_size 这两个参数调大。 ⚠但需要注意的是，在训练 chat 模型时调节参数 batch_size 有可能会影响对话模型的效果。 |