File size: 6,703 Bytes
22fb4ec |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 |
==================================
自定义预训练数据集 (LLM)
==================================
XTuner 支持使用自定义数据集进行增量预训练，为便于介绍，本节以
`internlm2_7b_custom_pretrain_e1.py <https://github.com/InternLM/xtuner/blob/main/xtuner/configs/custom_dataset/pretrain/internlm/internlm2_7b_full_custom_pretrain_e1.py>`__
配置文件为基础进行介绍。
数据准备
=================
用户若要在进行预训练，则需要将自定义的数据处理为以下格式：
.. code:: json
[
{
"text": "xxx"
},
{
"text": "xxx"
},
...
]
.. tip::
每条 ``text`` 数据不要太长（分词个数应小于
``max_length``\ ），以避免在数据处理阶段被截断。
.. tip::
为保证数据上下文的一致性，请确保长文本数据在被切分为多个 ``text``
后，json 列表的顺序与实际上下文顺序一致。
训练
===============
步骤 1 ：导出 config
-------------------------------
``xtuner/configs/custom_dataset/pretrain/`` 目录下有所有 XTuner
支持的模型在自定义数据集下执行预训练的模板 config。可以通过
``xtuner list-cfg -p custom_pretrain`` 命令来查看候选 config。下面以
`internlm2_7b_custom_pretrain_e1.py <https://github.com/InternLM/xtuner/blob/main/xtuner/configs/custom_dataset/pretrain/internlm/internlm2_7b_full_custom_pretrain_e1.py>`__
为例展开介绍。
可以通过以下命令将 ``internlm2_7b_full_custom_pretrain_e1.py``
导出至当前目录下：
.. code:: console
$ xtuner copy-cfg internlm2_7b_full_custom_pretrain_e1 .
.. note::
当前目录下会存在一个新 config
``internlm2_7b_full_custom_pretrain_e1_copy.py`` 。
步骤 2 ：修改 config
---------------------------------
首先，需要修改数据集文件路径：
.. code:: diff
- data_files = ['/path/to/json/file.json']
+ data_files = ['/path/to/custom_dataset1.json', '/path/to/custom_dataset2.json', ...]
若期望使用某个目录下所有的 json 文件作为训练数据集，可做如下修改：
.. code:: diff
#######################################################################
# PART 1 Settings #
#######################################################################
# Data
- data_files = ['/path/to/json/file.json']
+ data_dir = '/dir/to/custom_dataset'
#######################################################################
# PART 3 Dataset & Dataloader #
#######################################################################
train_dataset = dict(
- dataset=dict(type=load_dataset, path='json', data_files=data_files),
+ dataset=dict(type=load_dataset, path='json', data_dir=data_dir),
...)
若期望使用 LoRA 算法训练，可做如下修改：
.. code:: diff
#######################################################################
# PART 2 Model & Tokenizer #
#######################################################################
model = dict(
type=SupervisedFinetune,
use_varlen_attn=use_varlen_attn,
llm=dict(
type=AutoModelForCausalLM.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True),
+ lora=dict(
+ type=LoraConfig,
+ r=64,
+ lora_alpha=16,
+ lora_dropout=0.1,
+ bias='none',
+ task_type='CAUSAL_LM'))
若期望进行 QLoRA 算法训练，可做如下修改：
.. code:: diff
#######################################################################
# PART 2 Model & Tokenizer #
#######################################################################
model = dict(
type=SupervisedFinetune,
use_varlen_attn=use_varlen_attn,
llm=dict(
type=AutoModelForCausalLM.from_pretrained,
pretrained_model_name_or_path=pretrained_model_name_or_path,
trust_remote_code=True,
+ quantization_config=dict(
+ type=BitsAndBytesConfig,
+ load_in_4bit=True,
+ load_in_8bit=False,
+ llm_int8_threshold=6.0,
+ llm_int8_has_fp16_weight=False,
+ bnb_4bit_compute_dtype=torch.float16,
+ bnb_4bit_use_double_quant=True,
+ bnb_4bit_quant_type='nf4')
),
+ lora=dict(
+ type=LoraConfig,
+ r=64,
+ lora_alpha=16,
+ lora_dropout=0.1,
+ bias='none',
+ task_type='CAUSAL_LM')
)
步骤 3 ：开始训练
-------------------------
.. code:: bash
NPROC_PER_NODE=8 xtuner train internlm2_7b_full_custom_pretrain_e1_copy.py --deepspeed deepspeed_zero1
训得模型将默认保存在 ``./work_dirs/``\ ，用户可以通过命令
``xtuner train --work-dir ${SAVE_PATH}`` 指定保存路径。
步骤 4 ：模型转换
--------------------------
模型训练后会自动保存成 PTH 模型（例如 ``iter_2000.pth``\ ，如果使用了
DeepSpeed，则将会是一个文件夹），我们需要利用
``xtuner convert pth_to_hf`` 将其转换为 HuggingFace
模型，以便于后续使用。具体命令为：
.. code:: bash
xtuner convert pth_to_hf ${FINETUNE_CFG} ${PTH_PATH} ${SAVE_PATH}
# 例如：xtuner convert pth_to_hf internlm2_7b_full_custom_pretrain_e1_copy.py ./iter_2000.pth ./iter_2000_hf
对话
===========
用户可以利用 ``xtuner chat`` 实现与微调后的模型对话。
如果进行的是全量参数的微调：
.. code:: bash
xtuner chat ${PATH_TO_LLM} [optional arguments]
# 例如：xtuner chat ./iter_2000_hf --max-new-tokens 512
如果使用的是 LoRA 或 QLoRA 算法：
.. code:: bash
xtuner chat ${NAME_OR_PATH_TO_LLM} --adapter {NAME_OR_PATH_TO_ADAPTER} [optional arguments]
# 例如：xtuner chat internlm/internlm2-7b --adapter ./iter_2000_hf --max-new-tokens 512
.. _模型合并可选）:
模型合并（可选）
=======================
如果您使用了 LoRA / QLoRA 微调，则模型转换后将得到 adapter
参数，而并不包含原 LLM
参数。如果您期望获得合并后的模型权重（例如用于后续评测），那么可以利用
``xtuner convert merge`` ：
.. code:: bash
(LLM) xtuner convert merge ${LLM} ${LLM_ADAPTER} ${SAVE_PATH}
评测
==================
推荐使用一站式平台
`OpenCompass <https://github.com/InternLM/opencompass>`__
来评测大语言模型，其目前已涵盖 50+ 数据集的约 30 万条题目。
|