【书生·浦语系列课程之】XTuner: 自己微调开源模型 InternLM

[maxchiron]

注意：本教程使用 xtuner 0.1.9 版本

若需要跟着本教程一步一步完成，建议执行如下安装步骤：

conda create --name xtuner0.1.9 python=3.10 -y
conda activate xtuner-env
cd ~
mkdir xtuner019
cd xtuner019

git clone -b v0.1.9  https://github.com/internLM/xtuner
cd xtuner

pip install -e '.[all]'

若出现莫名其妙报错，请尝试更换以下包的版本：

torch                         2.1.1
transformers                  4.34.0
transformers-stream-generator 0.0.4

CUDA相关：（如果有报错再检查，没报错不用看）

NVIDIA-SMI 535.54.03              
Driver Version: 535.54.03    
CUDA Version: 12.2

nvidia-cuda-cupti-cu12        12.1.105
nvidia-cuda-nvrtc-cu12        12.1.105
nvidia-cuda-runtime-cu12      12.1.105

---

---

目录

1. [概述]
   1. [xtuner]
   2. [xtuner支持的开源LLM]
   3. [xtuner特色]
   4. [xtuner微调原理]
2. [快速上手]
   1. [平台]
   2. [xtuner安装]
   3. [微调]
      1. [准备配置文件]
      2. [模型和数据集下载]
      3. [修改配置文件]
      4. [开始微调]
      5. [转为huggingface格式的模型文件]
      6. [部署与测试]
3. [自定义微调]
   1. 数据准备：以 Medication QA 数据集为例
      1. 数据集格式标准化
      2. 训练集和测试集划分
   2. 修改配置文件
   3. 开始自定义微调
4. [【补充】用MS-Agent数据集 赋予LLM以Agent能力]
   1. TODO
   2. lmdeploy 部署框架 部署测试

概述

Xtuner

一个大语言模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。

支持的开源LLM (2023.11.01)

• InternLM ✅
• Llama，Llama2
• ChatGLM2，ChatGLM3
• Qwen
• Baichuan，Baichuan2
• ......
• Zephyr

特色

• 🤓 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。
• 🍃 轻量级： 对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB ： 消费级显卡✅，colab✅

微调原理

想象一下，你有一个超大的玩具，现在你想改造这个超大的玩具。但是，对整个玩具进行全面的改动会非常昂贵。

※ 因此，你找到了一种叫 LoRA 的方法：只对玩具中的某些零件进行改动，而不是对整个玩具进行全面改动。

※ 而 QLoRA 是 LoRA 的一种改进：如果你手里只有一把生锈的螺丝刀，也能改造你的玩具。

• Full : 😳 → 🚲
• LoRA : 😳 → 🛵
• QLoRA : 😳 → 🏍

快速上手

平台

Ubuntu + Anaconda + CUDA/CUDNN

安装

见文章开头

# 创一个玩耍路径
cd ~
mkdir ft-internlm-7b-chat-v1_1-oasst1
cd ft-internlm-7b-chat-v1_1-oasst1

微调

• 步骤 0，准备配置文件

XTuner 提供多个开箱即用的配置文件，用户可以通过下列命令查看：

xtuner list-cfg

# 或者，如果所提供的配置文件不能满足使用需求，请导出所提供的配置文件并进行相应更改：
xtuner copy-cfg ${CONFIG_NAME} ${SAVE_PATH}
# 例如
# xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .

注意最后有个英文句号，代表复制到当前路径

xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .

模型名	internlm_chat_7b	无 chat 代表是基座模型
使用算法	qlora
数据集	oasst1
数据长度	512
Epoch	e3，epoch 3

• 步骤1: 模型下载

不用xtuner默认的从huggingface拉取模型，而是`提前从OpenXLab下载模型到本地

mkdir internlm-chat-7b-v1_1
mkdir openassistant-guanaco
pip install openxlab
python
from openxlab.model import download
download(model_repo='OpenLMLab/InternLM-chat-7b-v1.1', output='./internlm-chat-7b-v1_1')

• 步骤2: 数据集下载

不用xtuner默认的从huggingface拉取数据集，而是提前把数据集下载到本地

https://huggingface.co/datasets/timdettmers/openassistant-guanaco/tree/main

把这两个数据集放到 openassistant-guanaco 文件夹

此时，当前路径的文件应该长这样：

• 步骤3: 修改 配置文件

修改其中的模型和数据集为 本地路径

# Model
pretrained_model_name_or_path = './internlm-chat-7b-v1_1'
# Data
data_path = './openassistant-guanaco'

vim internlm_chat_7b_qlora_oasst1_e3_copy.py

"""
......
#######################################################################
#                          PART 1  Settings                           #
#######################################################################
# Model
pretrained_model_name_or_path = './internlm-chat-7b-v1_1'

# Data
data_path = './openassistant-guanaco'
prompt_template = PROMPT_TEMPLATE.internlm_chat
max_length = 2048
pack_to_max_length = True

# Scheduler & Optimizer
......
"""

常用超参

参数名	解释
data_path	数据路径或 HuggingFace 仓库名
max_length	单条数据最大 Token 数，超过则截断
pack_to_max_length	是否将多条短数据拼接到 max_length，提高 GPU 利用率
accumulative_counts	梯度累积，每多少次 backward 更新一次参数
evaluation_inputs	训练过程中，会根据给定的问题进行推理，便于观测训练状态
evaluation_freq	Evaluation 的评测间隔 iter 数
......	......

如果想把显卡的现存吃满，充分利用显卡资源，可以将max_length和batch_size这两个参数调大。

• 步骤4: 开始微调

# 排障
pip install fsspec==2023.6.0

# 训练
xtuner train ${CONFIG_NAME_OR_PATH}

# 也可以增加deepmind进行训练加速
xtuner train ${CONFIG_NAME_OR_PATH} --deepspeed deepspeed_zero3
# 这里 deepspeed_zero3 如果报错的话，用 deepspeed_zero2

例如，我们可以利用 QLoRA 算法在 oasst1 数据集上微调 InternLM-7B：

单卡

# 用刚才改好的config文件训练
xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py

# 内置默认config训练
xtuner train internlm_7b_qlora_oasst1_e3

多卡

NPROC_PER_NODE=${GPU_NUM} xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py

微调得到的PTH模型文件和其他杂七杂八的文件都默认在当前的 ./work_dirs 中。

跑完训练后，当前路径应该长这样：

|-- internlm-chat-7b-v1_1
|-- internlm_chat_7b_qlora_oasst1_e3_copy.py
|-- openassistant-guanaco
|   |-- openassistant_best_replies_eval.jsonl
|   `-- openassistant_best_replies_train.jsonl
`-- work_dirs
    `-- internlm_chat_7b_qlora_oasst1_e3_copy
        |-- 20231101_152923
        |   |-- 20231101_152923.log
        |   `-- vis_data
        |       |-- 20231101_152923.json
        |       |-- config.py
        |       `-- scalars.json
        |-- epoch_1.pth
        |-- epoch_2.pth
        |-- epoch_3.pth
        |-- internlm_chat_7b_qlora_oasst1_e3_copy.py
        `-- last_checkpoint

• 步骤5: 将得到的 PTH 模型转换为 HuggingFace 模型：即：生成Adaptar文件夹

xtuner convert pth_to_hf ${CONFIG_NAME_OR_PATH} ${PTH_file_dir} ${SAVE_PATH}

在本示例中，为：

mkdir hf

xtuner convert pth_to_hf \
    ./internlm_chat_7b_qlora_oasst1_e3_copy.py \
    ./work_dirs/internlm_chat_7b_qlora_oasst1_e3_copy/epoch_3.pth \
    ./hf

此时，路径中应该长这样：

|-- internlm-chat-7b-v1_1
|-- internlm_chat_7b_qlora_oasst1_e3_copy.py
|-- openassistant-guanaco
|   |-- openassistant_best_replies_eval.jsonl
|   `-- openassistant_best_replies_train.jsonl
|-- hf
|   |-- README.md
|   |-- adapter_config.json
|   |-- adapter_model.bin
|   `-- xtuner_config.py
`-- work_dirs
    `-- internlm_chat_7b_qlora_oasst1_e3_copy
        |-- 20231101_152923
        |   |-- 20231101_152923.log
        |   `-- vis_data
        |       |-- 20231101_152923.json
        |       |-- config.py
        |       `-- scalars.json
        |-- epoch_1.pth
        |-- epoch_2.pth
        |-- epoch_3.pth
        |-- internlm_chat_7b_qlora_oasst1_e3_copy.py
        `-- last_checkpoint

此时，hf文件夹即为我们平时所理解的所谓 “Lora模型文件”

可以简单理解：Lora模型文件 = Adapter文件夹

---

部署与测试

# 加载 Adapter 模型对话
# xtuner chat internlm/internlm-chat-20b  --adapter  $ADAPTER_DIR --prompt-template internlm_chat

# 在本例子中，即：
xtuner chat ./internlm-chat-7b-v1_1 --adapter ./hf --prompt-template internlm_chat

# Float 16 模型对话
# xtuner chat internlm/internlm-chat-20b --prompt-template internlm_chat

# 4 bit 模型对话
# xtuner chat internlm/internlm-chat-20b  --bits 4 --prompt-template internlm_chat

xtuner chat 的启动参数

启动参数	干哈滴
--prompt-template	指定对话模板
--system	指定SYSTEM文本
--system-template	指定SYSTEM模板
--bits	LLM位数
--bot-name	bot名称
--with-plugins	指定要使用的插件
--no-streamer	是否启用流式传输
--lagent	是否使用lagent
--command-stop-word	命令停止词
--answer-stop-word	回答停止词
--offload-folder	存放模型权重的文件夹（或者已经卸载模型权重的文件夹）
--max-new-tokens	生成文本中允许的最大token数量
--temperature	温度值
--top-k	保留用于顶k筛选的最高概率词汇标记数
--top-p	如果设置为小于1的浮点数，仅保留概率相加高于top_p的最小一组最有可能的标记
--seed	用于可重现文本生成的随机种子

自定义微调

以 Medication QA 数据集为例

概述

1. 场景需求

   基于 InternLM-chat-7B-V1.1模型，用MedQA数据集进行微调，将其往医学问答领域对齐。

2. 真实数据预览

问题	答案
What are ketorolac eye drops?（什么是酮咯酸滴眼液？）	Ophthalmic ketorolac is used to treat itchy eyes caused by allergies. It also is used to treat swelling and redness (inflammation) that can occur after cataract surgery. Ketorolac is in a class of medications called nonsteroidal anti-inflammatory drugs (NSAIDs). It works by stopping the release of substances that cause allergy symptoms and inflammation.
What medicines raise blood sugar? （什么药物会升高血糖？）	Some medicines for conditions other than diabetes can raise your blood sugar level. This is a concern when you have diabetes. Make sure every doctor you see knows about all of the medicines, vitamins, or herbal supplements you take. This means anything you take with or without a prescription. Examples include: Barbiturates. Thiazide diuretics. Corticosteroids. Birth control pills (oral contraceptives) and progesterone. Catecholamines. Decongestants that contain beta-adrenergic agents, such as pseudoephedrine. The B vitamin niacin. The risk of high blood sugar from niacin lowers after you have taken it for a few months. The antipsychotic medicine olanzapine (Zyprexa).

数据准备

以 Medication QA 数据集为例

原格式：(.xlsx)

问题	药物类型	问题类型	回答	主题	URL
aaa	bbb	ccc	ddd	eee	fff

1. 将数据转为 xtuner 的数据格式

目标格式：(.jsonL)

[{
    "conversation":[
        {
            "system": "xxx",
            "input": "xxx",
            "output": "xxx"
        }
    ]
},
{
    "conversation":[
        {
            "system": "xxx",
            "input": "xxx",
            "output": "xxx"
        }
    ]
}]

🧠通过python脚本：将.xlsx中的 问题 和 回答 两列 提取出来，再放入.jsonL文件的每个conversation的input和output中。

这一步的python脚本可以请chatGPT来完成。

Write a python file for me. using openpyxl. input file name is MedQA2019.xlsx
Step1: The input file is .xlsx. Exact the column A and column D in the sheet named "DrugQA" .
Step2: Put each value in column A into each "input" of each "conversation". Put each value in column D into each "output" of each "conversation".
Step3: The output file is .jsonL. It looks like:
[{
    "conversation":[
        {
            "system": "xxx",
            "input": "xxx",
            "output": "xxx"
        }
    ]
},
{
    "conversation":[
        {
            "system": "xxx",
            "input": "xxx",
            "output": "xxx"
        }
    ]
}]
Step4: All "system" value changes to "You are a professional, highly experienced doctor professor. You always provide accurate, comprehensive, and detailed answers based on the patients' questions."

生成的python代码：

import openpyxl
import json

def process_excel_to_json(input_file, output_file):
    # Load the workbook
    wb = openpyxl.load_workbook(input_file)

    # Select the "DrugQA" sheet
    sheet = wb["DrugQA"]

    # Initialize the output data structure
    output_data = []

    # Iterate through each row in column A and D
    for row in sheet.iter_rows(min_row=2, max_col=4, values_only=True):
        system_value = "You are a professional, highly experienced doctor professor. You always provide accurate, comprehensive, and detailed answers based on the questions from patients."

        # Create the conversation dictionary
        conversation = {
            "system": system_value,
            "input": row[0],
            "output": row[3]
        }

        # Append the conversation to the output data
        output_data.append({"conversation": [conversation]})

    # Write the output data to a JSON file
    with open(output_file, 'w') as json_file:
        json.dump(output_data, json_file, indent=4)

    print(f"Conversion complete. Output written to {output_file}")

# Replace 'MedQA2019.xlsx' and 'output.jsonl' with your actual input and output file names
process_excel_to_json('MedQA2019.xlsx', 'MedQA2019-structured.jsonl')

执行python脚本，获得格式化后的数据集：

python xlsx2jsonl.py

格式化后的数据集长这样：

这里当然也可以对数据进行训练集和测试集的分割，同样可以让chatGPT写py代码

2. 划分训练集和测试集

my .jsonL file looks like:
[{
    "conversation":[
        {
            "system": "xxx",
            "input": "xxx",
            "output": "xxx"
        }
    ]
},
{
    "conversation":[
        {
            "system": "xxx",
            "input": "xxx",
            "output": "xxx"
        }
    ]
}]
Step1, read the .jsonL file.
Step2, count the amount of the "conversation" elements.
Step3, split all "conversation" elements by 7:3. Targeted structure is same as the input.
Step4, save the 7/10 part as train.jsonl. save the 3/10 part as test.jsonl

生成的python代码：

import json

def split_conversations(input_file, train_output_file, test_output_file):
    # Read the input JSONL file
    with open(input_file, 'r') as jsonl_file:
        data = json.load(jsonl_file)

    # Count the number of conversation elements
    num_conversations = len(data)

    # Calculate the split points for train and test
    split_point = int(num_conversations * 0.7)

    # Split the data into train and test
    train_data = data[:split_point]
    test_data = data[split_point:]

    # Write the train data to a new JSONL file
    with open(train_output_file, 'w') as train_jsonl_file:
        json.dump(train_data, train_jsonl_file, indent=4)

    # Write the test data to a new JSONL file
    with open(test_output_file, 'w') as test_jsonl_file:
        json.dump(test_data, test_jsonl_file, indent=4)

    print(f"Split complete. Train data written to {train_output_file}, Test data written to {test_output_file}")

# Replace 'input.jsonl', 'train.jsonl', and 'test.jsonl' with your actual file names
split_conversations('MedQA2019-structured.jsonl', 'MedQA2019-structured-train.jsonl', 'MedQA2019-structured-test.jsonl')

此时，我们重新建一个文件夹来玩“微调自定义数据集”

cd ~
mkdir ft-internlm-7b-chat-v1_1-MedQA2019
cd ft-internlm-7b-chat-v1_1-MedQA2019

把前面下载好的internlm-chat-7b-v1_1模型文件夹拷贝过来，或者重新运行下载代码也行。最好不要用软连接，有可能会出问题。因为openxlab本身已使用软连接管理模型路径，所以即使重新运行下载代码，也会很快完成。

cp -r ~/ft-internlm-7b-chat-v1_1-ft-oasst1/internlm-chat-7b-v1_1 . 

别忘了把自定义数据集，即几个.jsonL，也传到服务器上。

• 步骤1： 随便复制一个配置文件并修改内容

# 复制配置文件到当前目录
xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .
# 改个文件名
mv internlm_chat_7b_qlora_oasst1_e3_copy.py internlm_chat_7b_qlora_medqa2019_e3.py

# 修改配置文件内容
vim internlm_chat_7b_qlora_medqa2019_e3.py

减号代表要删除的行，加号代表要增加的行。

# 修改import部分
- from xtuner.dataset.map_fns import oasst1_map_fn, template_map_fn_factory
+ from xtuner.dataset.map_fns import template_map_fn_factory

# 修改模型为本地路径
- pretrained_model_name_or_path = 'internlm/internlm-chat-7b'
+ pretrained_model_name_or_path = './internlm-chat-7b-v1_1'

# 修改训练数据为 MedQA2019-structured-train.jsonl 路径
- data_path = 'timdettmers/openassistant-guanaco'
+ data_path = './MedQA2019/MedQA2019-structured-train.jsonl'

# 修改 train_dataset 对象
train_dataset = dict(
    type=process_hf_dataset,
-   dataset=dict(type=load_dataset, path=data_path),
+   dataset=dict(type=load_dataset, path='json', data_files=dict(train=data_path)),
    tokenizer=tokenizer,
    max_length=max_length,
-   dataset_map_fn=alpaca_map_fn,
+   dataset_map_fn=None,
    template_map_fn=dict(
        type=template_map_fn_factory, template=prompt_template),
    remove_unused_columns=True,
    shuffle_before_pack=True,
    pack_to_max_length=pack_to_max_length)

• 步骤2： xtuner！启动！

xtuner train internlm_chat_7b_qlora_medqa2019_e3.py

• 步骤3： pth转huggingface

同前述，这里不赘述了。

• 步骤4： 部署与测试

同前述。

---

---

【补充】用MS-Agent数据集 赋予LLM以Agent能力

概述

MSAgent 数据集每条样本包含一个对话列表（conversations），其里面包含了 system、user、assistant 三种字段。其中：

• system: 表示给模型前置的人设输入，其中有告诉模型如何调用插件以及生成请求

• user: 表示用户的输入prompt，分为两种，通用生成的prompt和调用插件需求的 prompt

• assistant: 为模型的回复。其中会包括插件调用代码和执行代码，调用代码是要 LLM 生成的，而执行代码是调用服务来生成结果的

一条调用网页搜索插件查询“上海明天天气”的数据样本示例如下图所示：

步骤

xtuner是从国内的ModelScope平台下载MS-Agent数据集，因此不用提前手动下载数据集文件。

步骤0: 查看并复制配置文件

# 准备工作
cd ~
mkdir ft-interlm7bchatv11-msagent
cd ft-interlm7bchatv11-msagent
cp -r ~/ft-internlm-7b-chat-v1_1-ft-oasst1/internlm-chat-7b-v1_1 .

# 查看配置文件
xtuner list-cfg | grep msagent

# 复制配置文件当当前目录
xtuner copy-cfg internlm_7b_qlora_msagent_react_e3_gpu8 .

步骤1: 修改配置文件

[zjtggssg]

你好，我想询问下，生成的test数据集，在微调的时候不需要使用吗，该如何送入模型中