metadata

license: apache-2.0
metrics:
  - rouge
base_model:
  - Qwen/Qwen2.5-0.5B
pipeline_tag: text2text-generation
tags:
  - law

qwen2.5-law-summary

模型概述

模型名称：qwen2.5-law-summary
模型类型：指令微调版本
基础模型：qwen2.5系列，参数量为0.5B
训练数据：3400余条法律判决书及人工摘要
数据来源：法研杯2020年法律文书摘要大赛
参考文献：BRIO 论文

训练细节

训练类型：全量指令微调
训练任务：采用最大似然估计与对比排序学习的多任务算法。
损失函数：
- loss_likelihood与loss_contrast的比例基本保持在9:1至8:2之间，根据原论文的实验，这可能并未是最佳配比。
排序对比数据：从原训练集中采样，使用双底座模型qwen-plus及ENIRE-128K生成。
排序评估：使用传统的ROUGE-F，计算ROUGE_1、ROUGE_2、ROUGE_L的平均值进行排序。

训练硬件配置

硬件环境：H20-96G
训练轮次：共训练4轮
补充说明：
- 采用flash-attention与deepspeed以适应长序列数据和对比损失带来的额外显存需求。

模型性能

模型训练完成后的回答风格与原模型存在明显差异，更偏好业内人员书写风格。使用方法与原模型相同，但提示词需稍作修改以与训练指令对齐。

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "jiangchengchengNLP/qwen_0.5B_instruct_law_summarize"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
with open("河北宁晋农村商业银行股份有限公司小刘村支行与杨保会、杨立田等借款合同纠纷一审民事判决书.txt", "r", encoding="utf-8") as f:
    prompt = f.read()
messages = [
    {"role": "system", "content": "你是法律小助手，你的任务是将用户输入的内容整理成一份摘要"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids =model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

原被告系借款合同关系。原告提出诉求：1、请求法院依法判令被告偿还借款本金2000元及利息4912.6元；2、本案诉讼费用由被告承担。经审理查明，双方签订的借款合同和保证担保借款合同合法有效，被告未按约定偿还原告借款本息，应负违约责任。依据《中华人民共和国合同法》第八条、第六十条、第二百零五条、第二百零六条、二百零七条，《中华人民共和国担保法》第十八条、第二十一条以及《中华人民共和国民事诉讼法》第一百四十四条之规定，判决：1、被告偿还借款本息24912.6元；2、被告承担连带清偿责任。

测试效果

在200条测试数据集上的ROUGE评分如下：

ROUGE_1：0.5703008654122925
ROUGE_2：0.4040075748793321
ROUGE_L：0.47319922532178305

总结

qwen2.5-law-summary模型针对法律文本的摘要生成进行了优化训练，适用于法律领域的研究与应用。通过高效的训练策略与强大的硬件支持，模型在特定领域的性能上有了显著提升。