这个模型是基于baichuan的7B的一个SFT的实例模型. 我们采用了一个大约150K的混合的数据集来对baichuan7B进行SFT微调,希望他能在完成基本对话的基础上,能做一些关于想象力,推理能力,数理能力的增强. 我们还混入了大约1K的ZDM的经过手工筛选的润色撰写的QA内容,希望能增强一些关于商品品质,购物咨询方面的能力.
经过20个epoch的训练,我们获得了这样一个SFT模型.从测试的结果看,具有了基本的对话和回答问题的能力,在逻辑推理方面好于Vicuna和ChatGLM6B,欢迎大家继续测试.
百川7B的项目在这里:https://github.com/baichuan-inc/baichuan-7B 微调的框架在这里: https://github.com/hiyouga/LLaMA-Efficient-Tuning
感谢大家的辛勤工作,我们稍后也会不断努力的继续工作.欢迎大家和我们交流