您好，我想请问下如何合并lora文件到safetensors
#1
by
ssbg2
- opened
感谢您的工作，给我这种新手入门很大的帮助，不过我想基于您的模型继续训练时遇到一个难题：如何将训练生成后的LoRA文件合并到原有的模型上？
我尝试使用PeftModel的model.save_pretrained方法，只能保存成bin格式，同时也不支持加载safetensors格式文件。
使用auto_gptq的AutoModelForCausalLM.from_pretrained方法可以加载，但是保存时提示Target module QuantLinear() is not supported，我怀疑应该是要使用monkeypatch的相应方法（因为我训练时用的是monkeypatch）。
能不能简单给我一些建议点拨下我？这个事情的确让我这一个周的时间都耗在里面了……
ssbg2
changed discussion status to
closed