GTE直接用BGE代码进行微调么？
#4
by
YueJie
- opened
你好，请问是直接用BGE微调代码微调GTE吗？
应该要根据自己的微调数据格式来修改下优化目标。
原始的BGE默认loss是InfoNCE，适合优化(query: str, pos: str, negs: [str]) 数据。
但我的微调数据中还有(query1, query2, label=1), (query1, query2, label=0)这种句子对分类数据，所以加了一个苏神的Cosent_loss，一起多任务微调
理论上，InfoNCE和Cosent_loss都可以统一在Circle_loss的视角下，后续考虑将两种loss改成统一形式
谢谢😃，学习到了
能指定dimensions吗？
我是默认用的基模型维度，没法指定。
如果想指定维度，可以加一层全连接或者pca，我没试过，可能要好好调一下