不同平台向量化后结果有差异
#54
by
fffff123
- opened
如同这两张图所示，同样的输入文本，上面是Java平台的，下面是Python的，但是输出的向量值有差异，甚至有时候位数也会有差别，按理说同样的本地模型文件，应该一样才对的，openai就是一样的(可能那个是调接口吧）。想请问的是，这个数值差异或者位数差异是正常的么，对文本检索召回有影响么
The difference is very small, so I think that it will no influence the performance.
我遇到 同样的问题， 不过是在不同gpu上出现的， 我测试case:?,使用的模型是bge-m3, 不同平台的输出结果；
NVIDIA T4:
[-0.015896357595920563, 0.038993366062641144, -0.035637129098176956, -0.0024313644971698523, 0.020274721086025238,....]
NVIDIA H20:
[ -0.01591584086418152, 0.038942690938711166, -0.035585563629865646, -0.0023557122331112623, 0.020264849066734314, ...]
NVIDIA A100-PCIE-40GB:
[-0.01593330316245556, 0.03894807770848274, -0.03562100604176521, -0.002375115407630801, 0.020282912999391556,....]