Why do we have model.embed_tokens.weight in both pytorch_model-00001-of-00080.bin and pytorch_model-00062-of-00080.bin

#16
by Zhiyuan0511 - opened

Why do we have model.embed_tokens.weight in both pytorch_model-00001-of-00080.bin and pytorch_model-00062-of-00080.bin? 为什么01号和062号bin文件都包含model.embed_tokens.weight 这个权重?并且两个文件内的这个权重值是一样的

Tencent org

Why do we have model.embed_tokens.weight in both pytorch_model-00001-of-00080.bin and pytorch_model-00062-of-00080.bin? 为什么01号和062号bin文件都包含model.embed_tokens.weight 这个权重?并且两个文件内的这个权重值是一样的

这是由于转换权重脚本存在了冗余(大约1GB)不影响使用

Sign up or log in to comment