trimm_vocab
Collection
Cắt bớt vocab giữ lại En Vi để model nhỏ gọn hơn, ko sản xuất tiếng Trung trong quá trình sử dụng
•
16 items
•
Updated
•
1
YAML Metadata
Warning:
empty or missing yaml metadata in repo card
(https://huggingface.co/docs/hub/model-cards#model-card-metadata)
model FacebookAI/xlm-roberta-base
params 278043648
embeds 192001536
torch.bfloat16
model Symato/facebook_xlm-roberta-base__trimm_vocab__bf16
params 121775616
embeds 35733504
torch.float16
Giảm vocab size từ 250002 / 46000 => 5.43 lần
=> embeddings giảm từ 192m xuống 36m
=> model size giảm từ 270m xuống 121m (còn 45%)
Phở bert large 370M, phở bert base 135M
- Downloads last month
- 2