Hugging Face's logo

ocisd4
/
mistral_tokenizer_ext

Model card Files Community
samleeasus commited on
Commit
29a6e2b
·
verified ·
1 Parent(s): 5ee61bd

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -1,5 +1,5 @@
1
 
2
- Mistral擴充詞表只包含教育部常用4808字
3
 
4
  後面補了25個dummy token,補到64的倍數可以增加訓練效率
5
  未來可以作為special token的預留空間
 
1
 
2
+ Mistral擴充詞表只包含與教育部常用4808字的交集
3
 
4
  後面補了25個dummy token,補到64的倍數可以增加訓練效率
5
  未來可以作為special token的預留空間