Upload tokenizer

vocab.txt

@@ -1,8 +1,8 @@
-[PAD]
-[UNK]
-[CLS]
-[SEP]
-[MASK]
+<s>
+<pad>
+</s>
+<unk>
+<mask>
 %
 +
 -
@@ -40,6 +40,7 @@ r
 s
 t
 u
+v
 w
 x
 ·
@@ -65,14 +66,13 @@ x
 世
 丘
 业
+东
 两
 严
 个
 中
-临
 为
 主
-丽
 举
 久
 么
@@ -83,6 +83,7 @@ x
 也
 习
 书
+买
 了
 争
 事
@@ -98,7 +99,6 @@ x
 人
 什
 仅
-仇
 今
 仍
 从
@@ -120,7 +120,7 @@ x
 传
 伤
 伪
-伸
+估
 但
 位
 住
@@ -150,18 +150,22 @@ x
 先
 光
 克
+兔
 党
 入
 全
 八
 公
 六
+兰
 共
 关
 兵
 其
 具
+典
 内
+册
 再
 写
 军
@@ -169,7 +173,7 @@ x
 决
 冷
 准
-减
+凝
 几
 凡
 凭
@@ -177,6 +181,7 @@ x
 出
 击
 分
+划
 列
 则
 刚
@@ -187,9 +192,7 @@ x
 别
 到
 制
-刺
 刻
-剃
 前
 割
 力
@@ -200,8 +203,8 @@ x
 动
 助
 劫
+励
 势
-勇
 勋
 勒
 包
@@ -210,9 +213,7 @@ x
 区
 医
 十
-千
 升
-午
 半
 华
 协
@@ -223,7 +224,6 @@ x
 卫
 印
 危
-即
 却
 卷
 压
@@ -241,7 +241,6 @@ x
 受
 变
 口
-古
 句
 另
 只
@@ -249,7 +248,6 @@ x
 可
 台
 史
-右
 号
 司
 叹
@@ -259,7 +257,6 @@ x
 后
 向
 君
-否
 吧
 听
 吴
@@ -267,21 +264,23 @@ x
 员
 呢
 周
+呼
 命
 和
 咨
 品
+哈
 哉
 哲
 商
 善
-喜
-喷
+喝
 嘱
 四
 回
 因
 团
+园
 围
 国
 图
@@ -319,14 +318,14 @@ x
 奉
 奖
 奥
-女
 她
 好
 如
 妖
 姆
 始
-姓
+委
+媒
 子
 孔
 字
@@ -334,7 +333,6 @@ x
 季
 学
 孩
-它
 宇
 安
 完
@@ -353,19 +351,16 @@ x
 密
 富
 对
-寺
 导
 封
 射
 将
-尊
 小
 少
 尔
 尖
-尬
 就
-尴
+尺
 尽
 局
 层
@@ -378,8 +373,10 @@ x
 岗
 峰
 崔
+巅
 工
 左
+差
 己
 已
 巴
@@ -421,7 +418,6 @@ x
 役
 往
 征
-待
 很
 律
 徐
@@ -432,9 +428,9 @@ x
 心
 必
 志
+忘
 忙
 快
-念
 怀
 态
 怕
@@ -442,14 +438,12 @@ x
 急
 性
 总
-恨
 恩
 息
 患
 您
 情
 惊
-惯
 想
 意
 感
@@ -478,13 +472,13 @@ x
 折
 护
 报
+抵
 担
 拉
 拍
 招
 拜
 拟
-择
 括
 拿
 持
@@ -494,37 +488,38 @@ x
 挑
 挥
 据
+掌
 排
 接
 控
 描
 提
+插
 握
 搏
 摆
 摇
+播
 擂
 支
 收
 改
 攻
 放
-故
 效
 敌
-救
 敢
 敬
 数
 整
 文
 料
+斩
 断
 斯
 新
 方
 施
-族
 无
 日
 早
@@ -535,6 +530,7 @@ x
 明
 星
 春
+昭
 是
 显
 晓
@@ -567,6 +563,7 @@ x
 条
 来
 杯
+松
 构
 林
 果
@@ -576,8 +573,8 @@ x
 柯
 标
 树
+校
 样
-核
 根
 格
 桥
@@ -585,7 +582,7 @@ x
 梵
 检
 棋
-楼
+概
 横
 次
 款
@@ -598,10 +595,8 @@ x
 段
 母
 每
-毒
 比
 毕
-毛
 氏
 民
 气
@@ -632,17 +627,16 @@ x
 涵
 深
 混
-添
 清
 游
 湖
 源
-满
 演
 激
 濑
 灵
 点
+烧
 热
 然
 照
@@ -662,6 +656,7 @@ x
 用
 田
 由
+甲
 电
 男
 画
@@ -683,7 +678,6 @@ x
 的
 皓
 皮
-盈
 益
 盖
 盘
@@ -691,14 +685,14 @@ x
 目
 直
 相
-省
 看
 真
+眠
 眼
 着
+睿
 知
 石
-码
 研
 破
 础
@@ -716,12 +710,14 @@ x
 种
 科
 秒
-秘
+租
 称
 程
 稿
+穆
 究
 空
+穿
 突
 立
 站
@@ -730,6 +726,7 @@ x
 端
 笑
 笔
+符
 第
 等
 答
@@ -739,6 +736,7 @@ x
 管
 米
 类
+粗
 精
 系
 素
@@ -747,7 +745,6 @@ x
 级
 纪
 线
-练
 细
 终
 经
@@ -760,13 +757,13 @@ x
 续
 维
 绿
+缓
 网
 罗
 置
 美
 群
 翰
-翻
 老
 考
 者
@@ -791,12 +788,14 @@ x
 节
 芬
 花
+苏
 若
 苦
 英
 范
 荡
 荣
+荷
 获
 萍
 营
@@ -813,6 +812,7 @@ x
 虽
 血
 行
+街
 表
 被
 裁
@@ -825,18 +825,19 @@ x
 规
 视
 觉
+角
 解
 触
 言
-警
+誓
 计
 订
 认
 让
+训
 议
 讯
 记
-讲
 许
 论
 设
@@ -863,7 +864,6 @@ x
 谱
 谷
 象
-貌
 负
 财
 败
@@ -871,10 +871,8 @@ x
 质
 费
 资
-赌
 赛
 赝
-赠
 赢
 走
 赴
@@ -885,18 +883,17 @@ x
 越
 跟
 路
-跳
 身
 车
 转
 轰
 轻
 较
+辈
 输
 边
 达
 过
-迎
 运
 近
 还
@@ -911,8 +908,8 @@ x
 退
 送
 选
-逐
 递
+途
 通
 速
 造
@@ -928,7 +925,6 @@ x
 都
 配
 酒
-酬
 醒
 采
 里
@@ -936,7 +932,6 @@ x
 野
 量
 金
-鉴
 钟
 钱
 铅
@@ -944,6 +939,7 @@ x
 银
 锌
 错
+镇
 镐
 镰
 长
@@ -979,6 +975,7 @@ x
 顶
 项
 顺
+顽
 顾
 领
 频
@@ -989,6 +986,7 @@ x
 飞
 馆
 首
+香
 马
 高
 鲁
@@ -996,6 +994,8 @@ x
 麦
 黄
 黑
+默
+鼓
 龄
 ！
 （
@@ -1003,36 +1003,37 @@ x
 ，
 ：
 ？
+##e
+##g
+##a
+##l
+##6
 ##3
+##7
 ##2
-##6
-##4
-##m
-##i
-##l
-##e
-##5
-##0
+##n
 ##9
-##1
-##c
-##×
+##0
 ##o
-##g
+##m
+##c
 ##h
-##7
-##8
-##a
 ##u
-##n
+##f
+##k
 ##r
+##1
+##8
+##d
+##v
+##i
+##5
+##s
 ##t
-##f
 ##w
-##s
+##×
 ##p
-##k
-##d
+##4
 ##b
 19
 ##00
@@ -1047,13 +1048,13 @@ x
 202
 al
 ##go
-##ha
-##pha
+##ago
+##hago
+##phago
 199
 198
 007
 1889
-alpha
 alphago
 000
 8000
@@ -1072,37 +1073,37 @@ alphago
 16
 18
 22
-24
 25
+24
 31
 3000
 95
-##22
-##ll
-##90
-##19
 ##an
 ##as
+##ll
+##22
+##90
 ##ff
 ##ker
+##19
 1984
 9500
-03
 06
-04
-05
+03
 01
-15
+05
+04
 17
+15
 200
 32
-34
-35
 38
+35
+34
 40
+76
 73
 72
-76
 70
 71
 80
@@ -1115,18 +1116,17 @@ mas
 off
 ##eu
 ##ew
-##59
-##cker
 ##ar
-##ter
+##92
+##cker
 ##kin
+##ter
 1988
 1888
 2022
 1991
 1961
 ##cm×6
-##cm×9
 167
 1890
 ##ller
@@ -1221,7 +1221,6 @@ offer
 碑
 悲
 卑
-辈
 贝
 钡
 倍
@@ -1283,7 +1282,6 @@ offer
 炳
 玻
 菠
-播
 拨
 钵
 波
@@ -1328,9 +1326,7 @@ offer
 草
 厕
 策
-册
 蹭
-插
 叉
 茬
 茶
@@ -1338,7 +1334,6 @@ offer
 搽
 察
 岔
-差
 诧
 拆
 柴
@@ -1402,7 +1397,6 @@ offer
 耻
 齿
 侈
-尺
 赤
 翅
 斥
@@ -1413,11 +1407,13 @@ offer
 崇
 宠
 抽
+酬
 畴
 踌
 稠
 愁
 筹
+仇
 绸
 瞅
 丑
@@ -1434,7 +1430,6 @@ offer
 搐
 揣
 川
-穿
 椽
 船
 喘
@@ -1465,6 +1460,7 @@ offer
 慈
 瓷
 词
+刺
 赐
 聪
 葱
@@ -1472,7 +1468,6 @@ offer
 匆
 丛
 凑
-粗
 醋
 簇
 促
@@ -1502,6 +1497,7 @@ offer
 殆
 贷
 袋
+待
 逮
 怠
 耽
@@ -1541,7 +1537,6 @@ offer
 涤
 翟
 嫡
-抵
 底
 蒂
 帝
@@ -1550,7 +1545,6 @@ offer
 掂
 滇
 碘
-典
 靛
 垫
 佃
@@ -1581,7 +1575,6 @@ offer
 鼎
 锭
 丢
-东
 冬
 董
 懂
@@ -1598,10 +1591,12 @@ offer
 逗
 痘
 督
+毒
 犊
 独
 堵
 睹
+赌
 杜
 镀
 肚
@@ -1655,6 +1650,7 @@ offer
 珐
 藩
 帆
+翻
 樊
 矾
 钒
@@ -1702,6 +1698,7 @@ offer
 讽
 凤
 佛
+否
 敷
 肤
 孵
@@ -1709,7 +1706,6 @@ offer
 拂
 辐
 氟
-符
 伏
 俘
 浮
@@ -1739,7 +1735,6 @@ offer
 咐
 噶
 嘎
-概
 钙
 溉
 甘
@@ -1801,13 +1796,13 @@ offer
 菇
 咕
 箍
-估
 沽
 孤
 姑
-鼓
+古
 蛊
 骨
+故
 固
 雇
 刮
@@ -1820,6 +1815,7 @@ offer
 怪
 棺
 罐
+惯
 灌
 贯
 逛
@@ -1844,7 +1840,6 @@ offer
 锅
 郭
 裹
-哈
 骸
 氦
 亥
@@ -1877,9 +1872,8 @@ offer
 耗
 浩
 呵
-喝
-荷
 菏
+核
 禾
 盒
 貉
@@ -1891,6 +1885,7 @@ offer
 贺
 嘿
 狠
+恨
 哼
 亨
 衡
@@ -1906,7 +1901,6 @@ offer
 侯
 猴
 吼
-呼
 忽
 瑚
 壶
@@ -1922,7 +1916,6 @@ offer
 哗
 猾
 滑
-划
 槐
 徊
 淮
@@ -1930,7 +1923,6 @@ offer
 欢
 环
 桓
-缓
 换
 唤
 痪
@@ -2000,6 +1992,7 @@ offer
 籍
 疾
 汲
+即
 嫉
 挤
 脊
@@ -2022,7 +2015,6 @@ offer
 荚
 颊
 贾
-甲
 钾
 稼
 架
@@ -2045,8 +2037,10 @@ offer
 捡
 俭
 剪
+减
 荐
 槛
+鉴
 践
 贱
 键
@@ -2063,6 +2057,7 @@ offer
 浆
 蒋
 桨
+讲
 匠
 酱
 蕉
@@ -2081,7 +2076,6 @@ offer
 侥
 脚
 狡
-角
 饺
 缴
 绞
@@ -2093,7 +2087,6 @@ offer
 揭
 皆
 秸
-街
 截
 桔
 杰
@@ -2130,6 +2123,7 @@ offer
 鲸
 粳
 井
+警
 颈
 静
 境
@@ -2147,6 +2141,7 @@ offer
 韭
 灸
 厩
+救
 旧
 臼
 舅
@@ -2283,7 +2278,6 @@ offer
 拦
 篮
 阑
-兰
 澜
 谰
 揽
@@ -2329,8 +2323,8 @@ offer
 荔
 吏
 栗
+丽
 厉
-励
 砾
 历
 僳
@@ -2352,6 +2346,7 @@ offer
 链
 恋
 炼
+练
 粮
 凉
 梁
@@ -2378,6 +2373,7 @@ offer
 琳
 磷
 霖
+临
 邻
 鳞
 淋
@@ -2410,6 +2406,7 @@ offer
 垄
 拢
 陇
+楼
 娄
 搂
 篓
@@ -2468,18 +2465,19 @@ offer
 妈
 麻
 玛
+码
 蚂
 骂
 嘛
 吗
 埋
-买
 卖
 迈
 脉
 瞒
 馒
 蛮
+满
 蔓
 曼
 慢
@@ -2493,12 +2491,14 @@ offer
 猫
 茅
 锚
+毛
 矛
 铆
 卯
 茂
 冒
 帽
+貌
 贸
 玫
 枚
@@ -2507,7 +2507,6 @@ offer
 霉
 煤
 眉
-媒
 镁
 昧
 寐
@@ -2527,12 +2526,12 @@ offer
 糜
 谜
 弥
+秘
 觅
 泌
 蜜
 幂
 棉
-眠
 绵
 冕
 免
@@ -2567,7 +2566,6 @@ offer
 抹
 莫
 墨
-默
 沫
 漠
 寞
@@ -2583,7 +2581,6 @@ offer
 慕
 睦
 牧
-穆
 哪
 呐
 钠
@@ -2615,6 +2612,7 @@ offer
 碾
 撵
 捻
+念
 娘
 酿
 鸟
@@ -2627,7 +2625,6 @@ offer
 涅
 柠
 狞
-凝
 宁
 拧
 泞
@@ -2642,6 +2639,7 @@ offer
 奴
 努
 怒
+女
 暖
 虐
 疟
@@ -2689,6 +2687,7 @@ offer
 陪
 佩
 沛
+喷
 盆
 砰
 抨
@@ -2790,6 +2789,7 @@ offer
 牵
 扦
 钎
+千
 迁
 仟
 谦
@@ -2976,7 +2976,6 @@ offer
 梢
 捎
 稍
-烧
 芍
 勺
 韶
@@ -2994,6 +2993,7 @@ offer
 砷
 申
 呻
+伸
 娠
 绅
 婶
@@ -3004,6 +3004,7 @@ offer
 甥
 牲
 绳
+省
 剩
 狮
 湿
@@ -3018,7 +3019,6 @@ offer
 驶
 柿
 拭
-誓
 逝
 嗜
 噬
@@ -3081,12 +3081,12 @@ offer
 嘶
 丝
 肆
+寺
 嗣
 伺
 似
 饲
 巳
-松
 耸
 怂
 颂
@@ -3097,7 +3097,6 @@ offer
 艘
 擞
 嗽
-苏
 酥
 俗
 粟
@@ -3126,6 +3125,7 @@ offer
 索
 锁
 塌
+它
 塔
 獭
 挞
@@ -3188,7 +3188,9 @@ offer
 嚏
 惕
 涕
+剃
 屉
+添
 填
 甜
 恬
@@ -3196,6 +3198,7 @@ offer
 腆
 迢
 眺
+跳
 贴
 铁
 帖
@@ -3219,12 +3222,10 @@ offer
 透
 凸
 秃
-途
 涂
 屠
 土
 吐
-兔
 湍
 推
 颓
@@ -3254,7 +3255,6 @@ offer
 弯
 湾
 玩
-顽
 丸
 烷
 碗
@@ -3268,7 +3268,6 @@ offer
 亡
 枉
 旺
-忘
 妄
 威
 巍
@@ -3280,7 +3279,6 @@ offer
 潍
 苇
 萎
-委
 伟
 尾
 纬
@@ -3323,6 +3321,7 @@ offer
 吾
 毋
 捂
+午
 舞
 伍
 侮
@@ -3357,6 +3356,7 @@ offer
 袭
 席
 媳
+喜
 铣
 隙
 瞎
@@ -3391,7 +3391,6 @@ offer
 限
 厢
 镶
-香
 箱
 襄
 湘
@@ -3412,7 +3411,6 @@ offer
 宵
 淆
 孝
-校
 肖
 啸
 楔
@@ -3445,6 +3443,7 @@ offer
 邢
 幸
 杏
+姓
 凶
 胸
 匈
@@ -3489,7 +3488,6 @@ offer
 巡
 殉
 汛
-训
 逊
 迅
 押
@@ -3623,6 +3621,8 @@ offer
 萤
 荧
 蝇
+迎
+盈
 颖
 硬
 映
@@ -3640,6 +3640,7 @@ offer
 涌
 永
 恿
+勇
 幽
 悠
 忧
@@ -3648,6 +3649,7 @@ offer
 铀
 犹
 酉
+右
 佑
 釉
 诱
@@ -3696,7 +3698,6 @@ offer
 袁
 援
 辕
-园
 圆
 猿
 缘
@@ -3746,9 +3747,11 @@ offer
 灶
 燥
 责
+择
 贼
 怎
 憎
+赠
 扎
 喳
 渣
@@ -3775,7 +3778,6 @@ offer
 粘
 沾
 盏
-斩
 辗
 崭
 蘸
@@ -3785,7 +3787,6 @@ offer
 樟
 彰
 漳
-掌
 涨
 杖
 丈
@@ -3793,7 +3794,6 @@ offer
 仗
 胀
 瘴
-昭
 沼
 罩
 兆
@@ -3818,7 +3818,6 @@ offer
 诊
 震
 振
-���
 蒸
 挣
 睁
@@ -3878,6 +3877,7 @@ offer
 猪
 诸
 诛
+逐
 竹
 烛
 煮
@@ -3936,9 +3936,9 @@ offer
 邹
 奏
 揍
-租
 足
 卒
+族
 诅
 阻
 组
@@ -3947,6 +3947,7 @@ offer
 嘴
 醉
 罪
+尊
 遵
 昨
 佐