Mahdip72 commited on
Commit
169f7c8
·
verified ·
1 Parent(s): ad77351

Upload 3 files

Browse files

feat: kinase_phosphorylation_site checkpoint

kinase_phosphorylation_site/2025-01-21__22-15-51/checkpoints/best_valid_kinase_phosphorylation_site_f1.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:620d4f5381aa67f21b3da70f4dd3683cbf136fae1cb4cfebafcb0dd89a6a61ee
3
+ size 5178807909
kinase_phosphorylation_site/2025-01-21__22-15-51/config.yaml ADDED
@@ -0,0 +1,83 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ fix_seed: 0
2
+ checkpoints_every: 512
3
+ tensorboard_log: True
4
+ tqdm_progress_bar: False
5
+ result_path: ./results/kinase_phosphorylation_site/
6
+
7
+ resume:
8
+ enable: False
9
+ resume_path: path/to/checkpoints
10
+ restart_optimizer: True
11
+ restart_steps: True
12
+
13
+ prot2token_model:
14
+ compile_model: True
15
+ positional_encoding_type: learned # absolute, learned
16
+ protein_encoder:
17
+ model_type: esm_v2 # esm_v2, t5
18
+ model_name: facebook/esm2_t33_650M_UR50D # facebook/esm2_t33_650M_UR50D, facebook/esm2_t30_150M_UR50D, facebook/esm2_t12_35M_UR50D, facebook/esm2_t6_8M_UR50D, Rostlab/prot_t5_base_mt_uniref50
19
+ max_len: 2048
20
+ max_label_index: 1280
21
+ drop_positional_encoding: True
22
+ quantization_4_bit: False # use with tune_embedding enable
23
+ tune_embedding: False # only for esm
24
+ fine_tune:
25
+ enable: True
26
+ last_layers_trainable: 8
27
+ lora:
28
+ enable: False
29
+ r: 8
30
+ lora_alpha: 32
31
+ lora_dropout: 0.05
32
+ decoder:
33
+ latest_flash_attention: False
34
+ dimension: 640
35
+ dim_feedforward: 2560
36
+ num_heads: 16
37
+ num_layers: 16
38
+ max_len: 384
39
+ activation_function: gelu
40
+ decoder_context_dropout: 0.0
41
+
42
+ train_settings:
43
+ skip: False
44
+ data_path: ../../datasets/Joint_training/
45
+ num_epochs: 256
46
+ start_metric_epoch: 96
47
+ shuffle: True
48
+ loss: crossentropy # crossentropy or focal
49
+ mixed_precision: bf16 # no, fp16, bf16, fp8
50
+ device: cuda
51
+ batch_size: 16
52
+ num_workers: 4
53
+ grad_accumulation: 2
54
+ max_task_samples: 20000
55
+
56
+ valid_settings:
57
+ data_path: ../../datasets/Joint_training/
58
+ do_every: 1
59
+ batch_size: 1 # 1 when perplexity = False
60
+ perplexity: False
61
+ device: cuda
62
+ num_workers: 2
63
+
64
+ test_settings:
65
+ enable: True
66
+ data_path: ../../datasets/Joint_training/
67
+ batch_size: 1
68
+ device: cuda
69
+ num_workers: 0
70
+ inference_type: inference_greedy # inference_beam_search, inference_greedy
71
+ beam_search:
72
+ top_k: 1
73
+ beam_width: 3
74
+ temperature: 1.0
75
+ monitoring_metrics:
76
+ kinase_group: macro_f1
77
+ kinase_interaction: f1
78
+ kinase_phosphorylation_site: f1
79
+
80
+ tasks:
81
+ kinase_group: False
82
+ kinase_interaction: False
83
+ kinase_phosphorylation_site: True
kinase_phosphorylation_site/2025-01-21__22-15-51/decoder_tokenizer.yaml ADDED
@@ -0,0 +1,1305 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ '1': 24
2
+ '10': 33
3
+ '100': 123
4
+ '1000': 1023
5
+ '1001': 1024
6
+ '1002': 1025
7
+ '1003': 1026
8
+ '1004': 1027
9
+ '1005': 1028
10
+ '1006': 1029
11
+ '1007': 1030
12
+ '1008': 1031
13
+ '1009': 1032
14
+ '101': 124
15
+ '1010': 1033
16
+ '1011': 1034
17
+ '1012': 1035
18
+ '1013': 1036
19
+ '1014': 1037
20
+ '1015': 1038
21
+ '1016': 1039
22
+ '1017': 1040
23
+ '1018': 1041
24
+ '1019': 1042
25
+ '102': 125
26
+ '1020': 1043
27
+ '1021': 1044
28
+ '1022': 1045
29
+ '1023': 1046
30
+ '1024': 1047
31
+ '1025': 1048
32
+ '1026': 1049
33
+ '1027': 1050
34
+ '1028': 1051
35
+ '1029': 1052
36
+ '103': 126
37
+ '1030': 1053
38
+ '1031': 1054
39
+ '1032': 1055
40
+ '1033': 1056
41
+ '1034': 1057
42
+ '1035': 1058
43
+ '1036': 1059
44
+ '1037': 1060
45
+ '1038': 1061
46
+ '1039': 1062
47
+ '104': 127
48
+ '1040': 1063
49
+ '1041': 1064
50
+ '1042': 1065
51
+ '1043': 1066
52
+ '1044': 1067
53
+ '1045': 1068
54
+ '1046': 1069
55
+ '1047': 1070
56
+ '1048': 1071
57
+ '1049': 1072
58
+ '105': 128
59
+ '1050': 1073
60
+ '1051': 1074
61
+ '1052': 1075
62
+ '1053': 1076
63
+ '1054': 1077
64
+ '1055': 1078
65
+ '1056': 1079
66
+ '1057': 1080
67
+ '1058': 1081
68
+ '1059': 1082
69
+ '106': 129
70
+ '1060': 1083
71
+ '1061': 1084
72
+ '1062': 1085
73
+ '1063': 1086
74
+ '1064': 1087
75
+ '1065': 1088
76
+ '1066': 1089
77
+ '1067': 1090
78
+ '1068': 1091
79
+ '1069': 1092
80
+ '107': 130
81
+ '1070': 1093
82
+ '1071': 1094
83
+ '1072': 1095
84
+ '1073': 1096
85
+ '1074': 1097
86
+ '1075': 1098
87
+ '1076': 1099
88
+ '1077': 1100
89
+ '1078': 1101
90
+ '1079': 1102
91
+ '108': 131
92
+ '1080': 1103
93
+ '1081': 1104
94
+ '1082': 1105
95
+ '1083': 1106
96
+ '1084': 1107
97
+ '1085': 1108
98
+ '1086': 1109
99
+ '1087': 1110
100
+ '1088': 1111
101
+ '1089': 1112
102
+ '109': 132
103
+ '1090': 1113
104
+ '1091': 1114
105
+ '1092': 1115
106
+ '1093': 1116
107
+ '1094': 1117
108
+ '1095': 1118
109
+ '1096': 1119
110
+ '1097': 1120
111
+ '1098': 1121
112
+ '1099': 1122
113
+ '11': 34
114
+ '110': 133
115
+ '1100': 1123
116
+ '1101': 1124
117
+ '1102': 1125
118
+ '1103': 1126
119
+ '1104': 1127
120
+ '1105': 1128
121
+ '1106': 1129
122
+ '1107': 1130
123
+ '1108': 1131
124
+ '1109': 1132
125
+ '111': 134
126
+ '1110': 1133
127
+ '1111': 1134
128
+ '1112': 1135
129
+ '1113': 1136
130
+ '1114': 1137
131
+ '1115': 1138
132
+ '1116': 1139
133
+ '1117': 1140
134
+ '1118': 1141
135
+ '1119': 1142
136
+ '112': 135
137
+ '1120': 1143
138
+ '1121': 1144
139
+ '1122': 1145
140
+ '1123': 1146
141
+ '1124': 1147
142
+ '1125': 1148
143
+ '1126': 1149
144
+ '1127': 1150
145
+ '1128': 1151
146
+ '1129': 1152
147
+ '113': 136
148
+ '1130': 1153
149
+ '1131': 1154
150
+ '1132': 1155
151
+ '1133': 1156
152
+ '1134': 1157
153
+ '1135': 1158
154
+ '1136': 1159
155
+ '1137': 1160
156
+ '1138': 1161
157
+ '1139': 1162
158
+ '114': 137
159
+ '1140': 1163
160
+ '1141': 1164
161
+ '1142': 1165
162
+ '1143': 1166
163
+ '1144': 1167
164
+ '1145': 1168
165
+ '1146': 1169
166
+ '1147': 1170
167
+ '1148': 1171
168
+ '1149': 1172
169
+ '115': 138
170
+ '1150': 1173
171
+ '1151': 1174
172
+ '1152': 1175
173
+ '1153': 1176
174
+ '1154': 1177
175
+ '1155': 1178
176
+ '1156': 1179
177
+ '1157': 1180
178
+ '1158': 1181
179
+ '1159': 1182
180
+ '116': 139
181
+ '1160': 1183
182
+ '1161': 1184
183
+ '1162': 1185
184
+ '1163': 1186
185
+ '1164': 1187
186
+ '1165': 1188
187
+ '1166': 1189
188
+ '1167': 1190
189
+ '1168': 1191
190
+ '1169': 1192
191
+ '117': 140
192
+ '1170': 1193
193
+ '1171': 1194
194
+ '1172': 1195
195
+ '1173': 1196
196
+ '1174': 1197
197
+ '1175': 1198
198
+ '1176': 1199
199
+ '1177': 1200
200
+ '1178': 1201
201
+ '1179': 1202
202
+ '118': 141
203
+ '1180': 1203
204
+ '1181': 1204
205
+ '1182': 1205
206
+ '1183': 1206
207
+ '1184': 1207
208
+ '1185': 1208
209
+ '1186': 1209
210
+ '1187': 1210
211
+ '1188': 1211
212
+ '1189': 1212
213
+ '119': 142
214
+ '1190': 1213
215
+ '1191': 1214
216
+ '1192': 1215
217
+ '1193': 1216
218
+ '1194': 1217
219
+ '1195': 1218
220
+ '1196': 1219
221
+ '1197': 1220
222
+ '1198': 1221
223
+ '1199': 1222
224
+ '12': 35
225
+ '120': 143
226
+ '1200': 1223
227
+ '1201': 1224
228
+ '1202': 1225
229
+ '1203': 1226
230
+ '1204': 1227
231
+ '1205': 1228
232
+ '1206': 1229
233
+ '1207': 1230
234
+ '1208': 1231
235
+ '1209': 1232
236
+ '121': 144
237
+ '1210': 1233
238
+ '1211': 1234
239
+ '1212': 1235
240
+ '1213': 1236
241
+ '1214': 1237
242
+ '1215': 1238
243
+ '1216': 1239
244
+ '1217': 1240
245
+ '1218': 1241
246
+ '1219': 1242
247
+ '122': 145
248
+ '1220': 1243
249
+ '1221': 1244
250
+ '1222': 1245
251
+ '1223': 1246
252
+ '1224': 1247
253
+ '1225': 1248
254
+ '1226': 1249
255
+ '1227': 1250
256
+ '1228': 1251
257
+ '1229': 1252
258
+ '123': 146
259
+ '1230': 1253
260
+ '1231': 1254
261
+ '1232': 1255
262
+ '1233': 1256
263
+ '1234': 1257
264
+ '1235': 1258
265
+ '1236': 1259
266
+ '1237': 1260
267
+ '1238': 1261
268
+ '1239': 1262
269
+ '124': 147
270
+ '1240': 1263
271
+ '1241': 1264
272
+ '1242': 1265
273
+ '1243': 1266
274
+ '1244': 1267
275
+ '1245': 1268
276
+ '1246': 1269
277
+ '1247': 1270
278
+ '1248': 1271
279
+ '1249': 1272
280
+ '125': 148
281
+ '1250': 1273
282
+ '1251': 1274
283
+ '1252': 1275
284
+ '1253': 1276
285
+ '1254': 1277
286
+ '1255': 1278
287
+ '1256': 1279
288
+ '1257': 1280
289
+ '1258': 1281
290
+ '1259': 1282
291
+ '126': 149
292
+ '1260': 1283
293
+ '1261': 1284
294
+ '1262': 1285
295
+ '1263': 1286
296
+ '1264': 1287
297
+ '1265': 1288
298
+ '1266': 1289
299
+ '1267': 1290
300
+ '1268': 1291
301
+ '1269': 1292
302
+ '127': 150
303
+ '1270': 1293
304
+ '1271': 1294
305
+ '1272': 1295
306
+ '1273': 1296
307
+ '1274': 1297
308
+ '1275': 1298
309
+ '1276': 1299
310
+ '1277': 1300
311
+ '1278': 1301
312
+ '1279': 1302
313
+ '128': 151
314
+ '1280': 1303
315
+ '129': 152
316
+ '13': 36
317
+ '130': 153
318
+ '131': 154
319
+ '132': 155
320
+ '133': 156
321
+ '134': 157
322
+ '135': 158
323
+ '136': 159
324
+ '137': 160
325
+ '138': 161
326
+ '139': 162
327
+ '14': 37
328
+ '140': 163
329
+ '141': 164
330
+ '142': 165
331
+ '143': 166
332
+ '144': 167
333
+ '145': 168
334
+ '146': 169
335
+ '147': 170
336
+ '148': 171
337
+ '149': 172
338
+ '15': 38
339
+ '150': 173
340
+ '151': 174
341
+ '152': 175
342
+ '153': 176
343
+ '154': 177
344
+ '155': 178
345
+ '156': 179
346
+ '157': 180
347
+ '158': 181
348
+ '159': 182
349
+ '16': 39
350
+ '160': 183
351
+ '161': 184
352
+ '162': 185
353
+ '163': 186
354
+ '164': 187
355
+ '165': 188
356
+ '166': 189
357
+ '167': 190
358
+ '168': 191
359
+ '169': 192
360
+ '17': 40
361
+ '170': 193
362
+ '171': 194
363
+ '172': 195
364
+ '173': 196
365
+ '174': 197
366
+ '175': 198
367
+ '176': 199
368
+ '177': 200
369
+ '178': 201
370
+ '179': 202
371
+ '18': 41
372
+ '180': 203
373
+ '181': 204
374
+ '182': 205
375
+ '183': 206
376
+ '184': 207
377
+ '185': 208
378
+ '186': 209
379
+ '187': 210
380
+ '188': 211
381
+ '189': 212
382
+ '19': 42
383
+ '190': 213
384
+ '191': 214
385
+ '192': 215
386
+ '193': 216
387
+ '194': 217
388
+ '195': 218
389
+ '196': 219
390
+ '197': 220
391
+ '198': 221
392
+ '199': 222
393
+ '2': 25
394
+ '20': 43
395
+ '200': 223
396
+ '201': 224
397
+ '202': 225
398
+ '203': 226
399
+ '204': 227
400
+ '205': 228
401
+ '206': 229
402
+ '207': 230
403
+ '208': 231
404
+ '209': 232
405
+ '21': 44
406
+ '210': 233
407
+ '211': 234
408
+ '212': 235
409
+ '213': 236
410
+ '214': 237
411
+ '215': 238
412
+ '216': 239
413
+ '217': 240
414
+ '218': 241
415
+ '219': 242
416
+ '22': 45
417
+ '220': 243
418
+ '221': 244
419
+ '222': 245
420
+ '223': 246
421
+ '224': 247
422
+ '225': 248
423
+ '226': 249
424
+ '227': 250
425
+ '228': 251
426
+ '229': 252
427
+ '23': 46
428
+ '230': 253
429
+ '231': 254
430
+ '232': 255
431
+ '233': 256
432
+ '234': 257
433
+ '235': 258
434
+ '236': 259
435
+ '237': 260
436
+ '238': 261
437
+ '239': 262
438
+ '24': 47
439
+ '240': 263
440
+ '241': 264
441
+ '242': 265
442
+ '243': 266
443
+ '244': 267
444
+ '245': 268
445
+ '246': 269
446
+ '247': 270
447
+ '248': 271
448
+ '249': 272
449
+ '25': 48
450
+ '250': 273
451
+ '251': 274
452
+ '252': 275
453
+ '253': 276
454
+ '254': 277
455
+ '255': 278
456
+ '256': 279
457
+ '257': 280
458
+ '258': 281
459
+ '259': 282
460
+ '26': 49
461
+ '260': 283
462
+ '261': 284
463
+ '262': 285
464
+ '263': 286
465
+ '264': 287
466
+ '265': 288
467
+ '266': 289
468
+ '267': 290
469
+ '268': 291
470
+ '269': 292
471
+ '27': 50
472
+ '270': 293
473
+ '271': 294
474
+ '272': 295
475
+ '273': 296
476
+ '274': 297
477
+ '275': 298
478
+ '276': 299
479
+ '277': 300
480
+ '278': 301
481
+ '279': 302
482
+ '28': 51
483
+ '280': 303
484
+ '281': 304
485
+ '282': 305
486
+ '283': 306
487
+ '284': 307
488
+ '285': 308
489
+ '286': 309
490
+ '287': 310
491
+ '288': 311
492
+ '289': 312
493
+ '29': 52
494
+ '290': 313
495
+ '291': 314
496
+ '292': 315
497
+ '293': 316
498
+ '294': 317
499
+ '295': 318
500
+ '296': 319
501
+ '297': 320
502
+ '298': 321
503
+ '299': 322
504
+ '3': 26
505
+ '30': 53
506
+ '300': 323
507
+ '301': 324
508
+ '302': 325
509
+ '303': 326
510
+ '304': 327
511
+ '305': 328
512
+ '306': 329
513
+ '307': 330
514
+ '308': 331
515
+ '309': 332
516
+ '31': 54
517
+ '310': 333
518
+ '311': 334
519
+ '312': 335
520
+ '313': 336
521
+ '314': 337
522
+ '315': 338
523
+ '316': 339
524
+ '317': 340
525
+ '318': 341
526
+ '319': 342
527
+ '32': 55
528
+ '320': 343
529
+ '321': 344
530
+ '322': 345
531
+ '323': 346
532
+ '324': 347
533
+ '325': 348
534
+ '326': 349
535
+ '327': 350
536
+ '328': 351
537
+ '329': 352
538
+ '33': 56
539
+ '330': 353
540
+ '331': 354
541
+ '332': 355
542
+ '333': 356
543
+ '334': 357
544
+ '335': 358
545
+ '336': 359
546
+ '337': 360
547
+ '338': 361
548
+ '339': 362
549
+ '34': 57
550
+ '340': 363
551
+ '341': 364
552
+ '342': 365
553
+ '343': 366
554
+ '344': 367
555
+ '345': 368
556
+ '346': 369
557
+ '347': 370
558
+ '348': 371
559
+ '349': 372
560
+ '35': 58
561
+ '350': 373
562
+ '351': 374
563
+ '352': 375
564
+ '353': 376
565
+ '354': 377
566
+ '355': 378
567
+ '356': 379
568
+ '357': 380
569
+ '358': 381
570
+ '359': 382
571
+ '36': 59
572
+ '360': 383
573
+ '361': 384
574
+ '362': 385
575
+ '363': 386
576
+ '364': 387
577
+ '365': 388
578
+ '366': 389
579
+ '367': 390
580
+ '368': 391
581
+ '369': 392
582
+ '37': 60
583
+ '370': 393
584
+ '371': 394
585
+ '372': 395
586
+ '373': 396
587
+ '374': 397
588
+ '375': 398
589
+ '376': 399
590
+ '377': 400
591
+ '378': 401
592
+ '379': 402
593
+ '38': 61
594
+ '380': 403
595
+ '381': 404
596
+ '382': 405
597
+ '383': 406
598
+ '384': 407
599
+ '385': 408
600
+ '386': 409
601
+ '387': 410
602
+ '388': 411
603
+ '389': 412
604
+ '39': 62
605
+ '390': 413
606
+ '391': 414
607
+ '392': 415
608
+ '393': 416
609
+ '394': 417
610
+ '395': 418
611
+ '396': 419
612
+ '397': 420
613
+ '398': 421
614
+ '399': 422
615
+ '4': 27
616
+ '40': 63
617
+ '400': 423
618
+ '401': 424
619
+ '402': 425
620
+ '403': 426
621
+ '404': 427
622
+ '405': 428
623
+ '406': 429
624
+ '407': 430
625
+ '408': 431
626
+ '409': 432
627
+ '41': 64
628
+ '410': 433
629
+ '411': 434
630
+ '412': 435
631
+ '413': 436
632
+ '414': 437
633
+ '415': 438
634
+ '416': 439
635
+ '417': 440
636
+ '418': 441
637
+ '419': 442
638
+ '42': 65
639
+ '420': 443
640
+ '421': 444
641
+ '422': 445
642
+ '423': 446
643
+ '424': 447
644
+ '425': 448
645
+ '426': 449
646
+ '427': 450
647
+ '428': 451
648
+ '429': 452
649
+ '43': 66
650
+ '430': 453
651
+ '431': 454
652
+ '432': 455
653
+ '433': 456
654
+ '434': 457
655
+ '435': 458
656
+ '436': 459
657
+ '437': 460
658
+ '438': 461
659
+ '439': 462
660
+ '44': 67
661
+ '440': 463
662
+ '441': 464
663
+ '442': 465
664
+ '443': 466
665
+ '444': 467
666
+ '445': 468
667
+ '446': 469
668
+ '447': 470
669
+ '448': 471
670
+ '449': 472
671
+ '45': 68
672
+ '450': 473
673
+ '451': 474
674
+ '452': 475
675
+ '453': 476
676
+ '454': 477
677
+ '455': 478
678
+ '456': 479
679
+ '457': 480
680
+ '458': 481
681
+ '459': 482
682
+ '46': 69
683
+ '460': 483
684
+ '461': 484
685
+ '462': 485
686
+ '463': 486
687
+ '464': 487
688
+ '465': 488
689
+ '466': 489
690
+ '467': 490
691
+ '468': 491
692
+ '469': 492
693
+ '47': 70
694
+ '470': 493
695
+ '471': 494
696
+ '472': 495
697
+ '473': 496
698
+ '474': 497
699
+ '475': 498
700
+ '476': 499
701
+ '477': 500
702
+ '478': 501
703
+ '479': 502
704
+ '48': 71
705
+ '480': 503
706
+ '481': 504
707
+ '482': 505
708
+ '483': 506
709
+ '484': 507
710
+ '485': 508
711
+ '486': 509
712
+ '487': 510
713
+ '488': 511
714
+ '489': 512
715
+ '49': 72
716
+ '490': 513
717
+ '491': 514
718
+ '492': 515
719
+ '493': 516
720
+ '494': 517
721
+ '495': 518
722
+ '496': 519
723
+ '497': 520
724
+ '498': 521
725
+ '499': 522
726
+ '5': 28
727
+ '50': 73
728
+ '500': 523
729
+ '501': 524
730
+ '502': 525
731
+ '503': 526
732
+ '504': 527
733
+ '505': 528
734
+ '506': 529
735
+ '507': 530
736
+ '508': 531
737
+ '509': 532
738
+ '51': 74
739
+ '510': 533
740
+ '511': 534
741
+ '512': 535
742
+ '513': 536
743
+ '514': 537
744
+ '515': 538
745
+ '516': 539
746
+ '517': 540
747
+ '518': 541
748
+ '519': 542
749
+ '52': 75
750
+ '520': 543
751
+ '521': 544
752
+ '522': 545
753
+ '523': 546
754
+ '524': 547
755
+ '525': 548
756
+ '526': 549
757
+ '527': 550
758
+ '528': 551
759
+ '529': 552
760
+ '53': 76
761
+ '530': 553
762
+ '531': 554
763
+ '532': 555
764
+ '533': 556
765
+ '534': 557
766
+ '535': 558
767
+ '536': 559
768
+ '537': 560
769
+ '538': 561
770
+ '539': 562
771
+ '54': 77
772
+ '540': 563
773
+ '541': 564
774
+ '542': 565
775
+ '543': 566
776
+ '544': 567
777
+ '545': 568
778
+ '546': 569
779
+ '547': 570
780
+ '548': 571
781
+ '549': 572
782
+ '55': 78
783
+ '550': 573
784
+ '551': 574
785
+ '552': 575
786
+ '553': 576
787
+ '554': 577
788
+ '555': 578
789
+ '556': 579
790
+ '557': 580
791
+ '558': 581
792
+ '559': 582
793
+ '56': 79
794
+ '560': 583
795
+ '561': 584
796
+ '562': 585
797
+ '563': 586
798
+ '564': 587
799
+ '565': 588
800
+ '566': 589
801
+ '567': 590
802
+ '568': 591
803
+ '569': 592
804
+ '57': 80
805
+ '570': 593
806
+ '571': 594
807
+ '572': 595
808
+ '573': 596
809
+ '574': 597
810
+ '575': 598
811
+ '576': 599
812
+ '577': 600
813
+ '578': 601
814
+ '579': 602
815
+ '58': 81
816
+ '580': 603
817
+ '581': 604
818
+ '582': 605
819
+ '583': 606
820
+ '584': 607
821
+ '585': 608
822
+ '586': 609
823
+ '587': 610
824
+ '588': 611
825
+ '589': 612
826
+ '59': 82
827
+ '590': 613
828
+ '591': 614
829
+ '592': 615
830
+ '593': 616
831
+ '594': 617
832
+ '595': 618
833
+ '596': 619
834
+ '597': 620
835
+ '598': 621
836
+ '599': 622
837
+ '6': 29
838
+ '60': 83
839
+ '600': 623
840
+ '601': 624
841
+ '602': 625
842
+ '603': 626
843
+ '604': 627
844
+ '605': 628
845
+ '606': 629
846
+ '607': 630
847
+ '608': 631
848
+ '609': 632
849
+ '61': 84
850
+ '610': 633
851
+ '611': 634
852
+ '612': 635
853
+ '613': 636
854
+ '614': 637
855
+ '615': 638
856
+ '616': 639
857
+ '617': 640
858
+ '618': 641
859
+ '619': 642
860
+ '62': 85
861
+ '620': 643
862
+ '621': 644
863
+ '622': 645
864
+ '623': 646
865
+ '624': 647
866
+ '625': 648
867
+ '626': 649
868
+ '627': 650
869
+ '628': 651
870
+ '629': 652
871
+ '63': 86
872
+ '630': 653
873
+ '631': 654
874
+ '632': 655
875
+ '633': 656
876
+ '634': 657
877
+ '635': 658
878
+ '636': 659
879
+ '637': 660
880
+ '638': 661
881
+ '639': 662
882
+ '64': 87
883
+ '640': 663
884
+ '641': 664
885
+ '642': 665
886
+ '643': 666
887
+ '644': 667
888
+ '645': 668
889
+ '646': 669
890
+ '647': 670
891
+ '648': 671
892
+ '649': 672
893
+ '65': 88
894
+ '650': 673
895
+ '651': 674
896
+ '652': 675
897
+ '653': 676
898
+ '654': 677
899
+ '655': 678
900
+ '656': 679
901
+ '657': 680
902
+ '658': 681
903
+ '659': 682
904
+ '66': 89
905
+ '660': 683
906
+ '661': 684
907
+ '662': 685
908
+ '663': 686
909
+ '664': 687
910
+ '665': 688
911
+ '666': 689
912
+ '667': 690
913
+ '668': 691
914
+ '669': 692
915
+ '67': 90
916
+ '670': 693
917
+ '671': 694
918
+ '672': 695
919
+ '673': 696
920
+ '674': 697
921
+ '675': 698
922
+ '676': 699
923
+ '677': 700
924
+ '678': 701
925
+ '679': 702
926
+ '68': 91
927
+ '680': 703
928
+ '681': 704
929
+ '682': 705
930
+ '683': 706
931
+ '684': 707
932
+ '685': 708
933
+ '686': 709
934
+ '687': 710
935
+ '688': 711
936
+ '689': 712
937
+ '69': 92
938
+ '690': 713
939
+ '691': 714
940
+ '692': 715
941
+ '693': 716
942
+ '694': 717
943
+ '695': 718
944
+ '696': 719
945
+ '697': 720
946
+ '698': 721
947
+ '699': 722
948
+ '7': 30
949
+ '70': 93
950
+ '700': 723
951
+ '701': 724
952
+ '702': 725
953
+ '703': 726
954
+ '704': 727
955
+ '705': 728
956
+ '706': 729
957
+ '707': 730
958
+ '708': 731
959
+ '709': 732
960
+ '71': 94
961
+ '710': 733
962
+ '711': 734
963
+ '712': 735
964
+ '713': 736
965
+ '714': 737
966
+ '715': 738
967
+ '716': 739
968
+ '717': 740
969
+ '718': 741
970
+ '719': 742
971
+ '72': 95
972
+ '720': 743
973
+ '721': 744
974
+ '722': 745
975
+ '723': 746
976
+ '724': 747
977
+ '725': 748
978
+ '726': 749
979
+ '727': 750
980
+ '728': 751
981
+ '729': 752
982
+ '73': 96
983
+ '730': 753
984
+ '731': 754
985
+ '732': 755
986
+ '733': 756
987
+ '734': 757
988
+ '735': 758
989
+ '736': 759
990
+ '737': 760
991
+ '738': 761
992
+ '739': 762
993
+ '74': 97
994
+ '740': 763
995
+ '741': 764
996
+ '742': 765
997
+ '743': 766
998
+ '744': 767
999
+ '745': 768
1000
+ '746': 769
1001
+ '747': 770
1002
+ '748': 771
1003
+ '749': 772
1004
+ '75': 98
1005
+ '750': 773
1006
+ '751': 774
1007
+ '752': 775
1008
+ '753': 776
1009
+ '754': 777
1010
+ '755': 778
1011
+ '756': 779
1012
+ '757': 780
1013
+ '758': 781
1014
+ '759': 782
1015
+ '76': 99
1016
+ '760': 783
1017
+ '761': 784
1018
+ '762': 785
1019
+ '763': 786
1020
+ '764': 787
1021
+ '765': 788
1022
+ '766': 789
1023
+ '767': 790
1024
+ '768': 791
1025
+ '769': 792
1026
+ '77': 100
1027
+ '770': 793
1028
+ '771': 794
1029
+ '772': 795
1030
+ '773': 796
1031
+ '774': 797
1032
+ '775': 798
1033
+ '776': 799
1034
+ '777': 800
1035
+ '778': 801
1036
+ '779': 802
1037
+ '78': 101
1038
+ '780': 803
1039
+ '781': 804
1040
+ '782': 805
1041
+ '783': 806
1042
+ '784': 807
1043
+ '785': 808
1044
+ '786': 809
1045
+ '787': 810
1046
+ '788': 811
1047
+ '789': 812
1048
+ '79': 102
1049
+ '790': 813
1050
+ '791': 814
1051
+ '792': 815
1052
+ '793': 816
1053
+ '794': 817
1054
+ '795': 818
1055
+ '796': 819
1056
+ '797': 820
1057
+ '798': 821
1058
+ '799': 822
1059
+ '8': 31
1060
+ '80': 103
1061
+ '800': 823
1062
+ '801': 824
1063
+ '802': 825
1064
+ '803': 826
1065
+ '804': 827
1066
+ '805': 828
1067
+ '806': 829
1068
+ '807': 830
1069
+ '808': 831
1070
+ '809': 832
1071
+ '81': 104
1072
+ '810': 833
1073
+ '811': 834
1074
+ '812': 835
1075
+ '813': 836
1076
+ '814': 837
1077
+ '815': 838
1078
+ '816': 839
1079
+ '817': 840
1080
+ '818': 841
1081
+ '819': 842
1082
+ '82': 105
1083
+ '820': 843
1084
+ '821': 844
1085
+ '822': 845
1086
+ '823': 846
1087
+ '824': 847
1088
+ '825': 848
1089
+ '826': 849
1090
+ '827': 850
1091
+ '828': 851
1092
+ '829': 852
1093
+ '83': 106
1094
+ '830': 853
1095
+ '831': 854
1096
+ '832': 855
1097
+ '833': 856
1098
+ '834': 857
1099
+ '835': 858
1100
+ '836': 859
1101
+ '837': 860
1102
+ '838': 861
1103
+ '839': 862
1104
+ '84': 107
1105
+ '840': 863
1106
+ '841': 864
1107
+ '842': 865
1108
+ '843': 866
1109
+ '844': 867
1110
+ '845': 868
1111
+ '846': 869
1112
+ '847': 870
1113
+ '848': 871
1114
+ '849': 872
1115
+ '85': 108
1116
+ '850': 873
1117
+ '851': 874
1118
+ '852': 875
1119
+ '853': 876
1120
+ '854': 877
1121
+ '855': 878
1122
+ '856': 879
1123
+ '857': 880
1124
+ '858': 881
1125
+ '859': 882
1126
+ '86': 109
1127
+ '860': 883
1128
+ '861': 884
1129
+ '862': 885
1130
+ '863': 886
1131
+ '864': 887
1132
+ '865': 888
1133
+ '866': 889
1134
+ '867': 890
1135
+ '868': 891
1136
+ '869': 892
1137
+ '87': 110
1138
+ '870': 893
1139
+ '871': 894
1140
+ '872': 895
1141
+ '873': 896
1142
+ '874': 897
1143
+ '875': 898
1144
+ '876': 899
1145
+ '877': 900
1146
+ '878': 901
1147
+ '879': 902
1148
+ '88': 111
1149
+ '880': 903
1150
+ '881': 904
1151
+ '882': 905
1152
+ '883': 906
1153
+ '884': 907
1154
+ '885': 908
1155
+ '886': 909
1156
+ '887': 910
1157
+ '888': 911
1158
+ '889': 912
1159
+ '89': 112
1160
+ '890': 913
1161
+ '891': 914
1162
+ '892': 915
1163
+ '893': 916
1164
+ '894': 917
1165
+ '895': 918
1166
+ '896': 919
1167
+ '897': 920
1168
+ '898': 921
1169
+ '899': 922
1170
+ '9': 32
1171
+ '90': 113
1172
+ '900': 923
1173
+ '901': 924
1174
+ '902': 925
1175
+ '903': 926
1176
+ '904': 927
1177
+ '905': 928
1178
+ '906': 929
1179
+ '907': 930
1180
+ '908': 931
1181
+ '909': 932
1182
+ '91': 114
1183
+ '910': 933
1184
+ '911': 934
1185
+ '912': 935
1186
+ '913': 936
1187
+ '914': 937
1188
+ '915': 938
1189
+ '916': 939
1190
+ '917': 940
1191
+ '918': 941
1192
+ '919': 942
1193
+ '92': 115
1194
+ '920': 943
1195
+ '921': 944
1196
+ '922': 945
1197
+ '923': 946
1198
+ '924': 947
1199
+ '925': 948
1200
+ '926': 949
1201
+ '927': 950
1202
+ '928': 951
1203
+ '929': 952
1204
+ '93': 116
1205
+ '930': 953
1206
+ '931': 954
1207
+ '932': 955
1208
+ '933': 956
1209
+ '934': 957
1210
+ '935': 958
1211
+ '936': 959
1212
+ '937': 960
1213
+ '938': 961
1214
+ '939': 962
1215
+ '94': 117
1216
+ '940': 963
1217
+ '941': 964
1218
+ '942': 965
1219
+ '943': 966
1220
+ '944': 967
1221
+ '945': 968
1222
+ '946': 969
1223
+ '947': 970
1224
+ '948': 971
1225
+ '949': 972
1226
+ '95': 118
1227
+ '950': 973
1228
+ '951': 974
1229
+ '952': 975
1230
+ '953': 976
1231
+ '954': 977
1232
+ '955': 978
1233
+ '956': 979
1234
+ '957': 980
1235
+ '958': 981
1236
+ '959': 982
1237
+ '96': 119
1238
+ '960': 983
1239
+ '961': 984
1240
+ '962': 985
1241
+ '963': 986
1242
+ '964': 987
1243
+ '965': 988
1244
+ '966': 989
1245
+ '967': 990
1246
+ '968': 991
1247
+ '969': 992
1248
+ '97': 120
1249
+ '970': 993
1250
+ '971': 994
1251
+ '972': 995
1252
+ '973': 996
1253
+ '974': 997
1254
+ '975': 998
1255
+ '976': 999
1256
+ '977': 1000
1257
+ '978': 1001
1258
+ '979': 1002
1259
+ '98': 121
1260
+ '980': 1003
1261
+ '981': 1004
1262
+ '982': 1005
1263
+ '983': 1006
1264
+ '984': 1007
1265
+ '985': 1008
1266
+ '986': 1009
1267
+ '987': 1010
1268
+ '988': 1011
1269
+ '989': 1012
1270
+ '99': 122
1271
+ '990': 1013
1272
+ '991': 1014
1273
+ '992': 1015
1274
+ '993': 1016
1275
+ '994': 1017
1276
+ '995': 1018
1277
+ '996': 1019
1278
+ '997': 1020
1279
+ '998': 1021
1280
+ '999': 1022
1281
+ <bos>: 1
1282
+ <eos>: 2
1283
+ <pad>: 0
1284
+ <sep>: 1304
1285
+ <task_a>: 4
1286
+ <task_c>: 5
1287
+ <task_d>: 6
1288
+ <task_e>: 7
1289
+ <task_f>: 8
1290
+ <task_g>: 9
1291
+ <task_h>: 10
1292
+ <task_i>: 11
1293
+ <task_k>: 12
1294
+ <task_kinase_phosphorylation_site>: 3
1295
+ <task_l>: 13
1296
+ <task_m>: 14
1297
+ <task_n>: 15
1298
+ <task_p>: 16
1299
+ <task_q>: 17
1300
+ <task_r>: 18
1301
+ <task_s>: 19
1302
+ <task_t>: 20
1303
+ <task_v>: 21
1304
+ <task_w>: 22
1305
+ <task_y>: 23