Hugging Face's logo

frankkuete
/
legal-bert-tpb-clause-class

Text Classification
Transformers
PyTorch
English
bert
Inference Endpoints
Model card Files Community
6

Upload with huggingface_hub

#4
by frankkuete - opened
base: refs/heads/main
←
from: refs/pr/4
Discussion Files changed
+309550
-0
This view is limited to 50 files because it contains too many changes.  See the raw diff here.
Files changed (50) hide show
  1. checkpoint-1220/config.json +37 -0
  2. checkpoint-1220/optimizer.pt +3 -0
  3. checkpoint-1220/pytorch_model.bin +3 -0
  4. checkpoint-1220/rng_state.pth +3 -0
  5. checkpoint-1220/scheduler.pt +3 -0
  6. checkpoint-1220/special_tokens_map.json +7 -0
  7. checkpoint-1220/tokenizer.json +0 -0
  8. checkpoint-1220/tokenizer_config.json +15 -0
  9. checkpoint-1220/trainer_state.json +912 -0
  10. checkpoint-1220/training_args.bin +3 -0
  11. checkpoint-1220/vocab.txt +0 -0
  12. checkpoint-305/config.json +37 -0
  13. checkpoint-305/optimizer.pt +3 -0
  14. checkpoint-305/pytorch_model.bin +3 -0
  15. checkpoint-305/rng_state.pth +3 -0
  16. checkpoint-305/scheduler.pt +3 -0
  17. checkpoint-305/special_tokens_map.json +7 -0
  18. checkpoint-305/tokenizer.json +0 -0
  19. checkpoint-305/tokenizer_config.json +15 -0
  20. checkpoint-305/trainer_state.json +237 -0
  21. checkpoint-305/training_args.bin +3 -0
  22. checkpoint-305/vocab.txt +0 -0
  23. checkpoint-610/config.json +37 -0
  24. checkpoint-610/optimizer.pt +3 -0
  25. checkpoint-610/pytorch_model.bin +3 -0
  26. checkpoint-610/rng_state.pth +3 -0
  27. checkpoint-610/scheduler.pt +3 -0
  28. checkpoint-610/special_tokens_map.json +7 -0
  29. checkpoint-610/tokenizer.json +0 -0
  30. checkpoint-610/tokenizer_config.json +15 -0
  31. checkpoint-610/trainer_state.json +464 -0
  32. checkpoint-610/training_args.bin +3 -0
  33. checkpoint-610/vocab.txt +0 -0
  34. checkpoint-915/config.json +37 -0
  35. checkpoint-915/optimizer.pt +3 -0
  36. checkpoint-915/pytorch_model.bin +3 -0
  37. checkpoint-915/rng_state.pth +3 -0
  38. checkpoint-915/scheduler.pt +3 -0
  39. checkpoint-915/special_tokens_map.json +7 -0
  40. checkpoint-915/tokenizer.json +0 -0
  41. checkpoint-915/tokenizer_config.json +15 -0
  42. checkpoint-915/trainer_state.json +685 -0
  43. checkpoint-915/training_args.bin +3 -0
  44. checkpoint-915/vocab.txt +0 -0
  45. config.json +37 -0
  46. pytorch_model.bin +3 -0
  47. special_tokens_map.json +7 -0
  48. tokenizer.json +0 -0
  49. tokenizer_config.json +15 -0
  50. trainer_state.json +921 -0
checkpoint-1220/config.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "nlpaueb/legal-bert-base-uncased",
3
+ "architectures": [
4
+ "BertForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_ids": 0,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 768,
13
+ "id2label": {
14
+ "0": "NEGATIVE",
15
+ "1": "POSITIVE"
16
+ },
17
+ "initializer_range": 0.02,
18
+ "intermediate_size": 3072,
19
+ "label2id": {
20
+ "NEGATIVE": 0,
21
+ "POSITIVE": 1
22
+ },
23
+ "layer_norm_eps": 1e-12,
24
+ "max_position_embeddings": 512,
25
+ "model_type": "bert",
26
+ "num_attention_heads": 12,
27
+ "num_hidden_layers": 12,
28
+ "output_past": true,
29
+ "pad_token_id": 0,
30
+ "position_embedding_type": "absolute",
31
+ "problem_type": "single_label_classification",
32
+ "torch_dtype": "float32",
33
+ "transformers_version": "4.27.4",
34
+ "type_vocab_size": 2,
35
+ "use_cache": true,
36
+ "vocab_size": 30522
37
+ }
checkpoint-1220/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b313bf8d0d2b634e37b8e496712a0d10033e73fae7619318a29cfd753de13e8f
3
+ size 875986717
checkpoint-1220/pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:844d8c60035869097eaef122f48985df877b95517ac42b7908393983017acaab
3
+ size 438006125
checkpoint-1220/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6419b466f4c8251c54ec1dc92d53eaa22e67717f51f5376276fec474b2f816d6
3
+ size 14503
checkpoint-1220/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5fada898483f2d3fdd40b9a46e4cd7e09b0a611bdfb4aa25591ed14cb44f0159
3
+ size 623
checkpoint-1220/special_tokens_map.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "mask_token": "[MASK]",
4
+ "pad_token": "[PAD]",
5
+ "sep_token": "[SEP]",
6
+ "unk_token": "[UNK]"
7
+ }
checkpoint-1220/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-1220/tokenizer_config.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "do_basic_tokenize": true,
4
+ "do_lower_case": true,
5
+ "mask_token": "[MASK]",
6
+ "model_max_length": 512,
7
+ "never_split": null,
8
+ "pad_token": "[PAD]",
9
+ "sep_token": "[SEP]",
10
+ "special_tokens_map_file": "/home/fkueteka/.cache/huggingface/hub/models--nlpaueb--legal-bert-base-uncased/snapshots/15b570cbf88259610b082a167dacc190124f60f6/special_tokens_map.json",
11
+ "strip_accents": null,
12
+ "tokenize_chinese_chars": true,
13
+ "tokenizer_class": "BertTokenizer",
14
+ "unk_token": "[UNK]"
15
+ }
checkpoint-1220/trainer_state.json ADDED
@@ -0,0 +1,912 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.8345498783454988,
3
+ "best_model_checkpoint": "./finetuned_models/Third Party Beneficiary/legal-bert-base-uncased/oversampled-train/checkpoint-610",
4
+ "epoch": 4.0,
5
+ "global_step": 1220,
6
+ "is_hyper_param_search": false,
7
+ "is_local_process_zero": true,
8
+ "is_world_process_zero": true,
9
+ "log_history": [
10
+ {
11
+ "epoch": 1.0,
12
+ "eval_accuracy": 0.9975669099756691,
13
+ "eval_aupr": 0.7789943227899432,
14
+ "eval_f1": 0.8,
15
+ "eval_loss": 0.018961239606142044,
16
+ "eval_precision": 1.0,
17
+ "eval_precision_at_80_recall": 0.4029197080291969,
18
+ "eval_precision_at_90_recall": 0.20510948905109483,
19
+ "eval_precisions": [
20
+ 1.0,
21
+ 1.0,
22
+ 1.0,
23
+ 1.0,
24
+ 1.0,
25
+ 1.0,
26
+ 1.0,
27
+ 1.0,
28
+ 1.0,
29
+ 1.0,
30
+ 1.0,
31
+ 1.0,
32
+ 1.0,
33
+ 1.0,
34
+ 1.0,
35
+ 1.0,
36
+ 1.0,
37
+ 1.0,
38
+ 1.0,
39
+ 1.0,
40
+ 1.0,
41
+ 1.0,
42
+ 1.0,
43
+ 1.0,
44
+ 1.0,
45
+ 1.0,
46
+ 1.0,
47
+ 1.0,
48
+ 1.0,
49
+ 1.0,
50
+ 1.0,
51
+ 1.0,
52
+ 1.0,
53
+ 1.0,
54
+ 1.0,
55
+ 1.0,
56
+ 1.0,
57
+ 1.0,
58
+ 1.0,
59
+ 1.0,
60
+ 1.0,
61
+ 1.0,
62
+ 1.0,
63
+ 1.0,
64
+ 1.0,
65
+ 1.0,
66
+ 1.0,
67
+ 1.0,
68
+ 1.0,
69
+ 1.0,
70
+ 1.0,
71
+ 1.0,
72
+ 1.0,
73
+ 1.0,
74
+ 1.0,
75
+ 1.0,
76
+ 1.0,
77
+ 1.0,
78
+ 1.0,
79
+ 1.0,
80
+ 1.0,
81
+ 1.0,
82
+ 1.0,
83
+ 1.0,
84
+ 1.0,
85
+ 1.0,
86
+ 1.0,
87
+ 1.0,
88
+ 1.0,
89
+ 1.0,
90
+ 1.0,
91
+ 1.0,
92
+ 1.0,
93
+ 1.0,
94
+ 1.0,
95
+ 1.0,
96
+ 1.0,
97
+ 1.0,
98
+ 1.0,
99
+ 1.0,
100
+ 1.0,
101
+ 1.0,
102
+ 1.0,
103
+ 1.0,
104
+ 1.0,
105
+ 1.0,
106
+ 1.0,
107
+ 1.0,
108
+ 1.0,
109
+ 1.0,
110
+ 1.0,
111
+ 1.0,
112
+ 1.0,
113
+ 1.0,
114
+ 1.0,
115
+ 1.0,
116
+ 1.0,
117
+ 1.0,
118
+ 1.0,
119
+ 0.6666666666666666,
120
+ 0.0072992700729927005
121
+ ],
122
+ "eval_recall": 0.6666666666666666,
123
+ "eval_recalls": [
124
+ 0.0,
125
+ 0.3333333333333333,
126
+ 0.3333333333333333,
127
+ 0.3333333333333333,
128
+ 0.3333333333333333,
129
+ 0.3333333333333333,
130
+ 0.3333333333333333,
131
+ 0.3333333333333333,
132
+ 0.3333333333333333,
133
+ 0.3333333333333333,
134
+ 0.3333333333333333,
135
+ 0.3333333333333333,
136
+ 0.3333333333333333,
137
+ 0.3333333333333333,
138
+ 0.3333333333333333,
139
+ 0.3333333333333333,
140
+ 0.3333333333333333,
141
+ 0.3333333333333333,
142
+ 0.3333333333333333,
143
+ 0.3333333333333333,
144
+ 0.3333333333333333,
145
+ 0.3333333333333333,
146
+ 0.3333333333333333,
147
+ 0.3333333333333333,
148
+ 0.3333333333333333,
149
+ 0.3333333333333333,
150
+ 0.3333333333333333,
151
+ 0.3333333333333333,
152
+ 0.3333333333333333,
153
+ 0.3333333333333333,
154
+ 0.3333333333333333,
155
+ 0.3333333333333333,
156
+ 0.3333333333333333,
157
+ 0.3333333333333333,
158
+ 0.3333333333333333,
159
+ 0.3333333333333333,
160
+ 0.3333333333333333,
161
+ 0.3333333333333333,
162
+ 0.3333333333333333,
163
+ 0.3333333333333333,
164
+ 0.3333333333333333,
165
+ 0.3333333333333333,
166
+ 0.3333333333333333,
167
+ 0.3333333333333333,
168
+ 0.3333333333333333,
169
+ 0.3333333333333333,
170
+ 0.3333333333333333,
171
+ 0.3333333333333333,
172
+ 0.6666666666666666,
173
+ 0.6666666666666666,
174
+ 0.6666666666666666,
175
+ 0.6666666666666666,
176
+ 0.6666666666666666,
177
+ 0.6666666666666666,
178
+ 0.6666666666666666,
179
+ 0.6666666666666666,
180
+ 0.6666666666666666,
181
+ 0.6666666666666666,
182
+ 0.6666666666666666,
183
+ 0.6666666666666666,
184
+ 0.6666666666666666,
185
+ 0.6666666666666666,
186
+ 0.6666666666666666,
187
+ 0.6666666666666666,
188
+ 0.6666666666666666,
189
+ 0.6666666666666666,
190
+ 0.6666666666666666,
191
+ 0.6666666666666666,
192
+ 0.6666666666666666,
193
+ 0.6666666666666666,
194
+ 0.6666666666666666,
195
+ 0.6666666666666666,
196
+ 0.6666666666666666,
197
+ 0.6666666666666666,
198
+ 0.6666666666666666,
199
+ 0.6666666666666666,
200
+ 0.6666666666666666,
201
+ 0.6666666666666666,
202
+ 0.6666666666666666,
203
+ 0.6666666666666666,
204
+ 0.6666666666666666,
205
+ 0.6666666666666666,
206
+ 0.6666666666666666,
207
+ 0.6666666666666666,
208
+ 0.6666666666666666,
209
+ 0.6666666666666666,
210
+ 0.6666666666666666,
211
+ 0.6666666666666666,
212
+ 0.6666666666666666,
213
+ 0.6666666666666666,
214
+ 0.6666666666666666,
215
+ 0.6666666666666666,
216
+ 0.6666666666666666,
217
+ 0.6666666666666666,
218
+ 0.6666666666666666,
219
+ 0.6666666666666666,
220
+ 0.6666666666666666,
221
+ 0.6666666666666666,
222
+ 0.6666666666666666,
223
+ 0.6666666666666666,
224
+ 1.0
225
+ ],
226
+ "eval_runtime": 1.1975,
227
+ "eval_samples_per_second": 343.214,
228
+ "eval_steps_per_second": 10.856,
229
+ "step": 305
230
+ },
231
+ {
232
+ "epoch": 1.64,
233
+ "learning_rate": 5.9016393442622956e-06,
234
+ "loss": 0.0679,
235
+ "step": 500
236
+ },
237
+ {
238
+ "epoch": 2.0,
239
+ "eval_accuracy": 0.9951338199513382,
240
+ "eval_aupr": 0.8345498783454988,
241
+ "eval_f1": 0.5,
242
+ "eval_loss": 0.027375318109989166,
243
+ "eval_precision": 1.0,
244
+ "eval_precision_at_80_recall": 0.6029197080291968,
245
+ "eval_precision_at_90_recall": 0.3051094890510947,
246
+ "eval_precisions": [
247
+ 1.0,
248
+ 1.0,
249
+ 1.0,
250
+ 1.0,
251
+ 1.0,
252
+ 1.0,
253
+ 1.0,
254
+ 1.0,
255
+ 1.0,
256
+ 1.0,
257
+ 1.0,
258
+ 1.0,
259
+ 1.0,
260
+ 1.0,
261
+ 1.0,
262
+ 1.0,
263
+ 1.0,
264
+ 1.0,
265
+ 1.0,
266
+ 1.0,
267
+ 1.0,
268
+ 1.0,
269
+ 1.0,
270
+ 1.0,
271
+ 1.0,
272
+ 1.0,
273
+ 1.0,
274
+ 1.0,
275
+ 1.0,
276
+ 1.0,
277
+ 1.0,
278
+ 1.0,
279
+ 1.0,
280
+ 1.0,
281
+ 1.0,
282
+ 1.0,
283
+ 1.0,
284
+ 1.0,
285
+ 1.0,
286
+ 1.0,
287
+ 1.0,
288
+ 1.0,
289
+ 1.0,
290
+ 1.0,
291
+ 1.0,
292
+ 1.0,
293
+ 1.0,
294
+ 1.0,
295
+ 1.0,
296
+ 1.0,
297
+ 1.0,
298
+ 1.0,
299
+ 1.0,
300
+ 1.0,
301
+ 1.0,
302
+ 1.0,
303
+ 1.0,
304
+ 1.0,
305
+ 1.0,
306
+ 1.0,
307
+ 1.0,
308
+ 1.0,
309
+ 1.0,
310
+ 1.0,
311
+ 1.0,
312
+ 1.0,
313
+ 1.0,
314
+ 1.0,
315
+ 1.0,
316
+ 1.0,
317
+ 1.0,
318
+ 1.0,
319
+ 1.0,
320
+ 1.0,
321
+ 1.0,
322
+ 1.0,
323
+ 1.0,
324
+ 1.0,
325
+ 1.0,
326
+ 1.0,
327
+ 1.0,
328
+ 1.0,
329
+ 1.0,
330
+ 1.0,
331
+ 1.0,
332
+ 1.0,
333
+ 1.0,
334
+ 1.0,
335
+ 1.0,
336
+ 1.0,
337
+ 1.0,
338
+ 1.0,
339
+ 1.0,
340
+ 1.0,
341
+ 1.0,
342
+ 1.0,
343
+ 1.0,
344
+ 1.0,
345
+ 1.0,
346
+ 1.0,
347
+ 0.0072992700729927005
348
+ ],
349
+ "eval_recall": 0.3333333333333333,
350
+ "eval_recalls": [
351
+ 0.0,
352
+ 0.3333333333333333,
353
+ 0.3333333333333333,
354
+ 0.3333333333333333,
355
+ 0.3333333333333333,
356
+ 0.3333333333333333,
357
+ 0.3333333333333333,
358
+ 0.3333333333333333,
359
+ 0.3333333333333333,
360
+ 0.3333333333333333,
361
+ 0.3333333333333333,
362
+ 0.3333333333333333,
363
+ 0.3333333333333333,
364
+ 0.3333333333333333,
365
+ 0.3333333333333333,
366
+ 0.3333333333333333,
367
+ 0.3333333333333333,
368
+ 0.3333333333333333,
369
+ 0.3333333333333333,
370
+ 0.3333333333333333,
371
+ 0.3333333333333333,
372
+ 0.3333333333333333,
373
+ 0.3333333333333333,
374
+ 0.3333333333333333,
375
+ 0.3333333333333333,
376
+ 0.3333333333333333,
377
+ 0.3333333333333333,
378
+ 0.3333333333333333,
379
+ 0.3333333333333333,
380
+ 0.3333333333333333,
381
+ 0.3333333333333333,
382
+ 0.3333333333333333,
383
+ 0.3333333333333333,
384
+ 0.3333333333333333,
385
+ 0.3333333333333333,
386
+ 0.3333333333333333,
387
+ 0.3333333333333333,
388
+ 0.3333333333333333,
389
+ 0.3333333333333333,
390
+ 0.3333333333333333,
391
+ 0.3333333333333333,
392
+ 0.3333333333333333,
393
+ 0.3333333333333333,
394
+ 0.3333333333333333,
395
+ 0.3333333333333333,
396
+ 0.3333333333333333,
397
+ 0.3333333333333333,
398
+ 0.3333333333333333,
399
+ 0.3333333333333333,
400
+ 0.3333333333333333,
401
+ 0.3333333333333333,
402
+ 0.3333333333333333,
403
+ 0.3333333333333333,
404
+ 0.3333333333333333,
405
+ 0.3333333333333333,
406
+ 0.3333333333333333,
407
+ 0.3333333333333333,
408
+ 0.3333333333333333,
409
+ 0.3333333333333333,
410
+ 0.3333333333333333,
411
+ 0.3333333333333333,
412
+ 0.3333333333333333,
413
+ 0.3333333333333333,
414
+ 0.3333333333333333,
415
+ 0.3333333333333333,
416
+ 0.3333333333333333,
417
+ 0.3333333333333333,
418
+ 0.3333333333333333,
419
+ 0.3333333333333333,
420
+ 0.3333333333333333,
421
+ 0.3333333333333333,
422
+ 0.3333333333333333,
423
+ 0.3333333333333333,
424
+ 0.3333333333333333,
425
+ 0.3333333333333333,
426
+ 0.3333333333333333,
427
+ 0.3333333333333333,
428
+ 0.3333333333333333,
429
+ 0.3333333333333333,
430
+ 0.3333333333333333,
431
+ 0.3333333333333333,
432
+ 0.3333333333333333,
433
+ 0.3333333333333333,
434
+ 0.3333333333333333,
435
+ 0.3333333333333333,
436
+ 0.3333333333333333,
437
+ 0.3333333333333333,
438
+ 0.3333333333333333,
439
+ 0.3333333333333333,
440
+ 0.3333333333333333,
441
+ 0.3333333333333333,
442
+ 0.3333333333333333,
443
+ 0.3333333333333333,
444
+ 0.3333333333333333,
445
+ 0.3333333333333333,
446
+ 0.3333333333333333,
447
+ 0.3333333333333333,
448
+ 0.6666666666666666,
449
+ 0.6666666666666666,
450
+ 0.6666666666666666,
451
+ 1.0
452
+ ],
453
+ "eval_runtime": 1.1991,
454
+ "eval_samples_per_second": 342.769,
455
+ "eval_steps_per_second": 10.842,
456
+ "step": 610
457
+ },
458
+ {
459
+ "epoch": 3.0,
460
+ "eval_accuracy": 0.9951338199513382,
461
+ "eval_aupr": 0.8345498783454988,
462
+ "eval_f1": 0.5,
463
+ "eval_loss": 0.031456999480724335,
464
+ "eval_precision": 1.0,
465
+ "eval_precision_at_80_recall": 0.6029197080291968,
466
+ "eval_precision_at_90_recall": 0.3051094890510947,
467
+ "eval_precisions": [
468
+ 1.0,
469
+ 1.0,
470
+ 1.0,
471
+ 1.0,
472
+ 1.0,
473
+ 1.0,
474
+ 1.0,
475
+ 1.0,
476
+ 1.0,
477
+ 1.0,
478
+ 1.0,
479
+ 1.0,
480
+ 1.0,
481
+ 1.0,
482
+ 1.0,
483
+ 1.0,
484
+ 1.0,
485
+ 1.0,
486
+ 1.0,
487
+ 1.0,
488
+ 1.0,
489
+ 1.0,
490
+ 1.0,
491
+ 1.0,
492
+ 1.0,
493
+ 1.0,
494
+ 1.0,
495
+ 1.0,
496
+ 1.0,
497
+ 1.0,
498
+ 1.0,
499
+ 1.0,
500
+ 1.0,
501
+ 1.0,
502
+ 1.0,
503
+ 1.0,
504
+ 1.0,
505
+ 1.0,
506
+ 1.0,
507
+ 1.0,
508
+ 1.0,
509
+ 1.0,
510
+ 1.0,
511
+ 1.0,
512
+ 1.0,
513
+ 1.0,
514
+ 1.0,
515
+ 1.0,
516
+ 1.0,
517
+ 1.0,
518
+ 1.0,
519
+ 1.0,
520
+ 1.0,
521
+ 1.0,
522
+ 1.0,
523
+ 1.0,
524
+ 1.0,
525
+ 1.0,
526
+ 1.0,
527
+ 1.0,
528
+ 1.0,
529
+ 1.0,
530
+ 1.0,
531
+ 1.0,
532
+ 1.0,
533
+ 1.0,
534
+ 1.0,
535
+ 1.0,
536
+ 1.0,
537
+ 1.0,
538
+ 1.0,
539
+ 1.0,
540
+ 1.0,
541
+ 1.0,
542
+ 1.0,
543
+ 1.0,
544
+ 1.0,
545
+ 1.0,
546
+ 1.0,
547
+ 1.0,
548
+ 1.0,
549
+ 1.0,
550
+ 1.0,
551
+ 1.0,
552
+ 1.0,
553
+ 1.0,
554
+ 1.0,
555
+ 1.0,
556
+ 1.0,
557
+ 1.0,
558
+ 1.0,
559
+ 1.0,
560
+ 1.0,
561
+ 1.0,
562
+ 1.0,
563
+ 1.0,
564
+ 1.0,
565
+ 1.0,
566
+ 1.0,
567
+ 1.0,
568
+ 0.0072992700729927005
569
+ ],
570
+ "eval_recall": 0.3333333333333333,
571
+ "eval_recalls": [
572
+ 0.0,
573
+ 0.3333333333333333,
574
+ 0.3333333333333333,
575
+ 0.3333333333333333,
576
+ 0.3333333333333333,
577
+ 0.3333333333333333,
578
+ 0.3333333333333333,
579
+ 0.3333333333333333,
580
+ 0.3333333333333333,
581
+ 0.3333333333333333,
582
+ 0.3333333333333333,
583
+ 0.3333333333333333,
584
+ 0.3333333333333333,
585
+ 0.3333333333333333,
586
+ 0.3333333333333333,
587
+ 0.3333333333333333,
588
+ 0.3333333333333333,
589
+ 0.3333333333333333,
590
+ 0.3333333333333333,
591
+ 0.3333333333333333,
592
+ 0.3333333333333333,
593
+ 0.3333333333333333,
594
+ 0.3333333333333333,
595
+ 0.3333333333333333,
596
+ 0.3333333333333333,
597
+ 0.3333333333333333,
598
+ 0.3333333333333333,
599
+ 0.3333333333333333,
600
+ 0.3333333333333333,
601
+ 0.3333333333333333,
602
+ 0.3333333333333333,
603
+ 0.3333333333333333,
604
+ 0.3333333333333333,
605
+ 0.3333333333333333,
606
+ 0.3333333333333333,
607
+ 0.3333333333333333,
608
+ 0.3333333333333333,
609
+ 0.3333333333333333,
610
+ 0.3333333333333333,
611
+ 0.3333333333333333,
612
+ 0.3333333333333333,
613
+ 0.3333333333333333,
614
+ 0.3333333333333333,
615
+ 0.3333333333333333,
616
+ 0.3333333333333333,
617
+ 0.3333333333333333,
618
+ 0.3333333333333333,
619
+ 0.3333333333333333,
620
+ 0.3333333333333333,
621
+ 0.3333333333333333,
622
+ 0.3333333333333333,
623
+ 0.3333333333333333,
624
+ 0.3333333333333333,
625
+ 0.3333333333333333,
626
+ 0.3333333333333333,
627
+ 0.3333333333333333,
628
+ 0.3333333333333333,
629
+ 0.3333333333333333,
630
+ 0.3333333333333333,
631
+ 0.3333333333333333,
632
+ 0.3333333333333333,
633
+ 0.3333333333333333,
634
+ 0.3333333333333333,
635
+ 0.3333333333333333,
636
+ 0.3333333333333333,
637
+ 0.3333333333333333,
638
+ 0.3333333333333333,
639
+ 0.3333333333333333,
640
+ 0.3333333333333333,
641
+ 0.3333333333333333,
642
+ 0.3333333333333333,
643
+ 0.3333333333333333,
644
+ 0.3333333333333333,
645
+ 0.3333333333333333,
646
+ 0.3333333333333333,
647
+ 0.3333333333333333,
648
+ 0.3333333333333333,
649
+ 0.3333333333333333,
650
+ 0.3333333333333333,
651
+ 0.3333333333333333,
652
+ 0.3333333333333333,
653
+ 0.3333333333333333,
654
+ 0.3333333333333333,
655
+ 0.3333333333333333,
656
+ 0.3333333333333333,
657
+ 0.3333333333333333,
658
+ 0.3333333333333333,
659
+ 0.3333333333333333,
660
+ 0.3333333333333333,
661
+ 0.3333333333333333,
662
+ 0.3333333333333333,
663
+ 0.3333333333333333,
664
+ 0.3333333333333333,
665
+ 0.3333333333333333,
666
+ 0.3333333333333333,
667
+ 0.3333333333333333,
668
+ 0.3333333333333333,
669
+ 0.3333333333333333,
670
+ 0.3333333333333333,
671
+ 0.6666666666666666,
672
+ 1.0
673
+ ],
674
+ "eval_runtime": 1.1986,
675
+ "eval_samples_per_second": 342.896,
676
+ "eval_steps_per_second": 10.846,
677
+ "step": 915
678
+ },
679
+ {
680
+ "epoch": 3.28,
681
+ "learning_rate": 1.8032786885245903e-06,
682
+ "loss": 0.0017,
683
+ "step": 1000
684
+ },
685
+ {
686
+ "epoch": 4.0,
687
+ "eval_accuracy": 0.9951338199513382,
688
+ "eval_aupr": 0.6690997566909976,
689
+ "eval_f1": 0.5,
690
+ "eval_loss": 0.03445501998066902,
691
+ "eval_precision": 1.0,
692
+ "eval_precision_at_80_recall": 0.3051094890510948,
693
+ "eval_precision_at_90_recall": 0.1562043795620438,
694
+ "eval_precisions": [
695
+ 1.0,
696
+ 1.0,
697
+ 1.0,
698
+ 1.0,
699
+ 1.0,
700
+ 1.0,
701
+ 1.0,
702
+ 1.0,
703
+ 1.0,
704
+ 1.0,
705
+ 1.0,
706
+ 1.0,
707
+ 1.0,
708
+ 1.0,
709
+ 1.0,
710
+ 1.0,
711
+ 1.0,
712
+ 1.0,
713
+ 1.0,
714
+ 1.0,
715
+ 1.0,
716
+ 1.0,
717
+ 1.0,
718
+ 1.0,
719
+ 1.0,
720
+ 1.0,
721
+ 1.0,
722
+ 1.0,
723
+ 1.0,
724
+ 1.0,
725
+ 1.0,
726
+ 1.0,
727
+ 1.0,
728
+ 1.0,
729
+ 1.0,
730
+ 1.0,
731
+ 1.0,
732
+ 1.0,
733
+ 1.0,
734
+ 1.0,
735
+ 1.0,
736
+ 1.0,
737
+ 1.0,
738
+ 1.0,
739
+ 1.0,
740
+ 1.0,
741
+ 1.0,
742
+ 1.0,
743
+ 1.0,
744
+ 1.0,
745
+ 1.0,
746
+ 1.0,
747
+ 1.0,
748
+ 1.0,
749
+ 1.0,
750
+ 1.0,
751
+ 1.0,
752
+ 1.0,
753
+ 1.0,
754
+ 1.0,
755
+ 1.0,
756
+ 1.0,
757
+ 1.0,
758
+ 1.0,
759
+ 1.0,
760
+ 1.0,
761
+ 1.0,
762
+ 1.0,
763
+ 1.0,
764
+ 1.0,
765
+ 1.0,
766
+ 1.0,
767
+ 1.0,
768
+ 1.0,
769
+ 1.0,
770
+ 1.0,
771
+ 1.0,
772
+ 1.0,
773
+ 1.0,
774
+ 1.0,
775
+ 1.0,
776
+ 1.0,
777
+ 1.0,
778
+ 1.0,
779
+ 1.0,
780
+ 1.0,
781
+ 1.0,
782
+ 1.0,
783
+ 1.0,
784
+ 1.0,
785
+ 1.0,
786
+ 1.0,
787
+ 1.0,
788
+ 1.0,
789
+ 1.0,
790
+ 1.0,
791
+ 1.0,
792
+ 1.0,
793
+ 1.0,
794
+ 1.0,
795
+ 0.0072992700729927005
796
+ ],
797
+ "eval_recall": 0.3333333333333333,
798
+ "eval_recalls": [
799
+ 0.0,
800
+ 0.3333333333333333,
801
+ 0.3333333333333333,
802
+ 0.3333333333333333,
803
+ 0.3333333333333333,
804
+ 0.3333333333333333,
805
+ 0.3333333333333333,
806
+ 0.3333333333333333,
807
+ 0.3333333333333333,
808
+ 0.3333333333333333,
809
+ 0.3333333333333333,
810
+ 0.3333333333333333,
811
+ 0.3333333333333333,
812
+ 0.3333333333333333,
813
+ 0.3333333333333333,
814
+ 0.3333333333333333,
815
+ 0.3333333333333333,
816
+ 0.3333333333333333,
817
+ 0.3333333333333333,
818
+ 0.3333333333333333,
819
+ 0.3333333333333333,
820
+ 0.3333333333333333,
821
+ 0.3333333333333333,
822
+ 0.3333333333333333,
823
+ 0.3333333333333333,
824
+ 0.3333333333333333,
825
+ 0.3333333333333333,
826
+ 0.3333333333333333,
827
+ 0.3333333333333333,
828
+ 0.3333333333333333,
829
+ 0.3333333333333333,
830
+ 0.3333333333333333,
831
+ 0.3333333333333333,
832
+ 0.3333333333333333,
833
+ 0.3333333333333333,
834
+ 0.3333333333333333,
835
+ 0.3333333333333333,
836
+ 0.3333333333333333,
837
+ 0.3333333333333333,
838
+ 0.3333333333333333,
839
+ 0.3333333333333333,
840
+ 0.3333333333333333,
841
+ 0.3333333333333333,
842
+ 0.3333333333333333,
843
+ 0.3333333333333333,
844
+ 0.3333333333333333,
845
+ 0.3333333333333333,
846
+ 0.3333333333333333,
847
+ 0.3333333333333333,
848
+ 0.3333333333333333,
849
+ 0.3333333333333333,
850
+ 0.3333333333333333,
851
+ 0.3333333333333333,
852
+ 0.3333333333333333,
853
+ 0.3333333333333333,
854
+ 0.3333333333333333,
855
+ 0.3333333333333333,
856
+ 0.3333333333333333,
857
+ 0.3333333333333333,
858
+ 0.3333333333333333,
859
+ 0.3333333333333333,
860
+ 0.3333333333333333,
861
+ 0.3333333333333333,
862
+ 0.3333333333333333,
863
+ 0.3333333333333333,
864
+ 0.3333333333333333,
865
+ 0.3333333333333333,
866
+ 0.3333333333333333,
867
+ 0.3333333333333333,
868
+ 0.3333333333333333,
869
+ 0.3333333333333333,
870
+ 0.3333333333333333,
871
+ 0.3333333333333333,
872
+ 0.3333333333333333,
873
+ 0.3333333333333333,
874
+ 0.3333333333333333,
875
+ 0.3333333333333333,
876
+ 0.3333333333333333,
877
+ 0.3333333333333333,
878
+ 0.3333333333333333,
879
+ 0.3333333333333333,
880
+ 0.3333333333333333,
881
+ 0.3333333333333333,
882
+ 0.3333333333333333,
883
+ 0.3333333333333333,
884
+ 0.3333333333333333,
885
+ 0.3333333333333333,
886
+ 0.3333333333333333,
887
+ 0.3333333333333333,
888
+ 0.3333333333333333,
889
+ 0.3333333333333333,
890
+ 0.3333333333333333,
891
+ 0.3333333333333333,
892
+ 0.3333333333333333,
893
+ 0.3333333333333333,
894
+ 0.3333333333333333,
895
+ 0.3333333333333333,
896
+ 0.3333333333333333,
897
+ 0.3333333333333333,
898
+ 0.3333333333333333,
899
+ 1.0
900
+ ],
901
+ "eval_runtime": 1.1994,
902
+ "eval_samples_per_second": 342.662,
903
+ "eval_steps_per_second": 10.838,
904
+ "step": 1220
905
+ }
906
+ ],
907
+ "max_steps": 1220,
908
+ "num_train_epochs": 4,
909
+ "total_flos": 2240431233604020.0,
910
+ "trial_name": null,
911
+ "trial_params": null
912
+ }
checkpoint-1220/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:10bf943a78496c904cfe66bc810234188ba672ee9c06586c6b612f9e9a3f5d39
3
+ size 3695
checkpoint-1220/vocab.txt ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-305/config.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "nlpaueb/legal-bert-base-uncased",
3
+ "architectures": [
4
+ "BertForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_ids": 0,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 768,
13
+ "id2label": {
14
+ "0": "NEGATIVE",
15
+ "1": "POSITIVE"
16
+ },
17
+ "initializer_range": 0.02,
18
+ "intermediate_size": 3072,
19
+ "label2id": {
20
+ "NEGATIVE": 0,
21
+ "POSITIVE": 1
22
+ },
23
+ "layer_norm_eps": 1e-12,
24
+ "max_position_embeddings": 512,
25
+ "model_type": "bert",
26
+ "num_attention_heads": 12,
27
+ "num_hidden_layers": 12,
28
+ "output_past": true,
29
+ "pad_token_id": 0,
30
+ "position_embedding_type": "absolute",
31
+ "problem_type": "single_label_classification",
32
+ "torch_dtype": "float32",
33
+ "transformers_version": "4.27.4",
34
+ "type_vocab_size": 2,
35
+ "use_cache": true,
36
+ "vocab_size": 30522
37
+ }
checkpoint-305/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:89ae98fe69baccc86751193657e227224b783d8aee390d740859969e8a9ecd8d
3
+ size 875986717
checkpoint-305/pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ed667f8146737aaccac2c7635092f810cfccb060be729f7cc5327f690516fc6c
3
+ size 438006125
checkpoint-305/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cc73a0a517af47a9aaee1362871bcfacf2f91a136469e83072534be92766d4de
3
+ size 14503
checkpoint-305/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b74f2e95354b9a6648ab8b95689a0469a5e320ac8574fc189b0f45cba4d9364c
3
+ size 623
checkpoint-305/special_tokens_map.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "mask_token": "[MASK]",
4
+ "pad_token": "[PAD]",
5
+ "sep_token": "[SEP]",
6
+ "unk_token": "[UNK]"
7
+ }
checkpoint-305/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-305/tokenizer_config.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "do_basic_tokenize": true,
4
+ "do_lower_case": true,
5
+ "mask_token": "[MASK]",
6
+ "model_max_length": 512,
7
+ "never_split": null,
8
+ "pad_token": "[PAD]",
9
+ "sep_token": "[SEP]",
10
+ "special_tokens_map_file": "/home/fkueteka/.cache/huggingface/hub/models--nlpaueb--legal-bert-base-uncased/snapshots/15b570cbf88259610b082a167dacc190124f60f6/special_tokens_map.json",
11
+ "strip_accents": null,
12
+ "tokenize_chinese_chars": true,
13
+ "tokenizer_class": "BertTokenizer",
14
+ "unk_token": "[UNK]"
15
+ }
checkpoint-305/trainer_state.json ADDED
@@ -0,0 +1,237 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.7789943227899432,
3
+ "best_model_checkpoint": "./finetuned_models/Third Party Beneficiary/legal-bert-base-uncased/oversampled-train/checkpoint-305",
4
+ "epoch": 1.0,
5
+ "global_step": 305,
6
+ "is_hyper_param_search": false,
7
+ "is_local_process_zero": true,
8
+ "is_world_process_zero": true,
9
+ "log_history": [
10
+ {
11
+ "epoch": 1.0,
12
+ "eval_accuracy": 0.9975669099756691,
13
+ "eval_aupr": 0.7789943227899432,
14
+ "eval_f1": 0.8,
15
+ "eval_loss": 0.018961239606142044,
16
+ "eval_precision": 1.0,
17
+ "eval_precision_at_80_recall": 0.4029197080291969,
18
+ "eval_precision_at_90_recall": 0.20510948905109483,
19
+ "eval_precisions": [
20
+ 1.0,
21
+ 1.0,
22
+ 1.0,
23
+ 1.0,
24
+ 1.0,
25
+ 1.0,
26
+ 1.0,
27
+ 1.0,
28
+ 1.0,
29
+ 1.0,
30
+ 1.0,
31
+ 1.0,
32
+ 1.0,
33
+ 1.0,
34
+ 1.0,
35
+ 1.0,
36
+ 1.0,
37
+ 1.0,
38
+ 1.0,
39
+ 1.0,
40
+ 1.0,
41
+ 1.0,
42
+ 1.0,
43
+ 1.0,
44
+ 1.0,
45
+ 1.0,
46
+ 1.0,
47
+ 1.0,
48
+ 1.0,
49
+ 1.0,
50
+ 1.0,
51
+ 1.0,
52
+ 1.0,
53
+ 1.0,
54
+ 1.0,
55
+ 1.0,
56
+ 1.0,
57
+ 1.0,
58
+ 1.0,
59
+ 1.0,
60
+ 1.0,
61
+ 1.0,
62
+ 1.0,
63
+ 1.0,
64
+ 1.0,
65
+ 1.0,
66
+ 1.0,
67
+ 1.0,
68
+ 1.0,
69
+ 1.0,
70
+ 1.0,
71
+ 1.0,
72
+ 1.0,
73
+ 1.0,
74
+ 1.0,
75
+ 1.0,
76
+ 1.0,
77
+ 1.0,
78
+ 1.0,
79
+ 1.0,
80
+ 1.0,
81
+ 1.0,
82
+ 1.0,
83
+ 1.0,
84
+ 1.0,
85
+ 1.0,
86
+ 1.0,
87
+ 1.0,
88
+ 1.0,
89
+ 1.0,
90
+ 1.0,
91
+ 1.0,
92
+ 1.0,
93
+ 1.0,
94
+ 1.0,
95
+ 1.0,
96
+ 1.0,
97
+ 1.0,
98
+ 1.0,
99
+ 1.0,
100
+ 1.0,
101
+ 1.0,
102
+ 1.0,
103
+ 1.0,
104
+ 1.0,
105
+ 1.0,
106
+ 1.0,
107
+ 1.0,
108
+ 1.0,
109
+ 1.0,
110
+ 1.0,
111
+ 1.0,
112
+ 1.0,
113
+ 1.0,
114
+ 1.0,
115
+ 1.0,
116
+ 1.0,
117
+ 1.0,
118
+ 1.0,
119
+ 0.6666666666666666,
120
+ 0.0072992700729927005
121
+ ],
122
+ "eval_recall": 0.6666666666666666,
123
+ "eval_recalls": [
124
+ 0.0,
125
+ 0.3333333333333333,
126
+ 0.3333333333333333,
127
+ 0.3333333333333333,
128
+ 0.3333333333333333,
129
+ 0.3333333333333333,
130
+ 0.3333333333333333,
131
+ 0.3333333333333333,
132
+ 0.3333333333333333,
133
+ 0.3333333333333333,
134
+ 0.3333333333333333,
135
+ 0.3333333333333333,
136
+ 0.3333333333333333,
137
+ 0.3333333333333333,
138
+ 0.3333333333333333,
139
+ 0.3333333333333333,
140
+ 0.3333333333333333,
141
+ 0.3333333333333333,
142
+ 0.3333333333333333,
143
+ 0.3333333333333333,
144
+ 0.3333333333333333,
145
+ 0.3333333333333333,
146
+ 0.3333333333333333,
147
+ 0.3333333333333333,
148
+ 0.3333333333333333,
149
+ 0.3333333333333333,
150
+ 0.3333333333333333,
151
+ 0.3333333333333333,
152
+ 0.3333333333333333,
153
+ 0.3333333333333333,
154
+ 0.3333333333333333,
155
+ 0.3333333333333333,
156
+ 0.3333333333333333,
157
+ 0.3333333333333333,
158
+ 0.3333333333333333,
159
+ 0.3333333333333333,
160
+ 0.3333333333333333,
161
+ 0.3333333333333333,
162
+ 0.3333333333333333,
163
+ 0.3333333333333333,
164
+ 0.3333333333333333,
165
+ 0.3333333333333333,
166
+ 0.3333333333333333,
167
+ 0.3333333333333333,
168
+ 0.3333333333333333,
169
+ 0.3333333333333333,
170
+ 0.3333333333333333,
171
+ 0.3333333333333333,
172
+ 0.6666666666666666,
173
+ 0.6666666666666666,
174
+ 0.6666666666666666,
175
+ 0.6666666666666666,
176
+ 0.6666666666666666,
177
+ 0.6666666666666666,
178
+ 0.6666666666666666,
179
+ 0.6666666666666666,
180
+ 0.6666666666666666,
181
+ 0.6666666666666666,
182
+ 0.6666666666666666,
183
+ 0.6666666666666666,
184
+ 0.6666666666666666,
185
+ 0.6666666666666666,
186
+ 0.6666666666666666,
187
+ 0.6666666666666666,
188
+ 0.6666666666666666,
189
+ 0.6666666666666666,
190
+ 0.6666666666666666,
191
+ 0.6666666666666666,
192
+ 0.6666666666666666,
193
+ 0.6666666666666666,
194
+ 0.6666666666666666,
195
+ 0.6666666666666666,
196
+ 0.6666666666666666,
197
+ 0.6666666666666666,
198
+ 0.6666666666666666,
199
+ 0.6666666666666666,
200
+ 0.6666666666666666,
201
+ 0.6666666666666666,
202
+ 0.6666666666666666,
203
+ 0.6666666666666666,
204
+ 0.6666666666666666,
205
+ 0.6666666666666666,
206
+ 0.6666666666666666,
207
+ 0.6666666666666666,
208
+ 0.6666666666666666,
209
+ 0.6666666666666666,
210
+ 0.6666666666666666,
211
+ 0.6666666666666666,
212
+ 0.6666666666666666,
213
+ 0.6666666666666666,
214
+ 0.6666666666666666,
215
+ 0.6666666666666666,
216
+ 0.6666666666666666,
217
+ 0.6666666666666666,
218
+ 0.6666666666666666,
219
+ 0.6666666666666666,
220
+ 0.6666666666666666,
221
+ 0.6666666666666666,
222
+ 0.6666666666666666,
223
+ 0.6666666666666666,
224
+ 1.0
225
+ ],
226
+ "eval_runtime": 1.1975,
227
+ "eval_samples_per_second": 343.214,
228
+ "eval_steps_per_second": 10.856,
229
+ "step": 305
230
+ }
231
+ ],
232
+ "max_steps": 1220,
233
+ "num_train_epochs": 4,
234
+ "total_flos": 560560158999600.0,
235
+ "trial_name": null,
236
+ "trial_params": null
237
+ }
checkpoint-305/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:10bf943a78496c904cfe66bc810234188ba672ee9c06586c6b612f9e9a3f5d39
3
+ size 3695
checkpoint-305/vocab.txt ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-610/config.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "nlpaueb/legal-bert-base-uncased",
3
+ "architectures": [
4
+ "BertForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_ids": 0,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 768,
13
+ "id2label": {
14
+ "0": "NEGATIVE",
15
+ "1": "POSITIVE"
16
+ },
17
+ "initializer_range": 0.02,
18
+ "intermediate_size": 3072,
19
+ "label2id": {
20
+ "NEGATIVE": 0,
21
+ "POSITIVE": 1
22
+ },
23
+ "layer_norm_eps": 1e-12,
24
+ "max_position_embeddings": 512,
25
+ "model_type": "bert",
26
+ "num_attention_heads": 12,
27
+ "num_hidden_layers": 12,
28
+ "output_past": true,
29
+ "pad_token_id": 0,
30
+ "position_embedding_type": "absolute",
31
+ "problem_type": "single_label_classification",
32
+ "torch_dtype": "float32",
33
+ "transformers_version": "4.27.4",
34
+ "type_vocab_size": 2,
35
+ "use_cache": true,
36
+ "vocab_size": 30522
37
+ }
checkpoint-610/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8b7d85a481d9b521db041c0ffd59ecfea69461d7674c74aabdc3929d1456efca
3
+ size 875986717
checkpoint-610/pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0db7302cc0dd37267dd9aaf5f86cc3476f49eda8441e28c20fe69711c1a1e00a
3
+ size 438006125
checkpoint-610/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e594d283d91a925351bbed8534f3392ceaae912a3e89bdbacbce43fc1dbcb771
3
+ size 14503
checkpoint-610/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d2e5bd06550c1151793c8db79f04833abb6f7c789fcc70d95b741cb6516a0fc1
3
+ size 623
checkpoint-610/special_tokens_map.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "mask_token": "[MASK]",
4
+ "pad_token": "[PAD]",
5
+ "sep_token": "[SEP]",
6
+ "unk_token": "[UNK]"
7
+ }
checkpoint-610/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-610/tokenizer_config.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "do_basic_tokenize": true,
4
+ "do_lower_case": true,
5
+ "mask_token": "[MASK]",
6
+ "model_max_length": 512,
7
+ "never_split": null,
8
+ "pad_token": "[PAD]",
9
+ "sep_token": "[SEP]",
10
+ "special_tokens_map_file": "/home/fkueteka/.cache/huggingface/hub/models--nlpaueb--legal-bert-base-uncased/snapshots/15b570cbf88259610b082a167dacc190124f60f6/special_tokens_map.json",
11
+ "strip_accents": null,
12
+ "tokenize_chinese_chars": true,
13
+ "tokenizer_class": "BertTokenizer",
14
+ "unk_token": "[UNK]"
15
+ }
checkpoint-610/trainer_state.json ADDED
@@ -0,0 +1,464 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.8345498783454988,
3
+ "best_model_checkpoint": "./finetuned_models/Third Party Beneficiary/legal-bert-base-uncased/oversampled-train/checkpoint-610",
4
+ "epoch": 2.0,
5
+ "global_step": 610,
6
+ "is_hyper_param_search": false,
7
+ "is_local_process_zero": true,
8
+ "is_world_process_zero": true,
9
+ "log_history": [
10
+ {
11
+ "epoch": 1.0,
12
+ "eval_accuracy": 0.9975669099756691,
13
+ "eval_aupr": 0.7789943227899432,
14
+ "eval_f1": 0.8,
15
+ "eval_loss": 0.018961239606142044,
16
+ "eval_precision": 1.0,
17
+ "eval_precision_at_80_recall": 0.4029197080291969,
18
+ "eval_precision_at_90_recall": 0.20510948905109483,
19
+ "eval_precisions": [
20
+ 1.0,
21
+ 1.0,
22
+ 1.0,
23
+ 1.0,
24
+ 1.0,
25
+ 1.0,
26
+ 1.0,
27
+ 1.0,
28
+ 1.0,
29
+ 1.0,
30
+ 1.0,
31
+ 1.0,
32
+ 1.0,
33
+ 1.0,
34
+ 1.0,
35
+ 1.0,
36
+ 1.0,
37
+ 1.0,
38
+ 1.0,
39
+ 1.0,
40
+ 1.0,
41
+ 1.0,
42
+ 1.0,
43
+ 1.0,
44
+ 1.0,
45
+ 1.0,
46
+ 1.0,
47
+ 1.0,
48
+ 1.0,
49
+ 1.0,
50
+ 1.0,
51
+ 1.0,
52
+ 1.0,
53
+ 1.0,
54
+ 1.0,
55
+ 1.0,
56
+ 1.0,
57
+ 1.0,
58
+ 1.0,
59
+ 1.0,
60
+ 1.0,
61
+ 1.0,
62
+ 1.0,
63
+ 1.0,
64
+ 1.0,
65
+ 1.0,
66
+ 1.0,
67
+ 1.0,
68
+ 1.0,
69
+ 1.0,
70
+ 1.0,
71
+ 1.0,
72
+ 1.0,
73
+ 1.0,
74
+ 1.0,
75
+ 1.0,
76
+ 1.0,
77
+ 1.0,
78
+ 1.0,
79
+ 1.0,
80
+ 1.0,
81
+ 1.0,
82
+ 1.0,
83
+ 1.0,
84
+ 1.0,
85
+ 1.0,
86
+ 1.0,
87
+ 1.0,
88
+ 1.0,
89
+ 1.0,
90
+ 1.0,
91
+ 1.0,
92
+ 1.0,
93
+ 1.0,
94
+ 1.0,
95
+ 1.0,
96
+ 1.0,
97
+ 1.0,
98
+ 1.0,
99
+ 1.0,
100
+ 1.0,
101
+ 1.0,
102
+ 1.0,
103
+ 1.0,
104
+ 1.0,
105
+ 1.0,
106
+ 1.0,
107
+ 1.0,
108
+ 1.0,
109
+ 1.0,
110
+ 1.0,
111
+ 1.0,
112
+ 1.0,
113
+ 1.0,
114
+ 1.0,
115
+ 1.0,
116
+ 1.0,
117
+ 1.0,
118
+ 1.0,
119
+ 0.6666666666666666,
120
+ 0.0072992700729927005
121
+ ],
122
+ "eval_recall": 0.6666666666666666,
123
+ "eval_recalls": [
124
+ 0.0,
125
+ 0.3333333333333333,
126
+ 0.3333333333333333,
127
+ 0.3333333333333333,
128
+ 0.3333333333333333,
129
+ 0.3333333333333333,
130
+ 0.3333333333333333,
131
+ 0.3333333333333333,
132
+ 0.3333333333333333,
133
+ 0.3333333333333333,
134
+ 0.3333333333333333,
135
+ 0.3333333333333333,
136
+ 0.3333333333333333,
137
+ 0.3333333333333333,
138
+ 0.3333333333333333,
139
+ 0.3333333333333333,
140
+ 0.3333333333333333,
141
+ 0.3333333333333333,
142
+ 0.3333333333333333,
143
+ 0.3333333333333333,
144
+ 0.3333333333333333,
145
+ 0.3333333333333333,
146
+ 0.3333333333333333,
147
+ 0.3333333333333333,
148
+ 0.3333333333333333,
149
+ 0.3333333333333333,
150
+ 0.3333333333333333,
151
+ 0.3333333333333333,
152
+ 0.3333333333333333,
153
+ 0.3333333333333333,
154
+ 0.3333333333333333,
155
+ 0.3333333333333333,
156
+ 0.3333333333333333,
157
+ 0.3333333333333333,
158
+ 0.3333333333333333,
159
+ 0.3333333333333333,
160
+ 0.3333333333333333,
161
+ 0.3333333333333333,
162
+ 0.3333333333333333,
163
+ 0.3333333333333333,
164
+ 0.3333333333333333,
165
+ 0.3333333333333333,
166
+ 0.3333333333333333,
167
+ 0.3333333333333333,
168
+ 0.3333333333333333,
169
+ 0.3333333333333333,
170
+ 0.3333333333333333,
171
+ 0.3333333333333333,
172
+ 0.6666666666666666,
173
+ 0.6666666666666666,
174
+ 0.6666666666666666,
175
+ 0.6666666666666666,
176
+ 0.6666666666666666,
177
+ 0.6666666666666666,
178
+ 0.6666666666666666,
179
+ 0.6666666666666666,
180
+ 0.6666666666666666,
181
+ 0.6666666666666666,
182
+ 0.6666666666666666,
183
+ 0.6666666666666666,
184
+ 0.6666666666666666,
185
+ 0.6666666666666666,
186
+ 0.6666666666666666,
187
+ 0.6666666666666666,
188
+ 0.6666666666666666,
189
+ 0.6666666666666666,
190
+ 0.6666666666666666,
191
+ 0.6666666666666666,
192
+ 0.6666666666666666,
193
+ 0.6666666666666666,
194
+ 0.6666666666666666,
195
+ 0.6666666666666666,
196
+ 0.6666666666666666,
197
+ 0.6666666666666666,
198
+ 0.6666666666666666,
199
+ 0.6666666666666666,
200
+ 0.6666666666666666,
201
+ 0.6666666666666666,
202
+ 0.6666666666666666,
203
+ 0.6666666666666666,
204
+ 0.6666666666666666,
205
+ 0.6666666666666666,
206
+ 0.6666666666666666,
207
+ 0.6666666666666666,
208
+ 0.6666666666666666,
209
+ 0.6666666666666666,
210
+ 0.6666666666666666,
211
+ 0.6666666666666666,
212
+ 0.6666666666666666,
213
+ 0.6666666666666666,
214
+ 0.6666666666666666,
215
+ 0.6666666666666666,
216
+ 0.6666666666666666,
217
+ 0.6666666666666666,
218
+ 0.6666666666666666,
219
+ 0.6666666666666666,
220
+ 0.6666666666666666,
221
+ 0.6666666666666666,
222
+ 0.6666666666666666,
223
+ 0.6666666666666666,
224
+ 1.0
225
+ ],
226
+ "eval_runtime": 1.1975,
227
+ "eval_samples_per_second": 343.214,
228
+ "eval_steps_per_second": 10.856,
229
+ "step": 305
230
+ },
231
+ {
232
+ "epoch": 1.64,
233
+ "learning_rate": 5.9016393442622956e-06,
234
+ "loss": 0.0679,
235
+ "step": 500
236
+ },
237
+ {
238
+ "epoch": 2.0,
239
+ "eval_accuracy": 0.9951338199513382,
240
+ "eval_aupr": 0.8345498783454988,
241
+ "eval_f1": 0.5,
242
+ "eval_loss": 0.027375318109989166,
243
+ "eval_precision": 1.0,
244
+ "eval_precision_at_80_recall": 0.6029197080291968,
245
+ "eval_precision_at_90_recall": 0.3051094890510947,
246
+ "eval_precisions": [
247
+ 1.0,
248
+ 1.0,
249
+ 1.0,
250
+ 1.0,
251
+ 1.0,
252
+ 1.0,
253
+ 1.0,
254
+ 1.0,
255
+ 1.0,
256
+ 1.0,
257
+ 1.0,
258
+ 1.0,
259
+ 1.0,
260
+ 1.0,
261
+ 1.0,
262
+ 1.0,
263
+ 1.0,
264
+ 1.0,
265
+ 1.0,
266
+ 1.0,
267
+ 1.0,
268
+ 1.0,
269
+ 1.0,
270
+ 1.0,
271
+ 1.0,
272
+ 1.0,
273
+ 1.0,
274
+ 1.0,
275
+ 1.0,
276
+ 1.0,
277
+ 1.0,
278
+ 1.0,
279
+ 1.0,
280
+ 1.0,
281
+ 1.0,
282
+ 1.0,
283
+ 1.0,
284
+ 1.0,
285
+ 1.0,
286
+ 1.0,
287
+ 1.0,
288
+ 1.0,
289
+ 1.0,
290
+ 1.0,
291
+ 1.0,
292
+ 1.0,
293
+ 1.0,
294
+ 1.0,
295
+ 1.0,
296
+ 1.0,
297
+ 1.0,
298
+ 1.0,
299
+ 1.0,
300
+ 1.0,
301
+ 1.0,
302
+ 1.0,
303
+ 1.0,
304
+ 1.0,
305
+ 1.0,
306
+ 1.0,
307
+ 1.0,
308
+ 1.0,
309
+ 1.0,
310
+ 1.0,
311
+ 1.0,
312
+ 1.0,
313
+ 1.0,
314
+ 1.0,
315
+ 1.0,
316
+ 1.0,
317
+ 1.0,
318
+ 1.0,
319
+ 1.0,
320
+ 1.0,
321
+ 1.0,
322
+ 1.0,
323
+ 1.0,
324
+ 1.0,
325
+ 1.0,
326
+ 1.0,
327
+ 1.0,
328
+ 1.0,
329
+ 1.0,
330
+ 1.0,
331
+ 1.0,
332
+ 1.0,
333
+ 1.0,
334
+ 1.0,
335
+ 1.0,
336
+ 1.0,
337
+ 1.0,
338
+ 1.0,
339
+ 1.0,
340
+ 1.0,
341
+ 1.0,
342
+ 1.0,
343
+ 1.0,
344
+ 1.0,
345
+ 1.0,
346
+ 1.0,
347
+ 0.0072992700729927005
348
+ ],
349
+ "eval_recall": 0.3333333333333333,
350
+ "eval_recalls": [
351
+ 0.0,
352
+ 0.3333333333333333,
353
+ 0.3333333333333333,
354
+ 0.3333333333333333,
355
+ 0.3333333333333333,
356
+ 0.3333333333333333,
357
+ 0.3333333333333333,
358
+ 0.3333333333333333,
359
+ 0.3333333333333333,
360
+ 0.3333333333333333,
361
+ 0.3333333333333333,
362
+ 0.3333333333333333,
363
+ 0.3333333333333333,
364
+ 0.3333333333333333,
365
+ 0.3333333333333333,
366
+ 0.3333333333333333,
367
+ 0.3333333333333333,
368
+ 0.3333333333333333,
369
+ 0.3333333333333333,
370
+ 0.3333333333333333,
371
+ 0.3333333333333333,
372
+ 0.3333333333333333,
373
+ 0.3333333333333333,
374
+ 0.3333333333333333,
375
+ 0.3333333333333333,
376
+ 0.3333333333333333,
377
+ 0.3333333333333333,
378
+ 0.3333333333333333,
379
+ 0.3333333333333333,
380
+ 0.3333333333333333,
381
+ 0.3333333333333333,
382
+ 0.3333333333333333,
383
+ 0.3333333333333333,
384
+ 0.3333333333333333,
385
+ 0.3333333333333333,
386
+ 0.3333333333333333,
387
+ 0.3333333333333333,
388
+ 0.3333333333333333,
389
+ 0.3333333333333333,
390
+ 0.3333333333333333,
391
+ 0.3333333333333333,
392
+ 0.3333333333333333,
393
+ 0.3333333333333333,
394
+ 0.3333333333333333,
395
+ 0.3333333333333333,
396
+ 0.3333333333333333,
397
+ 0.3333333333333333,
398
+ 0.3333333333333333,
399
+ 0.3333333333333333,
400
+ 0.3333333333333333,
401
+ 0.3333333333333333,
402
+ 0.3333333333333333,
403
+ 0.3333333333333333,
404
+ 0.3333333333333333,
405
+ 0.3333333333333333,
406
+ 0.3333333333333333,
407
+ 0.3333333333333333,
408
+ 0.3333333333333333,
409
+ 0.3333333333333333,
410
+ 0.3333333333333333,
411
+ 0.3333333333333333,
412
+ 0.3333333333333333,
413
+ 0.3333333333333333,
414
+ 0.3333333333333333,
415
+ 0.3333333333333333,
416
+ 0.3333333333333333,
417
+ 0.3333333333333333,
418
+ 0.3333333333333333,
419
+ 0.3333333333333333,
420
+ 0.3333333333333333,
421
+ 0.3333333333333333,
422
+ 0.3333333333333333,
423
+ 0.3333333333333333,
424
+ 0.3333333333333333,
425
+ 0.3333333333333333,
426
+ 0.3333333333333333,
427
+ 0.3333333333333333,
428
+ 0.3333333333333333,
429
+ 0.3333333333333333,
430
+ 0.3333333333333333,
431
+ 0.3333333333333333,
432
+ 0.3333333333333333,
433
+ 0.3333333333333333,
434
+ 0.3333333333333333,
435
+ 0.3333333333333333,
436
+ 0.3333333333333333,
437
+ 0.3333333333333333,
438
+ 0.3333333333333333,
439
+ 0.3333333333333333,
440
+ 0.3333333333333333,
441
+ 0.3333333333333333,
442
+ 0.3333333333333333,
443
+ 0.3333333333333333,
444
+ 0.3333333333333333,
445
+ 0.3333333333333333,
446
+ 0.3333333333333333,
447
+ 0.3333333333333333,
448
+ 0.6666666666666666,
449
+ 0.6666666666666666,
450
+ 0.6666666666666666,
451
+ 1.0
452
+ ],
453
+ "eval_runtime": 1.1991,
454
+ "eval_samples_per_second": 342.769,
455
+ "eval_steps_per_second": 10.842,
456
+ "step": 610
457
+ }
458
+ ],
459
+ "max_steps": 1220,
460
+ "num_train_epochs": 4,
461
+ "total_flos": 1122750887098140.0,
462
+ "trial_name": null,
463
+ "trial_params": null
464
+ }
checkpoint-610/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:10bf943a78496c904cfe66bc810234188ba672ee9c06586c6b612f9e9a3f5d39
3
+ size 3695
checkpoint-610/vocab.txt ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-915/config.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "nlpaueb/legal-bert-base-uncased",
3
+ "architectures": [
4
+ "BertForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_ids": 0,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 768,
13
+ "id2label": {
14
+ "0": "NEGATIVE",
15
+ "1": "POSITIVE"
16
+ },
17
+ "initializer_range": 0.02,
18
+ "intermediate_size": 3072,
19
+ "label2id": {
20
+ "NEGATIVE": 0,
21
+ "POSITIVE": 1
22
+ },
23
+ "layer_norm_eps": 1e-12,
24
+ "max_position_embeddings": 512,
25
+ "model_type": "bert",
26
+ "num_attention_heads": 12,
27
+ "num_hidden_layers": 12,
28
+ "output_past": true,
29
+ "pad_token_id": 0,
30
+ "position_embedding_type": "absolute",
31
+ "problem_type": "single_label_classification",
32
+ "torch_dtype": "float32",
33
+ "transformers_version": "4.27.4",
34
+ "type_vocab_size": 2,
35
+ "use_cache": true,
36
+ "vocab_size": 30522
37
+ }
checkpoint-915/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7ece6d057d8d80cc0e95049b26d1539c7a039d96d46a85d38344fb7d8fdb7a51
3
+ size 875986717
checkpoint-915/pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2d33a50938312dd9b0ca8ebc6c5020d11eaa9ce9267a9e6e45a65062f999d520
3
+ size 438006125
checkpoint-915/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4b48be1b836f443c8ea0128c36b3bd28f44fe644175459b74a2cf5153e756ca8
3
+ size 14503
checkpoint-915/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d67ab33ef649f00a13a9fde2290f520eb50f782a32d795de55d41ffdb7494d53
3
+ size 623
checkpoint-915/special_tokens_map.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "mask_token": "[MASK]",
4
+ "pad_token": "[PAD]",
5
+ "sep_token": "[SEP]",
6
+ "unk_token": "[UNK]"
7
+ }
checkpoint-915/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-915/tokenizer_config.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "do_basic_tokenize": true,
4
+ "do_lower_case": true,
5
+ "mask_token": "[MASK]",
6
+ "model_max_length": 512,
7
+ "never_split": null,
8
+ "pad_token": "[PAD]",
9
+ "sep_token": "[SEP]",
10
+ "special_tokens_map_file": "/home/fkueteka/.cache/huggingface/hub/models--nlpaueb--legal-bert-base-uncased/snapshots/15b570cbf88259610b082a167dacc190124f60f6/special_tokens_map.json",
11
+ "strip_accents": null,
12
+ "tokenize_chinese_chars": true,
13
+ "tokenizer_class": "BertTokenizer",
14
+ "unk_token": "[UNK]"
15
+ }
checkpoint-915/trainer_state.json ADDED
@@ -0,0 +1,685 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.8345498783454988,
3
+ "best_model_checkpoint": "./finetuned_models/Third Party Beneficiary/legal-bert-base-uncased/oversampled-train/checkpoint-610",
4
+ "epoch": 3.0,
5
+ "global_step": 915,
6
+ "is_hyper_param_search": false,
7
+ "is_local_process_zero": true,
8
+ "is_world_process_zero": true,
9
+ "log_history": [
10
+ {
11
+ "epoch": 1.0,
12
+ "eval_accuracy": 0.9975669099756691,
13
+ "eval_aupr": 0.7789943227899432,
14
+ "eval_f1": 0.8,
15
+ "eval_loss": 0.018961239606142044,
16
+ "eval_precision": 1.0,
17
+ "eval_precision_at_80_recall": 0.4029197080291969,
18
+ "eval_precision_at_90_recall": 0.20510948905109483,
19
+ "eval_precisions": [
20
+ 1.0,
21
+ 1.0,
22
+ 1.0,
23
+ 1.0,
24
+ 1.0,
25
+ 1.0,
26
+ 1.0,
27
+ 1.0,
28
+ 1.0,
29
+ 1.0,
30
+ 1.0,
31
+ 1.0,
32
+ 1.0,
33
+ 1.0,
34
+ 1.0,
35
+ 1.0,
36
+ 1.0,
37
+ 1.0,
38
+ 1.0,
39
+ 1.0,
40
+ 1.0,
41
+ 1.0,
42
+ 1.0,
43
+ 1.0,
44
+ 1.0,
45
+ 1.0,
46
+ 1.0,
47
+ 1.0,
48
+ 1.0,
49
+ 1.0,
50
+ 1.0,
51
+ 1.0,
52
+ 1.0,
53
+ 1.0,
54
+ 1.0,
55
+ 1.0,
56
+ 1.0,
57
+ 1.0,
58
+ 1.0,
59
+ 1.0,
60
+ 1.0,
61
+ 1.0,
62
+ 1.0,
63
+ 1.0,
64
+ 1.0,
65
+ 1.0,
66
+ 1.0,
67
+ 1.0,
68
+ 1.0,
69
+ 1.0,
70
+ 1.0,
71
+ 1.0,
72
+ 1.0,
73
+ 1.0,
74
+ 1.0,
75
+ 1.0,
76
+ 1.0,
77
+ 1.0,
78
+ 1.0,
79
+ 1.0,
80
+ 1.0,
81
+ 1.0,
82
+ 1.0,
83
+ 1.0,
84
+ 1.0,
85
+ 1.0,
86
+ 1.0,
87
+ 1.0,
88
+ 1.0,
89
+ 1.0,
90
+ 1.0,
91
+ 1.0,
92
+ 1.0,
93
+ 1.0,
94
+ 1.0,
95
+ 1.0,
96
+ 1.0,
97
+ 1.0,
98
+ 1.0,
99
+ 1.0,
100
+ 1.0,
101
+ 1.0,
102
+ 1.0,
103
+ 1.0,
104
+ 1.0,
105
+ 1.0,
106
+ 1.0,
107
+ 1.0,
108
+ 1.0,
109
+ 1.0,
110
+ 1.0,
111
+ 1.0,
112
+ 1.0,
113
+ 1.0,
114
+ 1.0,
115
+ 1.0,
116
+ 1.0,
117
+ 1.0,
118
+ 1.0,
119
+ 0.6666666666666666,
120
+ 0.0072992700729927005
121
+ ],
122
+ "eval_recall": 0.6666666666666666,
123
+ "eval_recalls": [
124
+ 0.0,
125
+ 0.3333333333333333,
126
+ 0.3333333333333333,
127
+ 0.3333333333333333,
128
+ 0.3333333333333333,
129
+ 0.3333333333333333,
130
+ 0.3333333333333333,
131
+ 0.3333333333333333,
132
+ 0.3333333333333333,
133
+ 0.3333333333333333,
134
+ 0.3333333333333333,
135
+ 0.3333333333333333,
136
+ 0.3333333333333333,
137
+ 0.3333333333333333,
138
+ 0.3333333333333333,
139
+ 0.3333333333333333,
140
+ 0.3333333333333333,
141
+ 0.3333333333333333,
142
+ 0.3333333333333333,
143
+ 0.3333333333333333,
144
+ 0.3333333333333333,
145
+ 0.3333333333333333,
146
+ 0.3333333333333333,
147
+ 0.3333333333333333,
148
+ 0.3333333333333333,
149
+ 0.3333333333333333,
150
+ 0.3333333333333333,
151
+ 0.3333333333333333,
152
+ 0.3333333333333333,
153
+ 0.3333333333333333,
154
+ 0.3333333333333333,
155
+ 0.3333333333333333,
156
+ 0.3333333333333333,
157
+ 0.3333333333333333,
158
+ 0.3333333333333333,
159
+ 0.3333333333333333,
160
+ 0.3333333333333333,
161
+ 0.3333333333333333,
162
+ 0.3333333333333333,
163
+ 0.3333333333333333,
164
+ 0.3333333333333333,
165
+ 0.3333333333333333,
166
+ 0.3333333333333333,
167
+ 0.3333333333333333,
168
+ 0.3333333333333333,
169
+ 0.3333333333333333,
170
+ 0.3333333333333333,
171
+ 0.3333333333333333,
172
+ 0.6666666666666666,
173
+ 0.6666666666666666,
174
+ 0.6666666666666666,
175
+ 0.6666666666666666,
176
+ 0.6666666666666666,
177
+ 0.6666666666666666,
178
+ 0.6666666666666666,
179
+ 0.6666666666666666,
180
+ 0.6666666666666666,
181
+ 0.6666666666666666,
182
+ 0.6666666666666666,
183
+ 0.6666666666666666,
184
+ 0.6666666666666666,
185
+ 0.6666666666666666,
186
+ 0.6666666666666666,
187
+ 0.6666666666666666,
188
+ 0.6666666666666666,
189
+ 0.6666666666666666,
190
+ 0.6666666666666666,
191
+ 0.6666666666666666,
192
+ 0.6666666666666666,
193
+ 0.6666666666666666,
194
+ 0.6666666666666666,
195
+ 0.6666666666666666,
196
+ 0.6666666666666666,
197
+ 0.6666666666666666,
198
+ 0.6666666666666666,
199
+ 0.6666666666666666,
200
+ 0.6666666666666666,
201
+ 0.6666666666666666,
202
+ 0.6666666666666666,
203
+ 0.6666666666666666,
204
+ 0.6666666666666666,
205
+ 0.6666666666666666,
206
+ 0.6666666666666666,
207
+ 0.6666666666666666,
208
+ 0.6666666666666666,
209
+ 0.6666666666666666,
210
+ 0.6666666666666666,
211
+ 0.6666666666666666,
212
+ 0.6666666666666666,
213
+ 0.6666666666666666,
214
+ 0.6666666666666666,
215
+ 0.6666666666666666,
216
+ 0.6666666666666666,
217
+ 0.6666666666666666,
218
+ 0.6666666666666666,
219
+ 0.6666666666666666,
220
+ 0.6666666666666666,
221
+ 0.6666666666666666,
222
+ 0.6666666666666666,
223
+ 0.6666666666666666,
224
+ 1.0
225
+ ],
226
+ "eval_runtime": 1.1975,
227
+ "eval_samples_per_second": 343.214,
228
+ "eval_steps_per_second": 10.856,
229
+ "step": 305
230
+ },
231
+ {
232
+ "epoch": 1.64,
233
+ "learning_rate": 5.9016393442622956e-06,
234
+ "loss": 0.0679,
235
+ "step": 500
236
+ },
237
+ {
238
+ "epoch": 2.0,
239
+ "eval_accuracy": 0.9951338199513382,
240
+ "eval_aupr": 0.8345498783454988,
241
+ "eval_f1": 0.5,
242
+ "eval_loss": 0.027375318109989166,
243
+ "eval_precision": 1.0,
244
+ "eval_precision_at_80_recall": 0.6029197080291968,
245
+ "eval_precision_at_90_recall": 0.3051094890510947,
246
+ "eval_precisions": [
247
+ 1.0,
248
+ 1.0,
249
+ 1.0,
250
+ 1.0,
251
+ 1.0,
252
+ 1.0,
253
+ 1.0,
254
+ 1.0,
255
+ 1.0,
256
+ 1.0,
257
+ 1.0,
258
+ 1.0,
259
+ 1.0,
260
+ 1.0,
261
+ 1.0,
262
+ 1.0,
263
+ 1.0,
264
+ 1.0,
265
+ 1.0,
266
+ 1.0,
267
+ 1.0,
268
+ 1.0,
269
+ 1.0,
270
+ 1.0,
271
+ 1.0,
272
+ 1.0,
273
+ 1.0,
274
+ 1.0,
275
+ 1.0,
276
+ 1.0,
277
+ 1.0,
278
+ 1.0,
279
+ 1.0,
280
+ 1.0,
281
+ 1.0,
282
+ 1.0,
283
+ 1.0,
284
+ 1.0,
285
+ 1.0,
286
+ 1.0,
287
+ 1.0,
288
+ 1.0,
289
+ 1.0,
290
+ 1.0,
291
+ 1.0,
292
+ 1.0,
293
+ 1.0,
294
+ 1.0,
295
+ 1.0,
296
+ 1.0,
297
+ 1.0,
298
+ 1.0,
299
+ 1.0,
300
+ 1.0,
301
+ 1.0,
302
+ 1.0,
303
+ 1.0,
304
+ 1.0,
305
+ 1.0,
306
+ 1.0,
307
+ 1.0,
308
+ 1.0,
309
+ 1.0,
310
+ 1.0,
311
+ 1.0,
312
+ 1.0,
313
+ 1.0,
314
+ 1.0,
315
+ 1.0,
316
+ 1.0,
317
+ 1.0,
318
+ 1.0,
319
+ 1.0,
320
+ 1.0,
321
+ 1.0,
322
+ 1.0,
323
+ 1.0,
324
+ 1.0,
325
+ 1.0,
326
+ 1.0,
327
+ 1.0,
328
+ 1.0,
329
+ 1.0,
330
+ 1.0,
331
+ 1.0,
332
+ 1.0,
333
+ 1.0,
334
+ 1.0,
335
+ 1.0,
336
+ 1.0,
337
+ 1.0,
338
+ 1.0,
339
+ 1.0,
340
+ 1.0,
341
+ 1.0,
342
+ 1.0,
343
+ 1.0,
344
+ 1.0,
345
+ 1.0,
346
+ 1.0,
347
+ 0.0072992700729927005
348
+ ],
349
+ "eval_recall": 0.3333333333333333,
350
+ "eval_recalls": [
351
+ 0.0,
352
+ 0.3333333333333333,
353
+ 0.3333333333333333,
354
+ 0.3333333333333333,
355
+ 0.3333333333333333,
356
+ 0.3333333333333333,
357
+ 0.3333333333333333,
358
+ 0.3333333333333333,
359
+ 0.3333333333333333,
360
+ 0.3333333333333333,
361
+ 0.3333333333333333,
362
+ 0.3333333333333333,
363
+ 0.3333333333333333,
364
+ 0.3333333333333333,
365
+ 0.3333333333333333,
366
+ 0.3333333333333333,
367
+ 0.3333333333333333,
368
+ 0.3333333333333333,
369
+ 0.3333333333333333,
370
+ 0.3333333333333333,
371
+ 0.3333333333333333,
372
+ 0.3333333333333333,
373
+ 0.3333333333333333,
374
+ 0.3333333333333333,
375
+ 0.3333333333333333,
376
+ 0.3333333333333333,
377
+ 0.3333333333333333,
378
+ 0.3333333333333333,
379
+ 0.3333333333333333,
380
+ 0.3333333333333333,
381
+ 0.3333333333333333,
382
+ 0.3333333333333333,
383
+ 0.3333333333333333,
384
+ 0.3333333333333333,
385
+ 0.3333333333333333,
386
+ 0.3333333333333333,
387
+ 0.3333333333333333,
388
+ 0.3333333333333333,
389
+ 0.3333333333333333,
390
+ 0.3333333333333333,
391
+ 0.3333333333333333,
392
+ 0.3333333333333333,
393
+ 0.3333333333333333,
394
+ 0.3333333333333333,
395
+ 0.3333333333333333,
396
+ 0.3333333333333333,
397
+ 0.3333333333333333,
398
+ 0.3333333333333333,
399
+ 0.3333333333333333,
400
+ 0.3333333333333333,
401
+ 0.3333333333333333,
402
+ 0.3333333333333333,
403
+ 0.3333333333333333,
404
+ 0.3333333333333333,
405
+ 0.3333333333333333,
406
+ 0.3333333333333333,
407
+ 0.3333333333333333,
408
+ 0.3333333333333333,
409
+ 0.3333333333333333,
410
+ 0.3333333333333333,
411
+ 0.3333333333333333,
412
+ 0.3333333333333333,
413
+ 0.3333333333333333,
414
+ 0.3333333333333333,
415
+ 0.3333333333333333,
416
+ 0.3333333333333333,
417
+ 0.3333333333333333,
418
+ 0.3333333333333333,
419
+ 0.3333333333333333,
420
+ 0.3333333333333333,
421
+ 0.3333333333333333,
422
+ 0.3333333333333333,
423
+ 0.3333333333333333,
424
+ 0.3333333333333333,
425
+ 0.3333333333333333,
426
+ 0.3333333333333333,
427
+ 0.3333333333333333,
428
+ 0.3333333333333333,
429
+ 0.3333333333333333,
430
+ 0.3333333333333333,
431
+ 0.3333333333333333,
432
+ 0.3333333333333333,
433
+ 0.3333333333333333,
434
+ 0.3333333333333333,
435
+ 0.3333333333333333,
436
+ 0.3333333333333333,
437
+ 0.3333333333333333,
438
+ 0.3333333333333333,
439
+ 0.3333333333333333,
440
+ 0.3333333333333333,
441
+ 0.3333333333333333,
442
+ 0.3333333333333333,
443
+ 0.3333333333333333,
444
+ 0.3333333333333333,
445
+ 0.3333333333333333,
446
+ 0.3333333333333333,
447
+ 0.3333333333333333,
448
+ 0.6666666666666666,
449
+ 0.6666666666666666,
450
+ 0.6666666666666666,
451
+ 1.0
452
+ ],
453
+ "eval_runtime": 1.1991,
454
+ "eval_samples_per_second": 342.769,
455
+ "eval_steps_per_second": 10.842,
456
+ "step": 610
457
+ },
458
+ {
459
+ "epoch": 3.0,
460
+ "eval_accuracy": 0.9951338199513382,
461
+ "eval_aupr": 0.8345498783454988,
462
+ "eval_f1": 0.5,
463
+ "eval_loss": 0.031456999480724335,
464
+ "eval_precision": 1.0,
465
+ "eval_precision_at_80_recall": 0.6029197080291968,
466
+ "eval_precision_at_90_recall": 0.3051094890510947,
467
+ "eval_precisions": [
468
+ 1.0,
469
+ 1.0,
470
+ 1.0,
471
+ 1.0,
472
+ 1.0,
473
+ 1.0,
474
+ 1.0,
475
+ 1.0,
476
+ 1.0,
477
+ 1.0,
478
+ 1.0,
479
+ 1.0,
480
+ 1.0,
481
+ 1.0,
482
+ 1.0,
483
+ 1.0,
484
+ 1.0,
485
+ 1.0,
486
+ 1.0,
487
+ 1.0,
488
+ 1.0,
489
+ 1.0,
490
+ 1.0,
491
+ 1.0,
492
+ 1.0,
493
+ 1.0,
494
+ 1.0,
495
+ 1.0,
496
+ 1.0,
497
+ 1.0,
498
+ 1.0,
499
+ 1.0,
500
+ 1.0,
501
+ 1.0,
502
+ 1.0,
503
+ 1.0,
504
+ 1.0,
505
+ 1.0,
506
+ 1.0,
507
+ 1.0,
508
+ 1.0,
509
+ 1.0,
510
+ 1.0,
511
+ 1.0,
512
+ 1.0,
513
+ 1.0,
514
+ 1.0,
515
+ 1.0,
516
+ 1.0,
517
+ 1.0,
518
+ 1.0,
519
+ 1.0,
520
+ 1.0,
521
+ 1.0,
522
+ 1.0,
523
+ 1.0,
524
+ 1.0,
525
+ 1.0,
526
+ 1.0,
527
+ 1.0,
528
+ 1.0,
529
+ 1.0,
530
+ 1.0,
531
+ 1.0,
532
+ 1.0,
533
+ 1.0,
534
+ 1.0,
535
+ 1.0,
536
+ 1.0,
537
+ 1.0,
538
+ 1.0,
539
+ 1.0,
540
+ 1.0,
541
+ 1.0,
542
+ 1.0,
543
+ 1.0,
544
+ 1.0,
545
+ 1.0,
546
+ 1.0,
547
+ 1.0,
548
+ 1.0,
549
+ 1.0,
550
+ 1.0,
551
+ 1.0,
552
+ 1.0,
553
+ 1.0,
554
+ 1.0,
555
+ 1.0,
556
+ 1.0,
557
+ 1.0,
558
+ 1.0,
559
+ 1.0,
560
+ 1.0,
561
+ 1.0,
562
+ 1.0,
563
+ 1.0,
564
+ 1.0,
565
+ 1.0,
566
+ 1.0,
567
+ 1.0,
568
+ 0.0072992700729927005
569
+ ],
570
+ "eval_recall": 0.3333333333333333,
571
+ "eval_recalls": [
572
+ 0.0,
573
+ 0.3333333333333333,
574
+ 0.3333333333333333,
575
+ 0.3333333333333333,
576
+ 0.3333333333333333,
577
+ 0.3333333333333333,
578
+ 0.3333333333333333,
579
+ 0.3333333333333333,
580
+ 0.3333333333333333,
581
+ 0.3333333333333333,
582
+ 0.3333333333333333,
583
+ 0.3333333333333333,
584
+ 0.3333333333333333,
585
+ 0.3333333333333333,
586
+ 0.3333333333333333,
587
+ 0.3333333333333333,
588
+ 0.3333333333333333,
589
+ 0.3333333333333333,
590
+ 0.3333333333333333,
591
+ 0.3333333333333333,
592
+ 0.3333333333333333,
593
+ 0.3333333333333333,
594
+ 0.3333333333333333,
595
+ 0.3333333333333333,
596
+ 0.3333333333333333,
597
+ 0.3333333333333333,
598
+ 0.3333333333333333,
599
+ 0.3333333333333333,
600
+ 0.3333333333333333,
601
+ 0.3333333333333333,
602
+ 0.3333333333333333,
603
+ 0.3333333333333333,
604
+ 0.3333333333333333,
605
+ 0.3333333333333333,
606
+ 0.3333333333333333,
607
+ 0.3333333333333333,
608
+ 0.3333333333333333,
609
+ 0.3333333333333333,
610
+ 0.3333333333333333,
611
+ 0.3333333333333333,
612
+ 0.3333333333333333,
613
+ 0.3333333333333333,
614
+ 0.3333333333333333,
615
+ 0.3333333333333333,
616
+ 0.3333333333333333,
617
+ 0.3333333333333333,
618
+ 0.3333333333333333,
619
+ 0.3333333333333333,
620
+ 0.3333333333333333,
621
+ 0.3333333333333333,
622
+ 0.3333333333333333,
623
+ 0.3333333333333333,
624
+ 0.3333333333333333,
625
+ 0.3333333333333333,
626
+ 0.3333333333333333,
627
+ 0.3333333333333333,
628
+ 0.3333333333333333,
629
+ 0.3333333333333333,
630
+ 0.3333333333333333,
631
+ 0.3333333333333333,
632
+ 0.3333333333333333,
633
+ 0.3333333333333333,
634
+ 0.3333333333333333,
635
+ 0.3333333333333333,
636
+ 0.3333333333333333,
637
+ 0.3333333333333333,
638
+ 0.3333333333333333,
639
+ 0.3333333333333333,
640
+ 0.3333333333333333,
641
+ 0.3333333333333333,
642
+ 0.3333333333333333,
643
+ 0.3333333333333333,
644
+ 0.3333333333333333,
645
+ 0.3333333333333333,
646
+ 0.3333333333333333,
647
+ 0.3333333333333333,
648
+ 0.3333333333333333,
649
+ 0.3333333333333333,
650
+ 0.3333333333333333,
651
+ 0.3333333333333333,
652
+ 0.3333333333333333,
653
+ 0.3333333333333333,
654
+ 0.3333333333333333,
655
+ 0.3333333333333333,
656
+ 0.3333333333333333,
657
+ 0.3333333333333333,
658
+ 0.3333333333333333,
659
+ 0.3333333333333333,
660
+ 0.3333333333333333,
661
+ 0.3333333333333333,
662
+ 0.3333333333333333,
663
+ 0.3333333333333333,
664
+ 0.3333333333333333,
665
+ 0.3333333333333333,
666
+ 0.3333333333333333,
667
+ 0.3333333333333333,
668
+ 0.3333333333333333,
669
+ 0.3333333333333333,
670
+ 0.3333333333333333,
671
+ 0.6666666666666666,
672
+ 1.0
673
+ ],
674
+ "eval_runtime": 1.1986,
675
+ "eval_samples_per_second": 342.896,
676
+ "eval_steps_per_second": 10.846,
677
+ "step": 915
678
+ }
679
+ ],
680
+ "max_steps": 1220,
681
+ "num_train_epochs": 4,
682
+ "total_flos": 1684342934767980.0,
683
+ "trial_name": null,
684
+ "trial_params": null
685
+ }
checkpoint-915/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:10bf943a78496c904cfe66bc810234188ba672ee9c06586c6b612f9e9a3f5d39
3
+ size 3695
checkpoint-915/vocab.txt ADDED
The diff for this file is too large to render. See raw diff
 
config.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "nlpaueb/legal-bert-base-uncased",
3
+ "architectures": [
4
+ "BertForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_ids": 0,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 768,
13
+ "id2label": {
14
+ "0": "NEGATIVE",
15
+ "1": "POSITIVE"
16
+ },
17
+ "initializer_range": 0.02,
18
+ "intermediate_size": 3072,
19
+ "label2id": {
20
+ "NEGATIVE": 0,
21
+ "POSITIVE": 1
22
+ },
23
+ "layer_norm_eps": 1e-12,
24
+ "max_position_embeddings": 512,
25
+ "model_type": "bert",
26
+ "num_attention_heads": 12,
27
+ "num_hidden_layers": 12,
28
+ "output_past": true,
29
+ "pad_token_id": 0,
30
+ "position_embedding_type": "absolute",
31
+ "problem_type": "single_label_classification",
32
+ "torch_dtype": "float32",
33
+ "transformers_version": "4.27.4",
34
+ "type_vocab_size": 2,
35
+ "use_cache": true,
36
+ "vocab_size": 30522
37
+ }
pytorch_model.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0db7302cc0dd37267dd9aaf5f86cc3476f49eda8441e28c20fe69711c1a1e00a
3
+ size 438006125
special_tokens_map.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "mask_token": "[MASK]",
4
+ "pad_token": "[PAD]",
5
+ "sep_token": "[SEP]",
6
+ "unk_token": "[UNK]"
7
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "do_basic_tokenize": true,
4
+ "do_lower_case": true,
5
+ "mask_token": "[MASK]",
6
+ "model_max_length": 512,
7
+ "never_split": null,
8
+ "pad_token": "[PAD]",
9
+ "sep_token": "[SEP]",
10
+ "special_tokens_map_file": "/home/fkueteka/.cache/huggingface/hub/models--nlpaueb--legal-bert-base-uncased/snapshots/15b570cbf88259610b082a167dacc190124f60f6/special_tokens_map.json",
11
+ "strip_accents": null,
12
+ "tokenize_chinese_chars": true,
13
+ "tokenizer_class": "BertTokenizer",
14
+ "unk_token": "[UNK]"
15
+ }
trainer_state.json ADDED
@@ -0,0 +1,921 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.8345498783454988,
3
+ "best_model_checkpoint": "./finetuned_models/Third Party Beneficiary/legal-bert-base-uncased/oversampled-train/checkpoint-610",
4
+ "epoch": 4.0,
5
+ "global_step": 1220,
6
+ "is_hyper_param_search": false,
7
+ "is_local_process_zero": true,
8
+ "is_world_process_zero": true,
9
+ "log_history": [
10
+ {
11
+ "epoch": 1.0,
12
+ "eval_accuracy": 0.9975669099756691,
13
+ "eval_aupr": 0.7789943227899432,
14
+ "eval_f1": 0.8,
15
+ "eval_loss": 0.018961239606142044,
16
+ "eval_precision": 1.0,
17
+ "eval_precision_at_80_recall": 0.4029197080291969,
18
+ "eval_precision_at_90_recall": 0.20510948905109483,
19
+ "eval_precisions": [
20
+ 1.0,
21
+ 1.0,
22
+ 1.0,
23
+ 1.0,
24
+ 1.0,
25
+ 1.0,
26
+ 1.0,
27
+ 1.0,
28
+ 1.0,
29
+ 1.0,
30
+ 1.0,
31
+ 1.0,
32
+ 1.0,
33
+ 1.0,
34
+ 1.0,
35
+ 1.0,
36
+ 1.0,
37
+ 1.0,
38
+ 1.0,
39
+ 1.0,
40
+ 1.0,
41
+ 1.0,
42
+ 1.0,
43
+ 1.0,
44
+ 1.0,
45
+ 1.0,
46
+ 1.0,
47
+ 1.0,
48
+ 1.0,
49
+ 1.0,
50
+ 1.0,
51
+ 1.0,
52
+ 1.0,
53
+ 1.0,
54
+ 1.0,
55
+ 1.0,
56
+ 1.0,
57
+ 1.0,
58
+ 1.0,
59
+ 1.0,
60
+ 1.0,
61
+ 1.0,
62
+ 1.0,
63
+ 1.0,
64
+ 1.0,
65
+ 1.0,
66
+ 1.0,
67
+ 1.0,
68
+ 1.0,
69
+ 1.0,
70
+ 1.0,
71
+ 1.0,
72
+ 1.0,
73
+ 1.0,
74
+ 1.0,
75
+ 1.0,
76
+ 1.0,
77
+ 1.0,
78
+ 1.0,
79
+ 1.0,
80
+ 1.0,
81
+ 1.0,
82
+ 1.0,
83
+ 1.0,
84
+ 1.0,
85
+ 1.0,
86
+ 1.0,
87
+ 1.0,
88
+ 1.0,
89
+ 1.0,
90
+ 1.0,
91
+ 1.0,
92
+ 1.0,
93
+ 1.0,
94
+ 1.0,
95
+ 1.0,
96
+ 1.0,
97
+ 1.0,
98
+ 1.0,
99
+ 1.0,
100
+ 1.0,
101
+ 1.0,
102
+ 1.0,
103
+ 1.0,
104
+ 1.0,
105
+ 1.0,
106
+ 1.0,
107
+ 1.0,
108
+ 1.0,
109
+ 1.0,
110
+ 1.0,
111
+ 1.0,
112
+ 1.0,
113
+ 1.0,
114
+ 1.0,
115
+ 1.0,
116
+ 1.0,
117
+ 1.0,
118
+ 1.0,
119
+ 0.6666666666666666,
120
+ 0.0072992700729927005
121
+ ],
122
+ "eval_recall": 0.6666666666666666,
123
+ "eval_recalls": [
124
+ 0.0,
125
+ 0.3333333333333333,
126
+ 0.3333333333333333,
127
+ 0.3333333333333333,
128
+ 0.3333333333333333,
129
+ 0.3333333333333333,
130
+ 0.3333333333333333,
131
+ 0.3333333333333333,
132
+ 0.3333333333333333,
133
+ 0.3333333333333333,
134
+ 0.3333333333333333,
135
+ 0.3333333333333333,
136
+ 0.3333333333333333,
137
+ 0.3333333333333333,
138
+ 0.3333333333333333,
139
+ 0.3333333333333333,
140
+ 0.3333333333333333,
141
+ 0.3333333333333333,
142
+ 0.3333333333333333,
143
+ 0.3333333333333333,
144
+ 0.3333333333333333,
145
+ 0.3333333333333333,
146
+ 0.3333333333333333,
147
+ 0.3333333333333333,
148
+ 0.3333333333333333,
149
+ 0.3333333333333333,
150
+ 0.3333333333333333,
151
+ 0.3333333333333333,
152
+ 0.3333333333333333,
153
+ 0.3333333333333333,
154
+ 0.3333333333333333,
155
+ 0.3333333333333333,
156
+ 0.3333333333333333,
157
+ 0.3333333333333333,
158
+ 0.3333333333333333,
159
+ 0.3333333333333333,
160
+ 0.3333333333333333,
161
+ 0.3333333333333333,
162
+ 0.3333333333333333,
163
+ 0.3333333333333333,
164
+ 0.3333333333333333,
165
+ 0.3333333333333333,
166
+ 0.3333333333333333,
167
+ 0.3333333333333333,
168
+ 0.3333333333333333,
169
+ 0.3333333333333333,
170
+ 0.3333333333333333,
171
+ 0.3333333333333333,
172
+ 0.6666666666666666,
173
+ 0.6666666666666666,
174
+ 0.6666666666666666,
175
+ 0.6666666666666666,
176
+ 0.6666666666666666,
177
+ 0.6666666666666666,
178
+ 0.6666666666666666,
179
+ 0.6666666666666666,
180
+ 0.6666666666666666,
181
+ 0.6666666666666666,
182
+ 0.6666666666666666,
183
+ 0.6666666666666666,
184
+ 0.6666666666666666,
185
+ 0.6666666666666666,
186
+ 0.6666666666666666,
187
+ 0.6666666666666666,
188
+ 0.6666666666666666,
189
+ 0.6666666666666666,
190
+ 0.6666666666666666,
191
+ 0.6666666666666666,
192
+ 0.6666666666666666,
193
+ 0.6666666666666666,
194
+ 0.6666666666666666,
195
+ 0.6666666666666666,
196
+ 0.6666666666666666,
197
+ 0.6666666666666666,
198
+ 0.6666666666666666,
199
+ 0.6666666666666666,
200
+ 0.6666666666666666,
201
+ 0.6666666666666666,
202
+ 0.6666666666666666,
203
+ 0.6666666666666666,
204
+ 0.6666666666666666,
205
+ 0.6666666666666666,
206
+ 0.6666666666666666,
207
+ 0.6666666666666666,
208
+ 0.6666666666666666,
209
+ 0.6666666666666666,
210
+ 0.6666666666666666,
211
+ 0.6666666666666666,
212
+ 0.6666666666666666,
213
+ 0.6666666666666666,
214
+ 0.6666666666666666,
215
+ 0.6666666666666666,
216
+ 0.6666666666666666,
217
+ 0.6666666666666666,
218
+ 0.6666666666666666,
219
+ 0.6666666666666666,
220
+ 0.6666666666666666,
221
+ 0.6666666666666666,
222
+ 0.6666666666666666,
223
+ 0.6666666666666666,
224
+ 1.0
225
+ ],
226
+ "eval_runtime": 1.1975,
227
+ "eval_samples_per_second": 343.214,
228
+ "eval_steps_per_second": 10.856,
229
+ "step": 305
230
+ },
231
+ {
232
+ "epoch": 1.64,
233
+ "learning_rate": 5.9016393442622956e-06,
234
+ "loss": 0.0679,
235
+ "step": 500
236
+ },
237
+ {
238
+ "epoch": 2.0,
239
+ "eval_accuracy": 0.9951338199513382,
240
+ "eval_aupr": 0.8345498783454988,
241
+ "eval_f1": 0.5,
242
+ "eval_loss": 0.027375318109989166,
243
+ "eval_precision": 1.0,
244
+ "eval_precision_at_80_recall": 0.6029197080291968,
245
+ "eval_precision_at_90_recall": 0.3051094890510947,
246
+ "eval_precisions": [
247
+ 1.0,
248
+ 1.0,
249
+ 1.0,
250
+ 1.0,
251
+ 1.0,
252
+ 1.0,
253
+ 1.0,
254
+ 1.0,
255
+ 1.0,
256
+ 1.0,
257
+ 1.0,
258
+ 1.0,
259
+ 1.0,
260
+ 1.0,
261
+ 1.0,
262
+ 1.0,
263
+ 1.0,
264
+ 1.0,
265
+ 1.0,
266
+ 1.0,
267
+ 1.0,
268
+ 1.0,
269
+ 1.0,
270
+ 1.0,
271
+ 1.0,
272
+ 1.0,
273
+ 1.0,
274
+ 1.0,
275
+ 1.0,
276
+ 1.0,
277
+ 1.0,
278
+ 1.0,
279
+ 1.0,
280
+ 1.0,
281
+ 1.0,
282
+ 1.0,
283
+ 1.0,
284
+ 1.0,
285
+ 1.0,
286
+ 1.0,
287
+ 1.0,
288
+ 1.0,
289
+ 1.0,
290
+ 1.0,
291
+ 1.0,
292
+ 1.0,
293
+ 1.0,
294
+ 1.0,
295
+ 1.0,
296
+ 1.0,
297
+ 1.0,
298
+ 1.0,
299
+ 1.0,
300
+ 1.0,
301
+ 1.0,
302
+ 1.0,
303
+ 1.0,
304
+ 1.0,
305
+ 1.0,
306
+ 1.0,
307
+ 1.0,
308
+ 1.0,
309
+ 1.0,
310
+ 1.0,
311
+ 1.0,
312
+ 1.0,
313
+ 1.0,
314
+ 1.0,
315
+ 1.0,
316
+ 1.0,
317
+ 1.0,
318
+ 1.0,
319
+ 1.0,
320
+ 1.0,
321
+ 1.0,
322
+ 1.0,
323
+ 1.0,
324
+ 1.0,
325
+ 1.0,
326
+ 1.0,
327
+ 1.0,
328
+ 1.0,
329
+ 1.0,
330
+ 1.0,
331
+ 1.0,
332
+ 1.0,
333
+ 1.0,
334
+ 1.0,
335
+ 1.0,
336
+ 1.0,
337
+ 1.0,
338
+ 1.0,
339
+ 1.0,
340
+ 1.0,
341
+ 1.0,
342
+ 1.0,
343
+ 1.0,
344
+ 1.0,
345
+ 1.0,
346
+ 1.0,
347
+ 0.0072992700729927005
348
+ ],
349
+ "eval_recall": 0.3333333333333333,
350
+ "eval_recalls": [
351
+ 0.0,
352
+ 0.3333333333333333,
353
+ 0.3333333333333333,
354
+ 0.3333333333333333,
355
+ 0.3333333333333333,
356
+ 0.3333333333333333,
357
+ 0.3333333333333333,
358
+ 0.3333333333333333,
359
+ 0.3333333333333333,
360
+ 0.3333333333333333,
361
+ 0.3333333333333333,
362
+ 0.3333333333333333,
363
+ 0.3333333333333333,
364
+ 0.3333333333333333,
365
+ 0.3333333333333333,
366
+ 0.3333333333333333,
367
+ 0.3333333333333333,
368
+ 0.3333333333333333,
369
+ 0.3333333333333333,
370
+ 0.3333333333333333,
371
+ 0.3333333333333333,
372
+ 0.3333333333333333,
373
+ 0.3333333333333333,
374
+ 0.3333333333333333,
375
+ 0.3333333333333333,
376
+ 0.3333333333333333,
377
+ 0.3333333333333333,
378
+ 0.3333333333333333,
379
+ 0.3333333333333333,
380
+ 0.3333333333333333,
381
+ 0.3333333333333333,
382
+ 0.3333333333333333,
383
+ 0.3333333333333333,
384
+ 0.3333333333333333,
385
+ 0.3333333333333333,
386
+ 0.3333333333333333,
387
+ 0.3333333333333333,
388
+ 0.3333333333333333,
389
+ 0.3333333333333333,
390
+ 0.3333333333333333,
391
+ 0.3333333333333333,
392
+ 0.3333333333333333,
393
+ 0.3333333333333333,
394
+ 0.3333333333333333,
395
+ 0.3333333333333333,
396
+ 0.3333333333333333,
397
+ 0.3333333333333333,
398
+ 0.3333333333333333,
399
+ 0.3333333333333333,
400
+ 0.3333333333333333,
401
+ 0.3333333333333333,
402
+ 0.3333333333333333,
403
+ 0.3333333333333333,
404
+ 0.3333333333333333,
405
+ 0.3333333333333333,
406
+ 0.3333333333333333,
407
+ 0.3333333333333333,
408
+ 0.3333333333333333,
409
+ 0.3333333333333333,
410
+ 0.3333333333333333,
411
+ 0.3333333333333333,
412
+ 0.3333333333333333,
413
+ 0.3333333333333333,
414
+ 0.3333333333333333,
415
+ 0.3333333333333333,
416
+ 0.3333333333333333,
417
+ 0.3333333333333333,
418
+ 0.3333333333333333,
419
+ 0.3333333333333333,
420
+ 0.3333333333333333,
421
+ 0.3333333333333333,
422
+ 0.3333333333333333,
423
+ 0.3333333333333333,
424
+ 0.3333333333333333,
425
+ 0.3333333333333333,
426
+ 0.3333333333333333,
427
+ 0.3333333333333333,
428
+ 0.3333333333333333,
429
+ 0.3333333333333333,
430
+ 0.3333333333333333,
431
+ 0.3333333333333333,
432
+ 0.3333333333333333,
433
+ 0.3333333333333333,
434
+ 0.3333333333333333,
435
+ 0.3333333333333333,
436
+ 0.3333333333333333,
437
+ 0.3333333333333333,
438
+ 0.3333333333333333,
439
+ 0.3333333333333333,
440
+ 0.3333333333333333,
441
+ 0.3333333333333333,
442
+ 0.3333333333333333,
443
+ 0.3333333333333333,
444
+ 0.3333333333333333,
445
+ 0.3333333333333333,
446
+ 0.3333333333333333,
447
+ 0.3333333333333333,
448
+ 0.6666666666666666,
449
+ 0.6666666666666666,
450
+ 0.6666666666666666,
451
+ 1.0
452
+ ],
453
+ "eval_runtime": 1.1991,
454
+ "eval_samples_per_second": 342.769,
455
+ "eval_steps_per_second": 10.842,
456
+ "step": 610
457
+ },
458
+ {
459
+ "epoch": 3.0,
460
+ "eval_accuracy": 0.9951338199513382,
461
+ "eval_aupr": 0.8345498783454988,
462
+ "eval_f1": 0.5,
463
+ "eval_loss": 0.031456999480724335,
464
+ "eval_precision": 1.0,
465
+ "eval_precision_at_80_recall": 0.6029197080291968,
466
+ "eval_precision_at_90_recall": 0.3051094890510947,
467
+ "eval_precisions": [
468
+ 1.0,
469
+ 1.0,
470
+ 1.0,
471
+ 1.0,
472
+ 1.0,
473
+ 1.0,
474
+ 1.0,
475
+ 1.0,
476
+ 1.0,
477
+ 1.0,
478
+ 1.0,
479
+ 1.0,
480
+ 1.0,
481
+ 1.0,
482
+ 1.0,
483
+ 1.0,
484
+ 1.0,
485
+ 1.0,
486
+ 1.0,
487
+ 1.0,
488
+ 1.0,
489
+ 1.0,
490
+ 1.0,
491
+ 1.0,
492
+ 1.0,
493
+ 1.0,
494
+ 1.0,
495
+ 1.0,
496
+ 1.0,
497
+ 1.0,
498
+ 1.0,
499
+ 1.0,
500
+ 1.0,
501
+ 1.0,
502
+ 1.0,
503
+ 1.0,
504
+ 1.0,
505
+ 1.0,
506
+ 1.0,
507
+ 1.0,
508
+ 1.0,
509
+ 1.0,
510
+ 1.0,
511
+ 1.0,
512
+ 1.0,
513
+ 1.0,
514
+ 1.0,
515
+ 1.0,
516
+ 1.0,
517
+ 1.0,
518
+ 1.0,
519
+ 1.0,
520
+ 1.0,
521
+ 1.0,
522
+ 1.0,
523
+ 1.0,
524
+ 1.0,
525
+ 1.0,
526
+ 1.0,
527
+ 1.0,
528
+ 1.0,
529
+ 1.0,
530
+ 1.0,
531
+ 1.0,
532
+ 1.0,
533
+ 1.0,
534
+ 1.0,
535
+ 1.0,
536
+ 1.0,
537
+ 1.0,
538
+ 1.0,
539
+ 1.0,
540
+ 1.0,
541
+ 1.0,
542
+ 1.0,
543
+ 1.0,
544
+ 1.0,
545
+ 1.0,
546
+ 1.0,
547
+ 1.0,
548
+ 1.0,
549
+ 1.0,
550
+ 1.0,
551
+ 1.0,
552
+ 1.0,
553
+ 1.0,
554
+ 1.0,
555
+ 1.0,
556
+ 1.0,
557
+ 1.0,
558
+ 1.0,
559
+ 1.0,
560
+ 1.0,
561
+ 1.0,
562
+ 1.0,
563
+ 1.0,
564
+ 1.0,
565
+ 1.0,
566
+ 1.0,
567
+ 1.0,
568
+ 0.0072992700729927005
569
+ ],
570
+ "eval_recall": 0.3333333333333333,
571
+ "eval_recalls": [
572
+ 0.0,
573
+ 0.3333333333333333,
574
+ 0.3333333333333333,
575
+ 0.3333333333333333,
576
+ 0.3333333333333333,
577
+ 0.3333333333333333,
578
+ 0.3333333333333333,
579
+ 0.3333333333333333,
580
+ 0.3333333333333333,
581
+ 0.3333333333333333,
582
+ 0.3333333333333333,
583
+ 0.3333333333333333,
584
+ 0.3333333333333333,
585
+ 0.3333333333333333,
586
+ 0.3333333333333333,
587
+ 0.3333333333333333,
588
+ 0.3333333333333333,
589
+ 0.3333333333333333,
590
+ 0.3333333333333333,
591
+ 0.3333333333333333,
592
+ 0.3333333333333333,
593
+ 0.3333333333333333,
594
+ 0.3333333333333333,
595
+ 0.3333333333333333,
596
+ 0.3333333333333333,
597
+ 0.3333333333333333,
598
+ 0.3333333333333333,
599
+ 0.3333333333333333,
600
+ 0.3333333333333333,
601
+ 0.3333333333333333,
602
+ 0.3333333333333333,
603
+ 0.3333333333333333,
604
+ 0.3333333333333333,
605
+ 0.3333333333333333,
606
+ 0.3333333333333333,
607
+ 0.3333333333333333,
608
+ 0.3333333333333333,
609
+ 0.3333333333333333,
610
+ 0.3333333333333333,
611
+ 0.3333333333333333,
612
+ 0.3333333333333333,
613
+ 0.3333333333333333,
614
+ 0.3333333333333333,
615
+ 0.3333333333333333,
616
+ 0.3333333333333333,
617
+ 0.3333333333333333,
618
+ 0.3333333333333333,
619
+ 0.3333333333333333,
620
+ 0.3333333333333333,
621
+ 0.3333333333333333,
622
+ 0.3333333333333333,
623
+ 0.3333333333333333,
624
+ 0.3333333333333333,
625
+ 0.3333333333333333,
626
+ 0.3333333333333333,
627
+ 0.3333333333333333,
628
+ 0.3333333333333333,
629
+ 0.3333333333333333,
630
+ 0.3333333333333333,
631
+ 0.3333333333333333,
632
+ 0.3333333333333333,
633
+ 0.3333333333333333,
634
+ 0.3333333333333333,
635
+ 0.3333333333333333,
636
+ 0.3333333333333333,
637
+ 0.3333333333333333,
638
+ 0.3333333333333333,
639
+ 0.3333333333333333,
640
+ 0.3333333333333333,
641
+ 0.3333333333333333,
642
+ 0.3333333333333333,
643
+ 0.3333333333333333,
644
+ 0.3333333333333333,
645
+ 0.3333333333333333,
646
+ 0.3333333333333333,
647
+ 0.3333333333333333,
648
+ 0.3333333333333333,
649
+ 0.3333333333333333,
650
+ 0.3333333333333333,
651
+ 0.3333333333333333,
652
+ 0.3333333333333333,
653
+ 0.3333333333333333,
654
+ 0.3333333333333333,
655
+ 0.3333333333333333,
656
+ 0.3333333333333333,
657
+ 0.3333333333333333,
658
+ 0.3333333333333333,
659
+ 0.3333333333333333,
660
+ 0.3333333333333333,
661
+ 0.3333333333333333,
662
+ 0.3333333333333333,
663
+ 0.3333333333333333,
664
+ 0.3333333333333333,
665
+ 0.3333333333333333,
666
+ 0.3333333333333333,
667
+ 0.3333333333333333,
668
+ 0.3333333333333333,
669
+ 0.3333333333333333,
670
+ 0.3333333333333333,
671
+ 0.6666666666666666,
672
+ 1.0
673
+ ],
674
+ "eval_runtime": 1.1986,
675
+ "eval_samples_per_second": 342.896,
676
+ "eval_steps_per_second": 10.846,
677
+ "step": 915
678
+ },
679
+ {
680
+ "epoch": 3.28,
681
+ "learning_rate": 1.8032786885245903e-06,
682
+ "loss": 0.0017,
683
+ "step": 1000
684
+ },
685
+ {
686
+ "epoch": 4.0,
687
+ "eval_accuracy": 0.9951338199513382,
688
+ "eval_aupr": 0.6690997566909976,
689
+ "eval_f1": 0.5,
690
+ "eval_loss": 0.03445501998066902,
691
+ "eval_precision": 1.0,
692
+ "eval_precision_at_80_recall": 0.3051094890510948,
693
+ "eval_precision_at_90_recall": 0.1562043795620438,
694
+ "eval_precisions": [
695
+ 1.0,
696
+ 1.0,
697
+ 1.0,
698
+ 1.0,
699
+ 1.0,
700
+ 1.0,
701
+ 1.0,
702
+ 1.0,
703
+ 1.0,
704
+ 1.0,
705
+ 1.0,
706
+ 1.0,
707
+ 1.0,
708
+ 1.0,
709
+ 1.0,
710
+ 1.0,
711
+ 1.0,
712
+ 1.0,
713
+ 1.0,
714
+ 1.0,
715
+ 1.0,
716
+ 1.0,
717
+ 1.0,
718
+ 1.0,
719
+ 1.0,
720
+ 1.0,
721
+ 1.0,
722
+ 1.0,
723
+ 1.0,
724
+ 1.0,
725
+ 1.0,
726
+ 1.0,
727
+ 1.0,
728
+ 1.0,
729
+ 1.0,
730
+ 1.0,
731
+ 1.0,
732
+ 1.0,
733
+ 1.0,
734
+ 1.0,
735
+ 1.0,
736
+ 1.0,
737
+ 1.0,
738
+ 1.0,
739
+ 1.0,
740
+ 1.0,
741
+ 1.0,
742
+ 1.0,
743
+ 1.0,
744
+ 1.0,
745
+ 1.0,
746
+ 1.0,
747
+ 1.0,
748
+ 1.0,
749
+ 1.0,
750
+ 1.0,
751
+ 1.0,
752
+ 1.0,
753
+ 1.0,
754
+ 1.0,
755
+ 1.0,
756
+ 1.0,
757
+ 1.0,
758
+ 1.0,
759
+ 1.0,
760
+ 1.0,
761
+ 1.0,
762
+ 1.0,
763
+ 1.0,
764
+ 1.0,
765
+ 1.0,
766
+ 1.0,
767
+ 1.0,
768
+ 1.0,
769
+ 1.0,
770
+ 1.0,
771
+ 1.0,
772
+ 1.0,
773
+ 1.0,
774
+ 1.0,
775
+ 1.0,
776
+ 1.0,
777
+ 1.0,
778
+ 1.0,
779
+ 1.0,
780
+ 1.0,
781
+ 1.0,
782
+ 1.0,
783
+ 1.0,
784
+ 1.0,
785
+ 1.0,
786
+ 1.0,
787
+ 1.0,
788
+ 1.0,
789
+ 1.0,
790
+ 1.0,
791
+ 1.0,
792
+ 1.0,
793
+ 1.0,
794
+ 1.0,
795
+ 0.0072992700729927005
796
+ ],
797
+ "eval_recall": 0.3333333333333333,
798
+ "eval_recalls": [
799
+ 0.0,
800
+ 0.3333333333333333,
801
+ 0.3333333333333333,
802
+ 0.3333333333333333,
803
+ 0.3333333333333333,
804
+ 0.3333333333333333,
805
+ 0.3333333333333333,
806
+ 0.3333333333333333,
807
+ 0.3333333333333333,
808
+ 0.3333333333333333,
809
+ 0.3333333333333333,
810
+ 0.3333333333333333,
811
+ 0.3333333333333333,
812
+ 0.3333333333333333,
813
+ 0.3333333333333333,
814
+ 0.3333333333333333,
815
+ 0.3333333333333333,
816
+ 0.3333333333333333,
817
+ 0.3333333333333333,
818
+ 0.3333333333333333,
819
+ 0.3333333333333333,
820
+ 0.3333333333333333,
821
+ 0.3333333333333333,
822
+ 0.3333333333333333,
823
+ 0.3333333333333333,
824
+ 0.3333333333333333,
825
+ 0.3333333333333333,
826
+ 0.3333333333333333,
827
+ 0.3333333333333333,
828
+ 0.3333333333333333,
829
+ 0.3333333333333333,
830
+ 0.3333333333333333,
831
+ 0.3333333333333333,
832
+ 0.3333333333333333,
833
+ 0.3333333333333333,
834
+ 0.3333333333333333,
835
+ 0.3333333333333333,
836
+ 0.3333333333333333,
837
+ 0.3333333333333333,
838
+ 0.3333333333333333,
839
+ 0.3333333333333333,
840
+ 0.3333333333333333,
841
+ 0.3333333333333333,
842
+ 0.3333333333333333,
843
+ 0.3333333333333333,
844
+ 0.3333333333333333,
845
+ 0.3333333333333333,
846
+ 0.3333333333333333,
847
+ 0.3333333333333333,
848
+ 0.3333333333333333,
849
+ 0.3333333333333333,
850
+ 0.3333333333333333,
851
+ 0.3333333333333333,
852
+ 0.3333333333333333,
853
+ 0.3333333333333333,
854
+ 0.3333333333333333,
855
+ 0.3333333333333333,
856
+ 0.3333333333333333,
857
+ 0.3333333333333333,
858
+ 0.3333333333333333,
859
+ 0.3333333333333333,
860
+ 0.3333333333333333,
861
+ 0.3333333333333333,
862
+ 0.3333333333333333,
863
+ 0.3333333333333333,
864
+ 0.3333333333333333,
865
+ 0.3333333333333333,
866
+ 0.3333333333333333,
867
+ 0.3333333333333333,
868
+ 0.3333333333333333,
869
+ 0.3333333333333333,
870
+ 0.3333333333333333,
871
+ 0.3333333333333333,
872
+ 0.3333333333333333,
873
+ 0.3333333333333333,
874
+ 0.3333333333333333,
875
+ 0.3333333333333333,
876
+ 0.3333333333333333,
877
+ 0.3333333333333333,
878
+ 0.3333333333333333,
879
+ 0.3333333333333333,
880
+ 0.3333333333333333,
881
+ 0.3333333333333333,
882
+ 0.3333333333333333,
883
+ 0.3333333333333333,
884
+ 0.3333333333333333,
885
+ 0.3333333333333333,
886
+ 0.3333333333333333,
887
+ 0.3333333333333333,
888
+ 0.3333333333333333,
889
+ 0.3333333333333333,
890
+ 0.3333333333333333,
891
+ 0.3333333333333333,
892
+ 0.3333333333333333,
893
+ 0.3333333333333333,
894
+ 0.3333333333333333,
895
+ 0.3333333333333333,
896
+ 0.3333333333333333,
897
+ 0.3333333333333333,
898
+ 0.3333333333333333,
899
+ 1.0
900
+ ],
901
+ "eval_runtime": 1.1994,
902
+ "eval_samples_per_second": 342.662,
903
+ "eval_steps_per_second": 10.838,
904
+ "step": 1220
905
+ },
906
+ {
907
+ "epoch": 4.0,
908
+ "step": 1220,
909
+ "total_flos": 2240431233604020.0,
910
+ "train_loss": 0.02893544582069897,
911
+ "train_runtime": 199.0102,
912
+ "train_samples_per_second": 147.108,
913
+ "train_steps_per_second": 6.13
914
+ }
915
+ ],
916
+ "max_steps": 1220,
917
+ "num_train_epochs": 4,
918
+ "total_flos": 2240431233604020.0,
919
+ "trial_name": null,
920
+ "trial_params": null
921
+ }