Hugging Face's logo

Ar4l
/
DebertaV2-Base-10M_fwedu-A__boolq

Safetensors
deberta-v2
Model card Files Community
Ar4l commited on
Commit
965c27f
•
1 Parent(s): 8946da2

Upload folder using huggingface_hub

Browse files
Files changed (21) hide show
  1. all_results.json +17 -0
  2. checkpoint-4716/config.json +33 -0
  3. checkpoint-4716/model.safetensors +3 -0
  4. checkpoint-4716/optimizer.pt +3 -0
  5. checkpoint-4716/rng_state.pth +3 -0
  6. checkpoint-4716/scheduler.pt +3 -0
  7. checkpoint-4716/special_tokens_map.json +30 -0
  8. checkpoint-4716/tokenizer.json +0 -0
  9. checkpoint-4716/tokenizer_config.json +67 -0
  10. checkpoint-4716/trainer_state.json +149 -0
  11. checkpoint-4716/training_args.bin +3 -0
  12. config.json +33 -0
  13. eval_results.json +11 -0
  14. model.safetensors +3 -0
  15. predictions.txt +1636 -0
  16. special_tokens_map.json +30 -0
  17. tokenizer.json +0 -0
  18. tokenizer_config.json +67 -0
  19. train_results.json +9 -0
  20. trainer_state.json +240 -0
  21. training_args.bin +3 -0
all_results.json ADDED
@@ -0,0 +1,17 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 7.0,
3
+ "eval_accuracy": 0.7039755582809448,
4
+ "eval_f1": 0.7884615384615384,
5
+ "eval_loss": 0.7751796245574951,
6
+ "eval_mcc": 0.3197717100660696,
7
+ "eval_runtime": 2.7199,
8
+ "eval_samples": 1635,
9
+ "eval_samples_per_second": 601.122,
10
+ "eval_steps_per_second": 75.37,
11
+ "total_flos": 3893201765612544.0,
12
+ "train_loss": 0.43125597612793976,
13
+ "train_runtime": 554.1638,
14
+ "train_samples": 9427,
15
+ "train_samples_per_second": 340.224,
16
+ "train_steps_per_second": 42.551
17
+ }
checkpoint-4716/config.json ADDED
@@ -0,0 +1,33 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/home/ubuntu/utah/babylm-24/data/training/models/10M_babylm_ascii/SPM-Unigram_6144/DebertaV2-Base-10M_babylm-A",
3
+ "architectures": [
4
+ "DebertaV2ForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "hidden_act": "gelu",
8
+ "hidden_dropout_prob": 0.1,
9
+ "hidden_size": 768,
10
+ "initializer_range": 0.02,
11
+ "intermediate_size": 1536,
12
+ "label2id": {
13
+ "0": 0,
14
+ "1": 1
15
+ },
16
+ "layer_norm_eps": 1e-07,
17
+ "max_position_embeddings": 512,
18
+ "max_relative_positions": -1,
19
+ "model_type": "deberta-v2",
20
+ "num_attention_heads": 12,
21
+ "num_hidden_layers": 8,
22
+ "pad_token_id": 3,
23
+ "pooler_dropout": 0,
24
+ "pooler_hidden_act": "gelu",
25
+ "pooler_hidden_size": 768,
26
+ "pos_att_type": null,
27
+ "position_biased_input": true,
28
+ "relative_attention": false,
29
+ "torch_dtype": "float32",
30
+ "transformers_version": "4.44.2",
31
+ "type_vocab_size": 0,
32
+ "vocab_size": 6144
33
+ }
checkpoint-4716/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:72991126940f57b5f96c48241094f72021a9177cd4640244be92075afe8c6f12
3
+ size 174103504
checkpoint-4716/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f3d1431a2e060b066244cf6325514c7688d1b306f9ae539a867c0d32c916ef7e
3
+ size 348288250
checkpoint-4716/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6201cfa402c411d3e690416ffc136c5f8105f6b7a50bda8e68ab75e32204a2ee
3
+ size 14244
checkpoint-4716/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:51a1ce23f909b8bccef8e97db0de33f8f2493a6fe87955fa457ee4d6a88ee73a
3
+ size 1064
checkpoint-4716/special_tokens_map.json ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ }
30
+ }
checkpoint-4716/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-4716/tokenizer_config.json ADDED
@@ -0,0 +1,67 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[UNK]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "[CLS]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[SEP]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[PAD]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ },
43
+ "5": {
44
+ "content": "[PAR]",
45
+ "lstrip": false,
46
+ "normalized": false,
47
+ "rstrip": false,
48
+ "single_word": false,
49
+ "special": true
50
+ },
51
+ "6": {
52
+ "content": "[TAB]",
53
+ "lstrip": false,
54
+ "normalized": false,
55
+ "rstrip": false,
56
+ "single_word": false,
57
+ "special": true
58
+ }
59
+ },
60
+ "clean_up_tokenization_spaces": false,
61
+ "cls_token": "[CLS]",
62
+ "mask_token": "[MASK]",
63
+ "model_max_length": 1000000000000000019884624838656,
64
+ "pad_token": "[PAD]",
65
+ "sep_token": "[SEP]",
66
+ "tokenizer_class": "PreTrainedTokenizerFast"
67
+ }
checkpoint-4716/trainer_state.json ADDED
@@ -0,0 +1,149 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.7884615384615384,
3
+ "best_model_checkpoint": "/home/ubuntu/utah/babylm-24/src/evaluation/results/finetune/DebertaV2-Base-10M_babylm-A/boolq/checkpoint-4716",
4
+ "epoch": 4.0,
5
+ "eval_steps": 500,
6
+ "global_step": 4716,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.42408821034775235,
13
+ "grad_norm": 4.898578643798828,
14
+ "learning_rate": 9.787955894826124e-06,
15
+ "loss": 0.669,
16
+ "step": 500
17
+ },
18
+ {
19
+ "epoch": 0.8481764206955047,
20
+ "grad_norm": 2.427595615386963,
21
+ "learning_rate": 9.575911789652248e-06,
22
+ "loss": 0.6535,
23
+ "step": 1000
24
+ },
25
+ {
26
+ "epoch": 1.0,
27
+ "eval_accuracy": 0.6513761281967163,
28
+ "eval_f1": 0.7812739831158864,
29
+ "eval_loss": 0.6350241899490356,
30
+ "eval_mcc": 0.1190648771022687,
31
+ "eval_runtime": 2.7173,
32
+ "eval_samples_per_second": 601.699,
33
+ "eval_steps_per_second": 75.442,
34
+ "step": 1179
35
+ },
36
+ {
37
+ "epoch": 1.272264631043257,
38
+ "grad_norm": 3.5514039993286133,
39
+ "learning_rate": 9.363867684478373e-06,
40
+ "loss": 0.6279,
41
+ "step": 1500
42
+ },
43
+ {
44
+ "epoch": 1.6963528413910094,
45
+ "grad_norm": 6.262450218200684,
46
+ "learning_rate": 9.151823579304497e-06,
47
+ "loss": 0.6019,
48
+ "step": 2000
49
+ },
50
+ {
51
+ "epoch": 2.0,
52
+ "eval_accuracy": 0.6446483135223389,
53
+ "eval_f1": 0.7172749391727494,
54
+ "eval_loss": 0.6267324090003967,
55
+ "eval_mcc": 0.23986158954968526,
56
+ "eval_runtime": 2.7281,
57
+ "eval_samples_per_second": 599.313,
58
+ "eval_steps_per_second": 75.143,
59
+ "step": 2358
60
+ },
61
+ {
62
+ "epoch": 2.1204410517387617,
63
+ "grad_norm": 10.400861740112305,
64
+ "learning_rate": 8.93977947413062e-06,
65
+ "loss": 0.5841,
66
+ "step": 2500
67
+ },
68
+ {
69
+ "epoch": 2.544529262086514,
70
+ "grad_norm": 6.1930718421936035,
71
+ "learning_rate": 8.727735368956744e-06,
72
+ "loss": 0.5239,
73
+ "step": 3000
74
+ },
75
+ {
76
+ "epoch": 2.9686174724342664,
77
+ "grad_norm": 9.404278755187988,
78
+ "learning_rate": 8.515691263782867e-06,
79
+ "loss": 0.5263,
80
+ "step": 3500
81
+ },
82
+ {
83
+ "epoch": 3.0,
84
+ "eval_accuracy": 0.6709480285644531,
85
+ "eval_f1": 0.738581146744412,
86
+ "eval_loss": 0.6594865322113037,
87
+ "eval_mcc": 0.2953818504855689,
88
+ "eval_runtime": 2.7221,
89
+ "eval_samples_per_second": 600.629,
90
+ "eval_steps_per_second": 75.308,
91
+ "step": 3537
92
+ },
93
+ {
94
+ "epoch": 3.392705682782019,
95
+ "grad_norm": 8.5890474319458,
96
+ "learning_rate": 8.303647158608991e-06,
97
+ "loss": 0.4231,
98
+ "step": 4000
99
+ },
100
+ {
101
+ "epoch": 3.816793893129771,
102
+ "grad_norm": 19.422046661376953,
103
+ "learning_rate": 8.091603053435115e-06,
104
+ "loss": 0.4158,
105
+ "step": 4500
106
+ },
107
+ {
108
+ "epoch": 4.0,
109
+ "eval_accuracy": 0.7039755582809448,
110
+ "eval_f1": 0.7884615384615384,
111
+ "eval_loss": 0.7751796245574951,
112
+ "eval_mcc": 0.3197717100660696,
113
+ "eval_runtime": 2.7784,
114
+ "eval_samples_per_second": 588.466,
115
+ "eval_steps_per_second": 73.783,
116
+ "step": 4716
117
+ }
118
+ ],
119
+ "logging_steps": 500,
120
+ "max_steps": 23580,
121
+ "num_input_tokens_seen": 0,
122
+ "num_train_epochs": 20,
123
+ "save_steps": 500,
124
+ "stateful_callbacks": {
125
+ "EarlyStoppingCallback": {
126
+ "args": {
127
+ "early_stopping_patience": 3,
128
+ "early_stopping_threshold": 0.001
129
+ },
130
+ "attributes": {
131
+ "early_stopping_patience_counter": 0
132
+ }
133
+ },
134
+ "TrainerControl": {
135
+ "args": {
136
+ "should_epoch_stop": false,
137
+ "should_evaluate": false,
138
+ "should_log": false,
139
+ "should_save": true,
140
+ "should_training_stop": false
141
+ },
142
+ "attributes": {}
143
+ }
144
+ },
145
+ "total_flos": 2224686723207168.0,
146
+ "train_batch_size": 8,
147
+ "trial_name": null,
148
+ "trial_params": null
149
+ }
checkpoint-4716/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:040eec4403fe3b365b1fc915402fb6d0e94ab777527ef61aa25289998c8c39c5
3
+ size 5368
config.json ADDED
@@ -0,0 +1,33 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/home/ubuntu/utah/babylm-24/data/training/models/10M_babylm_ascii/SPM-Unigram_6144/DebertaV2-Base-10M_babylm-A",
3
+ "architectures": [
4
+ "DebertaV2ForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "hidden_act": "gelu",
8
+ "hidden_dropout_prob": 0.1,
9
+ "hidden_size": 768,
10
+ "initializer_range": 0.02,
11
+ "intermediate_size": 1536,
12
+ "label2id": {
13
+ "0": 0,
14
+ "1": 1
15
+ },
16
+ "layer_norm_eps": 1e-07,
17
+ "max_position_embeddings": 512,
18
+ "max_relative_positions": -1,
19
+ "model_type": "deberta-v2",
20
+ "num_attention_heads": 12,
21
+ "num_hidden_layers": 8,
22
+ "pad_token_id": 3,
23
+ "pooler_dropout": 0,
24
+ "pooler_hidden_act": "gelu",
25
+ "pooler_hidden_size": 768,
26
+ "pos_att_type": null,
27
+ "position_biased_input": true,
28
+ "relative_attention": false,
29
+ "torch_dtype": "float32",
30
+ "transformers_version": "4.44.2",
31
+ "type_vocab_size": 0,
32
+ "vocab_size": 6144
33
+ }
eval_results.json ADDED
@@ -0,0 +1,11 @@
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 7.0,
3
+ "eval_accuracy": 0.7039755582809448,
4
+ "eval_f1": 0.7884615384615384,
5
+ "eval_loss": 0.7751796245574951,
6
+ "eval_mcc": 0.3197717100660696,
7
+ "eval_runtime": 2.7199,
8
+ "eval_samples": 1635,
9
+ "eval_samples_per_second": 601.122,
10
+ "eval_steps_per_second": 75.37
11
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:72991126940f57b5f96c48241094f72021a9177cd4640244be92075afe8c6f12
3
+ size 174103504
predictions.txt ADDED
@@ -0,0 +1,1636 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ index prediction
2
+ 0 1
3
+ 1 1
4
+ 2 1
5
+ 3 1
6
+ 4 0
7
+ 5 1
8
+ 6 1
9
+ 7 1
10
+ 8 1
11
+ 9 0
12
+ 10 1
13
+ 11 0
14
+ 12 0
15
+ 13 1
16
+ 14 0
17
+ 15 1
18
+ 16 1
19
+ 17 1
20
+ 18 1
21
+ 19 1
22
+ 20 0
23
+ 21 1
24
+ 22 1
25
+ 23 0
26
+ 24 1
27
+ 25 0
28
+ 26 1
29
+ 27 1
30
+ 28 0
31
+ 29 0
32
+ 30 1
33
+ 31 1
34
+ 32 1
35
+ 33 1
36
+ 34 1
37
+ 35 1
38
+ 36 1
39
+ 37 1
40
+ 38 1
41
+ 39 0
42
+ 40 1
43
+ 41 1
44
+ 42 1
45
+ 43 0
46
+ 44 0
47
+ 45 1
48
+ 46 0
49
+ 47 1
50
+ 48 1
51
+ 49 1
52
+ 50 1
53
+ 51 1
54
+ 52 1
55
+ 53 1
56
+ 54 1
57
+ 55 1
58
+ 56 0
59
+ 57 1
60
+ 58 0
61
+ 59 1
62
+ 60 1
63
+ 61 1
64
+ 62 1
65
+ 63 0
66
+ 64 1
67
+ 65 1
68
+ 66 1
69
+ 67 1
70
+ 68 0
71
+ 69 1
72
+ 70 1
73
+ 71 1
74
+ 72 0
75
+ 73 1
76
+ 74 1
77
+ 75 1
78
+ 76 0
79
+ 77 1
80
+ 78 1
81
+ 79 1
82
+ 80 1
83
+ 81 0
84
+ 82 1
85
+ 83 1
86
+ 84 0
87
+ 85 1
88
+ 86 1
89
+ 87 1
90
+ 88 1
91
+ 89 1
92
+ 90 1
93
+ 91 1
94
+ 92 0
95
+ 93 0
96
+ 94 0
97
+ 95 1
98
+ 96 1
99
+ 97 1
100
+ 98 1
101
+ 99 1
102
+ 100 1
103
+ 101 1
104
+ 102 1
105
+ 103 1
106
+ 104 1
107
+ 105 0
108
+ 106 1
109
+ 107 1
110
+ 108 1
111
+ 109 0
112
+ 110 1
113
+ 111 1
114
+ 112 1
115
+ 113 1
116
+ 114 1
117
+ 115 1
118
+ 116 1
119
+ 117 1
120
+ 118 1
121
+ 119 1
122
+ 120 1
123
+ 121 0
124
+ 122 0
125
+ 123 1
126
+ 124 1
127
+ 125 1
128
+ 126 0
129
+ 127 1
130
+ 128 1
131
+ 129 0
132
+ 130 0
133
+ 131 1
134
+ 132 1
135
+ 133 1
136
+ 134 0
137
+ 135 0
138
+ 136 0
139
+ 137 0
140
+ 138 0
141
+ 139 1
142
+ 140 0
143
+ 141 1
144
+ 142 1
145
+ 143 0
146
+ 144 1
147
+ 145 1
148
+ 146 1
149
+ 147 1
150
+ 148 1
151
+ 149 1
152
+ 150 1
153
+ 151 0
154
+ 152 1
155
+ 153 1
156
+ 154 1
157
+ 155 1
158
+ 156 1
159
+ 157 0
160
+ 158 0
161
+ 159 1
162
+ 160 1
163
+ 161 1
164
+ 162 1
165
+ 163 0
166
+ 164 1
167
+ 165 0
168
+ 166 1
169
+ 167 1
170
+ 168 1
171
+ 169 1
172
+ 170 1
173
+ 171 0
174
+ 172 0
175
+ 173 1
176
+ 174 1
177
+ 175 1
178
+ 176 1
179
+ 177 1
180
+ 178 1
181
+ 179 0
182
+ 180 0
183
+ 181 1
184
+ 182 1
185
+ 183 1
186
+ 184 0
187
+ 185 1
188
+ 186 1
189
+ 187 1
190
+ 188 0
191
+ 189 1
192
+ 190 1
193
+ 191 1
194
+ 192 1
195
+ 193 1
196
+ 194 1
197
+ 195 0
198
+ 196 1
199
+ 197 0
200
+ 198 1
201
+ 199 1
202
+ 200 1
203
+ 201 1
204
+ 202 1
205
+ 203 1
206
+ 204 1
207
+ 205 1
208
+ 206 1
209
+ 207 1
210
+ 208 1
211
+ 209 1
212
+ 210 1
213
+ 211 1
214
+ 212 1
215
+ 213 1
216
+ 214 1
217
+ 215 0
218
+ 216 0
219
+ 217 0
220
+ 218 1
221
+ 219 0
222
+ 220 1
223
+ 221 0
224
+ 222 1
225
+ 223 1
226
+ 224 1
227
+ 225 1
228
+ 226 1
229
+ 227 1
230
+ 228 1
231
+ 229 1
232
+ 230 1
233
+ 231 0
234
+ 232 1
235
+ 233 1
236
+ 234 1
237
+ 235 1
238
+ 236 0
239
+ 237 1
240
+ 238 0
241
+ 239 1
242
+ 240 0
243
+ 241 0
244
+ 242 1
245
+ 243 0
246
+ 244 1
247
+ 245 1
248
+ 246 1
249
+ 247 0
250
+ 248 1
251
+ 249 1
252
+ 250 1
253
+ 251 1
254
+ 252 0
255
+ 253 1
256
+ 254 1
257
+ 255 1
258
+ 256 1
259
+ 257 1
260
+ 258 1
261
+ 259 1
262
+ 260 1
263
+ 261 1
264
+ 262 0
265
+ 263 1
266
+ 264 1
267
+ 265 1
268
+ 266 1
269
+ 267 1
270
+ 268 1
271
+ 269 1
272
+ 270 1
273
+ 271 1
274
+ 272 1
275
+ 273 1
276
+ 274 0
277
+ 275 1
278
+ 276 0
279
+ 277 1
280
+ 278 1
281
+ 279 0
282
+ 280 1
283
+ 281 1
284
+ 282 1
285
+ 283 1
286
+ 284 1
287
+ 285 0
288
+ 286 1
289
+ 287 1
290
+ 288 0
291
+ 289 0
292
+ 290 0
293
+ 291 1
294
+ 292 1
295
+ 293 1
296
+ 294 1
297
+ 295 1
298
+ 296 1
299
+ 297 1
300
+ 298 1
301
+ 299 1
302
+ 300 1
303
+ 301 1
304
+ 302 1
305
+ 303 0
306
+ 304 1
307
+ 305 0
308
+ 306 0
309
+ 307 1
310
+ 308 1
311
+ 309 1
312
+ 310 1
313
+ 311 1
314
+ 312 1
315
+ 313 1
316
+ 314 1
317
+ 315 1
318
+ 316 1
319
+ 317 1
320
+ 318 1
321
+ 319 1
322
+ 320 1
323
+ 321 0
324
+ 322 1
325
+ 323 1
326
+ 324 1
327
+ 325 1
328
+ 326 0
329
+ 327 0
330
+ 328 0
331
+ 329 1
332
+ 330 1
333
+ 331 1
334
+ 332 1
335
+ 333 1
336
+ 334 1
337
+ 335 1
338
+ 336 1
339
+ 337 1
340
+ 338 0
341
+ 339 1
342
+ 340 1
343
+ 341 1
344
+ 342 1
345
+ 343 1
346
+ 344 1
347
+ 345 1
348
+ 346 1
349
+ 347 1
350
+ 348 0
351
+ 349 1
352
+ 350 1
353
+ 351 1
354
+ 352 1
355
+ 353 1
356
+ 354 1
357
+ 355 1
358
+ 356 1
359
+ 357 1
360
+ 358 0
361
+ 359 1
362
+ 360 0
363
+ 361 1
364
+ 362 1
365
+ 363 1
366
+ 364 1
367
+ 365 1
368
+ 366 1
369
+ 367 1
370
+ 368 0
371
+ 369 1
372
+ 370 0
373
+ 371 1
374
+ 372 1
375
+ 373 0
376
+ 374 1
377
+ 375 0
378
+ 376 1
379
+ 377 1
380
+ 378 0
381
+ 379 1
382
+ 380 0
383
+ 381 0
384
+ 382 1
385
+ 383 1
386
+ 384 1
387
+ 385 1
388
+ 386 1
389
+ 387 1
390
+ 388 1
391
+ 389 1
392
+ 390 1
393
+ 391 0
394
+ 392 1
395
+ 393 1
396
+ 394 1
397
+ 395 1
398
+ 396 0
399
+ 397 1
400
+ 398 0
401
+ 399 1
402
+ 400 1
403
+ 401 1
404
+ 402 0
405
+ 403 1
406
+ 404 1
407
+ 405 1
408
+ 406 1
409
+ 407 1
410
+ 408 1
411
+ 409 1
412
+ 410 1
413
+ 411 1
414
+ 412 0
415
+ 413 0
416
+ 414 1
417
+ 415 1
418
+ 416 1
419
+ 417 1
420
+ 418 0
421
+ 419 0
422
+ 420 0
423
+ 421 1
424
+ 422 1
425
+ 423 1
426
+ 424 0
427
+ 425 1
428
+ 426 1
429
+ 427 0
430
+ 428 1
431
+ 429 0
432
+ 430 0
433
+ 431 1
434
+ 432 0
435
+ 433 1
436
+ 434 0
437
+ 435 1
438
+ 436 0
439
+ 437 1
440
+ 438 1
441
+ 439 1
442
+ 440 1
443
+ 441 1
444
+ 442 1
445
+ 443 0
446
+ 444 1
447
+ 445 1
448
+ 446 1
449
+ 447 1
450
+ 448 0
451
+ 449 1
452
+ 450 1
453
+ 451 1
454
+ 452 0
455
+ 453 1
456
+ 454 0
457
+ 455 0
458
+ 456 1
459
+ 457 0
460
+ 458 1
461
+ 459 1
462
+ 460 1
463
+ 461 0
464
+ 462 0
465
+ 463 1
466
+ 464 1
467
+ 465 0
468
+ 466 1
469
+ 467 1
470
+ 468 1
471
+ 469 1
472
+ 470 1
473
+ 471 1
474
+ 472 1
475
+ 473 1
476
+ 474 1
477
+ 475 1
478
+ 476 1
479
+ 477 1
480
+ 478 1
481
+ 479 1
482
+ 480 1
483
+ 481 1
484
+ 482 0
485
+ 483 1
486
+ 484 0
487
+ 485 1
488
+ 486 0
489
+ 487 1
490
+ 488 1
491
+ 489 1
492
+ 490 1
493
+ 491 1
494
+ 492 1
495
+ 493 1
496
+ 494 1
497
+ 495 1
498
+ 496 1
499
+ 497 0
500
+ 498 1
501
+ 499 1
502
+ 500 0
503
+ 501 1
504
+ 502 1
505
+ 503 1
506
+ 504 1
507
+ 505 0
508
+ 506 1
509
+ 507 1
510
+ 508 0
511
+ 509 1
512
+ 510 1
513
+ 511 0
514
+ 512 0
515
+ 513 1
516
+ 514 1
517
+ 515 1
518
+ 516 1
519
+ 517 1
520
+ 518 1
521
+ 519 1
522
+ 520 0
523
+ 521 1
524
+ 522 1
525
+ 523 0
526
+ 524 1
527
+ 525 1
528
+ 526 1
529
+ 527 1
530
+ 528 1
531
+ 529 1
532
+ 530 1
533
+ 531 1
534
+ 532 1
535
+ 533 0
536
+ 534 0
537
+ 535 0
538
+ 536 0
539
+ 537 1
540
+ 538 1
541
+ 539 1
542
+ 540 1
543
+ 541 0
544
+ 542 1
545
+ 543 0
546
+ 544 1
547
+ 545 1
548
+ 546 1
549
+ 547 0
550
+ 548 1
551
+ 549 0
552
+ 550 1
553
+ 551 1
554
+ 552 0
555
+ 553 1
556
+ 554 1
557
+ 555 0
558
+ 556 0
559
+ 557 1
560
+ 558 1
561
+ 559 0
562
+ 560 1
563
+ 561 1
564
+ 562 1
565
+ 563 1
566
+ 564 1
567
+ 565 1
568
+ 566 1
569
+ 567 1
570
+ 568 1
571
+ 569 1
572
+ 570 0
573
+ 571 1
574
+ 572 1
575
+ 573 1
576
+ 574 1
577
+ 575 1
578
+ 576 1
579
+ 577 1
580
+ 578 0
581
+ 579 1
582
+ 580 1
583
+ 581 1
584
+ 582 1
585
+ 583 1
586
+ 584 1
587
+ 585 1
588
+ 586 1
589
+ 587 1
590
+ 588 1
591
+ 589 1
592
+ 590 1
593
+ 591 0
594
+ 592 1
595
+ 593 1
596
+ 594 1
597
+ 595 1
598
+ 596 1
599
+ 597 1
600
+ 598 1
601
+ 599 1
602
+ 600 0
603
+ 601 1
604
+ 602 0
605
+ 603 1
606
+ 604 0
607
+ 605 1
608
+ 606 1
609
+ 607 0
610
+ 608 0
611
+ 609 1
612
+ 610 1
613
+ 611 0
614
+ 612 1
615
+ 613 0
616
+ 614 1
617
+ 615 0
618
+ 616 0
619
+ 617 1
620
+ 618 1
621
+ 619 1
622
+ 620 1
623
+ 621 1
624
+ 622 1
625
+ 623 1
626
+ 624 1
627
+ 625 1
628
+ 626 1
629
+ 627 1
630
+ 628 1
631
+ 629 1
632
+ 630 1
633
+ 631 0
634
+ 632 1
635
+ 633 1
636
+ 634 1
637
+ 635 1
638
+ 636 0
639
+ 637 1
640
+ 638 1
641
+ 639 1
642
+ 640 1
643
+ 641 1
644
+ 642 1
645
+ 643 1
646
+ 644 1
647
+ 645 1
648
+ 646 1
649
+ 647 0
650
+ 648 1
651
+ 649 1
652
+ 650 1
653
+ 651 1
654
+ 652 1
655
+ 653 0
656
+ 654 1
657
+ 655 1
658
+ 656 0
659
+ 657 0
660
+ 658 1
661
+ 659 1
662
+ 660 1
663
+ 661 1
664
+ 662 1
665
+ 663 1
666
+ 664 1
667
+ 665 1
668
+ 666 0
669
+ 667 1
670
+ 668 1
671
+ 669 0
672
+ 670 1
673
+ 671 1
674
+ 672 1
675
+ 673 1
676
+ 674 1
677
+ 675 1
678
+ 676 1
679
+ 677 0
680
+ 678 0
681
+ 679 1
682
+ 680 1
683
+ 681 1
684
+ 682 1
685
+ 683 1
686
+ 684 0
687
+ 685 1
688
+ 686 1
689
+ 687 1
690
+ 688 0
691
+ 689 1
692
+ 690 1
693
+ 691 1
694
+ 692 1
695
+ 693 1
696
+ 694 1
697
+ 695 0
698
+ 696 1
699
+ 697 1
700
+ 698 0
701
+ 699 1
702
+ 700 0
703
+ 701 0
704
+ 702 1
705
+ 703 1
706
+ 704 1
707
+ 705 1
708
+ 706 1
709
+ 707 0
710
+ 708 1
711
+ 709 0
712
+ 710 1
713
+ 711 1
714
+ 712 1
715
+ 713 1
716
+ 714 0
717
+ 715 1
718
+ 716 1
719
+ 717 1
720
+ 718 1
721
+ 719 0
722
+ 720 1
723
+ 721 1
724
+ 722 1
725
+ 723 0
726
+ 724 0
727
+ 725 1
728
+ 726 1
729
+ 727 0
730
+ 728 1
731
+ 729 1
732
+ 730 0
733
+ 731 1
734
+ 732 1
735
+ 733 1
736
+ 734 1
737
+ 735 1
738
+ 736 0
739
+ 737 1
740
+ 738 1
741
+ 739 1
742
+ 740 1
743
+ 741 1
744
+ 742 1
745
+ 743 1
746
+ 744 1
747
+ 745 1
748
+ 746 1
749
+ 747 1
750
+ 748 1
751
+ 749 0
752
+ 750 1
753
+ 751 1
754
+ 752 0
755
+ 753 1
756
+ 754 0
757
+ 755 1
758
+ 756 1
759
+ 757 1
760
+ 758 0
761
+ 759 1
762
+ 760 1
763
+ 761 0
764
+ 762 1
765
+ 763 1
766
+ 764 1
767
+ 765 1
768
+ 766 1
769
+ 767 1
770
+ 768 1
771
+ 769 1
772
+ 770 1
773
+ 771 0
774
+ 772 1
775
+ 773 1
776
+ 774 1
777
+ 775 1
778
+ 776 1
779
+ 777 1
780
+ 778 1
781
+ 779 1
782
+ 780 1
783
+ 781 1
784
+ 782 1
785
+ 783 1
786
+ 784 1
787
+ 785 1
788
+ 786 0
789
+ 787 1
790
+ 788 1
791
+ 789 1
792
+ 790 1
793
+ 791 1
794
+ 792 0
795
+ 793 1
796
+ 794 0
797
+ 795 0
798
+ 796 1
799
+ 797 1
800
+ 798 1
801
+ 799 1
802
+ 800 0
803
+ 801 1
804
+ 802 1
805
+ 803 1
806
+ 804 1
807
+ 805 0
808
+ 806 1
809
+ 807 1
810
+ 808 1
811
+ 809 1
812
+ 810 1
813
+ 811 1
814
+ 812 0
815
+ 813 1
816
+ 814 1
817
+ 815 1
818
+ 816 1
819
+ 817 1
820
+ 818 1
821
+ 819 0
822
+ 820 1
823
+ 821 0
824
+ 822 1
825
+ 823 1
826
+ 824 1
827
+ 825 1
828
+ 826 1
829
+ 827 1
830
+ 828 1
831
+ 829 1
832
+ 830 1
833
+ 831 1
834
+ 832 0
835
+ 833 0
836
+ 834 1
837
+ 835 1
838
+ 836 1
839
+ 837 1
840
+ 838 1
841
+ 839 1
842
+ 840 1
843
+ 841 0
844
+ 842 1
845
+ 843 1
846
+ 844 1
847
+ 845 1
848
+ 846 1
849
+ 847 1
850
+ 848 1
851
+ 849 1
852
+ 850 1
853
+ 851 1
854
+ 852 1
855
+ 853 0
856
+ 854 1
857
+ 855 0
858
+ 856 1
859
+ 857 0
860
+ 858 1
861
+ 859 1
862
+ 860 1
863
+ 861 1
864
+ 862 1
865
+ 863 1
866
+ 864 1
867
+ 865 0
868
+ 866 1
869
+ 867 0
870
+ 868 1
871
+ 869 1
872
+ 870 0
873
+ 871 1
874
+ 872 0
875
+ 873 1
876
+ 874 0
877
+ 875 0
878
+ 876 1
879
+ 877 0
880
+ 878 1
881
+ 879 0
882
+ 880 1
883
+ 881 1
884
+ 882 1
885
+ 883 1
886
+ 884 1
887
+ 885 1
888
+ 886 1
889
+ 887 1
890
+ 888 1
891
+ 889 0
892
+ 890 0
893
+ 891 1
894
+ 892 1
895
+ 893 1
896
+ 894 1
897
+ 895 0
898
+ 896 1
899
+ 897 1
900
+ 898 1
901
+ 899 1
902
+ 900 0
903
+ 901 1
904
+ 902 0
905
+ 903 1
906
+ 904 1
907
+ 905 1
908
+ 906 1
909
+ 907 1
910
+ 908 1
911
+ 909 1
912
+ 910 1
913
+ 911 1
914
+ 912 0
915
+ 913 1
916
+ 914 1
917
+ 915 1
918
+ 916 1
919
+ 917 0
920
+ 918 1
921
+ 919 0
922
+ 920 1
923
+ 921 0
924
+ 922 1
925
+ 923 1
926
+ 924 1
927
+ 925 1
928
+ 926 0
929
+ 927 1
930
+ 928 1
931
+ 929 1
932
+ 930 1
933
+ 931 1
934
+ 932 1
935
+ 933 1
936
+ 934 1
937
+ 935 0
938
+ 936 0
939
+ 937 0
940
+ 938 1
941
+ 939 1
942
+ 940 0
943
+ 941 1
944
+ 942 1
945
+ 943 1
946
+ 944 1
947
+ 945 1
948
+ 946 1
949
+ 947 0
950
+ 948 1
951
+ 949 1
952
+ 950 1
953
+ 951 1
954
+ 952 1
955
+ 953 0
956
+ 954 1
957
+ 955 0
958
+ 956 1
959
+ 957 1
960
+ 958 1
961
+ 959 1
962
+ 960 0
963
+ 961 1
964
+ 962 0
965
+ 963 1
966
+ 964 0
967
+ 965 0
968
+ 966 1
969
+ 967 1
970
+ 968 1
971
+ 969 1
972
+ 970 1
973
+ 971 0
974
+ 972 1
975
+ 973 0
976
+ 974 0
977
+ 975 0
978
+ 976 1
979
+ 977 0
980
+ 978 1
981
+ 979 1
982
+ 980 1
983
+ 981 0
984
+ 982 1
985
+ 983 0
986
+ 984 1
987
+ 985 1
988
+ 986 1
989
+ 987 1
990
+ 988 0
991
+ 989 1
992
+ 990 1
993
+ 991 1
994
+ 992 1
995
+ 993 1
996
+ 994 1
997
+ 995 1
998
+ 996 0
999
+ 997 1
1000
+ 998 1
1001
+ 999 0
1002
+ 1000 1
1003
+ 1001 1
1004
+ 1002 1
1005
+ 1003 1
1006
+ 1004 0
1007
+ 1005 1
1008
+ 1006 1
1009
+ 1007 1
1010
+ 1008 1
1011
+ 1009 1
1012
+ 1010 1
1013
+ 1011 1
1014
+ 1012 1
1015
+ 1013 1
1016
+ 1014 1
1017
+ 1015 1
1018
+ 1016 1
1019
+ 1017 1
1020
+ 1018 0
1021
+ 1019 1
1022
+ 1020 1
1023
+ 1021 0
1024
+ 1022 0
1025
+ 1023 1
1026
+ 1024 1
1027
+ 1025 1
1028
+ 1026 1
1029
+ 1027 1
1030
+ 1028 0
1031
+ 1029 0
1032
+ 1030 0
1033
+ 1031 1
1034
+ 1032 0
1035
+ 1033 1
1036
+ 1034 1
1037
+ 1035 1
1038
+ 1036 1
1039
+ 1037 1
1040
+ 1038 0
1041
+ 1039 1
1042
+ 1040 1
1043
+ 1041 0
1044
+ 1042 1
1045
+ 1043 1
1046
+ 1044 0
1047
+ 1045 1
1048
+ 1046 1
1049
+ 1047 1
1050
+ 1048 1
1051
+ 1049 1
1052
+ 1050 0
1053
+ 1051 1
1054
+ 1052 1
1055
+ 1053 1
1056
+ 1054 0
1057
+ 1055 1
1058
+ 1056 1
1059
+ 1057 1
1060
+ 1058 1
1061
+ 1059 0
1062
+ 1060 1
1063
+ 1061 1
1064
+ 1062 1
1065
+ 1063 0
1066
+ 1064 1
1067
+ 1065 1
1068
+ 1066 0
1069
+ 1067 1
1070
+ 1068 1
1071
+ 1069 1
1072
+ 1070 0
1073
+ 1071 0
1074
+ 1072 1
1075
+ 1073 1
1076
+ 1074 1
1077
+ 1075 1
1078
+ 1076 1
1079
+ 1077 1
1080
+ 1078 1
1081
+ 1079 1
1082
+ 1080 0
1083
+ 1081 1
1084
+ 1082 1
1085
+ 1083 1
1086
+ 1084 1
1087
+ 1085 0
1088
+ 1086 0
1089
+ 1087 1
1090
+ 1088 1
1091
+ 1089 1
1092
+ 1090 1
1093
+ 1091 1
1094
+ 1092 1
1095
+ 1093 1
1096
+ 1094 0
1097
+ 1095 0
1098
+ 1096 1
1099
+ 1097 0
1100
+ 1098 1
1101
+ 1099 1
1102
+ 1100 1
1103
+ 1101 1
1104
+ 1102 1
1105
+ 1103 1
1106
+ 1104 1
1107
+ 1105 0
1108
+ 1106 1
1109
+ 1107 1
1110
+ 1108 1
1111
+ 1109 0
1112
+ 1110 0
1113
+ 1111 1
1114
+ 1112 1
1115
+ 1113 1
1116
+ 1114 1
1117
+ 1115 1
1118
+ 1116 1
1119
+ 1117 1
1120
+ 1118 1
1121
+ 1119 1
1122
+ 1120 1
1123
+ 1121 1
1124
+ 1122 1
1125
+ 1123 1
1126
+ 1124 1
1127
+ 1125 1
1128
+ 1126 1
1129
+ 1127 1
1130
+ 1128 1
1131
+ 1129 1
1132
+ 1130 1
1133
+ 1131 1
1134
+ 1132 1
1135
+ 1133 0
1136
+ 1134 0
1137
+ 1135 0
1138
+ 1136 0
1139
+ 1137 1
1140
+ 1138 1
1141
+ 1139 0
1142
+ 1140 1
1143
+ 1141 1
1144
+ 1142 1
1145
+ 1143 1
1146
+ 1144 1
1147
+ 1145 0
1148
+ 1146 1
1149
+ 1147 0
1150
+ 1148 1
1151
+ 1149 0
1152
+ 1150 1
1153
+ 1151 1
1154
+ 1152 1
1155
+ 1153 1
1156
+ 1154 1
1157
+ 1155 0
1158
+ 1156 1
1159
+ 1157 0
1160
+ 1158 0
1161
+ 1159 0
1162
+ 1160 1
1163
+ 1161 1
1164
+ 1162 0
1165
+ 1163 0
1166
+ 1164 1
1167
+ 1165 0
1168
+ 1166 1
1169
+ 1167 0
1170
+ 1168 1
1171
+ 1169 1
1172
+ 1170 1
1173
+ 1171 1
1174
+ 1172 0
1175
+ 1173 1
1176
+ 1174 1
1177
+ 1175 1
1178
+ 1176 1
1179
+ 1177 0
1180
+ 1178 1
1181
+ 1179 0
1182
+ 1180 0
1183
+ 1181 1
1184
+ 1182 1
1185
+ 1183 1
1186
+ 1184 1
1187
+ 1185 0
1188
+ 1186 1
1189
+ 1187 1
1190
+ 1188 1
1191
+ 1189 1
1192
+ 1190 1
1193
+ 1191 1
1194
+ 1192 1
1195
+ 1193 0
1196
+ 1194 1
1197
+ 1195 0
1198
+ 1196 0
1199
+ 1197 0
1200
+ 1198 1
1201
+ 1199 1
1202
+ 1200 1
1203
+ 1201 1
1204
+ 1202 1
1205
+ 1203 1
1206
+ 1204 1
1207
+ 1205 1
1208
+ 1206 1
1209
+ 1207 0
1210
+ 1208 1
1211
+ 1209 1
1212
+ 1210 0
1213
+ 1211 0
1214
+ 1212 1
1215
+ 1213 0
1216
+ 1214 1
1217
+ 1215 1
1218
+ 1216 1
1219
+ 1217 1
1220
+ 1218 1
1221
+ 1219 1
1222
+ 1220 1
1223
+ 1221 0
1224
+ 1222 1
1225
+ 1223 1
1226
+ 1224 1
1227
+ 1225 0
1228
+ 1226 1
1229
+ 1227 0
1230
+ 1228 1
1231
+ 1229 0
1232
+ 1230 1
1233
+ 1231 1
1234
+ 1232 1
1235
+ 1233 1
1236
+ 1234 1
1237
+ 1235 1
1238
+ 1236 1
1239
+ 1237 1
1240
+ 1238 0
1241
+ 1239 1
1242
+ 1240 0
1243
+ 1241 0
1244
+ 1242 1
1245
+ 1243 0
1246
+ 1244 1
1247
+ 1245 1
1248
+ 1246 1
1249
+ 1247 1
1250
+ 1248 1
1251
+ 1249 0
1252
+ 1250 1
1253
+ 1251 1
1254
+ 1252 1
1255
+ 1253 1
1256
+ 1254 0
1257
+ 1255 1
1258
+ 1256 1
1259
+ 1257 1
1260
+ 1258 1
1261
+ 1259 1
1262
+ 1260 1
1263
+ 1261 0
1264
+ 1262 1
1265
+ 1263 1
1266
+ 1264 1
1267
+ 1265 1
1268
+ 1266 0
1269
+ 1267 1
1270
+ 1268 1
1271
+ 1269 1
1272
+ 1270 0
1273
+ 1271 1
1274
+ 1272 0
1275
+ 1273 1
1276
+ 1274 1
1277
+ 1275 1
1278
+ 1276 1
1279
+ 1277 0
1280
+ 1278 0
1281
+ 1279 0
1282
+ 1280 1
1283
+ 1281 1
1284
+ 1282 1
1285
+ 1283 1
1286
+ 1284 1
1287
+ 1285 1
1288
+ 1286 1
1289
+ 1287 1
1290
+ 1288 1
1291
+ 1289 1
1292
+ 1290 1
1293
+ 1291 1
1294
+ 1292 1
1295
+ 1293 0
1296
+ 1294 1
1297
+ 1295 1
1298
+ 1296 1
1299
+ 1297 1
1300
+ 1298 0
1301
+ 1299 1
1302
+ 1300 1
1303
+ 1301 1
1304
+ 1302 1
1305
+ 1303 0
1306
+ 1304 1
1307
+ 1305 0
1308
+ 1306 1
1309
+ 1307 1
1310
+ 1308 1
1311
+ 1309 1
1312
+ 1310 1
1313
+ 1311 1
1314
+ 1312 1
1315
+ 1313 1
1316
+ 1314 1
1317
+ 1315 1
1318
+ 1316 1
1319
+ 1317 1
1320
+ 1318 1
1321
+ 1319 0
1322
+ 1320 0
1323
+ 1321 1
1324
+ 1322 1
1325
+ 1323 0
1326
+ 1324 1
1327
+ 1325 0
1328
+ 1326 1
1329
+ 1327 1
1330
+ 1328 1
1331
+ 1329 1
1332
+ 1330 1
1333
+ 1331 1
1334
+ 1332 1
1335
+ 1333 1
1336
+ 1334 1
1337
+ 1335 0
1338
+ 1336 1
1339
+ 1337 1
1340
+ 1338 1
1341
+ 1339 1
1342
+ 1340 0
1343
+ 1341 1
1344
+ 1342 0
1345
+ 1343 1
1346
+ 1344 1
1347
+ 1345 1
1348
+ 1346 1
1349
+ 1347 1
1350
+ 1348 0
1351
+ 1349 1
1352
+ 1350 0
1353
+ 1351 1
1354
+ 1352 1
1355
+ 1353 1
1356
+ 1354 0
1357
+ 1355 1
1358
+ 1356 0
1359
+ 1357 1
1360
+ 1358 1
1361
+ 1359 1
1362
+ 1360 1
1363
+ 1361 0
1364
+ 1362 1
1365
+ 1363 0
1366
+ 1364 1
1367
+ 1365 1
1368
+ 1366 1
1369
+ 1367 1
1370
+ 1368 1
1371
+ 1369 1
1372
+ 1370 1
1373
+ 1371 0
1374
+ 1372 1
1375
+ 1373 0
1376
+ 1374 1
1377
+ 1375 0
1378
+ 1376 1
1379
+ 1377 1
1380
+ 1378 1
1381
+ 1379 0
1382
+ 1380 1
1383
+ 1381 0
1384
+ 1382 1
1385
+ 1383 1
1386
+ 1384 0
1387
+ 1385 1
1388
+ 1386 1
1389
+ 1387 1
1390
+ 1388 0
1391
+ 1389 1
1392
+ 1390 0
1393
+ 1391 0
1394
+ 1392 1
1395
+ 1393 0
1396
+ 1394 0
1397
+ 1395 1
1398
+ 1396 0
1399
+ 1397 0
1400
+ 1398 1
1401
+ 1399 1
1402
+ 1400 1
1403
+ 1401 1
1404
+ 1402 1
1405
+ 1403 1
1406
+ 1404 1
1407
+ 1405 1
1408
+ 1406 1
1409
+ 1407 0
1410
+ 1408 1
1411
+ 1409 1
1412
+ 1410 0
1413
+ 1411 1
1414
+ 1412 1
1415
+ 1413 1
1416
+ 1414 1
1417
+ 1415 1
1418
+ 1416 1
1419
+ 1417 1
1420
+ 1418 0
1421
+ 1419 1
1422
+ 1420 1
1423
+ 1421 1
1424
+ 1422 1
1425
+ 1423 1
1426
+ 1424 1
1427
+ 1425 1
1428
+ 1426 1
1429
+ 1427 1
1430
+ 1428 0
1431
+ 1429 1
1432
+ 1430 1
1433
+ 1431 1
1434
+ 1432 0
1435
+ 1433 1
1436
+ 1434 1
1437
+ 1435 0
1438
+ 1436 1
1439
+ 1437 1
1440
+ 1438 1
1441
+ 1439 1
1442
+ 1440 1
1443
+ 1441 1
1444
+ 1442 1
1445
+ 1443 1
1446
+ 1444 1
1447
+ 1445 1
1448
+ 1446 0
1449
+ 1447 0
1450
+ 1448 1
1451
+ 1449 1
1452
+ 1450 1
1453
+ 1451 1
1454
+ 1452 1
1455
+ 1453 0
1456
+ 1454 1
1457
+ 1455 0
1458
+ 1456 1
1459
+ 1457 1
1460
+ 1458 1
1461
+ 1459 0
1462
+ 1460 1
1463
+ 1461 1
1464
+ 1462 1
1465
+ 1463 1
1466
+ 1464 1
1467
+ 1465 0
1468
+ 1466 1
1469
+ 1467 0
1470
+ 1468 1
1471
+ 1469 1
1472
+ 1470 1
1473
+ 1471 0
1474
+ 1472 1
1475
+ 1473 1
1476
+ 1474 0
1477
+ 1475 1
1478
+ 1476 1
1479
+ 1477 1
1480
+ 1478 0
1481
+ 1479 1
1482
+ 1480 0
1483
+ 1481 0
1484
+ 1482 1
1485
+ 1483 1
1486
+ 1484 0
1487
+ 1485 1
1488
+ 1486 1
1489
+ 1487 1
1490
+ 1488 1
1491
+ 1489 1
1492
+ 1490 1
1493
+ 1491 0
1494
+ 1492 1
1495
+ 1493 1
1496
+ 1494 1
1497
+ 1495 0
1498
+ 1496 1
1499
+ 1497 1
1500
+ 1498 1
1501
+ 1499 1
1502
+ 1500 1
1503
+ 1501 1
1504
+ 1502 1
1505
+ 1503 0
1506
+ 1504 1
1507
+ 1505 0
1508
+ 1506 1
1509
+ 1507 1
1510
+ 1508 1
1511
+ 1509 0
1512
+ 1510 1
1513
+ 1511 0
1514
+ 1512 0
1515
+ 1513 1
1516
+ 1514 1
1517
+ 1515 1
1518
+ 1516 1
1519
+ 1517 1
1520
+ 1518 0
1521
+ 1519 1
1522
+ 1520 1
1523
+ 1521 1
1524
+ 1522 1
1525
+ 1523 1
1526
+ 1524 1
1527
+ 1525 0
1528
+ 1526 1
1529
+ 1527 1
1530
+ 1528 1
1531
+ 1529 1
1532
+ 1530 0
1533
+ 1531 1
1534
+ 1532 1
1535
+ 1533 0
1536
+ 1534 1
1537
+ 1535 1
1538
+ 1536 1
1539
+ 1537 1
1540
+ 1538 0
1541
+ 1539 1
1542
+ 1540 0
1543
+ 1541 1
1544
+ 1542 0
1545
+ 1543 1
1546
+ 1544 1
1547
+ 1545 0
1548
+ 1546 1
1549
+ 1547 1
1550
+ 1548 1
1551
+ 1549 1
1552
+ 1550 1
1553
+ 1551 1
1554
+ 1552 1
1555
+ 1553 1
1556
+ 1554 1
1557
+ 1555 1
1558
+ 1556 0
1559
+ 1557 0
1560
+ 1558 1
1561
+ 1559 1
1562
+ 1560 1
1563
+ 1561 1
1564
+ 1562 1
1565
+ 1563 0
1566
+ 1564 1
1567
+ 1565 1
1568
+ 1566 0
1569
+ 1567 1
1570
+ 1568 1
1571
+ 1569 1
1572
+ 1570 1
1573
+ 1571 1
1574
+ 1572 1
1575
+ 1573 1
1576
+ 1574 1
1577
+ 1575 1
1578
+ 1576 1
1579
+ 1577 1
1580
+ 1578 0
1581
+ 1579 1
1582
+ 1580 1
1583
+ 1581 1
1584
+ 1582 1
1585
+ 1583 0
1586
+ 1584 1
1587
+ 1585 1
1588
+ 1586 1
1589
+ 1587 1
1590
+ 1588 1
1591
+ 1589 1
1592
+ 1590 0
1593
+ 1591 0
1594
+ 1592 1
1595
+ 1593 1
1596
+ 1594 1
1597
+ 1595 1
1598
+ 1596 1
1599
+ 1597 1
1600
+ 1598 0
1601
+ 1599 1
1602
+ 1600 0
1603
+ 1601 1
1604
+ 1602 1
1605
+ 1603 0
1606
+ 1604 1
1607
+ 1605 0
1608
+ 1606 1
1609
+ 1607 0
1610
+ 1608 0
1611
+ 1609 0
1612
+ 1610 1
1613
+ 1611 0
1614
+ 1612 1
1615
+ 1613 1
1616
+ 1614 1
1617
+ 1615 1
1618
+ 1616 1
1619
+ 1617 0
1620
+ 1618 1
1621
+ 1619 1
1622
+ 1620 1
1623
+ 1621 1
1624
+ 1622 1
1625
+ 1623 1
1626
+ 1624 1
1627
+ 1625 1
1628
+ 1626 1
1629
+ 1627 0
1630
+ 1628 1
1631
+ 1629 0
1632
+ 1630 1
1633
+ 1631 1
1634
+ 1632 0
1635
+ 1633 0
1636
+ 1634 1
special_tokens_map.json ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ }
30
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,67 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[UNK]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "[CLS]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[SEP]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[PAD]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ },
43
+ "5": {
44
+ "content": "[PAR]",
45
+ "lstrip": false,
46
+ "normalized": false,
47
+ "rstrip": false,
48
+ "single_word": false,
49
+ "special": true
50
+ },
51
+ "6": {
52
+ "content": "[TAB]",
53
+ "lstrip": false,
54
+ "normalized": false,
55
+ "rstrip": false,
56
+ "single_word": false,
57
+ "special": true
58
+ }
59
+ },
60
+ "clean_up_tokenization_spaces": false,
61
+ "cls_token": "[CLS]",
62
+ "mask_token": "[MASK]",
63
+ "model_max_length": 1000000000000000019884624838656,
64
+ "pad_token": "[PAD]",
65
+ "sep_token": "[SEP]",
66
+ "tokenizer_class": "PreTrainedTokenizerFast"
67
+ }
train_results.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 7.0,
3
+ "total_flos": 3893201765612544.0,
4
+ "train_loss": 0.43125597612793976,
5
+ "train_runtime": 554.1638,
6
+ "train_samples": 9427,
7
+ "train_samples_per_second": 340.224,
8
+ "train_steps_per_second": 42.551
9
+ }
trainer_state.json ADDED
@@ -0,0 +1,240 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.7884615384615384,
3
+ "best_model_checkpoint": "/home/ubuntu/utah/babylm-24/src/evaluation/results/finetune/DebertaV2-Base-10M_babylm-A/boolq/checkpoint-4716",
4
+ "epoch": 7.0,
5
+ "eval_steps": 500,
6
+ "global_step": 8253,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.42408821034775235,
13
+ "grad_norm": 4.898578643798828,
14
+ "learning_rate": 9.787955894826124e-06,
15
+ "loss": 0.669,
16
+ "step": 500
17
+ },
18
+ {
19
+ "epoch": 0.8481764206955047,
20
+ "grad_norm": 2.427595615386963,
21
+ "learning_rate": 9.575911789652248e-06,
22
+ "loss": 0.6535,
23
+ "step": 1000
24
+ },
25
+ {
26
+ "epoch": 1.0,
27
+ "eval_accuracy": 0.6513761281967163,
28
+ "eval_f1": 0.7812739831158864,
29
+ "eval_loss": 0.6350241899490356,
30
+ "eval_mcc": 0.1190648771022687,
31
+ "eval_runtime": 2.7173,
32
+ "eval_samples_per_second": 601.699,
33
+ "eval_steps_per_second": 75.442,
34
+ "step": 1179
35
+ },
36
+ {
37
+ "epoch": 1.272264631043257,
38
+ "grad_norm": 3.5514039993286133,
39
+ "learning_rate": 9.363867684478373e-06,
40
+ "loss": 0.6279,
41
+ "step": 1500
42
+ },
43
+ {
44
+ "epoch": 1.6963528413910094,
45
+ "grad_norm": 6.262450218200684,
46
+ "learning_rate": 9.151823579304497e-06,
47
+ "loss": 0.6019,
48
+ "step": 2000
49
+ },
50
+ {
51
+ "epoch": 2.0,
52
+ "eval_accuracy": 0.6446483135223389,
53
+ "eval_f1": 0.7172749391727494,
54
+ "eval_loss": 0.6267324090003967,
55
+ "eval_mcc": 0.23986158954968526,
56
+ "eval_runtime": 2.7281,
57
+ "eval_samples_per_second": 599.313,
58
+ "eval_steps_per_second": 75.143,
59
+ "step": 2358
60
+ },
61
+ {
62
+ "epoch": 2.1204410517387617,
63
+ "grad_norm": 10.400861740112305,
64
+ "learning_rate": 8.93977947413062e-06,
65
+ "loss": 0.5841,
66
+ "step": 2500
67
+ },
68
+ {
69
+ "epoch": 2.544529262086514,
70
+ "grad_norm": 6.1930718421936035,
71
+ "learning_rate": 8.727735368956744e-06,
72
+ "loss": 0.5239,
73
+ "step": 3000
74
+ },
75
+ {
76
+ "epoch": 2.9686174724342664,
77
+ "grad_norm": 9.404278755187988,
78
+ "learning_rate": 8.515691263782867e-06,
79
+ "loss": 0.5263,
80
+ "step": 3500
81
+ },
82
+ {
83
+ "epoch": 3.0,
84
+ "eval_accuracy": 0.6709480285644531,
85
+ "eval_f1": 0.738581146744412,
86
+ "eval_loss": 0.6594865322113037,
87
+ "eval_mcc": 0.2953818504855689,
88
+ "eval_runtime": 2.7221,
89
+ "eval_samples_per_second": 600.629,
90
+ "eval_steps_per_second": 75.308,
91
+ "step": 3537
92
+ },
93
+ {
94
+ "epoch": 3.392705682782019,
95
+ "grad_norm": 8.5890474319458,
96
+ "learning_rate": 8.303647158608991e-06,
97
+ "loss": 0.4231,
98
+ "step": 4000
99
+ },
100
+ {
101
+ "epoch": 3.816793893129771,
102
+ "grad_norm": 19.422046661376953,
103
+ "learning_rate": 8.091603053435115e-06,
104
+ "loss": 0.4158,
105
+ "step": 4500
106
+ },
107
+ {
108
+ "epoch": 4.0,
109
+ "eval_accuracy": 0.7039755582809448,
110
+ "eval_f1": 0.7884615384615384,
111
+ "eval_loss": 0.7751796245574951,
112
+ "eval_mcc": 0.3197717100660696,
113
+ "eval_runtime": 2.7784,
114
+ "eval_samples_per_second": 588.466,
115
+ "eval_steps_per_second": 73.783,
116
+ "step": 4716
117
+ },
118
+ {
119
+ "epoch": 4.2408821034775235,
120
+ "grad_norm": 26.661087036132812,
121
+ "learning_rate": 7.879558948261238e-06,
122
+ "loss": 0.3625,
123
+ "step": 5000
124
+ },
125
+ {
126
+ "epoch": 4.664970313825275,
127
+ "grad_norm": 7.987252235412598,
128
+ "learning_rate": 7.667514843087362e-06,
129
+ "loss": 0.3286,
130
+ "step": 5500
131
+ },
132
+ {
133
+ "epoch": 5.0,
134
+ "eval_accuracy": 0.6856269240379333,
135
+ "eval_f1": 0.7485322896281801,
136
+ "eval_loss": 1.1917099952697754,
137
+ "eval_mcc": 0.3306542824781416,
138
+ "eval_runtime": 2.7099,
139
+ "eval_samples_per_second": 603.332,
140
+ "eval_steps_per_second": 75.647,
141
+ "step": 5895
142
+ },
143
+ {
144
+ "epoch": 5.089058524173028,
145
+ "grad_norm": 18.63119125366211,
146
+ "learning_rate": 7.455470737913486e-06,
147
+ "loss": 0.3092,
148
+ "step": 6000
149
+ },
150
+ {
151
+ "epoch": 5.51314673452078,
152
+ "grad_norm": 19.191608428955078,
153
+ "learning_rate": 7.2434266327396106e-06,
154
+ "loss": 0.2618,
155
+ "step": 6500
156
+ },
157
+ {
158
+ "epoch": 5.937234944868533,
159
+ "grad_norm": 2.243471145629883,
160
+ "learning_rate": 7.031382527565734e-06,
161
+ "loss": 0.2755,
162
+ "step": 7000
163
+ },
164
+ {
165
+ "epoch": 6.0,
166
+ "eval_accuracy": 0.6764525771141052,
167
+ "eval_f1": 0.7428293631502187,
168
+ "eval_loss": 1.446665644645691,
169
+ "eval_mcc": 0.3074619968336629,
170
+ "eval_runtime": 2.7032,
171
+ "eval_samples_per_second": 604.829,
172
+ "eval_steps_per_second": 75.835,
173
+ "step": 7074
174
+ },
175
+ {
176
+ "epoch": 6.361323155216285,
177
+ "grad_norm": 37.863040924072266,
178
+ "learning_rate": 6.819338422391858e-06,
179
+ "loss": 0.2147,
180
+ "step": 7500
181
+ },
182
+ {
183
+ "epoch": 6.785411365564038,
184
+ "grad_norm": 12.277471542358398,
185
+ "learning_rate": 6.607294317217981e-06,
186
+ "loss": 0.2273,
187
+ "step": 8000
188
+ },
189
+ {
190
+ "epoch": 7.0,
191
+ "eval_accuracy": 0.6709480285644531,
192
+ "eval_f1": 0.7307307307307307,
193
+ "eval_loss": 1.8949030637741089,
194
+ "eval_mcc": 0.31265280298270903,
195
+ "eval_runtime": 2.7263,
196
+ "eval_samples_per_second": 599.708,
197
+ "eval_steps_per_second": 75.193,
198
+ "step": 8253
199
+ },
200
+ {
201
+ "epoch": 7.0,
202
+ "step": 8253,
203
+ "total_flos": 3893201765612544.0,
204
+ "train_loss": 0.43125597612793976,
205
+ "train_runtime": 554.1638,
206
+ "train_samples_per_second": 340.224,
207
+ "train_steps_per_second": 42.551
208
+ }
209
+ ],
210
+ "logging_steps": 500,
211
+ "max_steps": 23580,
212
+ "num_input_tokens_seen": 0,
213
+ "num_train_epochs": 20,
214
+ "save_steps": 500,
215
+ "stateful_callbacks": {
216
+ "EarlyStoppingCallback": {
217
+ "args": {
218
+ "early_stopping_patience": 3,
219
+ "early_stopping_threshold": 0.001
220
+ },
221
+ "attributes": {
222
+ "early_stopping_patience_counter": 0
223
+ }
224
+ },
225
+ "TrainerControl": {
226
+ "args": {
227
+ "should_epoch_stop": false,
228
+ "should_evaluate": false,
229
+ "should_log": false,
230
+ "should_save": true,
231
+ "should_training_stop": true
232
+ },
233
+ "attributes": {}
234
+ }
235
+ },
236
+ "total_flos": 3893201765612544.0,
237
+ "train_batch_size": 8,
238
+ "trial_name": null,
239
+ "trial_params": null
240
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:040eec4403fe3b365b1fc915402fb6d0e94ab777527ef61aa25289998c8c39c5
3
+ size 5368