Hugging Face's logo

Ar4l
/
DebertaV2-Base-10M_babylm-A__multirc

Safetensors
deberta-v2
Model card Files Community
Ar4l commited on
Commit
aceea33
·
verified ·
1 Parent(s): 983d401

Upload folder using huggingface_hub

Browse files
Files changed (21) hide show
  1. all_results.json +17 -0
  2. checkpoint-6812/config.json +33 -0
  3. checkpoint-6812/model.safetensors +3 -0
  4. checkpoint-6812/optimizer.pt +3 -0
  5. checkpoint-6812/rng_state.pth +3 -0
  6. checkpoint-6812/scheduler.pt +3 -0
  7. checkpoint-6812/special_tokens_map.json +30 -0
  8. checkpoint-6812/tokenizer.json +0 -0
  9. checkpoint-6812/tokenizer_config.json +67 -0
  10. checkpoint-6812/trainer_state.json +155 -0
  11. checkpoint-6812/training_args.bin +3 -0
  12. config.json +33 -0
  13. eval_results.json +11 -0
  14. model.safetensors +3 -0
  15. predictions.txt +2425 -0
  16. special_tokens_map.json +30 -0
  17. tokenizer.json +0 -0
  18. tokenizer_config.json +67 -0
  19. train_results.json +9 -0
  20. trainer_state.json +344 -0
  21. training_args.bin +3 -0
all_results.json ADDED
@@ -0,0 +1,17 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 5.0,
3
+ "eval_accuracy": 0.6349009871482849,
4
+ "eval_f1": 0.600451467268623,
5
+ "eval_loss": 0.6888149976730347,
6
+ "eval_mcc": 0.2697165007428369,
7
+ "eval_runtime": 4.0937,
8
+ "eval_samples": 2424,
9
+ "eval_samples_per_second": 592.127,
10
+ "eval_steps_per_second": 74.016,
11
+ "total_flos": 8036376949232640.0,
12
+ "train_loss": 0.5047434031788349,
13
+ "train_runtime": 1075.7793,
14
+ "train_samples": 27243,
15
+ "train_samples_per_second": 126.62,
16
+ "train_steps_per_second": 15.83
17
+ }
checkpoint-6812/config.json ADDED
@@ -0,0 +1,33 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/home/ubuntu/utah/babylm-24/data/training/models/10M_babylm_ascii/SPM-Unigram_6144/DebertaV2-Base-10M_babylm-A",
3
+ "architectures": [
4
+ "DebertaV2ForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "hidden_act": "gelu",
8
+ "hidden_dropout_prob": 0.1,
9
+ "hidden_size": 768,
10
+ "initializer_range": 0.02,
11
+ "intermediate_size": 1536,
12
+ "label2id": {
13
+ "0": 0,
14
+ "1": 1
15
+ },
16
+ "layer_norm_eps": 1e-07,
17
+ "max_position_embeddings": 512,
18
+ "max_relative_positions": -1,
19
+ "model_type": "deberta-v2",
20
+ "num_attention_heads": 12,
21
+ "num_hidden_layers": 8,
22
+ "pad_token_id": 3,
23
+ "pooler_dropout": 0,
24
+ "pooler_hidden_act": "gelu",
25
+ "pooler_hidden_size": 768,
26
+ "pos_att_type": null,
27
+ "position_biased_input": true,
28
+ "relative_attention": false,
29
+ "torch_dtype": "float32",
30
+ "transformers_version": "4.44.2",
31
+ "type_vocab_size": 0,
32
+ "vocab_size": 6144
33
+ }
checkpoint-6812/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9682449a23f2a48225c512decbcab27cc97d2fe2e105622f6ed99bf2283e4b4d
3
+ size 174103504
checkpoint-6812/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:92e2cc2c33254d9e2bcd5f68da2d3f2bb937fadf72ce6442a3237bae9f215062
3
+ size 348288250
checkpoint-6812/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bd44c8d2104a16de49da187a8a684b1fb9b44713ade7dd830588b3d7c6453023
3
+ size 14244
checkpoint-6812/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fca597f917bf66e3c510e7f7f76112b2bc89c448c03e784409becc7b498480f3
3
+ size 1064
checkpoint-6812/special_tokens_map.json ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ }
30
+ }
checkpoint-6812/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
checkpoint-6812/tokenizer_config.json ADDED
@@ -0,0 +1,67 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[UNK]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "[CLS]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[SEP]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[PAD]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ },
43
+ "5": {
44
+ "content": "[PAR]",
45
+ "lstrip": false,
46
+ "normalized": false,
47
+ "rstrip": false,
48
+ "single_word": false,
49
+ "special": true
50
+ },
51
+ "6": {
52
+ "content": "[TAB]",
53
+ "lstrip": false,
54
+ "normalized": false,
55
+ "rstrip": false,
56
+ "single_word": false,
57
+ "special": true
58
+ }
59
+ },
60
+ "clean_up_tokenization_spaces": false,
61
+ "cls_token": "[CLS]",
62
+ "mask_token": "[MASK]",
63
+ "model_max_length": 1000000000000000019884624838656,
64
+ "pad_token": "[PAD]",
65
+ "sep_token": "[SEP]",
66
+ "tokenizer_class": "PreTrainedTokenizerFast"
67
+ }
checkpoint-6812/trainer_state.json ADDED
@@ -0,0 +1,155 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.600451467268623,
3
+ "best_model_checkpoint": "/home/ubuntu/utah/babylm-24/src/evaluation/results/finetune/DebertaV2-Base-10M_babylm-A/multirc/checkpoint-6812",
4
+ "epoch": 2.0,
5
+ "eval_steps": 500,
6
+ "global_step": 6812,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.14679976512037582,
13
+ "grad_norm": 3.0609993934631348,
14
+ "learning_rate": 2.9119201409277748e-05,
15
+ "loss": 0.7038,
16
+ "step": 500
17
+ },
18
+ {
19
+ "epoch": 0.29359953024075164,
20
+ "grad_norm": 1.6316922903060913,
21
+ "learning_rate": 2.823840281855549e-05,
22
+ "loss": 0.6981,
23
+ "step": 1000
24
+ },
25
+ {
26
+ "epoch": 0.44039929536112743,
27
+ "grad_norm": 2.5649499893188477,
28
+ "learning_rate": 2.7357604227833236e-05,
29
+ "loss": 0.6919,
30
+ "step": 1500
31
+ },
32
+ {
33
+ "epoch": 0.5871990604815033,
34
+ "grad_norm": 4.061516284942627,
35
+ "learning_rate": 2.6476805637110984e-05,
36
+ "loss": 0.6644,
37
+ "step": 2000
38
+ },
39
+ {
40
+ "epoch": 0.733998825601879,
41
+ "grad_norm": 2.645333766937256,
42
+ "learning_rate": 2.5596007046388724e-05,
43
+ "loss": 0.6586,
44
+ "step": 2500
45
+ },
46
+ {
47
+ "epoch": 0.8807985907222549,
48
+ "grad_norm": 3.289055347442627,
49
+ "learning_rate": 2.4715208455666472e-05,
50
+ "loss": 0.644,
51
+ "step": 3000
52
+ },
53
+ {
54
+ "epoch": 1.0,
55
+ "eval_accuracy": 0.6452144980430603,
56
+ "eval_f1": 0.5682730923694779,
57
+ "eval_loss": 0.6363362073898315,
58
+ "eval_mcc": 0.26813709584707873,
59
+ "eval_runtime": 3.7981,
60
+ "eval_samples_per_second": 638.206,
61
+ "eval_steps_per_second": 79.776,
62
+ "step": 3406
63
+ },
64
+ {
65
+ "epoch": 1.0275983558426307,
66
+ "grad_norm": 5.0068888664245605,
67
+ "learning_rate": 2.383440986494422e-05,
68
+ "loss": 0.6388,
69
+ "step": 3500
70
+ },
71
+ {
72
+ "epoch": 1.1743981209630066,
73
+ "grad_norm": 4.675343036651611,
74
+ "learning_rate": 2.295361127422196e-05,
75
+ "loss": 0.6086,
76
+ "step": 4000
77
+ },
78
+ {
79
+ "epoch": 1.3211978860833824,
80
+ "grad_norm": 3.6214439868927,
81
+ "learning_rate": 2.2072812683499707e-05,
82
+ "loss": 0.603,
83
+ "step": 4500
84
+ },
85
+ {
86
+ "epoch": 1.467997651203758,
87
+ "grad_norm": 13.145421028137207,
88
+ "learning_rate": 2.1192014092777455e-05,
89
+ "loss": 0.6064,
90
+ "step": 5000
91
+ },
92
+ {
93
+ "epoch": 1.6147974163241339,
94
+ "grad_norm": 5.481179714202881,
95
+ "learning_rate": 2.0311215502055195e-05,
96
+ "loss": 0.5854,
97
+ "step": 5500
98
+ },
99
+ {
100
+ "epoch": 1.7615971814445097,
101
+ "grad_norm": 3.6306419372558594,
102
+ "learning_rate": 1.9430416911332943e-05,
103
+ "loss": 0.5898,
104
+ "step": 6000
105
+ },
106
+ {
107
+ "epoch": 1.9083969465648853,
108
+ "grad_norm": 4.952913761138916,
109
+ "learning_rate": 1.8549618320610687e-05,
110
+ "loss": 0.593,
111
+ "step": 6500
112
+ },
113
+ {
114
+ "epoch": 2.0,
115
+ "eval_accuracy": 0.6349009871482849,
116
+ "eval_f1": 0.600451467268623,
117
+ "eval_loss": 0.6888149976730347,
118
+ "eval_mcc": 0.2697165007428369,
119
+ "eval_runtime": 3.8279,
120
+ "eval_samples_per_second": 633.242,
121
+ "eval_steps_per_second": 79.155,
122
+ "step": 6812
123
+ }
124
+ ],
125
+ "logging_steps": 500,
126
+ "max_steps": 17030,
127
+ "num_input_tokens_seen": 0,
128
+ "num_train_epochs": 5,
129
+ "save_steps": 500,
130
+ "stateful_callbacks": {
131
+ "EarlyStoppingCallback": {
132
+ "args": {
133
+ "early_stopping_patience": 3,
134
+ "early_stopping_threshold": 0.001
135
+ },
136
+ "attributes": {
137
+ "early_stopping_patience_counter": 0
138
+ }
139
+ },
140
+ "TrainerControl": {
141
+ "args": {
142
+ "should_epoch_stop": false,
143
+ "should_evaluate": false,
144
+ "should_log": false,
145
+ "should_save": true,
146
+ "should_training_stop": false
147
+ },
148
+ "attributes": {}
149
+ }
150
+ },
151
+ "total_flos": 3214550779693056.0,
152
+ "train_batch_size": 8,
153
+ "trial_name": null,
154
+ "trial_params": null
155
+ }
checkpoint-6812/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:06c018e2a99daf13b3a466cce61a606c10411f9217efd58182386232fbd1e36b
3
+ size 5368
config.json ADDED
@@ -0,0 +1,33 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/home/ubuntu/utah/babylm-24/data/training/models/10M_babylm_ascii/SPM-Unigram_6144/DebertaV2-Base-10M_babylm-A",
3
+ "architectures": [
4
+ "DebertaV2ForSequenceClassification"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "hidden_act": "gelu",
8
+ "hidden_dropout_prob": 0.1,
9
+ "hidden_size": 768,
10
+ "initializer_range": 0.02,
11
+ "intermediate_size": 1536,
12
+ "label2id": {
13
+ "0": 0,
14
+ "1": 1
15
+ },
16
+ "layer_norm_eps": 1e-07,
17
+ "max_position_embeddings": 512,
18
+ "max_relative_positions": -1,
19
+ "model_type": "deberta-v2",
20
+ "num_attention_heads": 12,
21
+ "num_hidden_layers": 8,
22
+ "pad_token_id": 3,
23
+ "pooler_dropout": 0,
24
+ "pooler_hidden_act": "gelu",
25
+ "pooler_hidden_size": 768,
26
+ "pos_att_type": null,
27
+ "position_biased_input": true,
28
+ "relative_attention": false,
29
+ "torch_dtype": "float32",
30
+ "transformers_version": "4.44.2",
31
+ "type_vocab_size": 0,
32
+ "vocab_size": 6144
33
+ }
eval_results.json ADDED
@@ -0,0 +1,11 @@
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 5.0,
3
+ "eval_accuracy": 0.6349009871482849,
4
+ "eval_f1": 0.600451467268623,
5
+ "eval_loss": 0.6888149976730347,
6
+ "eval_mcc": 0.2697165007428369,
7
+ "eval_runtime": 4.0937,
8
+ "eval_samples": 2424,
9
+ "eval_samples_per_second": 592.127,
10
+ "eval_steps_per_second": 74.016
11
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9682449a23f2a48225c512decbcab27cc97d2fe2e105622f6ed99bf2283e4b4d
3
+ size 174103504
predictions.txt ADDED
@@ -0,0 +1,2425 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ index prediction
2
+ 0 0
3
+ 1 1
4
+ 2 1
5
+ 3 1
6
+ 4 1
7
+ 5 1
8
+ 6 1
9
+ 7 0
10
+ 8 0
11
+ 9 0
12
+ 10 0
13
+ 11 0
14
+ 12 1
15
+ 13 0
16
+ 14 0
17
+ 15 1
18
+ 16 0
19
+ 17 1
20
+ 18 1
21
+ 19 1
22
+ 20 0
23
+ 21 0
24
+ 22 1
25
+ 23 1
26
+ 24 1
27
+ 25 1
28
+ 26 1
29
+ 27 0
30
+ 28 1
31
+ 29 0
32
+ 30 1
33
+ 31 0
34
+ 32 1
35
+ 33 1
36
+ 34 0
37
+ 35 0
38
+ 36 1
39
+ 37 1
40
+ 38 0
41
+ 39 0
42
+ 40 0
43
+ 41 1
44
+ 42 0
45
+ 43 0
46
+ 44 0
47
+ 45 1
48
+ 46 1
49
+ 47 1
50
+ 48 0
51
+ 49 1
52
+ 50 0
53
+ 51 0
54
+ 52 0
55
+ 53 1
56
+ 54 1
57
+ 55 0
58
+ 56 0
59
+ 57 0
60
+ 58 1
61
+ 59 0
62
+ 60 0
63
+ 61 1
64
+ 62 1
65
+ 63 0
66
+ 64 1
67
+ 65 0
68
+ 66 0
69
+ 67 1
70
+ 68 1
71
+ 69 1
72
+ 70 0
73
+ 71 1
74
+ 72 1
75
+ 73 1
76
+ 74 1
77
+ 75 1
78
+ 76 0
79
+ 77 1
80
+ 78 0
81
+ 79 0
82
+ 80 1
83
+ 81 1
84
+ 82 0
85
+ 83 0
86
+ 84 0
87
+ 85 0
88
+ 86 1
89
+ 87 0
90
+ 88 1
91
+ 89 0
92
+ 90 1
93
+ 91 0
94
+ 92 1
95
+ 93 1
96
+ 94 0
97
+ 95 1
98
+ 96 1
99
+ 97 0
100
+ 98 1
101
+ 99 1
102
+ 100 0
103
+ 101 0
104
+ 102 1
105
+ 103 0
106
+ 104 1
107
+ 105 0
108
+ 106 0
109
+ 107 1
110
+ 108 1
111
+ 109 0
112
+ 110 1
113
+ 111 0
114
+ 112 0
115
+ 113 0
116
+ 114 1
117
+ 115 1
118
+ 116 0
119
+ 117 0
120
+ 118 0
121
+ 119 0
122
+ 120 1
123
+ 121 1
124
+ 122 0
125
+ 123 1
126
+ 124 0
127
+ 125 0
128
+ 126 0
129
+ 127 1
130
+ 128 0
131
+ 129 0
132
+ 130 0
133
+ 131 0
134
+ 132 1
135
+ 133 1
136
+ 134 1
137
+ 135 1
138
+ 136 1
139
+ 137 0
140
+ 138 0
141
+ 139 0
142
+ 140 1
143
+ 141 1
144
+ 142 0
145
+ 143 0
146
+ 144 0
147
+ 145 0
148
+ 146 0
149
+ 147 1
150
+ 148 0
151
+ 149 0
152
+ 150 0
153
+ 151 0
154
+ 152 1
155
+ 153 1
156
+ 154 1
157
+ 155 0
158
+ 156 0
159
+ 157 1
160
+ 158 1
161
+ 159 0
162
+ 160 1
163
+ 161 1
164
+ 162 1
165
+ 163 0
166
+ 164 0
167
+ 165 1
168
+ 166 1
169
+ 167 0
170
+ 168 1
171
+ 169 1
172
+ 170 0
173
+ 171 1
174
+ 172 0
175
+ 173 0
176
+ 174 0
177
+ 175 0
178
+ 176 0
179
+ 177 1
180
+ 178 1
181
+ 179 1
182
+ 180 1
183
+ 181 1
184
+ 182 0
185
+ 183 0
186
+ 184 1
187
+ 185 0
188
+ 186 0
189
+ 187 1
190
+ 188 1
191
+ 189 0
192
+ 190 0
193
+ 191 1
194
+ 192 0
195
+ 193 1
196
+ 194 0
197
+ 195 1
198
+ 196 1
199
+ 197 0
200
+ 198 0
201
+ 199 1
202
+ 200 0
203
+ 201 0
204
+ 202 1
205
+ 203 0
206
+ 204 1
207
+ 205 0
208
+ 206 0
209
+ 207 0
210
+ 208 1
211
+ 209 1
212
+ 210 1
213
+ 211 1
214
+ 212 0
215
+ 213 1
216
+ 214 1
217
+ 215 0
218
+ 216 0
219
+ 217 1
220
+ 218 0
221
+ 219 1
222
+ 220 0
223
+ 221 0
224
+ 222 0
225
+ 223 1
226
+ 224 1
227
+ 225 1
228
+ 226 0
229
+ 227 0
230
+ 228 1
231
+ 229 0
232
+ 230 0
233
+ 231 0
234
+ 232 0
235
+ 233 0
236
+ 234 1
237
+ 235 0
238
+ 236 1
239
+ 237 0
240
+ 238 1
241
+ 239 1
242
+ 240 1
243
+ 241 0
244
+ 242 1
245
+ 243 1
246
+ 244 0
247
+ 245 0
248
+ 246 1
249
+ 247 1
250
+ 248 1
251
+ 249 1
252
+ 250 1
253
+ 251 1
254
+ 252 0
255
+ 253 0
256
+ 254 1
257
+ 255 1
258
+ 256 1
259
+ 257 0
260
+ 258 1
261
+ 259 1
262
+ 260 1
263
+ 261 0
264
+ 262 0
265
+ 263 0
266
+ 264 1
267
+ 265 1
268
+ 266 1
269
+ 267 1
270
+ 268 0
271
+ 269 0
272
+ 270 1
273
+ 271 0
274
+ 272 0
275
+ 273 0
276
+ 274 0
277
+ 275 0
278
+ 276 1
279
+ 277 0
280
+ 278 0
281
+ 279 0
282
+ 280 0
283
+ 281 1
284
+ 282 0
285
+ 283 1
286
+ 284 1
287
+ 285 0
288
+ 286 1
289
+ 287 0
290
+ 288 0
291
+ 289 1
292
+ 290 1
293
+ 291 1
294
+ 292 0
295
+ 293 0
296
+ 294 0
297
+ 295 1
298
+ 296 1
299
+ 297 1
300
+ 298 1
301
+ 299 0
302
+ 300 0
303
+ 301 0
304
+ 302 0
305
+ 303 1
306
+ 304 0
307
+ 305 0
308
+ 306 1
309
+ 307 1
310
+ 308 0
311
+ 309 0
312
+ 310 1
313
+ 311 0
314
+ 312 1
315
+ 313 1
316
+ 314 0
317
+ 315 1
318
+ 316 0
319
+ 317 1
320
+ 318 0
321
+ 319 0
322
+ 320 0
323
+ 321 1
324
+ 322 0
325
+ 323 1
326
+ 324 0
327
+ 325 0
328
+ 326 0
329
+ 327 0
330
+ 328 1
331
+ 329 0
332
+ 330 0
333
+ 331 1
334
+ 332 1
335
+ 333 1
336
+ 334 0
337
+ 335 0
338
+ 336 0
339
+ 337 1
340
+ 338 0
341
+ 339 0
342
+ 340 0
343
+ 341 0
344
+ 342 1
345
+ 343 1
346
+ 344 1
347
+ 345 1
348
+ 346 1
349
+ 347 0
350
+ 348 0
351
+ 349 1
352
+ 350 1
353
+ 351 0
354
+ 352 1
355
+ 353 1
356
+ 354 0
357
+ 355 0
358
+ 356 1
359
+ 357 0
360
+ 358 1
361
+ 359 1
362
+ 360 0
363
+ 361 1
364
+ 362 1
365
+ 363 0
366
+ 364 1
367
+ 365 1
368
+ 366 1
369
+ 367 0
370
+ 368 0
371
+ 369 1
372
+ 370 1
373
+ 371 0
374
+ 372 0
375
+ 373 0
376
+ 374 0
377
+ 375 0
378
+ 376 0
379
+ 377 1
380
+ 378 0
381
+ 379 0
382
+ 380 1
383
+ 381 0
384
+ 382 0
385
+ 383 0
386
+ 384 1
387
+ 385 1
388
+ 386 0
389
+ 387 1
390
+ 388 0
391
+ 389 1
392
+ 390 1
393
+ 391 1
394
+ 392 0
395
+ 393 1
396
+ 394 0
397
+ 395 1
398
+ 396 1
399
+ 397 1
400
+ 398 0
401
+ 399 0
402
+ 400 0
403
+ 401 1
404
+ 402 1
405
+ 403 1
406
+ 404 0
407
+ 405 1
408
+ 406 1
409
+ 407 1
410
+ 408 0
411
+ 409 0
412
+ 410 0
413
+ 411 1
414
+ 412 1
415
+ 413 1
416
+ 414 1
417
+ 415 1
418
+ 416 1
419
+ 417 0
420
+ 418 0
421
+ 419 0
422
+ 420 0
423
+ 421 0
424
+ 422 0
425
+ 423 1
426
+ 424 1
427
+ 425 0
428
+ 426 1
429
+ 427 1
430
+ 428 0
431
+ 429 0
432
+ 430 1
433
+ 431 1
434
+ 432 0
435
+ 433 0
436
+ 434 1
437
+ 435 0
438
+ 436 0
439
+ 437 0
440
+ 438 0
441
+ 439 1
442
+ 440 0
443
+ 441 1
444
+ 442 1
445
+ 443 1
446
+ 444 0
447
+ 445 0
448
+ 446 1
449
+ 447 0
450
+ 448 0
451
+ 449 0
452
+ 450 0
453
+ 451 1
454
+ 452 0
455
+ 453 1
456
+ 454 1
457
+ 455 1
458
+ 456 0
459
+ 457 1
460
+ 458 1
461
+ 459 0
462
+ 460 0
463
+ 461 1
464
+ 462 1
465
+ 463 0
466
+ 464 1
467
+ 465 1
468
+ 466 0
469
+ 467 1
470
+ 468 1
471
+ 469 1
472
+ 470 1
473
+ 471 0
474
+ 472 1
475
+ 473 1
476
+ 474 1
477
+ 475 1
478
+ 476 0
479
+ 477 1
480
+ 478 0
481
+ 479 0
482
+ 480 0
483
+ 481 0
484
+ 482 0
485
+ 483 1
486
+ 484 1
487
+ 485 0
488
+ 486 0
489
+ 487 0
490
+ 488 0
491
+ 489 1
492
+ 490 1
493
+ 491 1
494
+ 492 1
495
+ 493 1
496
+ 494 0
497
+ 495 0
498
+ 496 1
499
+ 497 0
500
+ 498 0
501
+ 499 0
502
+ 500 0
503
+ 501 0
504
+ 502 0
505
+ 503 1
506
+ 504 0
507
+ 505 1
508
+ 506 1
509
+ 507 0
510
+ 508 1
511
+ 509 0
512
+ 510 1
513
+ 511 0
514
+ 512 0
515
+ 513 1
516
+ 514 1
517
+ 515 1
518
+ 516 0
519
+ 517 1
520
+ 518 0
521
+ 519 0
522
+ 520 1
523
+ 521 0
524
+ 522 1
525
+ 523 1
526
+ 524 1
527
+ 525 0
528
+ 526 1
529
+ 527 1
530
+ 528 1
531
+ 529 1
532
+ 530 1
533
+ 531 0
534
+ 532 0
535
+ 533 0
536
+ 534 0
537
+ 535 1
538
+ 536 1
539
+ 537 1
540
+ 538 1
541
+ 539 1
542
+ 540 0
543
+ 541 1
544
+ 542 0
545
+ 543 0
546
+ 544 1
547
+ 545 0
548
+ 546 1
549
+ 547 1
550
+ 548 0
551
+ 549 1
552
+ 550 1
553
+ 551 1
554
+ 552 0
555
+ 553 1
556
+ 554 0
557
+ 555 0
558
+ 556 0
559
+ 557 0
560
+ 558 1
561
+ 559 1
562
+ 560 1
563
+ 561 1
564
+ 562 1
565
+ 563 0
566
+ 564 1
567
+ 565 0
568
+ 566 0
569
+ 567 0
570
+ 568 0
571
+ 569 0
572
+ 570 0
573
+ 571 0
574
+ 572 0
575
+ 573 1
576
+ 574 1
577
+ 575 0
578
+ 576 0
579
+ 577 0
580
+ 578 1
581
+ 579 1
582
+ 580 0
583
+ 581 1
584
+ 582 0
585
+ 583 0
586
+ 584 0
587
+ 585 0
588
+ 586 0
589
+ 587 0
590
+ 588 0
591
+ 589 1
592
+ 590 0
593
+ 591 0
594
+ 592 1
595
+ 593 1
596
+ 594 1
597
+ 595 1
598
+ 596 0
599
+ 597 1
600
+ 598 1
601
+ 599 1
602
+ 600 1
603
+ 601 0
604
+ 602 1
605
+ 603 0
606
+ 604 0
607
+ 605 0
608
+ 606 1
609
+ 607 1
610
+ 608 0
611
+ 609 0
612
+ 610 0
613
+ 611 1
614
+ 612 1
615
+ 613 1
616
+ 614 0
617
+ 615 0
618
+ 616 0
619
+ 617 0
620
+ 618 1
621
+ 619 0
622
+ 620 0
623
+ 621 0
624
+ 622 1
625
+ 623 1
626
+ 624 0
627
+ 625 1
628
+ 626 0
629
+ 627 0
630
+ 628 1
631
+ 629 1
632
+ 630 1
633
+ 631 0
634
+ 632 1
635
+ 633 1
636
+ 634 0
637
+ 635 1
638
+ 636 0
639
+ 637 0
640
+ 638 1
641
+ 639 1
642
+ 640 0
643
+ 641 1
644
+ 642 1
645
+ 643 1
646
+ 644 0
647
+ 645 0
648
+ 646 1
649
+ 647 1
650
+ 648 0
651
+ 649 1
652
+ 650 0
653
+ 651 1
654
+ 652 1
655
+ 653 1
656
+ 654 0
657
+ 655 1
658
+ 656 0
659
+ 657 1
660
+ 658 0
661
+ 659 1
662
+ 660 1
663
+ 661 1
664
+ 662 1
665
+ 663 0
666
+ 664 1
667
+ 665 0
668
+ 666 0
669
+ 667 1
670
+ 668 1
671
+ 669 0
672
+ 670 0
673
+ 671 0
674
+ 672 1
675
+ 673 0
676
+ 674 1
677
+ 675 0
678
+ 676 1
679
+ 677 1
680
+ 678 1
681
+ 679 0
682
+ 680 1
683
+ 681 1
684
+ 682 1
685
+ 683 1
686
+ 684 0
687
+ 685 0
688
+ 686 0
689
+ 687 0
690
+ 688 0
691
+ 689 0
692
+ 690 0
693
+ 691 0
694
+ 692 0
695
+ 693 0
696
+ 694 1
697
+ 695 0
698
+ 696 0
699
+ 697 1
700
+ 698 0
701
+ 699 0
702
+ 700 1
703
+ 701 0
704
+ 702 0
705
+ 703 0
706
+ 704 1
707
+ 705 1
708
+ 706 0
709
+ 707 0
710
+ 708 0
711
+ 709 0
712
+ 710 0
713
+ 711 1
714
+ 712 0
715
+ 713 1
716
+ 714 0
717
+ 715 1
718
+ 716 0
719
+ 717 1
720
+ 718 1
721
+ 719 1
722
+ 720 0
723
+ 721 1
724
+ 722 0
725
+ 723 1
726
+ 724 1
727
+ 725 1
728
+ 726 1
729
+ 727 0
730
+ 728 0
731
+ 729 1
732
+ 730 0
733
+ 731 0
734
+ 732 1
735
+ 733 1
736
+ 734 0
737
+ 735 1
738
+ 736 1
739
+ 737 1
740
+ 738 1
741
+ 739 0
742
+ 740 0
743
+ 741 1
744
+ 742 1
745
+ 743 0
746
+ 744 0
747
+ 745 1
748
+ 746 0
749
+ 747 0
750
+ 748 1
751
+ 749 0
752
+ 750 1
753
+ 751 0
754
+ 752 1
755
+ 753 1
756
+ 754 0
757
+ 755 1
758
+ 756 0
759
+ 757 0
760
+ 758 1
761
+ 759 0
762
+ 760 0
763
+ 761 0
764
+ 762 1
765
+ 763 0
766
+ 764 1
767
+ 765 1
768
+ 766 1
769
+ 767 0
770
+ 768 1
771
+ 769 0
772
+ 770 1
773
+ 771 1
774
+ 772 0
775
+ 773 1
776
+ 774 0
777
+ 775 0
778
+ 776 0
779
+ 777 0
780
+ 778 0
781
+ 779 0
782
+ 780 0
783
+ 781 0
784
+ 782 1
785
+ 783 1
786
+ 784 1
787
+ 785 0
788
+ 786 1
789
+ 787 1
790
+ 788 1
791
+ 789 0
792
+ 790 0
793
+ 791 1
794
+ 792 1
795
+ 793 0
796
+ 794 1
797
+ 795 0
798
+ 796 0
799
+ 797 1
800
+ 798 0
801
+ 799 1
802
+ 800 1
803
+ 801 1
804
+ 802 0
805
+ 803 0
806
+ 804 1
807
+ 805 1
808
+ 806 1
809
+ 807 0
810
+ 808 1
811
+ 809 0
812
+ 810 0
813
+ 811 0
814
+ 812 0
815
+ 813 1
816
+ 814 1
817
+ 815 0
818
+ 816 0
819
+ 817 0
820
+ 818 1
821
+ 819 0
822
+ 820 0
823
+ 821 1
824
+ 822 1
825
+ 823 0
826
+ 824 1
827
+ 825 0
828
+ 826 1
829
+ 827 1
830
+ 828 0
831
+ 829 0
832
+ 830 1
833
+ 831 1
834
+ 832 1
835
+ 833 0
836
+ 834 0
837
+ 835 0
838
+ 836 0
839
+ 837 1
840
+ 838 1
841
+ 839 1
842
+ 840 0
843
+ 841 0
844
+ 842 1
845
+ 843 1
846
+ 844 0
847
+ 845 0
848
+ 846 1
849
+ 847 1
850
+ 848 0
851
+ 849 0
852
+ 850 0
853
+ 851 1
854
+ 852 0
855
+ 853 0
856
+ 854 0
857
+ 855 0
858
+ 856 0
859
+ 857 0
860
+ 858 1
861
+ 859 1
862
+ 860 0
863
+ 861 0
864
+ 862 0
865
+ 863 1
866
+ 864 1
867
+ 865 0
868
+ 866 0
869
+ 867 0
870
+ 868 0
871
+ 869 1
872
+ 870 1
873
+ 871 1
874
+ 872 1
875
+ 873 0
876
+ 874 1
877
+ 875 0
878
+ 876 0
879
+ 877 0
880
+ 878 0
881
+ 879 1
882
+ 880 1
883
+ 881 1
884
+ 882 1
885
+ 883 0
886
+ 884 1
887
+ 885 1
888
+ 886 1
889
+ 887 0
890
+ 888 1
891
+ 889 0
892
+ 890 1
893
+ 891 0
894
+ 892 0
895
+ 893 1
896
+ 894 1
897
+ 895 1
898
+ 896 1
899
+ 897 0
900
+ 898 1
901
+ 899 0
902
+ 900 1
903
+ 901 0
904
+ 902 0
905
+ 903 1
906
+ 904 0
907
+ 905 1
908
+ 906 0
909
+ 907 1
910
+ 908 0
911
+ 909 1
912
+ 910 0
913
+ 911 0
914
+ 912 0
915
+ 913 0
916
+ 914 0
917
+ 915 0
918
+ 916 1
919
+ 917 0
920
+ 918 1
921
+ 919 0
922
+ 920 0
923
+ 921 0
924
+ 922 0
925
+ 923 0
926
+ 924 0
927
+ 925 1
928
+ 926 0
929
+ 927 0
930
+ 928 0
931
+ 929 1
932
+ 930 0
933
+ 931 0
934
+ 932 0
935
+ 933 0
936
+ 934 0
937
+ 935 1
938
+ 936 0
939
+ 937 1
940
+ 938 1
941
+ 939 0
942
+ 940 1
943
+ 941 1
944
+ 942 1
945
+ 943 0
946
+ 944 1
947
+ 945 1
948
+ 946 0
949
+ 947 1
950
+ 948 1
951
+ 949 0
952
+ 950 0
953
+ 951 1
954
+ 952 1
955
+ 953 0
956
+ 954 1
957
+ 955 1
958
+ 956 0
959
+ 957 0
960
+ 958 1
961
+ 959 1
962
+ 960 1
963
+ 961 1
964
+ 962 1
965
+ 963 0
966
+ 964 1
967
+ 965 0
968
+ 966 1
969
+ 967 0
970
+ 968 0
971
+ 969 0
972
+ 970 1
973
+ 971 0
974
+ 972 1
975
+ 973 0
976
+ 974 0
977
+ 975 1
978
+ 976 0
979
+ 977 0
980
+ 978 0
981
+ 979 0
982
+ 980 1
983
+ 981 1
984
+ 982 0
985
+ 983 0
986
+ 984 0
987
+ 985 1
988
+ 986 1
989
+ 987 0
990
+ 988 1
991
+ 989 1
992
+ 990 0
993
+ 991 1
994
+ 992 0
995
+ 993 1
996
+ 994 1
997
+ 995 1
998
+ 996 0
999
+ 997 0
1000
+ 998 1
1001
+ 999 0
1002
+ 1000 0
1003
+ 1001 0
1004
+ 1002 0
1005
+ 1003 1
1006
+ 1004 0
1007
+ 1005 0
1008
+ 1006 0
1009
+ 1007 1
1010
+ 1008 0
1011
+ 1009 0
1012
+ 1010 0
1013
+ 1011 0
1014
+ 1012 0
1015
+ 1013 0
1016
+ 1014 0
1017
+ 1015 0
1018
+ 1016 0
1019
+ 1017 0
1020
+ 1018 1
1021
+ 1019 1
1022
+ 1020 1
1023
+ 1021 0
1024
+ 1022 0
1025
+ 1023 1
1026
+ 1024 1
1027
+ 1025 0
1028
+ 1026 0
1029
+ 1027 0
1030
+ 1028 1
1031
+ 1029 0
1032
+ 1030 1
1033
+ 1031 0
1034
+ 1032 0
1035
+ 1033 0
1036
+ 1034 0
1037
+ 1035 1
1038
+ 1036 1
1039
+ 1037 1
1040
+ 1038 1
1041
+ 1039 0
1042
+ 1040 1
1043
+ 1041 0
1044
+ 1042 0
1045
+ 1043 0
1046
+ 1044 0
1047
+ 1045 0
1048
+ 1046 1
1049
+ 1047 0
1050
+ 1048 1
1051
+ 1049 1
1052
+ 1050 1
1053
+ 1051 1
1054
+ 1052 1
1055
+ 1053 1
1056
+ 1054 1
1057
+ 1055 1
1058
+ 1056 0
1059
+ 1057 0
1060
+ 1058 0
1061
+ 1059 0
1062
+ 1060 0
1063
+ 1061 0
1064
+ 1062 0
1065
+ 1063 1
1066
+ 1064 0
1067
+ 1065 1
1068
+ 1066 1
1069
+ 1067 0
1070
+ 1068 1
1071
+ 1069 1
1072
+ 1070 0
1073
+ 1071 0
1074
+ 1072 0
1075
+ 1073 0
1076
+ 1074 0
1077
+ 1075 1
1078
+ 1076 1
1079
+ 1077 1
1080
+ 1078 0
1081
+ 1079 1
1082
+ 1080 1
1083
+ 1081 0
1084
+ 1082 0
1085
+ 1083 0
1086
+ 1084 1
1087
+ 1085 0
1088
+ 1086 1
1089
+ 1087 0
1090
+ 1088 1
1091
+ 1089 1
1092
+ 1090 1
1093
+ 1091 1
1094
+ 1092 1
1095
+ 1093 0
1096
+ 1094 0
1097
+ 1095 0
1098
+ 1096 1
1099
+ 1097 0
1100
+ 1098 1
1101
+ 1099 1
1102
+ 1100 1
1103
+ 1101 1
1104
+ 1102 1
1105
+ 1103 0
1106
+ 1104 0
1107
+ 1105 0
1108
+ 1106 1
1109
+ 1107 0
1110
+ 1108 1
1111
+ 1109 1
1112
+ 1110 1
1113
+ 1111 1
1114
+ 1112 0
1115
+ 1113 1
1116
+ 1114 1
1117
+ 1115 0
1118
+ 1116 1
1119
+ 1117 0
1120
+ 1118 1
1121
+ 1119 0
1122
+ 1120 1
1123
+ 1121 1
1124
+ 1122 0
1125
+ 1123 1
1126
+ 1124 1
1127
+ 1125 1
1128
+ 1126 0
1129
+ 1127 1
1130
+ 1128 0
1131
+ 1129 1
1132
+ 1130 1
1133
+ 1131 0
1134
+ 1132 0
1135
+ 1133 0
1136
+ 1134 0
1137
+ 1135 0
1138
+ 1136 1
1139
+ 1137 0
1140
+ 1138 1
1141
+ 1139 1
1142
+ 1140 1
1143
+ 1141 1
1144
+ 1142 0
1145
+ 1143 1
1146
+ 1144 0
1147
+ 1145 1
1148
+ 1146 0
1149
+ 1147 0
1150
+ 1148 0
1151
+ 1149 1
1152
+ 1150 1
1153
+ 1151 1
1154
+ 1152 1
1155
+ 1153 1
1156
+ 1154 0
1157
+ 1155 0
1158
+ 1156 1
1159
+ 1157 0
1160
+ 1158 1
1161
+ 1159 0
1162
+ 1160 1
1163
+ 1161 1
1164
+ 1162 1
1165
+ 1163 1
1166
+ 1164 0
1167
+ 1165 1
1168
+ 1166 0
1169
+ 1167 0
1170
+ 1168 1
1171
+ 1169 1
1172
+ 1170 1
1173
+ 1171 0
1174
+ 1172 0
1175
+ 1173 1
1176
+ 1174 0
1177
+ 1175 1
1178
+ 1176 0
1179
+ 1177 0
1180
+ 1178 0
1181
+ 1179 0
1182
+ 1180 1
1183
+ 1181 1
1184
+ 1182 0
1185
+ 1183 0
1186
+ 1184 0
1187
+ 1185 1
1188
+ 1186 0
1189
+ 1187 0
1190
+ 1188 1
1191
+ 1189 1
1192
+ 1190 1
1193
+ 1191 1
1194
+ 1192 1
1195
+ 1193 1
1196
+ 1194 1
1197
+ 1195 0
1198
+ 1196 1
1199
+ 1197 1
1200
+ 1198 1
1201
+ 1199 0
1202
+ 1200 1
1203
+ 1201 1
1204
+ 1202 0
1205
+ 1203 1
1206
+ 1204 0
1207
+ 1205 1
1208
+ 1206 1
1209
+ 1207 1
1210
+ 1208 0
1211
+ 1209 1
1212
+ 1210 0
1213
+ 1211 0
1214
+ 1212 1
1215
+ 1213 1
1216
+ 1214 1
1217
+ 1215 0
1218
+ 1216 0
1219
+ 1217 1
1220
+ 1218 1
1221
+ 1219 0
1222
+ 1220 0
1223
+ 1221 1
1224
+ 1222 1
1225
+ 1223 1
1226
+ 1224 0
1227
+ 1225 0
1228
+ 1226 0
1229
+ 1227 0
1230
+ 1228 0
1231
+ 1229 1
1232
+ 1230 0
1233
+ 1231 0
1234
+ 1232 0
1235
+ 1233 1
1236
+ 1234 0
1237
+ 1235 1
1238
+ 1236 1
1239
+ 1237 0
1240
+ 1238 0
1241
+ 1239 0
1242
+ 1240 0
1243
+ 1241 1
1244
+ 1242 0
1245
+ 1243 0
1246
+ 1244 0
1247
+ 1245 1
1248
+ 1246 1
1249
+ 1247 0
1250
+ 1248 0
1251
+ 1249 1
1252
+ 1250 1
1253
+ 1251 1
1254
+ 1252 0
1255
+ 1253 0
1256
+ 1254 1
1257
+ 1255 0
1258
+ 1256 1
1259
+ 1257 1
1260
+ 1258 0
1261
+ 1259 1
1262
+ 1260 0
1263
+ 1261 0
1264
+ 1262 0
1265
+ 1263 0
1266
+ 1264 1
1267
+ 1265 0
1268
+ 1266 0
1269
+ 1267 0
1270
+ 1268 1
1271
+ 1269 0
1272
+ 1270 0
1273
+ 1271 1
1274
+ 1272 1
1275
+ 1273 1
1276
+ 1274 0
1277
+ 1275 0
1278
+ 1276 1
1279
+ 1277 0
1280
+ 1278 0
1281
+ 1279 0
1282
+ 1280 0
1283
+ 1281 1
1284
+ 1282 0
1285
+ 1283 0
1286
+ 1284 1
1287
+ 1285 1
1288
+ 1286 1
1289
+ 1287 0
1290
+ 1288 0
1291
+ 1289 1
1292
+ 1290 0
1293
+ 1291 0
1294
+ 1292 1
1295
+ 1293 1
1296
+ 1294 0
1297
+ 1295 0
1298
+ 1296 0
1299
+ 1297 0
1300
+ 1298 0
1301
+ 1299 1
1302
+ 1300 0
1303
+ 1301 1
1304
+ 1302 0
1305
+ 1303 0
1306
+ 1304 1
1307
+ 1305 1
1308
+ 1306 1
1309
+ 1307 0
1310
+ 1308 1
1311
+ 1309 1
1312
+ 1310 0
1313
+ 1311 1
1314
+ 1312 0
1315
+ 1313 1
1316
+ 1314 1
1317
+ 1315 0
1318
+ 1316 0
1319
+ 1317 1
1320
+ 1318 1
1321
+ 1319 1
1322
+ 1320 0
1323
+ 1321 0
1324
+ 1322 1
1325
+ 1323 0
1326
+ 1324 1
1327
+ 1325 0
1328
+ 1326 1
1329
+ 1327 0
1330
+ 1328 0
1331
+ 1329 0
1332
+ 1330 0
1333
+ 1331 1
1334
+ 1332 1
1335
+ 1333 1
1336
+ 1334 1
1337
+ 1335 0
1338
+ 1336 1
1339
+ 1337 1
1340
+ 1338 0
1341
+ 1339 0
1342
+ 1340 1
1343
+ 1341 0
1344
+ 1342 1
1345
+ 1343 1
1346
+ 1344 1
1347
+ 1345 1
1348
+ 1346 0
1349
+ 1347 0
1350
+ 1348 1
1351
+ 1349 1
1352
+ 1350 1
1353
+ 1351 1
1354
+ 1352 1
1355
+ 1353 0
1356
+ 1354 1
1357
+ 1355 1
1358
+ 1356 0
1359
+ 1357 1
1360
+ 1358 1
1361
+ 1359 0
1362
+ 1360 1
1363
+ 1361 0
1364
+ 1362 0
1365
+ 1363 0
1366
+ 1364 1
1367
+ 1365 1
1368
+ 1366 1
1369
+ 1367 0
1370
+ 1368 1
1371
+ 1369 1
1372
+ 1370 1
1373
+ 1371 0
1374
+ 1372 1
1375
+ 1373 1
1376
+ 1374 0
1377
+ 1375 0
1378
+ 1376 0
1379
+ 1377 1
1380
+ 1378 1
1381
+ 1379 0
1382
+ 1380 1
1383
+ 1381 0
1384
+ 1382 0
1385
+ 1383 1
1386
+ 1384 1
1387
+ 1385 1
1388
+ 1386 1
1389
+ 1387 0
1390
+ 1388 1
1391
+ 1389 0
1392
+ 1390 1
1393
+ 1391 0
1394
+ 1392 1
1395
+ 1393 0
1396
+ 1394 0
1397
+ 1395 0
1398
+ 1396 1
1399
+ 1397 0
1400
+ 1398 1
1401
+ 1399 0
1402
+ 1400 0
1403
+ 1401 0
1404
+ 1402 0
1405
+ 1403 0
1406
+ 1404 0
1407
+ 1405 1
1408
+ 1406 1
1409
+ 1407 1
1410
+ 1408 0
1411
+ 1409 0
1412
+ 1410 1
1413
+ 1411 1
1414
+ 1412 1
1415
+ 1413 1
1416
+ 1414 1
1417
+ 1415 1
1418
+ 1416 1
1419
+ 1417 0
1420
+ 1418 0
1421
+ 1419 1
1422
+ 1420 1
1423
+ 1421 0
1424
+ 1422 0
1425
+ 1423 1
1426
+ 1424 0
1427
+ 1425 0
1428
+ 1426 1
1429
+ 1427 1
1430
+ 1428 1
1431
+ 1429 0
1432
+ 1430 1
1433
+ 1431 0
1434
+ 1432 0
1435
+ 1433 0
1436
+ 1434 0
1437
+ 1435 1
1438
+ 1436 1
1439
+ 1437 0
1440
+ 1438 1
1441
+ 1439 0
1442
+ 1440 1
1443
+ 1441 0
1444
+ 1442 1
1445
+ 1443 1
1446
+ 1444 0
1447
+ 1445 1
1448
+ 1446 0
1449
+ 1447 0
1450
+ 1448 1
1451
+ 1449 1
1452
+ 1450 1
1453
+ 1451 0
1454
+ 1452 1
1455
+ 1453 0
1456
+ 1454 0
1457
+ 1455 1
1458
+ 1456 1
1459
+ 1457 1
1460
+ 1458 0
1461
+ 1459 1
1462
+ 1460 0
1463
+ 1461 1
1464
+ 1462 0
1465
+ 1463 1
1466
+ 1464 1
1467
+ 1465 1
1468
+ 1466 1
1469
+ 1467 1
1470
+ 1468 0
1471
+ 1469 1
1472
+ 1470 1
1473
+ 1471 0
1474
+ 1472 0
1475
+ 1473 1
1476
+ 1474 0
1477
+ 1475 0
1478
+ 1476 0
1479
+ 1477 1
1480
+ 1478 0
1481
+ 1479 1
1482
+ 1480 0
1483
+ 1481 0
1484
+ 1482 1
1485
+ 1483 1
1486
+ 1484 1
1487
+ 1485 1
1488
+ 1486 0
1489
+ 1487 0
1490
+ 1488 1
1491
+ 1489 0
1492
+ 1490 0
1493
+ 1491 0
1494
+ 1492 1
1495
+ 1493 0
1496
+ 1494 1
1497
+ 1495 1
1498
+ 1496 0
1499
+ 1497 1
1500
+ 1498 0
1501
+ 1499 1
1502
+ 1500 0
1503
+ 1501 1
1504
+ 1502 0
1505
+ 1503 1
1506
+ 1504 1
1507
+ 1505 1
1508
+ 1506 1
1509
+ 1507 1
1510
+ 1508 1
1511
+ 1509 0
1512
+ 1510 1
1513
+ 1511 1
1514
+ 1512 1
1515
+ 1513 1
1516
+ 1514 0
1517
+ 1515 0
1518
+ 1516 0
1519
+ 1517 0
1520
+ 1518 1
1521
+ 1519 1
1522
+ 1520 0
1523
+ 1521 0
1524
+ 1522 1
1525
+ 1523 1
1526
+ 1524 0
1527
+ 1525 1
1528
+ 1526 1
1529
+ 1527 1
1530
+ 1528 1
1531
+ 1529 1
1532
+ 1530 1
1533
+ 1531 1
1534
+ 1532 0
1535
+ 1533 1
1536
+ 1534 1
1537
+ 1535 0
1538
+ 1536 0
1539
+ 1537 1
1540
+ 1538 1
1541
+ 1539 1
1542
+ 1540 1
1543
+ 1541 0
1544
+ 1542 1
1545
+ 1543 0
1546
+ 1544 1
1547
+ 1545 1
1548
+ 1546 0
1549
+ 1547 0
1550
+ 1548 0
1551
+ 1549 0
1552
+ 1550 1
1553
+ 1551 1
1554
+ 1552 1
1555
+ 1553 0
1556
+ 1554 1
1557
+ 1555 0
1558
+ 1556 0
1559
+ 1557 1
1560
+ 1558 1
1561
+ 1559 1
1562
+ 1560 0
1563
+ 1561 0
1564
+ 1562 0
1565
+ 1563 1
1566
+ 1564 0
1567
+ 1565 0
1568
+ 1566 0
1569
+ 1567 0
1570
+ 1568 0
1571
+ 1569 0
1572
+ 1570 1
1573
+ 1571 1
1574
+ 1572 0
1575
+ 1573 0
1576
+ 1574 0
1577
+ 1575 0
1578
+ 1576 1
1579
+ 1577 1
1580
+ 1578 0
1581
+ 1579 0
1582
+ 1580 0
1583
+ 1581 0
1584
+ 1582 1
1585
+ 1583 0
1586
+ 1584 0
1587
+ 1585 1
1588
+ 1586 1
1589
+ 1587 1
1590
+ 1588 0
1591
+ 1589 0
1592
+ 1590 0
1593
+ 1591 1
1594
+ 1592 0
1595
+ 1593 1
1596
+ 1594 0
1597
+ 1595 0
1598
+ 1596 0
1599
+ 1597 1
1600
+ 1598 0
1601
+ 1599 0
1602
+ 1600 0
1603
+ 1601 0
1604
+ 1602 0
1605
+ 1603 1
1606
+ 1604 1
1607
+ 1605 0
1608
+ 1606 0
1609
+ 1607 1
1610
+ 1608 0
1611
+ 1609 1
1612
+ 1610 1
1613
+ 1611 1
1614
+ 1612 1
1615
+ 1613 0
1616
+ 1614 0
1617
+ 1615 0
1618
+ 1616 0
1619
+ 1617 1
1620
+ 1618 1
1621
+ 1619 0
1622
+ 1620 1
1623
+ 1621 0
1624
+ 1622 1
1625
+ 1623 1
1626
+ 1624 1
1627
+ 1625 1
1628
+ 1626 1
1629
+ 1627 0
1630
+ 1628 0
1631
+ 1629 0
1632
+ 1630 1
1633
+ 1631 0
1634
+ 1632 1
1635
+ 1633 1
1636
+ 1634 0
1637
+ 1635 0
1638
+ 1636 0
1639
+ 1637 0
1640
+ 1638 1
1641
+ 1639 0
1642
+ 1640 1
1643
+ 1641 0
1644
+ 1642 1
1645
+ 1643 0
1646
+ 1644 0
1647
+ 1645 0
1648
+ 1646 0
1649
+ 1647 1
1650
+ 1648 0
1651
+ 1649 0
1652
+ 1650 0
1653
+ 1651 0
1654
+ 1652 0
1655
+ 1653 1
1656
+ 1654 0
1657
+ 1655 1
1658
+ 1656 1
1659
+ 1657 1
1660
+ 1658 1
1661
+ 1659 1
1662
+ 1660 0
1663
+ 1661 1
1664
+ 1662 1
1665
+ 1663 1
1666
+ 1664 0
1667
+ 1665 0
1668
+ 1666 0
1669
+ 1667 0
1670
+ 1668 0
1671
+ 1669 1
1672
+ 1670 0
1673
+ 1671 1
1674
+ 1672 0
1675
+ 1673 1
1676
+ 1674 0
1677
+ 1675 1
1678
+ 1676 1
1679
+ 1677 0
1680
+ 1678 0
1681
+ 1679 0
1682
+ 1680 0
1683
+ 1681 1
1684
+ 1682 0
1685
+ 1683 1
1686
+ 1684 0
1687
+ 1685 0
1688
+ 1686 0
1689
+ 1687 1
1690
+ 1688 1
1691
+ 1689 1
1692
+ 1690 0
1693
+ 1691 1
1694
+ 1692 1
1695
+ 1693 1
1696
+ 1694 0
1697
+ 1695 0
1698
+ 1696 1
1699
+ 1697 0
1700
+ 1698 1
1701
+ 1699 0
1702
+ 1700 0
1703
+ 1701 0
1704
+ 1702 1
1705
+ 1703 1
1706
+ 1704 1
1707
+ 1705 0
1708
+ 1706 1
1709
+ 1707 0
1710
+ 1708 0
1711
+ 1709 0
1712
+ 1710 0
1713
+ 1711 0
1714
+ 1712 0
1715
+ 1713 0
1716
+ 1714 1
1717
+ 1715 0
1718
+ 1716 1
1719
+ 1717 0
1720
+ 1718 1
1721
+ 1719 0
1722
+ 1720 1
1723
+ 1721 1
1724
+ 1722 1
1725
+ 1723 1
1726
+ 1724 0
1727
+ 1725 1
1728
+ 1726 0
1729
+ 1727 1
1730
+ 1728 0
1731
+ 1729 1
1732
+ 1730 1
1733
+ 1731 1
1734
+ 1732 1
1735
+ 1733 0
1736
+ 1734 0
1737
+ 1735 0
1738
+ 1736 1
1739
+ 1737 0
1740
+ 1738 0
1741
+ 1739 0
1742
+ 1740 0
1743
+ 1741 0
1744
+ 1742 1
1745
+ 1743 0
1746
+ 1744 0
1747
+ 1745 0
1748
+ 1746 0
1749
+ 1747 1
1750
+ 1748 1
1751
+ 1749 1
1752
+ 1750 1
1753
+ 1751 0
1754
+ 1752 0
1755
+ 1753 1
1756
+ 1754 0
1757
+ 1755 1
1758
+ 1756 1
1759
+ 1757 0
1760
+ 1758 0
1761
+ 1759 1
1762
+ 1760 1
1763
+ 1761 1
1764
+ 1762 1
1765
+ 1763 1
1766
+ 1764 1
1767
+ 1765 0
1768
+ 1766 0
1769
+ 1767 1
1770
+ 1768 1
1771
+ 1769 0
1772
+ 1770 1
1773
+ 1771 0
1774
+ 1772 0
1775
+ 1773 1
1776
+ 1774 1
1777
+ 1775 0
1778
+ 1776 1
1779
+ 1777 0
1780
+ 1778 0
1781
+ 1779 0
1782
+ 1780 1
1783
+ 1781 0
1784
+ 1782 0
1785
+ 1783 0
1786
+ 1784 0
1787
+ 1785 1
1788
+ 1786 0
1789
+ 1787 0
1790
+ 1788 0
1791
+ 1789 1
1792
+ 1790 1
1793
+ 1791 0
1794
+ 1792 1
1795
+ 1793 0
1796
+ 1794 1
1797
+ 1795 0
1798
+ 1796 0
1799
+ 1797 0
1800
+ 1798 0
1801
+ 1799 1
1802
+ 1800 1
1803
+ 1801 1
1804
+ 1802 0
1805
+ 1803 1
1806
+ 1804 1
1807
+ 1805 1
1808
+ 1806 1
1809
+ 1807 1
1810
+ 1808 1
1811
+ 1809 0
1812
+ 1810 0
1813
+ 1811 1
1814
+ 1812 0
1815
+ 1813 1
1816
+ 1814 1
1817
+ 1815 0
1818
+ 1816 1
1819
+ 1817 0
1820
+ 1818 1
1821
+ 1819 1
1822
+ 1820 0
1823
+ 1821 1
1824
+ 1822 0
1825
+ 1823 0
1826
+ 1824 1
1827
+ 1825 0
1828
+ 1826 0
1829
+ 1827 1
1830
+ 1828 0
1831
+ 1829 1
1832
+ 1830 0
1833
+ 1831 1
1834
+ 1832 0
1835
+ 1833 0
1836
+ 1834 1
1837
+ 1835 1
1838
+ 1836 1
1839
+ 1837 0
1840
+ 1838 1
1841
+ 1839 0
1842
+ 1840 0
1843
+ 1841 0
1844
+ 1842 0
1845
+ 1843 1
1846
+ 1844 0
1847
+ 1845 1
1848
+ 1846 0
1849
+ 1847 0
1850
+ 1848 1
1851
+ 1849 1
1852
+ 1850 0
1853
+ 1851 1
1854
+ 1852 1
1855
+ 1853 0
1856
+ 1854 0
1857
+ 1855 0
1858
+ 1856 1
1859
+ 1857 1
1860
+ 1858 1
1861
+ 1859 0
1862
+ 1860 1
1863
+ 1861 1
1864
+ 1862 0
1865
+ 1863 0
1866
+ 1864 0
1867
+ 1865 1
1868
+ 1866 0
1869
+ 1867 0
1870
+ 1868 1
1871
+ 1869 0
1872
+ 1870 0
1873
+ 1871 1
1874
+ 1872 0
1875
+ 1873 1
1876
+ 1874 0
1877
+ 1875 0
1878
+ 1876 1
1879
+ 1877 1
1880
+ 1878 1
1881
+ 1879 1
1882
+ 1880 1
1883
+ 1881 1
1884
+ 1882 0
1885
+ 1883 1
1886
+ 1884 0
1887
+ 1885 1
1888
+ 1886 1
1889
+ 1887 1
1890
+ 1888 1
1891
+ 1889 1
1892
+ 1890 1
1893
+ 1891 1
1894
+ 1892 1
1895
+ 1893 0
1896
+ 1894 0
1897
+ 1895 0
1898
+ 1896 0
1899
+ 1897 0
1900
+ 1898 0
1901
+ 1899 1
1902
+ 1900 1
1903
+ 1901 0
1904
+ 1902 1
1905
+ 1903 0
1906
+ 1904 0
1907
+ 1905 1
1908
+ 1906 1
1909
+ 1907 0
1910
+ 1908 1
1911
+ 1909 1
1912
+ 1910 0
1913
+ 1911 1
1914
+ 1912 1
1915
+ 1913 0
1916
+ 1914 1
1917
+ 1915 1
1918
+ 1916 1
1919
+ 1917 0
1920
+ 1918 1
1921
+ 1919 1
1922
+ 1920 0
1923
+ 1921 0
1924
+ 1922 1
1925
+ 1923 0
1926
+ 1924 0
1927
+ 1925 0
1928
+ 1926 1
1929
+ 1927 0
1930
+ 1928 0
1931
+ 1929 1
1932
+ 1930 0
1933
+ 1931 1
1934
+ 1932 0
1935
+ 1933 0
1936
+ 1934 1
1937
+ 1935 0
1938
+ 1936 0
1939
+ 1937 0
1940
+ 1938 1
1941
+ 1939 1
1942
+ 1940 0
1943
+ 1941 1
1944
+ 1942 0
1945
+ 1943 0
1946
+ 1944 0
1947
+ 1945 0
1948
+ 1946 1
1949
+ 1947 1
1950
+ 1948 0
1951
+ 1949 0
1952
+ 1950 1
1953
+ 1951 0
1954
+ 1952 0
1955
+ 1953 1
1956
+ 1954 0
1957
+ 1955 0
1958
+ 1956 0
1959
+ 1957 1
1960
+ 1958 1
1961
+ 1959 1
1962
+ 1960 0
1963
+ 1961 1
1964
+ 1962 1
1965
+ 1963 1
1966
+ 1964 0
1967
+ 1965 1
1968
+ 1966 1
1969
+ 1967 1
1970
+ 1968 1
1971
+ 1969 1
1972
+ 1970 0
1973
+ 1971 0
1974
+ 1972 0
1975
+ 1973 0
1976
+ 1974 1
1977
+ 1975 1
1978
+ 1976 0
1979
+ 1977 0
1980
+ 1978 0
1981
+ 1979 0
1982
+ 1980 0
1983
+ 1981 0
1984
+ 1982 1
1985
+ 1983 1
1986
+ 1984 1
1987
+ 1985 1
1988
+ 1986 0
1989
+ 1987 1
1990
+ 1988 0
1991
+ 1989 1
1992
+ 1990 1
1993
+ 1991 1
1994
+ 1992 0
1995
+ 1993 1
1996
+ 1994 1
1997
+ 1995 0
1998
+ 1996 1
1999
+ 1997 1
2000
+ 1998 0
2001
+ 1999 0
2002
+ 2000 1
2003
+ 2001 1
2004
+ 2002 0
2005
+ 2003 0
2006
+ 2004 0
2007
+ 2005 1
2008
+ 2006 1
2009
+ 2007 0
2010
+ 2008 0
2011
+ 2009 0
2012
+ 2010 0
2013
+ 2011 0
2014
+ 2012 1
2015
+ 2013 1
2016
+ 2014 1
2017
+ 2015 0
2018
+ 2016 0
2019
+ 2017 1
2020
+ 2018 1
2021
+ 2019 0
2022
+ 2020 0
2023
+ 2021 1
2024
+ 2022 1
2025
+ 2023 0
2026
+ 2024 1
2027
+ 2025 0
2028
+ 2026 0
2029
+ 2027 0
2030
+ 2028 0
2031
+ 2029 0
2032
+ 2030 0
2033
+ 2031 0
2034
+ 2032 1
2035
+ 2033 1
2036
+ 2034 1
2037
+ 2035 1
2038
+ 2036 0
2039
+ 2037 0
2040
+ 2038 1
2041
+ 2039 0
2042
+ 2040 1
2043
+ 2041 0
2044
+ 2042 0
2045
+ 2043 1
2046
+ 2044 0
2047
+ 2045 0
2048
+ 2046 0
2049
+ 2047 0
2050
+ 2048 1
2051
+ 2049 1
2052
+ 2050 1
2053
+ 2051 0
2054
+ 2052 0
2055
+ 2053 0
2056
+ 2054 1
2057
+ 2055 0
2058
+ 2056 0
2059
+ 2057 0
2060
+ 2058 0
2061
+ 2059 1
2062
+ 2060 0
2063
+ 2061 1
2064
+ 2062 1
2065
+ 2063 0
2066
+ 2064 0
2067
+ 2065 1
2068
+ 2066 1
2069
+ 2067 0
2070
+ 2068 1
2071
+ 2069 0
2072
+ 2070 1
2073
+ 2071 1
2074
+ 2072 1
2075
+ 2073 1
2076
+ 2074 0
2077
+ 2075 1
2078
+ 2076 0
2079
+ 2077 0
2080
+ 2078 0
2081
+ 2079 1
2082
+ 2080 0
2083
+ 2081 1
2084
+ 2082 1
2085
+ 2083 0
2086
+ 2084 1
2087
+ 2085 0
2088
+ 2086 0
2089
+ 2087 0
2090
+ 2088 1
2091
+ 2089 0
2092
+ 2090 1
2093
+ 2091 1
2094
+ 2092 0
2095
+ 2093 1
2096
+ 2094 0
2097
+ 2095 0
2098
+ 2096 0
2099
+ 2097 1
2100
+ 2098 0
2101
+ 2099 1
2102
+ 2100 1
2103
+ 2101 1
2104
+ 2102 0
2105
+ 2103 0
2106
+ 2104 1
2107
+ 2105 0
2108
+ 2106 1
2109
+ 2107 0
2110
+ 2108 0
2111
+ 2109 1
2112
+ 2110 0
2113
+ 2111 0
2114
+ 2112 0
2115
+ 2113 1
2116
+ 2114 0
2117
+ 2115 0
2118
+ 2116 0
2119
+ 2117 0
2120
+ 2118 0
2121
+ 2119 0
2122
+ 2120 0
2123
+ 2121 1
2124
+ 2122 1
2125
+ 2123 1
2126
+ 2124 1
2127
+ 2125 1
2128
+ 2126 0
2129
+ 2127 0
2130
+ 2128 0
2131
+ 2129 1
2132
+ 2130 0
2133
+ 2131 1
2134
+ 2132 1
2135
+ 2133 1
2136
+ 2134 0
2137
+ 2135 0
2138
+ 2136 1
2139
+ 2137 0
2140
+ 2138 0
2141
+ 2139 0
2142
+ 2140 1
2143
+ 2141 0
2144
+ 2142 1
2145
+ 2143 0
2146
+ 2144 1
2147
+ 2145 1
2148
+ 2146 1
2149
+ 2147 1
2150
+ 2148 1
2151
+ 2149 0
2152
+ 2150 1
2153
+ 2151 0
2154
+ 2152 1
2155
+ 2153 0
2156
+ 2154 0
2157
+ 2155 1
2158
+ 2156 1
2159
+ 2157 1
2160
+ 2158 0
2161
+ 2159 1
2162
+ 2160 0
2163
+ 2161 0
2164
+ 2162 0
2165
+ 2163 1
2166
+ 2164 1
2167
+ 2165 1
2168
+ 2166 1
2169
+ 2167 0
2170
+ 2168 1
2171
+ 2169 1
2172
+ 2170 1
2173
+ 2171 0
2174
+ 2172 1
2175
+ 2173 1
2176
+ 2174 0
2177
+ 2175 1
2178
+ 2176 0
2179
+ 2177 1
2180
+ 2178 1
2181
+ 2179 0
2182
+ 2180 0
2183
+ 2181 1
2184
+ 2182 1
2185
+ 2183 0
2186
+ 2184 1
2187
+ 2185 1
2188
+ 2186 0
2189
+ 2187 0
2190
+ 2188 1
2191
+ 2189 0
2192
+ 2190 0
2193
+ 2191 0
2194
+ 2192 1
2195
+ 2193 0
2196
+ 2194 0
2197
+ 2195 0
2198
+ 2196 0
2199
+ 2197 1
2200
+ 2198 0
2201
+ 2199 0
2202
+ 2200 0
2203
+ 2201 0
2204
+ 2202 0
2205
+ 2203 0
2206
+ 2204 0
2207
+ 2205 1
2208
+ 2206 0
2209
+ 2207 0
2210
+ 2208 0
2211
+ 2209 0
2212
+ 2210 1
2213
+ 2211 1
2214
+ 2212 0
2215
+ 2213 1
2216
+ 2214 0
2217
+ 2215 1
2218
+ 2216 1
2219
+ 2217 0
2220
+ 2218 0
2221
+ 2219 1
2222
+ 2220 1
2223
+ 2221 0
2224
+ 2222 1
2225
+ 2223 0
2226
+ 2224 1
2227
+ 2225 1
2228
+ 2226 1
2229
+ 2227 1
2230
+ 2228 1
2231
+ 2229 1
2232
+ 2230 0
2233
+ 2231 0
2234
+ 2232 0
2235
+ 2233 0
2236
+ 2234 1
2237
+ 2235 1
2238
+ 2236 1
2239
+ 2237 0
2240
+ 2238 1
2241
+ 2239 1
2242
+ 2240 0
2243
+ 2241 1
2244
+ 2242 0
2245
+ 2243 1
2246
+ 2244 0
2247
+ 2245 0
2248
+ 2246 1
2249
+ 2247 0
2250
+ 2248 1
2251
+ 2249 1
2252
+ 2250 0
2253
+ 2251 0
2254
+ 2252 1
2255
+ 2253 1
2256
+ 2254 1
2257
+ 2255 0
2258
+ 2256 0
2259
+ 2257 1
2260
+ 2258 1
2261
+ 2259 0
2262
+ 2260 1
2263
+ 2261 0
2264
+ 2262 0
2265
+ 2263 1
2266
+ 2264 0
2267
+ 2265 0
2268
+ 2266 0
2269
+ 2267 0
2270
+ 2268 0
2271
+ 2269 1
2272
+ 2270 0
2273
+ 2271 0
2274
+ 2272 0
2275
+ 2273 1
2276
+ 2274 0
2277
+ 2275 1
2278
+ 2276 0
2279
+ 2277 1
2280
+ 2278 1
2281
+ 2279 0
2282
+ 2280 0
2283
+ 2281 1
2284
+ 2282 1
2285
+ 2283 1
2286
+ 2284 0
2287
+ 2285 1
2288
+ 2286 0
2289
+ 2287 1
2290
+ 2288 0
2291
+ 2289 1
2292
+ 2290 1
2293
+ 2291 0
2294
+ 2292 0
2295
+ 2293 0
2296
+ 2294 0
2297
+ 2295 0
2298
+ 2296 1
2299
+ 2297 1
2300
+ 2298 0
2301
+ 2299 1
2302
+ 2300 0
2303
+ 2301 0
2304
+ 2302 1
2305
+ 2303 1
2306
+ 2304 1
2307
+ 2305 1
2308
+ 2306 0
2309
+ 2307 1
2310
+ 2308 1
2311
+ 2309 1
2312
+ 2310 1
2313
+ 2311 1
2314
+ 2312 1
2315
+ 2313 1
2316
+ 2314 0
2317
+ 2315 0
2318
+ 2316 1
2319
+ 2317 0
2320
+ 2318 1
2321
+ 2319 0
2322
+ 2320 0
2323
+ 2321 1
2324
+ 2322 0
2325
+ 2323 1
2326
+ 2324 0
2327
+ 2325 0
2328
+ 2326 1
2329
+ 2327 0
2330
+ 2328 1
2331
+ 2329 1
2332
+ 2330 1
2333
+ 2331 0
2334
+ 2332 1
2335
+ 2333 0
2336
+ 2334 1
2337
+ 2335 0
2338
+ 2336 0
2339
+ 2337 0
2340
+ 2338 1
2341
+ 2339 1
2342
+ 2340 1
2343
+ 2341 0
2344
+ 2342 1
2345
+ 2343 0
2346
+ 2344 1
2347
+ 2345 0
2348
+ 2346 1
2349
+ 2347 1
2350
+ 2348 1
2351
+ 2349 1
2352
+ 2350 0
2353
+ 2351 0
2354
+ 2352 0
2355
+ 2353 1
2356
+ 2354 1
2357
+ 2355 0
2358
+ 2356 0
2359
+ 2357 0
2360
+ 2358 1
2361
+ 2359 1
2362
+ 2360 0
2363
+ 2361 1
2364
+ 2362 1
2365
+ 2363 1
2366
+ 2364 0
2367
+ 2365 1
2368
+ 2366 0
2369
+ 2367 0
2370
+ 2368 0
2371
+ 2369 1
2372
+ 2370 0
2373
+ 2371 0
2374
+ 2372 0
2375
+ 2373 0
2376
+ 2374 1
2377
+ 2375 0
2378
+ 2376 0
2379
+ 2377 1
2380
+ 2378 0
2381
+ 2379 1
2382
+ 2380 0
2383
+ 2381 1
2384
+ 2382 0
2385
+ 2383 1
2386
+ 2384 0
2387
+ 2385 0
2388
+ 2386 0
2389
+ 2387 1
2390
+ 2388 1
2391
+ 2389 1
2392
+ 2390 0
2393
+ 2391 1
2394
+ 2392 1
2395
+ 2393 1
2396
+ 2394 0
2397
+ 2395 1
2398
+ 2396 1
2399
+ 2397 0
2400
+ 2398 0
2401
+ 2399 1
2402
+ 2400 0
2403
+ 2401 0
2404
+ 2402 1
2405
+ 2403 1
2406
+ 2404 1
2407
+ 2405 1
2408
+ 2406 1
2409
+ 2407 0
2410
+ 2408 1
2411
+ 2409 1
2412
+ 2410 1
2413
+ 2411 0
2414
+ 2412 0
2415
+ 2413 0
2416
+ 2414 0
2417
+ 2415 0
2418
+ 2416 1
2419
+ 2417 1
2420
+ 2418 0
2421
+ 2419 1
2422
+ 2420 0
2423
+ 2421 0
2424
+ 2422 1
2425
+ 2423 1
special_tokens_map.json ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ }
30
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,67 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[UNK]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "[CLS]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[SEP]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[PAD]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ },
43
+ "5": {
44
+ "content": "[PAR]",
45
+ "lstrip": false,
46
+ "normalized": false,
47
+ "rstrip": false,
48
+ "single_word": false,
49
+ "special": true
50
+ },
51
+ "6": {
52
+ "content": "[TAB]",
53
+ "lstrip": false,
54
+ "normalized": false,
55
+ "rstrip": false,
56
+ "single_word": false,
57
+ "special": true
58
+ }
59
+ },
60
+ "clean_up_tokenization_spaces": false,
61
+ "cls_token": "[CLS]",
62
+ "mask_token": "[MASK]",
63
+ "model_max_length": 1000000000000000019884624838656,
64
+ "pad_token": "[PAD]",
65
+ "sep_token": "[SEP]",
66
+ "tokenizer_class": "PreTrainedTokenizerFast"
67
+ }
train_results.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 5.0,
3
+ "total_flos": 8036376949232640.0,
4
+ "train_loss": 0.5047434031788349,
5
+ "train_runtime": 1075.7793,
6
+ "train_samples": 27243,
7
+ "train_samples_per_second": 126.62,
8
+ "train_steps_per_second": 15.83
9
+ }
trainer_state.json ADDED
@@ -0,0 +1,344 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.600451467268623,
3
+ "best_model_checkpoint": "/home/ubuntu/utah/babylm-24/src/evaluation/results/finetune/DebertaV2-Base-10M_babylm-A/multirc/checkpoint-6812",
4
+ "epoch": 5.0,
5
+ "eval_steps": 500,
6
+ "global_step": 17030,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.14679976512037582,
13
+ "grad_norm": 3.0609993934631348,
14
+ "learning_rate": 2.9119201409277748e-05,
15
+ "loss": 0.7038,
16
+ "step": 500
17
+ },
18
+ {
19
+ "epoch": 0.29359953024075164,
20
+ "grad_norm": 1.6316922903060913,
21
+ "learning_rate": 2.823840281855549e-05,
22
+ "loss": 0.6981,
23
+ "step": 1000
24
+ },
25
+ {
26
+ "epoch": 0.44039929536112743,
27
+ "grad_norm": 2.5649499893188477,
28
+ "learning_rate": 2.7357604227833236e-05,
29
+ "loss": 0.6919,
30
+ "step": 1500
31
+ },
32
+ {
33
+ "epoch": 0.5871990604815033,
34
+ "grad_norm": 4.061516284942627,
35
+ "learning_rate": 2.6476805637110984e-05,
36
+ "loss": 0.6644,
37
+ "step": 2000
38
+ },
39
+ {
40
+ "epoch": 0.733998825601879,
41
+ "grad_norm": 2.645333766937256,
42
+ "learning_rate": 2.5596007046388724e-05,
43
+ "loss": 0.6586,
44
+ "step": 2500
45
+ },
46
+ {
47
+ "epoch": 0.8807985907222549,
48
+ "grad_norm": 3.289055347442627,
49
+ "learning_rate": 2.4715208455666472e-05,
50
+ "loss": 0.644,
51
+ "step": 3000
52
+ },
53
+ {
54
+ "epoch": 1.0,
55
+ "eval_accuracy": 0.6452144980430603,
56
+ "eval_f1": 0.5682730923694779,
57
+ "eval_loss": 0.6363362073898315,
58
+ "eval_mcc": 0.26813709584707873,
59
+ "eval_runtime": 3.7981,
60
+ "eval_samples_per_second": 638.206,
61
+ "eval_steps_per_second": 79.776,
62
+ "step": 3406
63
+ },
64
+ {
65
+ "epoch": 1.0275983558426307,
66
+ "grad_norm": 5.0068888664245605,
67
+ "learning_rate": 2.383440986494422e-05,
68
+ "loss": 0.6388,
69
+ "step": 3500
70
+ },
71
+ {
72
+ "epoch": 1.1743981209630066,
73
+ "grad_norm": 4.675343036651611,
74
+ "learning_rate": 2.295361127422196e-05,
75
+ "loss": 0.6086,
76
+ "step": 4000
77
+ },
78
+ {
79
+ "epoch": 1.3211978860833824,
80
+ "grad_norm": 3.6214439868927,
81
+ "learning_rate": 2.2072812683499707e-05,
82
+ "loss": 0.603,
83
+ "step": 4500
84
+ },
85
+ {
86
+ "epoch": 1.467997651203758,
87
+ "grad_norm": 13.145421028137207,
88
+ "learning_rate": 2.1192014092777455e-05,
89
+ "loss": 0.6064,
90
+ "step": 5000
91
+ },
92
+ {
93
+ "epoch": 1.6147974163241339,
94
+ "grad_norm": 5.481179714202881,
95
+ "learning_rate": 2.0311215502055195e-05,
96
+ "loss": 0.5854,
97
+ "step": 5500
98
+ },
99
+ {
100
+ "epoch": 1.7615971814445097,
101
+ "grad_norm": 3.6306419372558594,
102
+ "learning_rate": 1.9430416911332943e-05,
103
+ "loss": 0.5898,
104
+ "step": 6000
105
+ },
106
+ {
107
+ "epoch": 1.9083969465648853,
108
+ "grad_norm": 4.952913761138916,
109
+ "learning_rate": 1.8549618320610687e-05,
110
+ "loss": 0.593,
111
+ "step": 6500
112
+ },
113
+ {
114
+ "epoch": 2.0,
115
+ "eval_accuracy": 0.6349009871482849,
116
+ "eval_f1": 0.600451467268623,
117
+ "eval_loss": 0.6888149976730347,
118
+ "eval_mcc": 0.2697165007428369,
119
+ "eval_runtime": 3.8279,
120
+ "eval_samples_per_second": 633.242,
121
+ "eval_steps_per_second": 79.155,
122
+ "step": 6812
123
+ },
124
+ {
125
+ "epoch": 2.0551967116852614,
126
+ "grad_norm": 7.946464538574219,
127
+ "learning_rate": 1.766881972988843e-05,
128
+ "loss": 0.5499,
129
+ "step": 7000
130
+ },
131
+ {
132
+ "epoch": 2.201996476805637,
133
+ "grad_norm": 7.010470390319824,
134
+ "learning_rate": 1.6788021139166178e-05,
135
+ "loss": 0.4917,
136
+ "step": 7500
137
+ },
138
+ {
139
+ "epoch": 2.348796241926013,
140
+ "grad_norm": 11.262960433959961,
141
+ "learning_rate": 1.5907222548443922e-05,
142
+ "loss": 0.508,
143
+ "step": 8000
144
+ },
145
+ {
146
+ "epoch": 2.4955960070463887,
147
+ "grad_norm": 7.054708957672119,
148
+ "learning_rate": 1.5026423957721666e-05,
149
+ "loss": 0.4959,
150
+ "step": 8500
151
+ },
152
+ {
153
+ "epoch": 2.642395772166765,
154
+ "grad_norm": 9.603635787963867,
155
+ "learning_rate": 1.4145625366999412e-05,
156
+ "loss": 0.4967,
157
+ "step": 9000
158
+ },
159
+ {
160
+ "epoch": 2.7891955372871404,
161
+ "grad_norm": 3.6684980392456055,
162
+ "learning_rate": 1.326482677627716e-05,
163
+ "loss": 0.4963,
164
+ "step": 9500
165
+ },
166
+ {
167
+ "epoch": 2.935995302407516,
168
+ "grad_norm": 12.52475643157959,
169
+ "learning_rate": 1.2384028185554904e-05,
170
+ "loss": 0.4871,
171
+ "step": 10000
172
+ },
173
+ {
174
+ "epoch": 3.0,
175
+ "eval_accuracy": 0.6534653306007385,
176
+ "eval_f1": 0.5736040609137056,
177
+ "eval_loss": 0.7160816192626953,
178
+ "eval_mcc": 0.2835160149175157,
179
+ "eval_runtime": 4.1666,
180
+ "eval_samples_per_second": 581.768,
181
+ "eval_steps_per_second": 72.721,
182
+ "step": 10218
183
+ },
184
+ {
185
+ "epoch": 3.082795067527892,
186
+ "grad_norm": 9.04210376739502,
187
+ "learning_rate": 1.1503229594832648e-05,
188
+ "loss": 0.4487,
189
+ "step": 10500
190
+ },
191
+ {
192
+ "epoch": 3.2295948326482677,
193
+ "grad_norm": 9.242819786071777,
194
+ "learning_rate": 1.0622431004110395e-05,
195
+ "loss": 0.3987,
196
+ "step": 11000
197
+ },
198
+ {
199
+ "epoch": 3.376394597768644,
200
+ "grad_norm": 1.52396821975708,
201
+ "learning_rate": 9.741632413388139e-06,
202
+ "loss": 0.4108,
203
+ "step": 11500
204
+ },
205
+ {
206
+ "epoch": 3.5231943628890194,
207
+ "grad_norm": 6.729270935058594,
208
+ "learning_rate": 8.860833822665883e-06,
209
+ "loss": 0.4291,
210
+ "step": 12000
211
+ },
212
+ {
213
+ "epoch": 3.669994128009395,
214
+ "grad_norm": 14.315698623657227,
215
+ "learning_rate": 7.98003523194363e-06,
216
+ "loss": 0.4058,
217
+ "step": 12500
218
+ },
219
+ {
220
+ "epoch": 3.816793893129771,
221
+ "grad_norm": 19.920175552368164,
222
+ "learning_rate": 7.0992366412213746e-06,
223
+ "loss": 0.4016,
224
+ "step": 13000
225
+ },
226
+ {
227
+ "epoch": 3.9635936582501468,
228
+ "grad_norm": 2.521790027618408,
229
+ "learning_rate": 6.218438050499119e-06,
230
+ "loss": 0.4196,
231
+ "step": 13500
232
+ },
233
+ {
234
+ "epoch": 4.0,
235
+ "eval_accuracy": 0.6336633563041687,
236
+ "eval_f1": 0.6,
237
+ "eval_loss": 0.9529122710227966,
238
+ "eval_mcc": 0.2678208035206228,
239
+ "eval_runtime": 4.2014,
240
+ "eval_samples_per_second": 576.957,
241
+ "eval_steps_per_second": 72.12,
242
+ "step": 13624
243
+ },
244
+ {
245
+ "epoch": 4.110393423370523,
246
+ "grad_norm": 11.611603736877441,
247
+ "learning_rate": 5.337639459776864e-06,
248
+ "loss": 0.3627,
249
+ "step": 14000
250
+ },
251
+ {
252
+ "epoch": 4.2571931884908985,
253
+ "grad_norm": 17.937528610229492,
254
+ "learning_rate": 4.45684086905461e-06,
255
+ "loss": 0.3496,
256
+ "step": 14500
257
+ },
258
+ {
259
+ "epoch": 4.403992953611274,
260
+ "grad_norm": 39.4834098815918,
261
+ "learning_rate": 3.5760422783323545e-06,
262
+ "loss": 0.3462,
263
+ "step": 15000
264
+ },
265
+ {
266
+ "epoch": 4.55079271873165,
267
+ "grad_norm": 17.96380043029785,
268
+ "learning_rate": 2.6952436876101e-06,
269
+ "loss": 0.3438,
270
+ "step": 15500
271
+ },
272
+ {
273
+ "epoch": 4.697592483852026,
274
+ "grad_norm": 20.5770263671875,
275
+ "learning_rate": 1.8144450968878452e-06,
276
+ "loss": 0.3485,
277
+ "step": 16000
278
+ },
279
+ {
280
+ "epoch": 4.844392248972402,
281
+ "grad_norm": 23.207904815673828,
282
+ "learning_rate": 9.336465061655902e-07,
283
+ "loss": 0.3475,
284
+ "step": 16500
285
+ },
286
+ {
287
+ "epoch": 4.9911920140927775,
288
+ "grad_norm": 22.764535903930664,
289
+ "learning_rate": 5.284791544333529e-08,
290
+ "loss": 0.3497,
291
+ "step": 17000
292
+ },
293
+ {
294
+ "epoch": 5.0,
295
+ "eval_accuracy": 0.6241748929023743,
296
+ "eval_f1": 0.590561797752809,
297
+ "eval_loss": 1.3011736869812012,
298
+ "eval_mcc": 0.2492354519396306,
299
+ "eval_runtime": 4.2596,
300
+ "eval_samples_per_second": 569.074,
301
+ "eval_steps_per_second": 71.134,
302
+ "step": 17030
303
+ },
304
+ {
305
+ "epoch": 5.0,
306
+ "step": 17030,
307
+ "total_flos": 8036376949232640.0,
308
+ "train_loss": 0.5047434031788349,
309
+ "train_runtime": 1075.7793,
310
+ "train_samples_per_second": 126.62,
311
+ "train_steps_per_second": 15.83
312
+ }
313
+ ],
314
+ "logging_steps": 500,
315
+ "max_steps": 17030,
316
+ "num_input_tokens_seen": 0,
317
+ "num_train_epochs": 5,
318
+ "save_steps": 500,
319
+ "stateful_callbacks": {
320
+ "EarlyStoppingCallback": {
321
+ "args": {
322
+ "early_stopping_patience": 3,
323
+ "early_stopping_threshold": 0.001
324
+ },
325
+ "attributes": {
326
+ "early_stopping_patience_counter": 0
327
+ }
328
+ },
329
+ "TrainerControl": {
330
+ "args": {
331
+ "should_epoch_stop": false,
332
+ "should_evaluate": false,
333
+ "should_log": false,
334
+ "should_save": true,
335
+ "should_training_stop": true
336
+ },
337
+ "attributes": {}
338
+ }
339
+ },
340
+ "total_flos": 8036376949232640.0,
341
+ "train_batch_size": 8,
342
+ "trial_name": null,
343
+ "trial_params": null
344
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:06c018e2a99daf13b3a466cce61a606c10411f9217efd58182386232fbd1e36b
3
+ size 5368