Hugging Face's logo

MrRobson9
/
distilbert-base-cased-finetuned-conll2003-english-ner

Token Classification
Transformers
Safetensors
English
distilbert
Inference Endpoints
Model card Files Community
MrRobson9 commited on
Commit
14b6881
·
verified ·
1 Parent(s): 14cde9f

Initial commit

Browse files
Files changed (11) hide show
  1. config.json +46 -0
  2. model.safetensors +3 -0
  3. optimizer.pt +3 -0
  4. rng_state.pth +3 -0
  5. scheduler.pt +3 -0
  6. special_tokens_map.json +7 -0
  7. tokenizer.json +0 -0
  8. tokenizer_config.json +55 -0
  9. trainer_state.json +3739 -0
  10. training_args.bin +3 -0
  11. vocab.txt +0 -0
config.json ADDED
@@ -0,0 +1,46 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "distilbert-base-uncased",
3
+ "activation": "gelu",
4
+ "architectures": [
5
+ "DistilBertForTokenClassification"
6
+ ],
7
+ "attention_dropout": 0.1,
8
+ "dim": 768,
9
+ "dropout": 0.1,
10
+ "hidden_dim": 3072,
11
+ "id2label": {
12
+ "0": "LABEL_0",
13
+ "1": "LABEL_1",
14
+ "2": "LABEL_2",
15
+ "3": "LABEL_3",
16
+ "4": "LABEL_4",
17
+ "5": "LABEL_5",
18
+ "6": "LABEL_6",
19
+ "7": "LABEL_7",
20
+ "8": "LABEL_8"
21
+ },
22
+ "initializer_range": 0.02,
23
+ "label2id": {
24
+ "LABEL_0": 0,
25
+ "LABEL_1": 1,
26
+ "LABEL_2": 2,
27
+ "LABEL_3": 3,
28
+ "LABEL_4": 4,
29
+ "LABEL_5": 5,
30
+ "LABEL_6": 6,
31
+ "LABEL_7": 7,
32
+ "LABEL_8": 8
33
+ },
34
+ "max_position_embeddings": 512,
35
+ "model_type": "distilbert",
36
+ "n_heads": 12,
37
+ "n_layers": 6,
38
+ "pad_token_id": 0,
39
+ "qa_dropout": 0.1,
40
+ "seq_classif_dropout": 0.2,
41
+ "sinusoidal_pos_embds": false,
42
+ "tie_weights_": true,
43
+ "torch_dtype": "float32",
44
+ "transformers_version": "4.42.4",
45
+ "vocab_size": 30522
46
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a03b17b9304e9d39e9969a3ab20a9f156d17e62a365a43541013669874709de1
3
+ size 265491548
optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c34db03078fce96f26d6407126d353708dcc654b8e2a173debb1e9c1035e6bcb
3
+ size 531043898
rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:12fa6f8bc0ecb357d5ba31849017df24174c8e801f37f36328e408feee0c0dcf
3
+ size 14244
scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f4b2141ae2de145aee45c27cc25bead6c1a85de4df6470e12660bf34423dcc0f
3
+ size 1064
special_tokens_map.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": "[CLS]",
3
+ "mask_token": "[MASK]",
4
+ "pad_token": "[PAD]",
5
+ "sep_token": "[SEP]",
6
+ "unk_token": "[UNK]"
7
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,55 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[PAD]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "100": {
12
+ "content": "[UNK]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "101": {
20
+ "content": "[CLS]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "102": {
28
+ "content": "[SEP]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "103": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "clean_up_tokenization_spaces": true,
45
+ "cls_token": "[CLS]",
46
+ "do_lower_case": true,
47
+ "mask_token": "[MASK]",
48
+ "model_max_length": 512,
49
+ "pad_token": "[PAD]",
50
+ "sep_token": "[SEP]",
51
+ "strip_accents": null,
52
+ "tokenize_chinese_chars": true,
53
+ "tokenizer_class": "DistilBertTokenizer",
54
+ "unk_token": "[UNK]"
55
+ }
trainer_state.json ADDED
@@ -0,0 +1,3739 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": null,
3
+ "best_model_checkpoint": null,
4
+ "epoch": 3.0,
5
+ "eval_steps": 500,
6
+ "global_step": 5268,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.0056947608200455585,
13
+ "grad_norm": 5.042048454284668,
14
+ "learning_rate": 4.990508731966591e-05,
15
+ "loss": 1.2902,
16
+ "step": 10
17
+ },
18
+ {
19
+ "epoch": 0.011389521640091117,
20
+ "grad_norm": 1.2201155424118042,
21
+ "learning_rate": 4.981017463933182e-05,
22
+ "loss": 0.6163,
23
+ "step": 20
24
+ },
25
+ {
26
+ "epoch": 0.017084282460136675,
27
+ "grad_norm": 1.153208613395691,
28
+ "learning_rate": 4.971526195899772e-05,
29
+ "loss": 0.2969,
30
+ "step": 30
31
+ },
32
+ {
33
+ "epoch": 0.022779043280182234,
34
+ "grad_norm": 1.3441071510314941,
35
+ "learning_rate": 4.962034927866363e-05,
36
+ "loss": 0.427,
37
+ "step": 40
38
+ },
39
+ {
40
+ "epoch": 0.02847380410022779,
41
+ "grad_norm": 1.4184179306030273,
42
+ "learning_rate": 4.9525436598329536e-05,
43
+ "loss": 0.2912,
44
+ "step": 50
45
+ },
46
+ {
47
+ "epoch": 0.03416856492027335,
48
+ "grad_norm": 1.7669013738632202,
49
+ "learning_rate": 4.9430523917995447e-05,
50
+ "loss": 0.2581,
51
+ "step": 60
52
+ },
53
+ {
54
+ "epoch": 0.03986332574031891,
55
+ "grad_norm": 2.6280012130737305,
56
+ "learning_rate": 4.933561123766136e-05,
57
+ "loss": 0.191,
58
+ "step": 70
59
+ },
60
+ {
61
+ "epoch": 0.04555808656036447,
62
+ "grad_norm": 2.000683069229126,
63
+ "learning_rate": 4.924069855732726e-05,
64
+ "loss": 0.1709,
65
+ "step": 80
66
+ },
67
+ {
68
+ "epoch": 0.05125284738041002,
69
+ "grad_norm": 2.97003436088562,
70
+ "learning_rate": 4.9145785876993165e-05,
71
+ "loss": 0.1989,
72
+ "step": 90
73
+ },
74
+ {
75
+ "epoch": 0.05694760820045558,
76
+ "grad_norm": 1.8411054611206055,
77
+ "learning_rate": 4.9050873196659076e-05,
78
+ "loss": 0.1736,
79
+ "step": 100
80
+ },
81
+ {
82
+ "epoch": 0.06264236902050115,
83
+ "grad_norm": 7.188544750213623,
84
+ "learning_rate": 4.895596051632499e-05,
85
+ "loss": 0.2518,
86
+ "step": 110
87
+ },
88
+ {
89
+ "epoch": 0.0683371298405467,
90
+ "grad_norm": 2.3247721195220947,
91
+ "learning_rate": 4.886104783599089e-05,
92
+ "loss": 0.1648,
93
+ "step": 120
94
+ },
95
+ {
96
+ "epoch": 0.07403189066059225,
97
+ "grad_norm": 0.8464665412902832,
98
+ "learning_rate": 4.87661351556568e-05,
99
+ "loss": 0.1625,
100
+ "step": 130
101
+ },
102
+ {
103
+ "epoch": 0.07972665148063782,
104
+ "grad_norm": 2.508469343185425,
105
+ "learning_rate": 4.8671222475322705e-05,
106
+ "loss": 0.1449,
107
+ "step": 140
108
+ },
109
+ {
110
+ "epoch": 0.08542141230068337,
111
+ "grad_norm": 0.8359629511833191,
112
+ "learning_rate": 4.857630979498861e-05,
113
+ "loss": 0.1114,
114
+ "step": 150
115
+ },
116
+ {
117
+ "epoch": 0.09111617312072894,
118
+ "grad_norm": 1.0664496421813965,
119
+ "learning_rate": 4.848139711465452e-05,
120
+ "loss": 0.0721,
121
+ "step": 160
122
+ },
123
+ {
124
+ "epoch": 0.09681093394077449,
125
+ "grad_norm": 1.8065450191497803,
126
+ "learning_rate": 4.838648443432043e-05,
127
+ "loss": 0.1384,
128
+ "step": 170
129
+ },
130
+ {
131
+ "epoch": 0.10250569476082004,
132
+ "grad_norm": 1.9225945472717285,
133
+ "learning_rate": 4.8291571753986335e-05,
134
+ "loss": 0.0997,
135
+ "step": 180
136
+ },
137
+ {
138
+ "epoch": 0.1082004555808656,
139
+ "grad_norm": 4.79730224609375,
140
+ "learning_rate": 4.8196659073652246e-05,
141
+ "loss": 0.0918,
142
+ "step": 190
143
+ },
144
+ {
145
+ "epoch": 0.11389521640091116,
146
+ "grad_norm": 0.7483096122741699,
147
+ "learning_rate": 4.810174639331815e-05,
148
+ "loss": 0.0932,
149
+ "step": 200
150
+ },
151
+ {
152
+ "epoch": 0.11958997722095673,
153
+ "grad_norm": 4.0233473777771,
154
+ "learning_rate": 4.8006833712984054e-05,
155
+ "loss": 0.1084,
156
+ "step": 210
157
+ },
158
+ {
159
+ "epoch": 0.1252847380410023,
160
+ "grad_norm": 3.508195638656616,
161
+ "learning_rate": 4.7911921032649964e-05,
162
+ "loss": 0.103,
163
+ "step": 220
164
+ },
165
+ {
166
+ "epoch": 0.13097949886104784,
167
+ "grad_norm": 1.099330186843872,
168
+ "learning_rate": 4.7817008352315875e-05,
169
+ "loss": 0.1048,
170
+ "step": 230
171
+ },
172
+ {
173
+ "epoch": 0.1366742596810934,
174
+ "grad_norm": 0.9204321503639221,
175
+ "learning_rate": 4.772209567198178e-05,
176
+ "loss": 0.1044,
177
+ "step": 240
178
+ },
179
+ {
180
+ "epoch": 0.14236902050113895,
181
+ "grad_norm": 0.697127103805542,
182
+ "learning_rate": 4.762718299164768e-05,
183
+ "loss": 0.1003,
184
+ "step": 250
185
+ },
186
+ {
187
+ "epoch": 0.1480637813211845,
188
+ "grad_norm": 2.3334975242614746,
189
+ "learning_rate": 4.7532270311313594e-05,
190
+ "loss": 0.0891,
191
+ "step": 260
192
+ },
193
+ {
194
+ "epoch": 0.15375854214123008,
195
+ "grad_norm": 2.2273714542388916,
196
+ "learning_rate": 4.74373576309795e-05,
197
+ "loss": 0.1135,
198
+ "step": 270
199
+ },
200
+ {
201
+ "epoch": 0.15945330296127563,
202
+ "grad_norm": 1.4537644386291504,
203
+ "learning_rate": 4.734244495064541e-05,
204
+ "loss": 0.0991,
205
+ "step": 280
206
+ },
207
+ {
208
+ "epoch": 0.16514806378132119,
209
+ "grad_norm": 2.1925878524780273,
210
+ "learning_rate": 4.724753227031132e-05,
211
+ "loss": 0.0885,
212
+ "step": 290
213
+ },
214
+ {
215
+ "epoch": 0.17084282460136674,
216
+ "grad_norm": 1.6182861328125,
217
+ "learning_rate": 4.715261958997722e-05,
218
+ "loss": 0.0959,
219
+ "step": 300
220
+ },
221
+ {
222
+ "epoch": 0.1765375854214123,
223
+ "grad_norm": 0.6557925343513489,
224
+ "learning_rate": 4.705770690964313e-05,
225
+ "loss": 0.1518,
226
+ "step": 310
227
+ },
228
+ {
229
+ "epoch": 0.18223234624145787,
230
+ "grad_norm": 1.7739641666412354,
231
+ "learning_rate": 4.696279422930904e-05,
232
+ "loss": 0.1077,
233
+ "step": 320
234
+ },
235
+ {
236
+ "epoch": 0.18792710706150342,
237
+ "grad_norm": 0.9851402044296265,
238
+ "learning_rate": 4.686788154897495e-05,
239
+ "loss": 0.1562,
240
+ "step": 330
241
+ },
242
+ {
243
+ "epoch": 0.19362186788154898,
244
+ "grad_norm": 0.23916186392307281,
245
+ "learning_rate": 4.677296886864085e-05,
246
+ "loss": 0.0787,
247
+ "step": 340
248
+ },
249
+ {
250
+ "epoch": 0.19931662870159453,
251
+ "grad_norm": 1.2982560396194458,
252
+ "learning_rate": 4.6678056188306763e-05,
253
+ "loss": 0.0843,
254
+ "step": 350
255
+ },
256
+ {
257
+ "epoch": 0.20501138952164008,
258
+ "grad_norm": 0.8306344747543335,
259
+ "learning_rate": 4.658314350797267e-05,
260
+ "loss": 0.096,
261
+ "step": 360
262
+ },
263
+ {
264
+ "epoch": 0.21070615034168566,
265
+ "grad_norm": 1.477241039276123,
266
+ "learning_rate": 4.648823082763857e-05,
267
+ "loss": 0.0799,
268
+ "step": 370
269
+ },
270
+ {
271
+ "epoch": 0.2164009111617312,
272
+ "grad_norm": 2.520557165145874,
273
+ "learning_rate": 4.639331814730448e-05,
274
+ "loss": 0.12,
275
+ "step": 380
276
+ },
277
+ {
278
+ "epoch": 0.22209567198177677,
279
+ "grad_norm": 5.481024742126465,
280
+ "learning_rate": 4.629840546697039e-05,
281
+ "loss": 0.0756,
282
+ "step": 390
283
+ },
284
+ {
285
+ "epoch": 0.22779043280182232,
286
+ "grad_norm": 7.298396587371826,
287
+ "learning_rate": 4.62034927866363e-05,
288
+ "loss": 0.0926,
289
+ "step": 400
290
+ },
291
+ {
292
+ "epoch": 0.23348519362186787,
293
+ "grad_norm": 1.9556351900100708,
294
+ "learning_rate": 4.61085801063022e-05,
295
+ "loss": 0.061,
296
+ "step": 410
297
+ },
298
+ {
299
+ "epoch": 0.23917995444191345,
300
+ "grad_norm": 1.6126965284347534,
301
+ "learning_rate": 4.601366742596811e-05,
302
+ "loss": 0.0913,
303
+ "step": 420
304
+ },
305
+ {
306
+ "epoch": 0.244874715261959,
307
+ "grad_norm": 1.855068325996399,
308
+ "learning_rate": 4.5918754745634016e-05,
309
+ "loss": 0.0881,
310
+ "step": 430
311
+ },
312
+ {
313
+ "epoch": 0.2505694760820046,
314
+ "grad_norm": 4.383277416229248,
315
+ "learning_rate": 4.5823842065299926e-05,
316
+ "loss": 0.0948,
317
+ "step": 440
318
+ },
319
+ {
320
+ "epoch": 0.25626423690205014,
321
+ "grad_norm": 4.287411212921143,
322
+ "learning_rate": 4.572892938496584e-05,
323
+ "loss": 0.1398,
324
+ "step": 450
325
+ },
326
+ {
327
+ "epoch": 0.2619589977220957,
328
+ "grad_norm": 1.1114435195922852,
329
+ "learning_rate": 4.563401670463174e-05,
330
+ "loss": 0.105,
331
+ "step": 460
332
+ },
333
+ {
334
+ "epoch": 0.26765375854214124,
335
+ "grad_norm": 0.9561439156532288,
336
+ "learning_rate": 4.5539104024297645e-05,
337
+ "loss": 0.1039,
338
+ "step": 470
339
+ },
340
+ {
341
+ "epoch": 0.2733485193621868,
342
+ "grad_norm": 2.2738897800445557,
343
+ "learning_rate": 4.5444191343963556e-05,
344
+ "loss": 0.1049,
345
+ "step": 480
346
+ },
347
+ {
348
+ "epoch": 0.27904328018223234,
349
+ "grad_norm": 2.5520405769348145,
350
+ "learning_rate": 4.5349278663629466e-05,
351
+ "loss": 0.1059,
352
+ "step": 490
353
+ },
354
+ {
355
+ "epoch": 0.2847380410022779,
356
+ "grad_norm": 1.6588718891143799,
357
+ "learning_rate": 4.525436598329537e-05,
358
+ "loss": 0.07,
359
+ "step": 500
360
+ },
361
+ {
362
+ "epoch": 0.29043280182232345,
363
+ "grad_norm": 1.141545057296753,
364
+ "learning_rate": 4.515945330296128e-05,
365
+ "loss": 0.1057,
366
+ "step": 510
367
+ },
368
+ {
369
+ "epoch": 0.296127562642369,
370
+ "grad_norm": 1.383521556854248,
371
+ "learning_rate": 4.5064540622627185e-05,
372
+ "loss": 0.041,
373
+ "step": 520
374
+ },
375
+ {
376
+ "epoch": 0.30182232346241455,
377
+ "grad_norm": 2.6926703453063965,
378
+ "learning_rate": 4.496962794229309e-05,
379
+ "loss": 0.0825,
380
+ "step": 530
381
+ },
382
+ {
383
+ "epoch": 0.30751708428246016,
384
+ "grad_norm": 5.290349006652832,
385
+ "learning_rate": 4.4874715261959e-05,
386
+ "loss": 0.0614,
387
+ "step": 540
388
+ },
389
+ {
390
+ "epoch": 0.3132118451025057,
391
+ "grad_norm": 3.191392183303833,
392
+ "learning_rate": 4.477980258162491e-05,
393
+ "loss": 0.1721,
394
+ "step": 550
395
+ },
396
+ {
397
+ "epoch": 0.31890660592255127,
398
+ "grad_norm": 1.4004778861999512,
399
+ "learning_rate": 4.4684889901290815e-05,
400
+ "loss": 0.0448,
401
+ "step": 560
402
+ },
403
+ {
404
+ "epoch": 0.3246013667425968,
405
+ "grad_norm": 1.8395417928695679,
406
+ "learning_rate": 4.4589977220956725e-05,
407
+ "loss": 0.0967,
408
+ "step": 570
409
+ },
410
+ {
411
+ "epoch": 0.33029612756264237,
412
+ "grad_norm": 2.5588178634643555,
413
+ "learning_rate": 4.449506454062263e-05,
414
+ "loss": 0.0741,
415
+ "step": 580
416
+ },
417
+ {
418
+ "epoch": 0.3359908883826879,
419
+ "grad_norm": 3.3830788135528564,
420
+ "learning_rate": 4.440015186028853e-05,
421
+ "loss": 0.0723,
422
+ "step": 590
423
+ },
424
+ {
425
+ "epoch": 0.3416856492027335,
426
+ "grad_norm": 2.411625862121582,
427
+ "learning_rate": 4.4305239179954444e-05,
428
+ "loss": 0.1199,
429
+ "step": 600
430
+ },
431
+ {
432
+ "epoch": 0.34738041002277903,
433
+ "grad_norm": 0.10270216315984726,
434
+ "learning_rate": 4.4210326499620355e-05,
435
+ "loss": 0.051,
436
+ "step": 610
437
+ },
438
+ {
439
+ "epoch": 0.3530751708428246,
440
+ "grad_norm": 3.844116687774658,
441
+ "learning_rate": 4.411541381928626e-05,
442
+ "loss": 0.0484,
443
+ "step": 620
444
+ },
445
+ {
446
+ "epoch": 0.35876993166287013,
447
+ "grad_norm": 1.4396392107009888,
448
+ "learning_rate": 4.402050113895216e-05,
449
+ "loss": 0.0355,
450
+ "step": 630
451
+ },
452
+ {
453
+ "epoch": 0.36446469248291574,
454
+ "grad_norm": 2.1004416942596436,
455
+ "learning_rate": 4.3925588458618073e-05,
456
+ "loss": 0.0854,
457
+ "step": 640
458
+ },
459
+ {
460
+ "epoch": 0.3701594533029613,
461
+ "grad_norm": 1.7273060083389282,
462
+ "learning_rate": 4.383067577828398e-05,
463
+ "loss": 0.068,
464
+ "step": 650
465
+ },
466
+ {
467
+ "epoch": 0.37585421412300685,
468
+ "grad_norm": 1.6584464311599731,
469
+ "learning_rate": 4.373576309794989e-05,
470
+ "loss": 0.0591,
471
+ "step": 660
472
+ },
473
+ {
474
+ "epoch": 0.3815489749430524,
475
+ "grad_norm": 5.8685150146484375,
476
+ "learning_rate": 4.36408504176158e-05,
477
+ "loss": 0.0703,
478
+ "step": 670
479
+ },
480
+ {
481
+ "epoch": 0.38724373576309795,
482
+ "grad_norm": 1.8818565607070923,
483
+ "learning_rate": 4.35459377372817e-05,
484
+ "loss": 0.0864,
485
+ "step": 680
486
+ },
487
+ {
488
+ "epoch": 0.3929384965831435,
489
+ "grad_norm": 0.8174405694007874,
490
+ "learning_rate": 4.345102505694761e-05,
491
+ "loss": 0.0541,
492
+ "step": 690
493
+ },
494
+ {
495
+ "epoch": 0.39863325740318906,
496
+ "grad_norm": 2.2386655807495117,
497
+ "learning_rate": 4.335611237661352e-05,
498
+ "loss": 0.0779,
499
+ "step": 700
500
+ },
501
+ {
502
+ "epoch": 0.4043280182232346,
503
+ "grad_norm": 1.5718015432357788,
504
+ "learning_rate": 4.326119969627943e-05,
505
+ "loss": 0.0827,
506
+ "step": 710
507
+ },
508
+ {
509
+ "epoch": 0.41002277904328016,
510
+ "grad_norm": 0.7225226759910583,
511
+ "learning_rate": 4.316628701594533e-05,
512
+ "loss": 0.0961,
513
+ "step": 720
514
+ },
515
+ {
516
+ "epoch": 0.4157175398633257,
517
+ "grad_norm": 2.2464139461517334,
518
+ "learning_rate": 4.307137433561124e-05,
519
+ "loss": 0.0432,
520
+ "step": 730
521
+ },
522
+ {
523
+ "epoch": 0.4214123006833713,
524
+ "grad_norm": 1.8811899423599243,
525
+ "learning_rate": 4.297646165527715e-05,
526
+ "loss": 0.0752,
527
+ "step": 740
528
+ },
529
+ {
530
+ "epoch": 0.4271070615034169,
531
+ "grad_norm": 1.1304991245269775,
532
+ "learning_rate": 4.288154897494305e-05,
533
+ "loss": 0.0684,
534
+ "step": 750
535
+ },
536
+ {
537
+ "epoch": 0.4328018223234624,
538
+ "grad_norm": 5.151347637176514,
539
+ "learning_rate": 4.278663629460896e-05,
540
+ "loss": 0.0498,
541
+ "step": 760
542
+ },
543
+ {
544
+ "epoch": 0.438496583143508,
545
+ "grad_norm": 0.0376850925385952,
546
+ "learning_rate": 4.269172361427487e-05,
547
+ "loss": 0.1001,
548
+ "step": 770
549
+ },
550
+ {
551
+ "epoch": 0.44419134396355353,
552
+ "grad_norm": 0.9273952841758728,
553
+ "learning_rate": 4.2596810933940777e-05,
554
+ "loss": 0.0773,
555
+ "step": 780
556
+ },
557
+ {
558
+ "epoch": 0.4498861047835991,
559
+ "grad_norm": 2.6929280757904053,
560
+ "learning_rate": 4.250189825360668e-05,
561
+ "loss": 0.0555,
562
+ "step": 790
563
+ },
564
+ {
565
+ "epoch": 0.45558086560364464,
566
+ "grad_norm": 0.7927613854408264,
567
+ "learning_rate": 4.240698557327259e-05,
568
+ "loss": 0.0659,
569
+ "step": 800
570
+ },
571
+ {
572
+ "epoch": 0.4612756264236902,
573
+ "grad_norm": 0.3811888098716736,
574
+ "learning_rate": 4.2312072892938495e-05,
575
+ "loss": 0.0361,
576
+ "step": 810
577
+ },
578
+ {
579
+ "epoch": 0.46697038724373574,
580
+ "grad_norm": 8.167976379394531,
581
+ "learning_rate": 4.2217160212604406e-05,
582
+ "loss": 0.0742,
583
+ "step": 820
584
+ },
585
+ {
586
+ "epoch": 0.47266514806378135,
587
+ "grad_norm": 2.267798662185669,
588
+ "learning_rate": 4.212224753227032e-05,
589
+ "loss": 0.0655,
590
+ "step": 830
591
+ },
592
+ {
593
+ "epoch": 0.4783599088838269,
594
+ "grad_norm": 0.3650657832622528,
595
+ "learning_rate": 4.202733485193622e-05,
596
+ "loss": 0.0508,
597
+ "step": 840
598
+ },
599
+ {
600
+ "epoch": 0.48405466970387245,
601
+ "grad_norm": 2.446582078933716,
602
+ "learning_rate": 4.1932422171602125e-05,
603
+ "loss": 0.0824,
604
+ "step": 850
605
+ },
606
+ {
607
+ "epoch": 0.489749430523918,
608
+ "grad_norm": 2.046130418777466,
609
+ "learning_rate": 4.1837509491268035e-05,
610
+ "loss": 0.0443,
611
+ "step": 860
612
+ },
613
+ {
614
+ "epoch": 0.49544419134396356,
615
+ "grad_norm": 2.4211316108703613,
616
+ "learning_rate": 4.174259681093394e-05,
617
+ "loss": 0.0642,
618
+ "step": 870
619
+ },
620
+ {
621
+ "epoch": 0.5011389521640092,
622
+ "grad_norm": 3.668614625930786,
623
+ "learning_rate": 4.164768413059985e-05,
624
+ "loss": 0.1067,
625
+ "step": 880
626
+ },
627
+ {
628
+ "epoch": 0.5068337129840547,
629
+ "grad_norm": 0.860970675945282,
630
+ "learning_rate": 4.155277145026576e-05,
631
+ "loss": 0.0583,
632
+ "step": 890
633
+ },
634
+ {
635
+ "epoch": 0.5125284738041003,
636
+ "grad_norm": 5.353702068328857,
637
+ "learning_rate": 4.1457858769931665e-05,
638
+ "loss": 0.0761,
639
+ "step": 900
640
+ },
641
+ {
642
+ "epoch": 0.5182232346241458,
643
+ "grad_norm": 4.8318681716918945,
644
+ "learning_rate": 4.136294608959757e-05,
645
+ "loss": 0.0878,
646
+ "step": 910
647
+ },
648
+ {
649
+ "epoch": 0.5239179954441914,
650
+ "grad_norm": 0.8994714617729187,
651
+ "learning_rate": 4.126803340926348e-05,
652
+ "loss": 0.0502,
653
+ "step": 920
654
+ },
655
+ {
656
+ "epoch": 0.5296127562642369,
657
+ "grad_norm": 1.8920825719833374,
658
+ "learning_rate": 4.117312072892939e-05,
659
+ "loss": 0.0952,
660
+ "step": 930
661
+ },
662
+ {
663
+ "epoch": 0.5353075170842825,
664
+ "grad_norm": 2.3858070373535156,
665
+ "learning_rate": 4.1078208048595294e-05,
666
+ "loss": 0.0797,
667
+ "step": 940
668
+ },
669
+ {
670
+ "epoch": 0.541002277904328,
671
+ "grad_norm": 3.2179317474365234,
672
+ "learning_rate": 4.0983295368261205e-05,
673
+ "loss": 0.1181,
674
+ "step": 950
675
+ },
676
+ {
677
+ "epoch": 0.5466970387243736,
678
+ "grad_norm": 0.5987422466278076,
679
+ "learning_rate": 4.088838268792711e-05,
680
+ "loss": 0.0765,
681
+ "step": 960
682
+ },
683
+ {
684
+ "epoch": 0.5523917995444191,
685
+ "grad_norm": 1.7444469928741455,
686
+ "learning_rate": 4.079347000759301e-05,
687
+ "loss": 0.0519,
688
+ "step": 970
689
+ },
690
+ {
691
+ "epoch": 0.5580865603644647,
692
+ "grad_norm": 0.14087039232254028,
693
+ "learning_rate": 4.0698557327258924e-05,
694
+ "loss": 0.0438,
695
+ "step": 980
696
+ },
697
+ {
698
+ "epoch": 0.5637813211845103,
699
+ "grad_norm": 2.490300416946411,
700
+ "learning_rate": 4.0603644646924834e-05,
701
+ "loss": 0.0796,
702
+ "step": 990
703
+ },
704
+ {
705
+ "epoch": 0.5694760820045558,
706
+ "grad_norm": 0.5218722820281982,
707
+ "learning_rate": 4.050873196659074e-05,
708
+ "loss": 0.0595,
709
+ "step": 1000
710
+ },
711
+ {
712
+ "epoch": 0.5751708428246014,
713
+ "grad_norm": 2.9636070728302,
714
+ "learning_rate": 4.041381928625664e-05,
715
+ "loss": 0.0439,
716
+ "step": 1010
717
+ },
718
+ {
719
+ "epoch": 0.5808656036446469,
720
+ "grad_norm": 1.2304065227508545,
721
+ "learning_rate": 4.031890660592255e-05,
722
+ "loss": 0.0421,
723
+ "step": 1020
724
+ },
725
+ {
726
+ "epoch": 0.5865603644646925,
727
+ "grad_norm": 0.5061107277870178,
728
+ "learning_rate": 4.022399392558846e-05,
729
+ "loss": 0.0698,
730
+ "step": 1030
731
+ },
732
+ {
733
+ "epoch": 0.592255125284738,
734
+ "grad_norm": 2.6270368099212646,
735
+ "learning_rate": 4.012908124525437e-05,
736
+ "loss": 0.0456,
737
+ "step": 1040
738
+ },
739
+ {
740
+ "epoch": 0.5979498861047836,
741
+ "grad_norm": 2.7538509368896484,
742
+ "learning_rate": 4.003416856492028e-05,
743
+ "loss": 0.0934,
744
+ "step": 1050
745
+ },
746
+ {
747
+ "epoch": 0.6036446469248291,
748
+ "grad_norm": 0.8339662551879883,
749
+ "learning_rate": 3.993925588458618e-05,
750
+ "loss": 0.0493,
751
+ "step": 1060
752
+ },
753
+ {
754
+ "epoch": 0.6093394077448747,
755
+ "grad_norm": 2.7625882625579834,
756
+ "learning_rate": 3.9844343204252087e-05,
757
+ "loss": 0.0661,
758
+ "step": 1070
759
+ },
760
+ {
761
+ "epoch": 0.6150341685649203,
762
+ "grad_norm": 0.10445995628833771,
763
+ "learning_rate": 3.9749430523918e-05,
764
+ "loss": 0.0565,
765
+ "step": 1080
766
+ },
767
+ {
768
+ "epoch": 0.6207289293849658,
769
+ "grad_norm": 4.233523845672607,
770
+ "learning_rate": 3.965451784358391e-05,
771
+ "loss": 0.0608,
772
+ "step": 1090
773
+ },
774
+ {
775
+ "epoch": 0.6264236902050114,
776
+ "grad_norm": 2.9015579223632812,
777
+ "learning_rate": 3.955960516324981e-05,
778
+ "loss": 0.0394,
779
+ "step": 1100
780
+ },
781
+ {
782
+ "epoch": 0.6321184510250569,
783
+ "grad_norm": 1.122717261314392,
784
+ "learning_rate": 3.946469248291572e-05,
785
+ "loss": 0.0297,
786
+ "step": 1110
787
+ },
788
+ {
789
+ "epoch": 0.6378132118451025,
790
+ "grad_norm": 0.9211141467094421,
791
+ "learning_rate": 3.936977980258163e-05,
792
+ "loss": 0.0733,
793
+ "step": 1120
794
+ },
795
+ {
796
+ "epoch": 0.643507972665148,
797
+ "grad_norm": 1.9820640087127686,
798
+ "learning_rate": 3.927486712224753e-05,
799
+ "loss": 0.0814,
800
+ "step": 1130
801
+ },
802
+ {
803
+ "epoch": 0.6492027334851936,
804
+ "grad_norm": 0.8466345071792603,
805
+ "learning_rate": 3.917995444191344e-05,
806
+ "loss": 0.0933,
807
+ "step": 1140
808
+ },
809
+ {
810
+ "epoch": 0.6548974943052391,
811
+ "grad_norm": 1.1416703462600708,
812
+ "learning_rate": 3.908504176157935e-05,
813
+ "loss": 0.0826,
814
+ "step": 1150
815
+ },
816
+ {
817
+ "epoch": 0.6605922551252847,
818
+ "grad_norm": 1.0590317249298096,
819
+ "learning_rate": 3.8990129081245256e-05,
820
+ "loss": 0.1039,
821
+ "step": 1160
822
+ },
823
+ {
824
+ "epoch": 0.6662870159453302,
825
+ "grad_norm": 0.13635486364364624,
826
+ "learning_rate": 3.889521640091117e-05,
827
+ "loss": 0.0717,
828
+ "step": 1170
829
+ },
830
+ {
831
+ "epoch": 0.6719817767653758,
832
+ "grad_norm": 0.7193166017532349,
833
+ "learning_rate": 3.880030372057707e-05,
834
+ "loss": 0.0554,
835
+ "step": 1180
836
+ },
837
+ {
838
+ "epoch": 0.6776765375854215,
839
+ "grad_norm": 1.9214146137237549,
840
+ "learning_rate": 3.8705391040242975e-05,
841
+ "loss": 0.0405,
842
+ "step": 1190
843
+ },
844
+ {
845
+ "epoch": 0.683371298405467,
846
+ "grad_norm": 3.638381242752075,
847
+ "learning_rate": 3.8610478359908886e-05,
848
+ "loss": 0.069,
849
+ "step": 1200
850
+ },
851
+ {
852
+ "epoch": 0.6890660592255126,
853
+ "grad_norm": 0.2034996747970581,
854
+ "learning_rate": 3.8515565679574796e-05,
855
+ "loss": 0.0473,
856
+ "step": 1210
857
+ },
858
+ {
859
+ "epoch": 0.6947608200455581,
860
+ "grad_norm": 2.54274582862854,
861
+ "learning_rate": 3.84206529992407e-05,
862
+ "loss": 0.0405,
863
+ "step": 1220
864
+ },
865
+ {
866
+ "epoch": 0.7004555808656037,
867
+ "grad_norm": 1.0374627113342285,
868
+ "learning_rate": 3.8325740318906604e-05,
869
+ "loss": 0.0593,
870
+ "step": 1230
871
+ },
872
+ {
873
+ "epoch": 0.7061503416856492,
874
+ "grad_norm": 1.1265807151794434,
875
+ "learning_rate": 3.8230827638572515e-05,
876
+ "loss": 0.0367,
877
+ "step": 1240
878
+ },
879
+ {
880
+ "epoch": 0.7118451025056948,
881
+ "grad_norm": 1.830880045890808,
882
+ "learning_rate": 3.813591495823842e-05,
883
+ "loss": 0.0589,
884
+ "step": 1250
885
+ },
886
+ {
887
+ "epoch": 0.7175398633257403,
888
+ "grad_norm": 1.4103747606277466,
889
+ "learning_rate": 3.804100227790433e-05,
890
+ "loss": 0.0602,
891
+ "step": 1260
892
+ },
893
+ {
894
+ "epoch": 0.7232346241457859,
895
+ "grad_norm": 1.1360421180725098,
896
+ "learning_rate": 3.794608959757024e-05,
897
+ "loss": 0.0843,
898
+ "step": 1270
899
+ },
900
+ {
901
+ "epoch": 0.7289293849658315,
902
+ "grad_norm": 1.648220181465149,
903
+ "learning_rate": 3.7851176917236145e-05,
904
+ "loss": 0.1067,
905
+ "step": 1280
906
+ },
907
+ {
908
+ "epoch": 0.734624145785877,
909
+ "grad_norm": 2.033055305480957,
910
+ "learning_rate": 3.775626423690205e-05,
911
+ "loss": 0.0531,
912
+ "step": 1290
913
+ },
914
+ {
915
+ "epoch": 0.7403189066059226,
916
+ "grad_norm": 2.301596164703369,
917
+ "learning_rate": 3.766135155656796e-05,
918
+ "loss": 0.0332,
919
+ "step": 1300
920
+ },
921
+ {
922
+ "epoch": 0.7460136674259681,
923
+ "grad_norm": 0.5601398944854736,
924
+ "learning_rate": 3.756643887623387e-05,
925
+ "loss": 0.0452,
926
+ "step": 1310
927
+ },
928
+ {
929
+ "epoch": 0.7517084282460137,
930
+ "grad_norm": 4.6115312576293945,
931
+ "learning_rate": 3.7471526195899774e-05,
932
+ "loss": 0.0737,
933
+ "step": 1320
934
+ },
935
+ {
936
+ "epoch": 0.7574031890660592,
937
+ "grad_norm": 2.644883632659912,
938
+ "learning_rate": 3.7376613515565685e-05,
939
+ "loss": 0.0558,
940
+ "step": 1330
941
+ },
942
+ {
943
+ "epoch": 0.7630979498861048,
944
+ "grad_norm": 2.106394052505493,
945
+ "learning_rate": 3.728170083523159e-05,
946
+ "loss": 0.033,
947
+ "step": 1340
948
+ },
949
+ {
950
+ "epoch": 0.7687927107061503,
951
+ "grad_norm": 1.5199148654937744,
952
+ "learning_rate": 3.718678815489749e-05,
953
+ "loss": 0.0811,
954
+ "step": 1350
955
+ },
956
+ {
957
+ "epoch": 0.7744874715261959,
958
+ "grad_norm": 2.3490426540374756,
959
+ "learning_rate": 3.7091875474563403e-05,
960
+ "loss": 0.0554,
961
+ "step": 1360
962
+ },
963
+ {
964
+ "epoch": 0.7801822323462415,
965
+ "grad_norm": 2.133591413497925,
966
+ "learning_rate": 3.6996962794229314e-05,
967
+ "loss": 0.0792,
968
+ "step": 1370
969
+ },
970
+ {
971
+ "epoch": 0.785876993166287,
972
+ "grad_norm": 0.3369489014148712,
973
+ "learning_rate": 3.690205011389522e-05,
974
+ "loss": 0.0436,
975
+ "step": 1380
976
+ },
977
+ {
978
+ "epoch": 0.7915717539863326,
979
+ "grad_norm": 1.3656107187271118,
980
+ "learning_rate": 3.680713743356112e-05,
981
+ "loss": 0.0543,
982
+ "step": 1390
983
+ },
984
+ {
985
+ "epoch": 0.7972665148063781,
986
+ "grad_norm": 0.7134440541267395,
987
+ "learning_rate": 3.671222475322703e-05,
988
+ "loss": 0.0329,
989
+ "step": 1400
990
+ },
991
+ {
992
+ "epoch": 0.8029612756264237,
993
+ "grad_norm": 0.5661123991012573,
994
+ "learning_rate": 3.661731207289294e-05,
995
+ "loss": 0.0285,
996
+ "step": 1410
997
+ },
998
+ {
999
+ "epoch": 0.8086560364464692,
1000
+ "grad_norm": 1.2485991716384888,
1001
+ "learning_rate": 3.652239939255885e-05,
1002
+ "loss": 0.0908,
1003
+ "step": 1420
1004
+ },
1005
+ {
1006
+ "epoch": 0.8143507972665148,
1007
+ "grad_norm": 2.110455274581909,
1008
+ "learning_rate": 3.642748671222476e-05,
1009
+ "loss": 0.0284,
1010
+ "step": 1430
1011
+ },
1012
+ {
1013
+ "epoch": 0.8200455580865603,
1014
+ "grad_norm": 12.661782264709473,
1015
+ "learning_rate": 3.633257403189066e-05,
1016
+ "loss": 0.0719,
1017
+ "step": 1440
1018
+ },
1019
+ {
1020
+ "epoch": 0.8257403189066059,
1021
+ "grad_norm": 5.139870643615723,
1022
+ "learning_rate": 3.6237661351556566e-05,
1023
+ "loss": 0.084,
1024
+ "step": 1450
1025
+ },
1026
+ {
1027
+ "epoch": 0.8314350797266514,
1028
+ "grad_norm": 1.949857234954834,
1029
+ "learning_rate": 3.614274867122248e-05,
1030
+ "loss": 0.0396,
1031
+ "step": 1460
1032
+ },
1033
+ {
1034
+ "epoch": 0.837129840546697,
1035
+ "grad_norm": 3.2489545345306396,
1036
+ "learning_rate": 3.604783599088839e-05,
1037
+ "loss": 0.0521,
1038
+ "step": 1470
1039
+ },
1040
+ {
1041
+ "epoch": 0.8428246013667426,
1042
+ "grad_norm": 0.4927772879600525,
1043
+ "learning_rate": 3.595292331055429e-05,
1044
+ "loss": 0.0584,
1045
+ "step": 1480
1046
+ },
1047
+ {
1048
+ "epoch": 0.8485193621867881,
1049
+ "grad_norm": 0.08044728636741638,
1050
+ "learning_rate": 3.58580106302202e-05,
1051
+ "loss": 0.0478,
1052
+ "step": 1490
1053
+ },
1054
+ {
1055
+ "epoch": 0.8542141230068337,
1056
+ "grad_norm": 1.3953468799591064,
1057
+ "learning_rate": 3.5763097949886106e-05,
1058
+ "loss": 0.097,
1059
+ "step": 1500
1060
+ },
1061
+ {
1062
+ "epoch": 0.8599088838268792,
1063
+ "grad_norm": 0.017015213146805763,
1064
+ "learning_rate": 3.566818526955201e-05,
1065
+ "loss": 0.0659,
1066
+ "step": 1510
1067
+ },
1068
+ {
1069
+ "epoch": 0.8656036446469249,
1070
+ "grad_norm": 0.984900951385498,
1071
+ "learning_rate": 3.557327258921792e-05,
1072
+ "loss": 0.0674,
1073
+ "step": 1520
1074
+ },
1075
+ {
1076
+ "epoch": 0.8712984054669703,
1077
+ "grad_norm": 1.6620683670043945,
1078
+ "learning_rate": 3.547835990888383e-05,
1079
+ "loss": 0.0546,
1080
+ "step": 1530
1081
+ },
1082
+ {
1083
+ "epoch": 0.876993166287016,
1084
+ "grad_norm": 4.897571086883545,
1085
+ "learning_rate": 3.5383447228549736e-05,
1086
+ "loss": 0.0754,
1087
+ "step": 1540
1088
+ },
1089
+ {
1090
+ "epoch": 0.8826879271070615,
1091
+ "grad_norm": 1.2931139469146729,
1092
+ "learning_rate": 3.528853454821565e-05,
1093
+ "loss": 0.0508,
1094
+ "step": 1550
1095
+ },
1096
+ {
1097
+ "epoch": 0.8883826879271071,
1098
+ "grad_norm": 4.596437931060791,
1099
+ "learning_rate": 3.519362186788155e-05,
1100
+ "loss": 0.085,
1101
+ "step": 1560
1102
+ },
1103
+ {
1104
+ "epoch": 0.8940774487471527,
1105
+ "grad_norm": 2.0353763103485107,
1106
+ "learning_rate": 3.5098709187547455e-05,
1107
+ "loss": 0.0462,
1108
+ "step": 1570
1109
+ },
1110
+ {
1111
+ "epoch": 0.8997722095671982,
1112
+ "grad_norm": 1.4557256698608398,
1113
+ "learning_rate": 3.5003796507213365e-05,
1114
+ "loss": 0.067,
1115
+ "step": 1580
1116
+ },
1117
+ {
1118
+ "epoch": 0.9054669703872438,
1119
+ "grad_norm": 1.3519636392593384,
1120
+ "learning_rate": 3.4908883826879276e-05,
1121
+ "loss": 0.0541,
1122
+ "step": 1590
1123
+ },
1124
+ {
1125
+ "epoch": 0.9111617312072893,
1126
+ "grad_norm": 0.38374024629592896,
1127
+ "learning_rate": 3.481397114654518e-05,
1128
+ "loss": 0.0696,
1129
+ "step": 1600
1130
+ },
1131
+ {
1132
+ "epoch": 0.9168564920273349,
1133
+ "grad_norm": 0.17080959677696228,
1134
+ "learning_rate": 3.4719058466211084e-05,
1135
+ "loss": 0.0974,
1136
+ "step": 1610
1137
+ },
1138
+ {
1139
+ "epoch": 0.9225512528473804,
1140
+ "grad_norm": 0.33803385496139526,
1141
+ "learning_rate": 3.4624145785876995e-05,
1142
+ "loss": 0.0237,
1143
+ "step": 1620
1144
+ },
1145
+ {
1146
+ "epoch": 0.928246013667426,
1147
+ "grad_norm": 1.0675870180130005,
1148
+ "learning_rate": 3.45292331055429e-05,
1149
+ "loss": 0.1002,
1150
+ "step": 1630
1151
+ },
1152
+ {
1153
+ "epoch": 0.9339407744874715,
1154
+ "grad_norm": 0.23425699770450592,
1155
+ "learning_rate": 3.443432042520881e-05,
1156
+ "loss": 0.028,
1157
+ "step": 1640
1158
+ },
1159
+ {
1160
+ "epoch": 0.9396355353075171,
1161
+ "grad_norm": 1.695246696472168,
1162
+ "learning_rate": 3.433940774487472e-05,
1163
+ "loss": 0.0434,
1164
+ "step": 1650
1165
+ },
1166
+ {
1167
+ "epoch": 0.9453302961275627,
1168
+ "grad_norm": 1.134783148765564,
1169
+ "learning_rate": 3.4244495064540624e-05,
1170
+ "loss": 0.0608,
1171
+ "step": 1660
1172
+ },
1173
+ {
1174
+ "epoch": 0.9510250569476082,
1175
+ "grad_norm": 0.09808668494224548,
1176
+ "learning_rate": 3.414958238420653e-05,
1177
+ "loss": 0.027,
1178
+ "step": 1670
1179
+ },
1180
+ {
1181
+ "epoch": 0.9567198177676538,
1182
+ "grad_norm": 1.7201132774353027,
1183
+ "learning_rate": 3.405466970387244e-05,
1184
+ "loss": 0.0744,
1185
+ "step": 1680
1186
+ },
1187
+ {
1188
+ "epoch": 0.9624145785876993,
1189
+ "grad_norm": 0.9982559084892273,
1190
+ "learning_rate": 3.395975702353835e-05,
1191
+ "loss": 0.039,
1192
+ "step": 1690
1193
+ },
1194
+ {
1195
+ "epoch": 0.9681093394077449,
1196
+ "grad_norm": 0.573174238204956,
1197
+ "learning_rate": 3.3864844343204254e-05,
1198
+ "loss": 0.0448,
1199
+ "step": 1700
1200
+ },
1201
+ {
1202
+ "epoch": 0.9738041002277904,
1203
+ "grad_norm": 0.15374533832073212,
1204
+ "learning_rate": 3.3769931662870164e-05,
1205
+ "loss": 0.0307,
1206
+ "step": 1710
1207
+ },
1208
+ {
1209
+ "epoch": 0.979498861047836,
1210
+ "grad_norm": 0.28979602456092834,
1211
+ "learning_rate": 3.367501898253607e-05,
1212
+ "loss": 0.0312,
1213
+ "step": 1720
1214
+ },
1215
+ {
1216
+ "epoch": 0.9851936218678815,
1217
+ "grad_norm": 0.4142756760120392,
1218
+ "learning_rate": 3.358010630220197e-05,
1219
+ "loss": 0.0671,
1220
+ "step": 1730
1221
+ },
1222
+ {
1223
+ "epoch": 0.9908883826879271,
1224
+ "grad_norm": 1.2099072933197021,
1225
+ "learning_rate": 3.348519362186788e-05,
1226
+ "loss": 0.0613,
1227
+ "step": 1740
1228
+ },
1229
+ {
1230
+ "epoch": 0.9965831435079726,
1231
+ "grad_norm": 2.8961591720581055,
1232
+ "learning_rate": 3.3390280941533794e-05,
1233
+ "loss": 0.0468,
1234
+ "step": 1750
1235
+ },
1236
+ {
1237
+ "epoch": 1.0,
1238
+ "eval_accuracy": 0.9834836297060943,
1239
+ "eval_f1": 0.9111092563225106,
1240
+ "eval_loss": 0.06205601245164871,
1241
+ "eval_precision": 0.9033432638199271,
1242
+ "eval_recall": 0.9190099343323792,
1243
+ "eval_runtime": 13.7445,
1244
+ "eval_samples_per_second": 236.458,
1245
+ "eval_steps_per_second": 29.612,
1246
+ "step": 1756
1247
+ },
1248
+ {
1249
+ "epoch": 1.0022779043280183,
1250
+ "grad_norm": 1.1877965927124023,
1251
+ "learning_rate": 3.32953682611997e-05,
1252
+ "loss": 0.0464,
1253
+ "step": 1760
1254
+ },
1255
+ {
1256
+ "epoch": 1.0079726651480638,
1257
+ "grad_norm": 1.4486593008041382,
1258
+ "learning_rate": 3.32004555808656e-05,
1259
+ "loss": 0.0177,
1260
+ "step": 1770
1261
+ },
1262
+ {
1263
+ "epoch": 1.0136674259681093,
1264
+ "grad_norm": 0.045917004346847534,
1265
+ "learning_rate": 3.310554290053151e-05,
1266
+ "loss": 0.0293,
1267
+ "step": 1780
1268
+ },
1269
+ {
1270
+ "epoch": 1.0193621867881548,
1271
+ "grad_norm": 0.501386821269989,
1272
+ "learning_rate": 3.3010630220197417e-05,
1273
+ "loss": 0.0117,
1274
+ "step": 1790
1275
+ },
1276
+ {
1277
+ "epoch": 1.0250569476082005,
1278
+ "grad_norm": 4.940465927124023,
1279
+ "learning_rate": 3.291571753986333e-05,
1280
+ "loss": 0.0227,
1281
+ "step": 1800
1282
+ },
1283
+ {
1284
+ "epoch": 1.030751708428246,
1285
+ "grad_norm": 0.1896640509366989,
1286
+ "learning_rate": 3.282080485952924e-05,
1287
+ "loss": 0.0157,
1288
+ "step": 1810
1289
+ },
1290
+ {
1291
+ "epoch": 1.0364464692482915,
1292
+ "grad_norm": 0.2719975411891937,
1293
+ "learning_rate": 3.272589217919514e-05,
1294
+ "loss": 0.0366,
1295
+ "step": 1820
1296
+ },
1297
+ {
1298
+ "epoch": 1.042141230068337,
1299
+ "grad_norm": 1.6215999126434326,
1300
+ "learning_rate": 3.2630979498861046e-05,
1301
+ "loss": 0.0206,
1302
+ "step": 1830
1303
+ },
1304
+ {
1305
+ "epoch": 1.0478359908883828,
1306
+ "grad_norm": 0.15671390295028687,
1307
+ "learning_rate": 3.253606681852696e-05,
1308
+ "loss": 0.0142,
1309
+ "step": 1840
1310
+ },
1311
+ {
1312
+ "epoch": 1.0535307517084282,
1313
+ "grad_norm": 0.4000178575515747,
1314
+ "learning_rate": 3.244115413819286e-05,
1315
+ "loss": 0.0246,
1316
+ "step": 1850
1317
+ },
1318
+ {
1319
+ "epoch": 1.0592255125284737,
1320
+ "grad_norm": 0.03926578164100647,
1321
+ "learning_rate": 3.234624145785877e-05,
1322
+ "loss": 0.0249,
1323
+ "step": 1860
1324
+ },
1325
+ {
1326
+ "epoch": 1.0649202733485195,
1327
+ "grad_norm": 0.6636160612106323,
1328
+ "learning_rate": 3.225132877752468e-05,
1329
+ "loss": 0.0614,
1330
+ "step": 1870
1331
+ },
1332
+ {
1333
+ "epoch": 1.070615034168565,
1334
+ "grad_norm": 0.16424879431724548,
1335
+ "learning_rate": 3.2156416097190586e-05,
1336
+ "loss": 0.0411,
1337
+ "step": 1880
1338
+ },
1339
+ {
1340
+ "epoch": 1.0763097949886105,
1341
+ "grad_norm": 4.489077568054199,
1342
+ "learning_rate": 3.206150341685649e-05,
1343
+ "loss": 0.053,
1344
+ "step": 1890
1345
+ },
1346
+ {
1347
+ "epoch": 1.082004555808656,
1348
+ "grad_norm": 0.028950968757271767,
1349
+ "learning_rate": 3.19665907365224e-05,
1350
+ "loss": 0.0244,
1351
+ "step": 1900
1352
+ },
1353
+ {
1354
+ "epoch": 1.0876993166287017,
1355
+ "grad_norm": 3.7143993377685547,
1356
+ "learning_rate": 3.187167805618831e-05,
1357
+ "loss": 0.0291,
1358
+ "step": 1910
1359
+ },
1360
+ {
1361
+ "epoch": 1.0933940774487472,
1362
+ "grad_norm": 2.972627639770508,
1363
+ "learning_rate": 3.1776765375854216e-05,
1364
+ "loss": 0.0206,
1365
+ "step": 1920
1366
+ },
1367
+ {
1368
+ "epoch": 1.0990888382687927,
1369
+ "grad_norm": 1.4652332067489624,
1370
+ "learning_rate": 3.1681852695520126e-05,
1371
+ "loss": 0.0169,
1372
+ "step": 1930
1373
+ },
1374
+ {
1375
+ "epoch": 1.1047835990888384,
1376
+ "grad_norm": 1.768967866897583,
1377
+ "learning_rate": 3.158694001518603e-05,
1378
+ "loss": 0.0216,
1379
+ "step": 1940
1380
+ },
1381
+ {
1382
+ "epoch": 1.1104783599088839,
1383
+ "grad_norm": 0.3902505338191986,
1384
+ "learning_rate": 3.1492027334851934e-05,
1385
+ "loss": 0.0343,
1386
+ "step": 1950
1387
+ },
1388
+ {
1389
+ "epoch": 1.1161731207289294,
1390
+ "grad_norm": 0.0570041760802269,
1391
+ "learning_rate": 3.1397114654517845e-05,
1392
+ "loss": 0.0224,
1393
+ "step": 1960
1394
+ },
1395
+ {
1396
+ "epoch": 1.1218678815489749,
1397
+ "grad_norm": 3.5211033821105957,
1398
+ "learning_rate": 3.1302201974183756e-05,
1399
+ "loss": 0.0142,
1400
+ "step": 1970
1401
+ },
1402
+ {
1403
+ "epoch": 1.1275626423690206,
1404
+ "grad_norm": 4.0271077156066895,
1405
+ "learning_rate": 3.120728929384966e-05,
1406
+ "loss": 0.0188,
1407
+ "step": 1980
1408
+ },
1409
+ {
1410
+ "epoch": 1.133257403189066,
1411
+ "grad_norm": 0.030941655859351158,
1412
+ "learning_rate": 3.1112376613515564e-05,
1413
+ "loss": 0.0338,
1414
+ "step": 1990
1415
+ },
1416
+ {
1417
+ "epoch": 1.1389521640091116,
1418
+ "grad_norm": 0.20438140630722046,
1419
+ "learning_rate": 3.1017463933181475e-05,
1420
+ "loss": 0.0127,
1421
+ "step": 2000
1422
+ },
1423
+ {
1424
+ "epoch": 1.144646924829157,
1425
+ "grad_norm": 0.011589931324124336,
1426
+ "learning_rate": 3.092255125284738e-05,
1427
+ "loss": 0.0188,
1428
+ "step": 2010
1429
+ },
1430
+ {
1431
+ "epoch": 1.1503416856492028,
1432
+ "grad_norm": 0.036334265023469925,
1433
+ "learning_rate": 3.082763857251329e-05,
1434
+ "loss": 0.0254,
1435
+ "step": 2020
1436
+ },
1437
+ {
1438
+ "epoch": 1.1560364464692483,
1439
+ "grad_norm": 0.12188951671123505,
1440
+ "learning_rate": 3.07327258921792e-05,
1441
+ "loss": 0.0319,
1442
+ "step": 2030
1443
+ },
1444
+ {
1445
+ "epoch": 1.1617312072892938,
1446
+ "grad_norm": 3.9816770553588867,
1447
+ "learning_rate": 3.0637813211845104e-05,
1448
+ "loss": 0.0809,
1449
+ "step": 2040
1450
+ },
1451
+ {
1452
+ "epoch": 1.1674259681093395,
1453
+ "grad_norm": 2.992051124572754,
1454
+ "learning_rate": 3.054290053151101e-05,
1455
+ "loss": 0.0255,
1456
+ "step": 2050
1457
+ },
1458
+ {
1459
+ "epoch": 1.173120728929385,
1460
+ "grad_norm": 0.4495603144168854,
1461
+ "learning_rate": 3.044798785117692e-05,
1462
+ "loss": 0.0351,
1463
+ "step": 2060
1464
+ },
1465
+ {
1466
+ "epoch": 1.1788154897494305,
1467
+ "grad_norm": 2.132361888885498,
1468
+ "learning_rate": 3.0353075170842826e-05,
1469
+ "loss": 0.0317,
1470
+ "step": 2070
1471
+ },
1472
+ {
1473
+ "epoch": 1.184510250569476,
1474
+ "grad_norm": 1.9215974807739258,
1475
+ "learning_rate": 3.0258162490508733e-05,
1476
+ "loss": 0.0453,
1477
+ "step": 2080
1478
+ },
1479
+ {
1480
+ "epoch": 1.1902050113895217,
1481
+ "grad_norm": 3.614654302597046,
1482
+ "learning_rate": 3.0163249810174644e-05,
1483
+ "loss": 0.0302,
1484
+ "step": 2090
1485
+ },
1486
+ {
1487
+ "epoch": 1.1958997722095672,
1488
+ "grad_norm": 0.05617928504943848,
1489
+ "learning_rate": 3.0068337129840545e-05,
1490
+ "loss": 0.0376,
1491
+ "step": 2100
1492
+ },
1493
+ {
1494
+ "epoch": 1.2015945330296127,
1495
+ "grad_norm": 0.08208244293928146,
1496
+ "learning_rate": 2.9973424449506455e-05,
1497
+ "loss": 0.0393,
1498
+ "step": 2110
1499
+ },
1500
+ {
1501
+ "epoch": 1.2072892938496582,
1502
+ "grad_norm": 0.10671478509902954,
1503
+ "learning_rate": 2.9878511769172363e-05,
1504
+ "loss": 0.0152,
1505
+ "step": 2120
1506
+ },
1507
+ {
1508
+ "epoch": 1.212984054669704,
1509
+ "grad_norm": 0.021128954365849495,
1510
+ "learning_rate": 2.978359908883827e-05,
1511
+ "loss": 0.0091,
1512
+ "step": 2130
1513
+ },
1514
+ {
1515
+ "epoch": 1.2186788154897494,
1516
+ "grad_norm": 0.9037052392959595,
1517
+ "learning_rate": 2.968868640850418e-05,
1518
+ "loss": 0.0213,
1519
+ "step": 2140
1520
+ },
1521
+ {
1522
+ "epoch": 1.224373576309795,
1523
+ "grad_norm": 0.2880910336971283,
1524
+ "learning_rate": 2.959377372817008e-05,
1525
+ "loss": 0.0205,
1526
+ "step": 2150
1527
+ },
1528
+ {
1529
+ "epoch": 1.2300683371298406,
1530
+ "grad_norm": 0.014215152710676193,
1531
+ "learning_rate": 2.949886104783599e-05,
1532
+ "loss": 0.0177,
1533
+ "step": 2160
1534
+ },
1535
+ {
1536
+ "epoch": 1.2357630979498861,
1537
+ "grad_norm": 0.01584666594862938,
1538
+ "learning_rate": 2.94039483675019e-05,
1539
+ "loss": 0.0304,
1540
+ "step": 2170
1541
+ },
1542
+ {
1543
+ "epoch": 1.2414578587699316,
1544
+ "grad_norm": 0.027049539610743523,
1545
+ "learning_rate": 2.9309035687167807e-05,
1546
+ "loss": 0.022,
1547
+ "step": 2180
1548
+ },
1549
+ {
1550
+ "epoch": 1.2471526195899771,
1551
+ "grad_norm": 4.972292900085449,
1552
+ "learning_rate": 2.9214123006833714e-05,
1553
+ "loss": 0.0345,
1554
+ "step": 2190
1555
+ },
1556
+ {
1557
+ "epoch": 1.2528473804100229,
1558
+ "grad_norm": 1.9279311895370483,
1559
+ "learning_rate": 2.9119210326499625e-05,
1560
+ "loss": 0.0078,
1561
+ "step": 2200
1562
+ },
1563
+ {
1564
+ "epoch": 1.2585421412300684,
1565
+ "grad_norm": 4.7130255699157715,
1566
+ "learning_rate": 2.9024297646165526e-05,
1567
+ "loss": 0.0195,
1568
+ "step": 2210
1569
+ },
1570
+ {
1571
+ "epoch": 1.2642369020501139,
1572
+ "grad_norm": 0.13271582126617432,
1573
+ "learning_rate": 2.8929384965831436e-05,
1574
+ "loss": 0.0147,
1575
+ "step": 2220
1576
+ },
1577
+ {
1578
+ "epoch": 1.2699316628701594,
1579
+ "grad_norm": 2.073155641555786,
1580
+ "learning_rate": 2.8834472285497344e-05,
1581
+ "loss": 0.0295,
1582
+ "step": 2230
1583
+ },
1584
+ {
1585
+ "epoch": 1.275626423690205,
1586
+ "grad_norm": 0.2916022837162018,
1587
+ "learning_rate": 2.873955960516325e-05,
1588
+ "loss": 0.0108,
1589
+ "step": 2240
1590
+ },
1591
+ {
1592
+ "epoch": 1.2813211845102506,
1593
+ "grad_norm": 0.059762142598629,
1594
+ "learning_rate": 2.8644646924829162e-05,
1595
+ "loss": 0.051,
1596
+ "step": 2250
1597
+ },
1598
+ {
1599
+ "epoch": 1.287015945330296,
1600
+ "grad_norm": 0.08399085700511932,
1601
+ "learning_rate": 2.8549734244495063e-05,
1602
+ "loss": 0.028,
1603
+ "step": 2260
1604
+ },
1605
+ {
1606
+ "epoch": 1.2927107061503418,
1607
+ "grad_norm": 1.698492169380188,
1608
+ "learning_rate": 2.8454821564160973e-05,
1609
+ "loss": 0.0478,
1610
+ "step": 2270
1611
+ },
1612
+ {
1613
+ "epoch": 1.2984054669703873,
1614
+ "grad_norm": 0.1704496294260025,
1615
+ "learning_rate": 2.835990888382688e-05,
1616
+ "loss": 0.0403,
1617
+ "step": 2280
1618
+ },
1619
+ {
1620
+ "epoch": 1.3041002277904328,
1621
+ "grad_norm": 0.056637831032276154,
1622
+ "learning_rate": 2.8264996203492788e-05,
1623
+ "loss": 0.0215,
1624
+ "step": 2290
1625
+ },
1626
+ {
1627
+ "epoch": 1.3097949886104785,
1628
+ "grad_norm": 0.02712276019155979,
1629
+ "learning_rate": 2.8170083523158695e-05,
1630
+ "loss": 0.0216,
1631
+ "step": 2300
1632
+ },
1633
+ {
1634
+ "epoch": 1.315489749430524,
1635
+ "grad_norm": 1.20741605758667,
1636
+ "learning_rate": 2.8075170842824606e-05,
1637
+ "loss": 0.0161,
1638
+ "step": 2310
1639
+ },
1640
+ {
1641
+ "epoch": 1.3211845102505695,
1642
+ "grad_norm": 2.321183443069458,
1643
+ "learning_rate": 2.7980258162490507e-05,
1644
+ "loss": 0.0611,
1645
+ "step": 2320
1646
+ },
1647
+ {
1648
+ "epoch": 1.326879271070615,
1649
+ "grad_norm": 0.0435294434428215,
1650
+ "learning_rate": 2.7885345482156417e-05,
1651
+ "loss": 0.0203,
1652
+ "step": 2330
1653
+ },
1654
+ {
1655
+ "epoch": 1.3325740318906605,
1656
+ "grad_norm": 2.0571095943450928,
1657
+ "learning_rate": 2.7790432801822325e-05,
1658
+ "loss": 0.039,
1659
+ "step": 2340
1660
+ },
1661
+ {
1662
+ "epoch": 1.3382687927107062,
1663
+ "grad_norm": 0.1287350356578827,
1664
+ "learning_rate": 2.7695520121488232e-05,
1665
+ "loss": 0.0211,
1666
+ "step": 2350
1667
+ },
1668
+ {
1669
+ "epoch": 1.3439635535307517,
1670
+ "grad_norm": 0.2631838917732239,
1671
+ "learning_rate": 2.7600607441154143e-05,
1672
+ "loss": 0.0196,
1673
+ "step": 2360
1674
+ },
1675
+ {
1676
+ "epoch": 1.3496583143507972,
1677
+ "grad_norm": 0.11948617547750473,
1678
+ "learning_rate": 2.7505694760820043e-05,
1679
+ "loss": 0.0225,
1680
+ "step": 2370
1681
+ },
1682
+ {
1683
+ "epoch": 1.355353075170843,
1684
+ "grad_norm": 0.30161651968955994,
1685
+ "learning_rate": 2.7410782080485954e-05,
1686
+ "loss": 0.0425,
1687
+ "step": 2380
1688
+ },
1689
+ {
1690
+ "epoch": 1.3610478359908884,
1691
+ "grad_norm": 0.09938052296638489,
1692
+ "learning_rate": 2.731586940015186e-05,
1693
+ "loss": 0.02,
1694
+ "step": 2390
1695
+ },
1696
+ {
1697
+ "epoch": 1.366742596810934,
1698
+ "grad_norm": 0.12348034232854843,
1699
+ "learning_rate": 2.722095671981777e-05,
1700
+ "loss": 0.0312,
1701
+ "step": 2400
1702
+ },
1703
+ {
1704
+ "epoch": 1.3724373576309796,
1705
+ "grad_norm": 1.968189001083374,
1706
+ "learning_rate": 2.7126044039483676e-05,
1707
+ "loss": 0.0296,
1708
+ "step": 2410
1709
+ },
1710
+ {
1711
+ "epoch": 1.3781321184510251,
1712
+ "grad_norm": 2.6236233711242676,
1713
+ "learning_rate": 2.7031131359149587e-05,
1714
+ "loss": 0.026,
1715
+ "step": 2420
1716
+ },
1717
+ {
1718
+ "epoch": 1.3838268792710706,
1719
+ "grad_norm": 0.05339749529957771,
1720
+ "learning_rate": 2.6936218678815488e-05,
1721
+ "loss": 0.0235,
1722
+ "step": 2430
1723
+ },
1724
+ {
1725
+ "epoch": 1.3895216400911161,
1726
+ "grad_norm": 0.15053918957710266,
1727
+ "learning_rate": 2.68413059984814e-05,
1728
+ "loss": 0.022,
1729
+ "step": 2440
1730
+ },
1731
+ {
1732
+ "epoch": 1.3952164009111616,
1733
+ "grad_norm": 0.2259766161441803,
1734
+ "learning_rate": 2.6746393318147306e-05,
1735
+ "loss": 0.0268,
1736
+ "step": 2450
1737
+ },
1738
+ {
1739
+ "epoch": 1.4009111617312073,
1740
+ "grad_norm": 0.04061640426516533,
1741
+ "learning_rate": 2.6651480637813213e-05,
1742
+ "loss": 0.0229,
1743
+ "step": 2460
1744
+ },
1745
+ {
1746
+ "epoch": 1.4066059225512528,
1747
+ "grad_norm": 0.10259843617677689,
1748
+ "learning_rate": 2.6556567957479124e-05,
1749
+ "loss": 0.0214,
1750
+ "step": 2470
1751
+ },
1752
+ {
1753
+ "epoch": 1.4123006833712983,
1754
+ "grad_norm": 0.5361473560333252,
1755
+ "learning_rate": 2.6461655277145024e-05,
1756
+ "loss": 0.0321,
1757
+ "step": 2480
1758
+ },
1759
+ {
1760
+ "epoch": 1.417995444191344,
1761
+ "grad_norm": 1.511304497718811,
1762
+ "learning_rate": 2.6366742596810935e-05,
1763
+ "loss": 0.0083,
1764
+ "step": 2490
1765
+ },
1766
+ {
1767
+ "epoch": 1.4236902050113895,
1768
+ "grad_norm": 0.5383846759796143,
1769
+ "learning_rate": 2.6271829916476843e-05,
1770
+ "loss": 0.0255,
1771
+ "step": 2500
1772
+ },
1773
+ {
1774
+ "epoch": 1.429384965831435,
1775
+ "grad_norm": 6.834687232971191,
1776
+ "learning_rate": 2.617691723614275e-05,
1777
+ "loss": 0.0324,
1778
+ "step": 2510
1779
+ },
1780
+ {
1781
+ "epoch": 1.4350797266514808,
1782
+ "grad_norm": 0.4993496835231781,
1783
+ "learning_rate": 2.608200455580866e-05,
1784
+ "loss": 0.047,
1785
+ "step": 2520
1786
+ },
1787
+ {
1788
+ "epoch": 1.4407744874715263,
1789
+ "grad_norm": 0.32794803380966187,
1790
+ "learning_rate": 2.5987091875474568e-05,
1791
+ "loss": 0.0127,
1792
+ "step": 2530
1793
+ },
1794
+ {
1795
+ "epoch": 1.4464692482915718,
1796
+ "grad_norm": 2.7348170280456543,
1797
+ "learning_rate": 2.589217919514047e-05,
1798
+ "loss": 0.0373,
1799
+ "step": 2540
1800
+ },
1801
+ {
1802
+ "epoch": 1.4521640091116172,
1803
+ "grad_norm": 0.02981397695839405,
1804
+ "learning_rate": 2.579726651480638e-05,
1805
+ "loss": 0.0403,
1806
+ "step": 2550
1807
+ },
1808
+ {
1809
+ "epoch": 1.4578587699316627,
1810
+ "grad_norm": 0.2732754945755005,
1811
+ "learning_rate": 2.5702353834472287e-05,
1812
+ "loss": 0.0193,
1813
+ "step": 2560
1814
+ },
1815
+ {
1816
+ "epoch": 1.4635535307517085,
1817
+ "grad_norm": 0.0971960499882698,
1818
+ "learning_rate": 2.5607441154138194e-05,
1819
+ "loss": 0.015,
1820
+ "step": 2570
1821
+ },
1822
+ {
1823
+ "epoch": 1.469248291571754,
1824
+ "grad_norm": 0.6999448537826538,
1825
+ "learning_rate": 2.5512528473804105e-05,
1826
+ "loss": 0.0112,
1827
+ "step": 2580
1828
+ },
1829
+ {
1830
+ "epoch": 1.4749430523917995,
1831
+ "grad_norm": 4.170445919036865,
1832
+ "learning_rate": 2.5417615793470005e-05,
1833
+ "loss": 0.0296,
1834
+ "step": 2590
1835
+ },
1836
+ {
1837
+ "epoch": 1.4806378132118452,
1838
+ "grad_norm": 0.017274674028158188,
1839
+ "learning_rate": 2.5322703113135916e-05,
1840
+ "loss": 0.0096,
1841
+ "step": 2600
1842
+ },
1843
+ {
1844
+ "epoch": 1.4863325740318907,
1845
+ "grad_norm": 2.0988516807556152,
1846
+ "learning_rate": 2.5227790432801824e-05,
1847
+ "loss": 0.0219,
1848
+ "step": 2610
1849
+ },
1850
+ {
1851
+ "epoch": 1.4920273348519362,
1852
+ "grad_norm": 0.33241793513298035,
1853
+ "learning_rate": 2.513287775246773e-05,
1854
+ "loss": 0.0337,
1855
+ "step": 2620
1856
+ },
1857
+ {
1858
+ "epoch": 1.497722095671982,
1859
+ "grad_norm": 0.34468936920166016,
1860
+ "learning_rate": 2.503796507213364e-05,
1861
+ "loss": 0.0209,
1862
+ "step": 2630
1863
+ },
1864
+ {
1865
+ "epoch": 1.5034168564920274,
1866
+ "grad_norm": 0.026434799656271935,
1867
+ "learning_rate": 2.4943052391799546e-05,
1868
+ "loss": 0.017,
1869
+ "step": 2640
1870
+ },
1871
+ {
1872
+ "epoch": 1.5091116173120729,
1873
+ "grad_norm": 0.00831619743257761,
1874
+ "learning_rate": 2.4848139711465453e-05,
1875
+ "loss": 0.0318,
1876
+ "step": 2650
1877
+ },
1878
+ {
1879
+ "epoch": 1.5148063781321186,
1880
+ "grad_norm": 0.5614336133003235,
1881
+ "learning_rate": 2.475322703113136e-05,
1882
+ "loss": 0.0349,
1883
+ "step": 2660
1884
+ },
1885
+ {
1886
+ "epoch": 1.5205011389521639,
1887
+ "grad_norm": 0.6730136871337891,
1888
+ "learning_rate": 2.4658314350797268e-05,
1889
+ "loss": 0.0163,
1890
+ "step": 2670
1891
+ },
1892
+ {
1893
+ "epoch": 1.5261958997722096,
1894
+ "grad_norm": 0.08429904282093048,
1895
+ "learning_rate": 2.4563401670463175e-05,
1896
+ "loss": 0.0182,
1897
+ "step": 2680
1898
+ },
1899
+ {
1900
+ "epoch": 1.531890660592255,
1901
+ "grad_norm": 0.017787586897611618,
1902
+ "learning_rate": 2.4468488990129082e-05,
1903
+ "loss": 0.0746,
1904
+ "step": 2690
1905
+ },
1906
+ {
1907
+ "epoch": 1.5375854214123006,
1908
+ "grad_norm": 0.2954597771167755,
1909
+ "learning_rate": 2.437357630979499e-05,
1910
+ "loss": 0.0093,
1911
+ "step": 2700
1912
+ },
1913
+ {
1914
+ "epoch": 1.5432801822323463,
1915
+ "grad_norm": 1.5878958702087402,
1916
+ "learning_rate": 2.4278663629460897e-05,
1917
+ "loss": 0.023,
1918
+ "step": 2710
1919
+ },
1920
+ {
1921
+ "epoch": 1.5489749430523918,
1922
+ "grad_norm": 0.09025635570287704,
1923
+ "learning_rate": 2.4183750949126804e-05,
1924
+ "loss": 0.0492,
1925
+ "step": 2720
1926
+ },
1927
+ {
1928
+ "epoch": 1.5546697038724373,
1929
+ "grad_norm": 0.3361518979072571,
1930
+ "learning_rate": 2.4088838268792712e-05,
1931
+ "loss": 0.0336,
1932
+ "step": 2730
1933
+ },
1934
+ {
1935
+ "epoch": 1.560364464692483,
1936
+ "grad_norm": 1.164107322692871,
1937
+ "learning_rate": 2.399392558845862e-05,
1938
+ "loss": 0.0158,
1939
+ "step": 2740
1940
+ },
1941
+ {
1942
+ "epoch": 1.5660592255125285,
1943
+ "grad_norm": 2.972662925720215,
1944
+ "learning_rate": 2.3899012908124527e-05,
1945
+ "loss": 0.0198,
1946
+ "step": 2750
1947
+ },
1948
+ {
1949
+ "epoch": 1.571753986332574,
1950
+ "grad_norm": 0.5792711973190308,
1951
+ "learning_rate": 2.3804100227790434e-05,
1952
+ "loss": 0.0186,
1953
+ "step": 2760
1954
+ },
1955
+ {
1956
+ "epoch": 1.5774487471526197,
1957
+ "grad_norm": 3.0818066596984863,
1958
+ "learning_rate": 2.370918754745634e-05,
1959
+ "loss": 0.0402,
1960
+ "step": 2770
1961
+ },
1962
+ {
1963
+ "epoch": 1.583143507972665,
1964
+ "grad_norm": 0.48252251744270325,
1965
+ "learning_rate": 2.361427486712225e-05,
1966
+ "loss": 0.0335,
1967
+ "step": 2780
1968
+ },
1969
+ {
1970
+ "epoch": 1.5888382687927107,
1971
+ "grad_norm": 0.024195630103349686,
1972
+ "learning_rate": 2.3519362186788156e-05,
1973
+ "loss": 0.0482,
1974
+ "step": 2790
1975
+ },
1976
+ {
1977
+ "epoch": 1.5945330296127562,
1978
+ "grad_norm": 2.509986400604248,
1979
+ "learning_rate": 2.3424449506454063e-05,
1980
+ "loss": 0.0164,
1981
+ "step": 2800
1982
+ },
1983
+ {
1984
+ "epoch": 1.6002277904328017,
1985
+ "grad_norm": 0.16147683560848236,
1986
+ "learning_rate": 2.332953682611997e-05,
1987
+ "loss": 0.0172,
1988
+ "step": 2810
1989
+ },
1990
+ {
1991
+ "epoch": 1.6059225512528474,
1992
+ "grad_norm": 6.9054484367370605,
1993
+ "learning_rate": 2.3234624145785878e-05,
1994
+ "loss": 0.0249,
1995
+ "step": 2820
1996
+ },
1997
+ {
1998
+ "epoch": 1.611617312072893,
1999
+ "grad_norm": 0.02088954672217369,
2000
+ "learning_rate": 2.3139711465451785e-05,
2001
+ "loss": 0.0442,
2002
+ "step": 2830
2003
+ },
2004
+ {
2005
+ "epoch": 1.6173120728929384,
2006
+ "grad_norm": 0.334330677986145,
2007
+ "learning_rate": 2.3044798785117693e-05,
2008
+ "loss": 0.0128,
2009
+ "step": 2840
2010
+ },
2011
+ {
2012
+ "epoch": 1.6230068337129842,
2013
+ "grad_norm": 0.7511960864067078,
2014
+ "learning_rate": 2.29498861047836e-05,
2015
+ "loss": 0.0134,
2016
+ "step": 2850
2017
+ },
2018
+ {
2019
+ "epoch": 1.6287015945330297,
2020
+ "grad_norm": 0.07080753147602081,
2021
+ "learning_rate": 2.2854973424449508e-05,
2022
+ "loss": 0.015,
2023
+ "step": 2860
2024
+ },
2025
+ {
2026
+ "epoch": 1.6343963553530751,
2027
+ "grad_norm": 1.2584781646728516,
2028
+ "learning_rate": 2.2760060744115415e-05,
2029
+ "loss": 0.0277,
2030
+ "step": 2870
2031
+ },
2032
+ {
2033
+ "epoch": 1.6400911161731209,
2034
+ "grad_norm": 1.7000540494918823,
2035
+ "learning_rate": 2.2665148063781322e-05,
2036
+ "loss": 0.0361,
2037
+ "step": 2880
2038
+ },
2039
+ {
2040
+ "epoch": 1.6457858769931661,
2041
+ "grad_norm": 0.07065621763467789,
2042
+ "learning_rate": 2.257023538344723e-05,
2043
+ "loss": 0.0204,
2044
+ "step": 2890
2045
+ },
2046
+ {
2047
+ "epoch": 1.6514806378132119,
2048
+ "grad_norm": 1.1046833992004395,
2049
+ "learning_rate": 2.2475322703113137e-05,
2050
+ "loss": 0.0279,
2051
+ "step": 2900
2052
+ },
2053
+ {
2054
+ "epoch": 1.6571753986332574,
2055
+ "grad_norm": 0.12607507407665253,
2056
+ "learning_rate": 2.2380410022779044e-05,
2057
+ "loss": 0.0126,
2058
+ "step": 2910
2059
+ },
2060
+ {
2061
+ "epoch": 1.6628701594533029,
2062
+ "grad_norm": 0.016763895750045776,
2063
+ "learning_rate": 2.2285497342444952e-05,
2064
+ "loss": 0.0198,
2065
+ "step": 2920
2066
+ },
2067
+ {
2068
+ "epoch": 1.6685649202733486,
2069
+ "grad_norm": 0.35705041885375977,
2070
+ "learning_rate": 2.219058466211086e-05,
2071
+ "loss": 0.0196,
2072
+ "step": 2930
2073
+ },
2074
+ {
2075
+ "epoch": 1.674259681093394,
2076
+ "grad_norm": 2.3731415271759033,
2077
+ "learning_rate": 2.2095671981776766e-05,
2078
+ "loss": 0.0195,
2079
+ "step": 2940
2080
+ },
2081
+ {
2082
+ "epoch": 1.6799544419134396,
2083
+ "grad_norm": 0.042373090982437134,
2084
+ "learning_rate": 2.2000759301442674e-05,
2085
+ "loss": 0.0532,
2086
+ "step": 2950
2087
+ },
2088
+ {
2089
+ "epoch": 1.6856492027334853,
2090
+ "grad_norm": 0.13854794204235077,
2091
+ "learning_rate": 2.190584662110858e-05,
2092
+ "loss": 0.0093,
2093
+ "step": 2960
2094
+ },
2095
+ {
2096
+ "epoch": 1.6913439635535308,
2097
+ "grad_norm": 1.4668946266174316,
2098
+ "learning_rate": 2.181093394077449e-05,
2099
+ "loss": 0.0155,
2100
+ "step": 2970
2101
+ },
2102
+ {
2103
+ "epoch": 1.6970387243735763,
2104
+ "grad_norm": 0.01016306784003973,
2105
+ "learning_rate": 2.1716021260440396e-05,
2106
+ "loss": 0.0254,
2107
+ "step": 2980
2108
+ },
2109
+ {
2110
+ "epoch": 1.702733485193622,
2111
+ "grad_norm": 1.037170171737671,
2112
+ "learning_rate": 2.1621108580106303e-05,
2113
+ "loss": 0.0315,
2114
+ "step": 2990
2115
+ },
2116
+ {
2117
+ "epoch": 1.7084282460136673,
2118
+ "grad_norm": 1.5667529106140137,
2119
+ "learning_rate": 2.152619589977221e-05,
2120
+ "loss": 0.026,
2121
+ "step": 3000
2122
+ },
2123
+ {
2124
+ "epoch": 1.714123006833713,
2125
+ "grad_norm": 2.287351608276367,
2126
+ "learning_rate": 2.1431283219438118e-05,
2127
+ "loss": 0.0186,
2128
+ "step": 3010
2129
+ },
2130
+ {
2131
+ "epoch": 1.7198177676537585,
2132
+ "grad_norm": 0.9441989064216614,
2133
+ "learning_rate": 2.1336370539104025e-05,
2134
+ "loss": 0.029,
2135
+ "step": 3020
2136
+ },
2137
+ {
2138
+ "epoch": 1.725512528473804,
2139
+ "grad_norm": 0.032152529805898666,
2140
+ "learning_rate": 2.1241457858769933e-05,
2141
+ "loss": 0.0175,
2142
+ "step": 3030
2143
+ },
2144
+ {
2145
+ "epoch": 1.7312072892938497,
2146
+ "grad_norm": 0.23306457698345184,
2147
+ "learning_rate": 2.114654517843584e-05,
2148
+ "loss": 0.0168,
2149
+ "step": 3040
2150
+ },
2151
+ {
2152
+ "epoch": 1.7369020501138952,
2153
+ "grad_norm": 0.6797131896018982,
2154
+ "learning_rate": 2.1051632498101747e-05,
2155
+ "loss": 0.0147,
2156
+ "step": 3050
2157
+ },
2158
+ {
2159
+ "epoch": 1.7425968109339407,
2160
+ "grad_norm": 0.3807680904865265,
2161
+ "learning_rate": 2.0956719817767655e-05,
2162
+ "loss": 0.0184,
2163
+ "step": 3060
2164
+ },
2165
+ {
2166
+ "epoch": 1.7482915717539864,
2167
+ "grad_norm": 0.3467291295528412,
2168
+ "learning_rate": 2.0861807137433562e-05,
2169
+ "loss": 0.0142,
2170
+ "step": 3070
2171
+ },
2172
+ {
2173
+ "epoch": 1.753986332574032,
2174
+ "grad_norm": 1.8795088529586792,
2175
+ "learning_rate": 2.076689445709947e-05,
2176
+ "loss": 0.048,
2177
+ "step": 3080
2178
+ },
2179
+ {
2180
+ "epoch": 1.7596810933940774,
2181
+ "grad_norm": 2.4153385162353516,
2182
+ "learning_rate": 2.0671981776765377e-05,
2183
+ "loss": 0.017,
2184
+ "step": 3090
2185
+ },
2186
+ {
2187
+ "epoch": 1.7653758542141231,
2188
+ "grad_norm": 1.2200242280960083,
2189
+ "learning_rate": 2.0577069096431284e-05,
2190
+ "loss": 0.0244,
2191
+ "step": 3100
2192
+ },
2193
+ {
2194
+ "epoch": 1.7710706150341684,
2195
+ "grad_norm": 0.9201875925064087,
2196
+ "learning_rate": 2.048215641609719e-05,
2197
+ "loss": 0.0377,
2198
+ "step": 3110
2199
+ },
2200
+ {
2201
+ "epoch": 1.7767653758542141,
2202
+ "grad_norm": 0.008683672174811363,
2203
+ "learning_rate": 2.03872437357631e-05,
2204
+ "loss": 0.0292,
2205
+ "step": 3120
2206
+ },
2207
+ {
2208
+ "epoch": 1.7824601366742598,
2209
+ "grad_norm": 0.28299397230148315,
2210
+ "learning_rate": 2.0292331055429006e-05,
2211
+ "loss": 0.0309,
2212
+ "step": 3130
2213
+ },
2214
+ {
2215
+ "epoch": 1.7881548974943051,
2216
+ "grad_norm": 0.22945231199264526,
2217
+ "learning_rate": 2.0197418375094914e-05,
2218
+ "loss": 0.0249,
2219
+ "step": 3140
2220
+ },
2221
+ {
2222
+ "epoch": 1.7938496583143508,
2223
+ "grad_norm": 0.12214020639657974,
2224
+ "learning_rate": 2.010250569476082e-05,
2225
+ "loss": 0.0089,
2226
+ "step": 3150
2227
+ },
2228
+ {
2229
+ "epoch": 1.7995444191343963,
2230
+ "grad_norm": 0.06660139560699463,
2231
+ "learning_rate": 2.000759301442673e-05,
2232
+ "loss": 0.0189,
2233
+ "step": 3160
2234
+ },
2235
+ {
2236
+ "epoch": 1.8052391799544418,
2237
+ "grad_norm": 5.765466213226318,
2238
+ "learning_rate": 1.9912680334092636e-05,
2239
+ "loss": 0.0715,
2240
+ "step": 3170
2241
+ },
2242
+ {
2243
+ "epoch": 1.8109339407744875,
2244
+ "grad_norm": 0.15886840224266052,
2245
+ "learning_rate": 1.9817767653758543e-05,
2246
+ "loss": 0.0066,
2247
+ "step": 3180
2248
+ },
2249
+ {
2250
+ "epoch": 1.816628701594533,
2251
+ "grad_norm": 1.608310341835022,
2252
+ "learning_rate": 1.972285497342445e-05,
2253
+ "loss": 0.027,
2254
+ "step": 3190
2255
+ },
2256
+ {
2257
+ "epoch": 1.8223234624145785,
2258
+ "grad_norm": 2.088512420654297,
2259
+ "learning_rate": 1.9627942293090358e-05,
2260
+ "loss": 0.0348,
2261
+ "step": 3200
2262
+ },
2263
+ {
2264
+ "epoch": 1.8280182232346243,
2265
+ "grad_norm": 0.33316129446029663,
2266
+ "learning_rate": 1.9533029612756265e-05,
2267
+ "loss": 0.056,
2268
+ "step": 3210
2269
+ },
2270
+ {
2271
+ "epoch": 1.8337129840546698,
2272
+ "grad_norm": 0.11885243654251099,
2273
+ "learning_rate": 1.9438116932422173e-05,
2274
+ "loss": 0.0231,
2275
+ "step": 3220
2276
+ },
2277
+ {
2278
+ "epoch": 1.8394077448747153,
2279
+ "grad_norm": 5.114065647125244,
2280
+ "learning_rate": 1.934320425208808e-05,
2281
+ "loss": 0.0324,
2282
+ "step": 3230
2283
+ },
2284
+ {
2285
+ "epoch": 1.845102505694761,
2286
+ "grad_norm": 3.247770309448242,
2287
+ "learning_rate": 1.9248291571753987e-05,
2288
+ "loss": 0.0437,
2289
+ "step": 3240
2290
+ },
2291
+ {
2292
+ "epoch": 1.8507972665148062,
2293
+ "grad_norm": 4.07563591003418,
2294
+ "learning_rate": 1.9153378891419895e-05,
2295
+ "loss": 0.0152,
2296
+ "step": 3250
2297
+ },
2298
+ {
2299
+ "epoch": 1.856492027334852,
2300
+ "grad_norm": 0.7992623448371887,
2301
+ "learning_rate": 1.9058466211085802e-05,
2302
+ "loss": 0.04,
2303
+ "step": 3260
2304
+ },
2305
+ {
2306
+ "epoch": 1.8621867881548975,
2307
+ "grad_norm": 2.1190977096557617,
2308
+ "learning_rate": 1.896355353075171e-05,
2309
+ "loss": 0.0205,
2310
+ "step": 3270
2311
+ },
2312
+ {
2313
+ "epoch": 1.867881548974943,
2314
+ "grad_norm": 0.08607299625873566,
2315
+ "learning_rate": 1.8868640850417617e-05,
2316
+ "loss": 0.0614,
2317
+ "step": 3280
2318
+ },
2319
+ {
2320
+ "epoch": 1.8735763097949887,
2321
+ "grad_norm": 0.11223249137401581,
2322
+ "learning_rate": 1.8773728170083524e-05,
2323
+ "loss": 0.0152,
2324
+ "step": 3290
2325
+ },
2326
+ {
2327
+ "epoch": 1.8792710706150342,
2328
+ "grad_norm": 0.09186819195747375,
2329
+ "learning_rate": 1.867881548974943e-05,
2330
+ "loss": 0.0607,
2331
+ "step": 3300
2332
+ },
2333
+ {
2334
+ "epoch": 1.8849658314350797,
2335
+ "grad_norm": 1.1647542715072632,
2336
+ "learning_rate": 1.858390280941534e-05,
2337
+ "loss": 0.0312,
2338
+ "step": 3310
2339
+ },
2340
+ {
2341
+ "epoch": 1.8906605922551254,
2342
+ "grad_norm": 0.19422082602977753,
2343
+ "learning_rate": 1.8488990129081246e-05,
2344
+ "loss": 0.0085,
2345
+ "step": 3320
2346
+ },
2347
+ {
2348
+ "epoch": 1.896355353075171,
2349
+ "grad_norm": 2.4002015590667725,
2350
+ "learning_rate": 1.8394077448747154e-05,
2351
+ "loss": 0.0264,
2352
+ "step": 3330
2353
+ },
2354
+ {
2355
+ "epoch": 1.9020501138952164,
2356
+ "grad_norm": 0.8677728176116943,
2357
+ "learning_rate": 1.829916476841306e-05,
2358
+ "loss": 0.0296,
2359
+ "step": 3340
2360
+ },
2361
+ {
2362
+ "epoch": 1.907744874715262,
2363
+ "grad_norm": 2.0761377811431885,
2364
+ "learning_rate": 1.8204252088078968e-05,
2365
+ "loss": 0.0192,
2366
+ "step": 3350
2367
+ },
2368
+ {
2369
+ "epoch": 1.9134396355353074,
2370
+ "grad_norm": 0.7011535167694092,
2371
+ "learning_rate": 1.8109339407744876e-05,
2372
+ "loss": 0.0147,
2373
+ "step": 3360
2374
+ },
2375
+ {
2376
+ "epoch": 1.919134396355353,
2377
+ "grad_norm": 0.8465079069137573,
2378
+ "learning_rate": 1.8014426727410783e-05,
2379
+ "loss": 0.0287,
2380
+ "step": 3370
2381
+ },
2382
+ {
2383
+ "epoch": 1.9248291571753986,
2384
+ "grad_norm": 0.30490973591804504,
2385
+ "learning_rate": 1.791951404707669e-05,
2386
+ "loss": 0.0111,
2387
+ "step": 3380
2388
+ },
2389
+ {
2390
+ "epoch": 1.930523917995444,
2391
+ "grad_norm": 0.2505026161670685,
2392
+ "learning_rate": 1.7824601366742598e-05,
2393
+ "loss": 0.01,
2394
+ "step": 3390
2395
+ },
2396
+ {
2397
+ "epoch": 1.9362186788154898,
2398
+ "grad_norm": 0.8068025708198547,
2399
+ "learning_rate": 1.7729688686408505e-05,
2400
+ "loss": 0.0286,
2401
+ "step": 3400
2402
+ },
2403
+ {
2404
+ "epoch": 1.9419134396355353,
2405
+ "grad_norm": 2.2277448177337646,
2406
+ "learning_rate": 1.7634776006074412e-05,
2407
+ "loss": 0.0198,
2408
+ "step": 3410
2409
+ },
2410
+ {
2411
+ "epoch": 1.9476082004555808,
2412
+ "grad_norm": 0.13520954549312592,
2413
+ "learning_rate": 1.753986332574032e-05,
2414
+ "loss": 0.0232,
2415
+ "step": 3420
2416
+ },
2417
+ {
2418
+ "epoch": 1.9533029612756265,
2419
+ "grad_norm": 0.0674479603767395,
2420
+ "learning_rate": 1.7444950645406227e-05,
2421
+ "loss": 0.0176,
2422
+ "step": 3430
2423
+ },
2424
+ {
2425
+ "epoch": 1.958997722095672,
2426
+ "grad_norm": 0.018033193424344063,
2427
+ "learning_rate": 1.7350037965072134e-05,
2428
+ "loss": 0.0262,
2429
+ "step": 3440
2430
+ },
2431
+ {
2432
+ "epoch": 1.9646924829157175,
2433
+ "grad_norm": 0.09576301276683807,
2434
+ "learning_rate": 1.7255125284738042e-05,
2435
+ "loss": 0.0217,
2436
+ "step": 3450
2437
+ },
2438
+ {
2439
+ "epoch": 1.9703872437357632,
2440
+ "grad_norm": 0.9586463570594788,
2441
+ "learning_rate": 1.716021260440395e-05,
2442
+ "loss": 0.0123,
2443
+ "step": 3460
2444
+ },
2445
+ {
2446
+ "epoch": 1.9760820045558085,
2447
+ "grad_norm": 0.006530022248625755,
2448
+ "learning_rate": 1.7065299924069857e-05,
2449
+ "loss": 0.0163,
2450
+ "step": 3470
2451
+ },
2452
+ {
2453
+ "epoch": 1.9817767653758542,
2454
+ "grad_norm": 1.7253230810165405,
2455
+ "learning_rate": 1.6970387243735764e-05,
2456
+ "loss": 0.0126,
2457
+ "step": 3480
2458
+ },
2459
+ {
2460
+ "epoch": 1.9874715261958997,
2461
+ "grad_norm": 0.07670151442289352,
2462
+ "learning_rate": 1.687547456340167e-05,
2463
+ "loss": 0.0096,
2464
+ "step": 3490
2465
+ },
2466
+ {
2467
+ "epoch": 1.9931662870159452,
2468
+ "grad_norm": 0.013690901920199394,
2469
+ "learning_rate": 1.678056188306758e-05,
2470
+ "loss": 0.0168,
2471
+ "step": 3500
2472
+ },
2473
+ {
2474
+ "epoch": 1.998861047835991,
2475
+ "grad_norm": 0.4434203505516052,
2476
+ "learning_rate": 1.6685649202733486e-05,
2477
+ "loss": 0.0178,
2478
+ "step": 3510
2479
+ },
2480
+ {
2481
+ "epoch": 2.0,
2482
+ "eval_accuracy": 0.9870868472820054,
2483
+ "eval_f1": 0.9356108180524156,
2484
+ "eval_loss": 0.05325901880860329,
2485
+ "eval_precision": 0.9305463024650233,
2486
+ "eval_recall": 0.9407307627546725,
2487
+ "eval_runtime": 13.1682,
2488
+ "eval_samples_per_second": 246.807,
2489
+ "eval_steps_per_second": 30.908,
2490
+ "step": 3512
2491
+ },
2492
+ {
2493
+ "epoch": 2.0045558086560367,
2494
+ "grad_norm": 1.626996397972107,
2495
+ "learning_rate": 1.6590736522399393e-05,
2496
+ "loss": 0.0158,
2497
+ "step": 3520
2498
+ },
2499
+ {
2500
+ "epoch": 2.010250569476082,
2501
+ "grad_norm": 0.17399589717388153,
2502
+ "learning_rate": 1.64958238420653e-05,
2503
+ "loss": 0.0077,
2504
+ "step": 3530
2505
+ },
2506
+ {
2507
+ "epoch": 2.0159453302961277,
2508
+ "grad_norm": 0.027639882639050484,
2509
+ "learning_rate": 1.6400911161731208e-05,
2510
+ "loss": 0.0236,
2511
+ "step": 3540
2512
+ },
2513
+ {
2514
+ "epoch": 2.021640091116173,
2515
+ "grad_norm": 0.7574236392974854,
2516
+ "learning_rate": 1.6305998481397115e-05,
2517
+ "loss": 0.0153,
2518
+ "step": 3550
2519
+ },
2520
+ {
2521
+ "epoch": 2.0273348519362187,
2522
+ "grad_norm": 0.023957232013344765,
2523
+ "learning_rate": 1.6211085801063023e-05,
2524
+ "loss": 0.0046,
2525
+ "step": 3560
2526
+ },
2527
+ {
2528
+ "epoch": 2.0330296127562644,
2529
+ "grad_norm": 2.448194980621338,
2530
+ "learning_rate": 1.611617312072893e-05,
2531
+ "loss": 0.011,
2532
+ "step": 3570
2533
+ },
2534
+ {
2535
+ "epoch": 2.0387243735763096,
2536
+ "grad_norm": 0.5603412985801697,
2537
+ "learning_rate": 1.6021260440394838e-05,
2538
+ "loss": 0.0129,
2539
+ "step": 3580
2540
+ },
2541
+ {
2542
+ "epoch": 2.0444191343963554,
2543
+ "grad_norm": 0.7681556940078735,
2544
+ "learning_rate": 1.5926347760060745e-05,
2545
+ "loss": 0.0129,
2546
+ "step": 3590
2547
+ },
2548
+ {
2549
+ "epoch": 2.050113895216401,
2550
+ "grad_norm": 0.09505771845579147,
2551
+ "learning_rate": 1.5831435079726652e-05,
2552
+ "loss": 0.0093,
2553
+ "step": 3600
2554
+ },
2555
+ {
2556
+ "epoch": 2.0558086560364464,
2557
+ "grad_norm": 0.05849296599626541,
2558
+ "learning_rate": 1.573652239939256e-05,
2559
+ "loss": 0.0311,
2560
+ "step": 3610
2561
+ },
2562
+ {
2563
+ "epoch": 2.061503416856492,
2564
+ "grad_norm": 0.5222179293632507,
2565
+ "learning_rate": 1.5641609719058467e-05,
2566
+ "loss": 0.0083,
2567
+ "step": 3620
2568
+ },
2569
+ {
2570
+ "epoch": 2.067198177676538,
2571
+ "grad_norm": 1.0224918127059937,
2572
+ "learning_rate": 1.5546697038724374e-05,
2573
+ "loss": 0.0159,
2574
+ "step": 3630
2575
+ },
2576
+ {
2577
+ "epoch": 2.072892938496583,
2578
+ "grad_norm": 1.3902862071990967,
2579
+ "learning_rate": 1.545178435839028e-05,
2580
+ "loss": 0.0077,
2581
+ "step": 3640
2582
+ },
2583
+ {
2584
+ "epoch": 2.078587699316629,
2585
+ "grad_norm": 0.2441783845424652,
2586
+ "learning_rate": 1.535687167805619e-05,
2587
+ "loss": 0.0079,
2588
+ "step": 3650
2589
+ },
2590
+ {
2591
+ "epoch": 2.084282460136674,
2592
+ "grad_norm": 0.012967357411980629,
2593
+ "learning_rate": 1.5261958997722096e-05,
2594
+ "loss": 0.0068,
2595
+ "step": 3660
2596
+ },
2597
+ {
2598
+ "epoch": 2.08997722095672,
2599
+ "grad_norm": 0.5421155095100403,
2600
+ "learning_rate": 1.5167046317388004e-05,
2601
+ "loss": 0.0108,
2602
+ "step": 3670
2603
+ },
2604
+ {
2605
+ "epoch": 2.0956719817767655,
2606
+ "grad_norm": 0.24783940613269806,
2607
+ "learning_rate": 1.5072133637053911e-05,
2608
+ "loss": 0.0023,
2609
+ "step": 3680
2610
+ },
2611
+ {
2612
+ "epoch": 2.1013667425968108,
2613
+ "grad_norm": 0.03946458548307419,
2614
+ "learning_rate": 1.4977220956719817e-05,
2615
+ "loss": 0.0036,
2616
+ "step": 3690
2617
+ },
2618
+ {
2619
+ "epoch": 2.1070615034168565,
2620
+ "grad_norm": 0.009126793593168259,
2621
+ "learning_rate": 1.4882308276385726e-05,
2622
+ "loss": 0.0064,
2623
+ "step": 3700
2624
+ },
2625
+ {
2626
+ "epoch": 2.112756264236902,
2627
+ "grad_norm": 1.0558329820632935,
2628
+ "learning_rate": 1.4787395596051635e-05,
2629
+ "loss": 0.0095,
2630
+ "step": 3710
2631
+ },
2632
+ {
2633
+ "epoch": 2.1184510250569475,
2634
+ "grad_norm": 0.3603816032409668,
2635
+ "learning_rate": 1.469248291571754e-05,
2636
+ "loss": 0.0038,
2637
+ "step": 3720
2638
+ },
2639
+ {
2640
+ "epoch": 2.124145785876993,
2641
+ "grad_norm": 0.16135656833648682,
2642
+ "learning_rate": 1.4597570235383448e-05,
2643
+ "loss": 0.0019,
2644
+ "step": 3730
2645
+ },
2646
+ {
2647
+ "epoch": 2.129840546697039,
2648
+ "grad_norm": 0.006461753975600004,
2649
+ "learning_rate": 1.4502657555049357e-05,
2650
+ "loss": 0.0122,
2651
+ "step": 3740
2652
+ },
2653
+ {
2654
+ "epoch": 2.135535307517084,
2655
+ "grad_norm": 1.8980814218521118,
2656
+ "learning_rate": 1.4407744874715263e-05,
2657
+ "loss": 0.0058,
2658
+ "step": 3750
2659
+ },
2660
+ {
2661
+ "epoch": 2.14123006833713,
2662
+ "grad_norm": 1.94465970993042,
2663
+ "learning_rate": 1.431283219438117e-05,
2664
+ "loss": 0.0196,
2665
+ "step": 3760
2666
+ },
2667
+ {
2668
+ "epoch": 2.146924829157175,
2669
+ "grad_norm": 0.01323908194899559,
2670
+ "learning_rate": 1.4217919514047076e-05,
2671
+ "loss": 0.0141,
2672
+ "step": 3770
2673
+ },
2674
+ {
2675
+ "epoch": 2.152619589977221,
2676
+ "grad_norm": 0.07417018711566925,
2677
+ "learning_rate": 1.4123006833712985e-05,
2678
+ "loss": 0.0076,
2679
+ "step": 3780
2680
+ },
2681
+ {
2682
+ "epoch": 2.1583143507972666,
2683
+ "grad_norm": 0.02077096700668335,
2684
+ "learning_rate": 1.4028094153378892e-05,
2685
+ "loss": 0.0033,
2686
+ "step": 3790
2687
+ },
2688
+ {
2689
+ "epoch": 2.164009111617312,
2690
+ "grad_norm": 0.01688476838171482,
2691
+ "learning_rate": 1.3933181473044798e-05,
2692
+ "loss": 0.0198,
2693
+ "step": 3800
2694
+ },
2695
+ {
2696
+ "epoch": 2.1697038724373576,
2697
+ "grad_norm": 0.04020548611879349,
2698
+ "learning_rate": 1.3838268792710707e-05,
2699
+ "loss": 0.0214,
2700
+ "step": 3810
2701
+ },
2702
+ {
2703
+ "epoch": 2.1753986332574033,
2704
+ "grad_norm": 0.01843833364546299,
2705
+ "learning_rate": 1.3743356112376616e-05,
2706
+ "loss": 0.0049,
2707
+ "step": 3820
2708
+ },
2709
+ {
2710
+ "epoch": 2.1810933940774486,
2711
+ "grad_norm": 0.12003644555807114,
2712
+ "learning_rate": 1.3648443432042522e-05,
2713
+ "loss": 0.006,
2714
+ "step": 3830
2715
+ },
2716
+ {
2717
+ "epoch": 2.1867881548974943,
2718
+ "grad_norm": 1.9108054637908936,
2719
+ "learning_rate": 1.3553530751708429e-05,
2720
+ "loss": 0.0211,
2721
+ "step": 3840
2722
+ },
2723
+ {
2724
+ "epoch": 2.19248291571754,
2725
+ "grad_norm": 0.5751833319664001,
2726
+ "learning_rate": 1.3458618071374338e-05,
2727
+ "loss": 0.008,
2728
+ "step": 3850
2729
+ },
2730
+ {
2731
+ "epoch": 2.1981776765375853,
2732
+ "grad_norm": 0.5237908959388733,
2733
+ "learning_rate": 1.3363705391040244e-05,
2734
+ "loss": 0.0122,
2735
+ "step": 3860
2736
+ },
2737
+ {
2738
+ "epoch": 2.203872437357631,
2739
+ "grad_norm": 1.8080928325653076,
2740
+ "learning_rate": 1.3268792710706151e-05,
2741
+ "loss": 0.0074,
2742
+ "step": 3870
2743
+ },
2744
+ {
2745
+ "epoch": 2.2095671981776768,
2746
+ "grad_norm": 1.2654815912246704,
2747
+ "learning_rate": 1.3173880030372057e-05,
2748
+ "loss": 0.0098,
2749
+ "step": 3880
2750
+ },
2751
+ {
2752
+ "epoch": 2.215261958997722,
2753
+ "grad_norm": 0.4974677860736847,
2754
+ "learning_rate": 1.3078967350037966e-05,
2755
+ "loss": 0.0038,
2756
+ "step": 3890
2757
+ },
2758
+ {
2759
+ "epoch": 2.2209567198177678,
2760
+ "grad_norm": 2.2507166862487793,
2761
+ "learning_rate": 1.2984054669703875e-05,
2762
+ "loss": 0.0184,
2763
+ "step": 3900
2764
+ },
2765
+ {
2766
+ "epoch": 2.226651480637813,
2767
+ "grad_norm": 0.04915757104754448,
2768
+ "learning_rate": 1.2889141989369779e-05,
2769
+ "loss": 0.003,
2770
+ "step": 3910
2771
+ },
2772
+ {
2773
+ "epoch": 2.2323462414578588,
2774
+ "grad_norm": 0.03872552514076233,
2775
+ "learning_rate": 1.2794229309035688e-05,
2776
+ "loss": 0.0138,
2777
+ "step": 3920
2778
+ },
2779
+ {
2780
+ "epoch": 2.2380410022779045,
2781
+ "grad_norm": 0.7878251671791077,
2782
+ "learning_rate": 1.2699316628701597e-05,
2783
+ "loss": 0.0129,
2784
+ "step": 3930
2785
+ },
2786
+ {
2787
+ "epoch": 2.2437357630979498,
2788
+ "grad_norm": 0.011351537890732288,
2789
+ "learning_rate": 1.2604403948367503e-05,
2790
+ "loss": 0.0159,
2791
+ "step": 3940
2792
+ },
2793
+ {
2794
+ "epoch": 2.2494305239179955,
2795
+ "grad_norm": 0.012801927514374256,
2796
+ "learning_rate": 1.250949126803341e-05,
2797
+ "loss": 0.0084,
2798
+ "step": 3950
2799
+ },
2800
+ {
2801
+ "epoch": 2.255125284738041,
2802
+ "grad_norm": 0.8789533376693726,
2803
+ "learning_rate": 1.2414578587699317e-05,
2804
+ "loss": 0.0137,
2805
+ "step": 3960
2806
+ },
2807
+ {
2808
+ "epoch": 2.2608200455580865,
2809
+ "grad_norm": 0.008565433323383331,
2810
+ "learning_rate": 1.2319665907365225e-05,
2811
+ "loss": 0.0018,
2812
+ "step": 3970
2813
+ },
2814
+ {
2815
+ "epoch": 2.266514806378132,
2816
+ "grad_norm": 0.04799957945942879,
2817
+ "learning_rate": 1.2224753227031132e-05,
2818
+ "loss": 0.0114,
2819
+ "step": 3980
2820
+ },
2821
+ {
2822
+ "epoch": 2.2722095671981775,
2823
+ "grad_norm": 0.27682027220726013,
2824
+ "learning_rate": 1.212984054669704e-05,
2825
+ "loss": 0.0102,
2826
+ "step": 3990
2827
+ },
2828
+ {
2829
+ "epoch": 2.277904328018223,
2830
+ "grad_norm": 0.008524512872099876,
2831
+ "learning_rate": 1.2034927866362947e-05,
2832
+ "loss": 0.016,
2833
+ "step": 4000
2834
+ },
2835
+ {
2836
+ "epoch": 2.283599088838269,
2837
+ "grad_norm": 0.14340077340602875,
2838
+ "learning_rate": 1.1940015186028854e-05,
2839
+ "loss": 0.0052,
2840
+ "step": 4010
2841
+ },
2842
+ {
2843
+ "epoch": 2.289293849658314,
2844
+ "grad_norm": 0.16430233418941498,
2845
+ "learning_rate": 1.1845102505694761e-05,
2846
+ "loss": 0.0066,
2847
+ "step": 4020
2848
+ },
2849
+ {
2850
+ "epoch": 2.29498861047836,
2851
+ "grad_norm": 0.14387188851833344,
2852
+ "learning_rate": 1.1750189825360669e-05,
2853
+ "loss": 0.0066,
2854
+ "step": 4030
2855
+ },
2856
+ {
2857
+ "epoch": 2.3006833712984056,
2858
+ "grad_norm": 0.16657856106758118,
2859
+ "learning_rate": 1.1655277145026576e-05,
2860
+ "loss": 0.0172,
2861
+ "step": 4040
2862
+ },
2863
+ {
2864
+ "epoch": 2.306378132118451,
2865
+ "grad_norm": 0.9251142740249634,
2866
+ "learning_rate": 1.1560364464692483e-05,
2867
+ "loss": 0.0204,
2868
+ "step": 4050
2869
+ },
2870
+ {
2871
+ "epoch": 2.3120728929384966,
2872
+ "grad_norm": 0.04931972548365593,
2873
+ "learning_rate": 1.146545178435839e-05,
2874
+ "loss": 0.0097,
2875
+ "step": 4060
2876
+ },
2877
+ {
2878
+ "epoch": 2.3177676537585423,
2879
+ "grad_norm": 4.824743747711182,
2880
+ "learning_rate": 1.1370539104024298e-05,
2881
+ "loss": 0.0169,
2882
+ "step": 4070
2883
+ },
2884
+ {
2885
+ "epoch": 2.3234624145785876,
2886
+ "grad_norm": 0.01028421986848116,
2887
+ "learning_rate": 1.1275626423690206e-05,
2888
+ "loss": 0.0049,
2889
+ "step": 4080
2890
+ },
2891
+ {
2892
+ "epoch": 2.3291571753986333,
2893
+ "grad_norm": 0.04389754310250282,
2894
+ "learning_rate": 1.1180713743356113e-05,
2895
+ "loss": 0.0051,
2896
+ "step": 4090
2897
+ },
2898
+ {
2899
+ "epoch": 2.334851936218679,
2900
+ "grad_norm": 0.7398139238357544,
2901
+ "learning_rate": 1.108580106302202e-05,
2902
+ "loss": 0.0062,
2903
+ "step": 4100
2904
+ },
2905
+ {
2906
+ "epoch": 2.3405466970387243,
2907
+ "grad_norm": 0.2955804467201233,
2908
+ "learning_rate": 1.0990888382687928e-05,
2909
+ "loss": 0.0092,
2910
+ "step": 4110
2911
+ },
2912
+ {
2913
+ "epoch": 2.34624145785877,
2914
+ "grad_norm": 0.026279909536242485,
2915
+ "learning_rate": 1.0895975702353835e-05,
2916
+ "loss": 0.0241,
2917
+ "step": 4120
2918
+ },
2919
+ {
2920
+ "epoch": 2.3519362186788153,
2921
+ "grad_norm": 2.0768744945526123,
2922
+ "learning_rate": 1.0801063022019742e-05,
2923
+ "loss": 0.0175,
2924
+ "step": 4130
2925
+ },
2926
+ {
2927
+ "epoch": 2.357630979498861,
2928
+ "grad_norm": 1.5808554887771606,
2929
+ "learning_rate": 1.070615034168565e-05,
2930
+ "loss": 0.0137,
2931
+ "step": 4140
2932
+ },
2933
+ {
2934
+ "epoch": 2.3633257403189067,
2935
+ "grad_norm": 2.1162478923797607,
2936
+ "learning_rate": 1.0611237661351557e-05,
2937
+ "loss": 0.011,
2938
+ "step": 4150
2939
+ },
2940
+ {
2941
+ "epoch": 2.369020501138952,
2942
+ "grad_norm": 1.039797306060791,
2943
+ "learning_rate": 1.0516324981017464e-05,
2944
+ "loss": 0.026,
2945
+ "step": 4160
2946
+ },
2947
+ {
2948
+ "epoch": 2.3747152619589977,
2949
+ "grad_norm": 0.1136997640132904,
2950
+ "learning_rate": 1.0421412300683372e-05,
2951
+ "loss": 0.0123,
2952
+ "step": 4170
2953
+ },
2954
+ {
2955
+ "epoch": 2.3804100227790435,
2956
+ "grad_norm": 0.648858904838562,
2957
+ "learning_rate": 1.032649962034928e-05,
2958
+ "loss": 0.0145,
2959
+ "step": 4180
2960
+ },
2961
+ {
2962
+ "epoch": 2.3861047835990887,
2963
+ "grad_norm": 0.03447713330388069,
2964
+ "learning_rate": 1.0231586940015187e-05,
2965
+ "loss": 0.0014,
2966
+ "step": 4190
2967
+ },
2968
+ {
2969
+ "epoch": 2.3917995444191344,
2970
+ "grad_norm": 0.10330228507518768,
2971
+ "learning_rate": 1.0136674259681094e-05,
2972
+ "loss": 0.0191,
2973
+ "step": 4200
2974
+ },
2975
+ {
2976
+ "epoch": 2.3974943052391797,
2977
+ "grad_norm": 0.018602780997753143,
2978
+ "learning_rate": 1.0041761579347001e-05,
2979
+ "loss": 0.0071,
2980
+ "step": 4210
2981
+ },
2982
+ {
2983
+ "epoch": 2.4031890660592254,
2984
+ "grad_norm": 0.14088431000709534,
2985
+ "learning_rate": 9.946848899012909e-06,
2986
+ "loss": 0.0028,
2987
+ "step": 4220
2988
+ },
2989
+ {
2990
+ "epoch": 2.408883826879271,
2991
+ "grad_norm": 0.19464652240276337,
2992
+ "learning_rate": 9.851936218678816e-06,
2993
+ "loss": 0.0035,
2994
+ "step": 4230
2995
+ },
2996
+ {
2997
+ "epoch": 2.4145785876993164,
2998
+ "grad_norm": 2.1453051567077637,
2999
+ "learning_rate": 9.757023538344723e-06,
3000
+ "loss": 0.0067,
3001
+ "step": 4240
3002
+ },
3003
+ {
3004
+ "epoch": 2.420273348519362,
3005
+ "grad_norm": 0.0253062192350626,
3006
+ "learning_rate": 9.66211085801063e-06,
3007
+ "loss": 0.0128,
3008
+ "step": 4250
3009
+ },
3010
+ {
3011
+ "epoch": 2.425968109339408,
3012
+ "grad_norm": 0.06526502221822739,
3013
+ "learning_rate": 9.567198177676538e-06,
3014
+ "loss": 0.0183,
3015
+ "step": 4260
3016
+ },
3017
+ {
3018
+ "epoch": 2.431662870159453,
3019
+ "grad_norm": 0.4081474244594574,
3020
+ "learning_rate": 9.472285497342445e-06,
3021
+ "loss": 0.0013,
3022
+ "step": 4270
3023
+ },
3024
+ {
3025
+ "epoch": 2.437357630979499,
3026
+ "grad_norm": 1.4686610698699951,
3027
+ "learning_rate": 9.377372817008353e-06,
3028
+ "loss": 0.0067,
3029
+ "step": 4280
3030
+ },
3031
+ {
3032
+ "epoch": 2.4430523917995446,
3033
+ "grad_norm": 0.048870667815208435,
3034
+ "learning_rate": 9.28246013667426e-06,
3035
+ "loss": 0.0156,
3036
+ "step": 4290
3037
+ },
3038
+ {
3039
+ "epoch": 2.44874715261959,
3040
+ "grad_norm": 0.04144718497991562,
3041
+ "learning_rate": 9.187547456340167e-06,
3042
+ "loss": 0.007,
3043
+ "step": 4300
3044
+ },
3045
+ {
3046
+ "epoch": 2.4544419134396356,
3047
+ "grad_norm": 0.01028160285204649,
3048
+ "learning_rate": 9.092634776006075e-06,
3049
+ "loss": 0.004,
3050
+ "step": 4310
3051
+ },
3052
+ {
3053
+ "epoch": 2.4601366742596813,
3054
+ "grad_norm": 0.11557559669017792,
3055
+ "learning_rate": 8.997722095671982e-06,
3056
+ "loss": 0.0014,
3057
+ "step": 4320
3058
+ },
3059
+ {
3060
+ "epoch": 2.4658314350797266,
3061
+ "grad_norm": 0.014574232511222363,
3062
+ "learning_rate": 8.90280941533789e-06,
3063
+ "loss": 0.001,
3064
+ "step": 4330
3065
+ },
3066
+ {
3067
+ "epoch": 2.4715261958997723,
3068
+ "grad_norm": 0.010948601178824902,
3069
+ "learning_rate": 8.807896735003797e-06,
3070
+ "loss": 0.0381,
3071
+ "step": 4340
3072
+ },
3073
+ {
3074
+ "epoch": 2.477220956719818,
3075
+ "grad_norm": 0.011354812420904636,
3076
+ "learning_rate": 8.712984054669704e-06,
3077
+ "loss": 0.0058,
3078
+ "step": 4350
3079
+ },
3080
+ {
3081
+ "epoch": 2.4829157175398633,
3082
+ "grad_norm": 0.03828594833612442,
3083
+ "learning_rate": 8.618071374335612e-06,
3084
+ "loss": 0.0022,
3085
+ "step": 4360
3086
+ },
3087
+ {
3088
+ "epoch": 2.488610478359909,
3089
+ "grad_norm": 2.171107053756714,
3090
+ "learning_rate": 8.523158694001519e-06,
3091
+ "loss": 0.0201,
3092
+ "step": 4370
3093
+ },
3094
+ {
3095
+ "epoch": 2.4943052391799543,
3096
+ "grad_norm": 2.7769832611083984,
3097
+ "learning_rate": 8.428246013667426e-06,
3098
+ "loss": 0.03,
3099
+ "step": 4380
3100
+ },
3101
+ {
3102
+ "epoch": 2.5,
3103
+ "grad_norm": 0.3383297324180603,
3104
+ "learning_rate": 8.333333333333334e-06,
3105
+ "loss": 0.0013,
3106
+ "step": 4390
3107
+ },
3108
+ {
3109
+ "epoch": 2.5056947608200457,
3110
+ "grad_norm": 0.008414714597165585,
3111
+ "learning_rate": 8.238420652999241e-06,
3112
+ "loss": 0.0015,
3113
+ "step": 4400
3114
+ },
3115
+ {
3116
+ "epoch": 2.511389521640091,
3117
+ "grad_norm": 0.7041877508163452,
3118
+ "learning_rate": 8.143507972665148e-06,
3119
+ "loss": 0.0564,
3120
+ "step": 4410
3121
+ },
3122
+ {
3123
+ "epoch": 2.5170842824601367,
3124
+ "grad_norm": 2.449838399887085,
3125
+ "learning_rate": 8.048595292331056e-06,
3126
+ "loss": 0.0127,
3127
+ "step": 4420
3128
+ },
3129
+ {
3130
+ "epoch": 2.522779043280182,
3131
+ "grad_norm": 5.027844429016113,
3132
+ "learning_rate": 7.953682611996963e-06,
3133
+ "loss": 0.0122,
3134
+ "step": 4430
3135
+ },
3136
+ {
3137
+ "epoch": 2.5284738041002277,
3138
+ "grad_norm": 1.5973525047302246,
3139
+ "learning_rate": 7.85876993166287e-06,
3140
+ "loss": 0.0088,
3141
+ "step": 4440
3142
+ },
3143
+ {
3144
+ "epoch": 2.5341685649202734,
3145
+ "grad_norm": 0.02022445946931839,
3146
+ "learning_rate": 7.763857251328778e-06,
3147
+ "loss": 0.0011,
3148
+ "step": 4450
3149
+ },
3150
+ {
3151
+ "epoch": 2.5398633257403187,
3152
+ "grad_norm": 0.20087704062461853,
3153
+ "learning_rate": 7.668944570994685e-06,
3154
+ "loss": 0.0077,
3155
+ "step": 4460
3156
+ },
3157
+ {
3158
+ "epoch": 2.5455580865603644,
3159
+ "grad_norm": 0.006311175879091024,
3160
+ "learning_rate": 7.574031890660592e-06,
3161
+ "loss": 0.0023,
3162
+ "step": 4470
3163
+ },
3164
+ {
3165
+ "epoch": 2.55125284738041,
3166
+ "grad_norm": 0.057606592774391174,
3167
+ "learning_rate": 7.4791192103265e-06,
3168
+ "loss": 0.0036,
3169
+ "step": 4480
3170
+ },
3171
+ {
3172
+ "epoch": 2.5569476082004554,
3173
+ "grad_norm": 0.029715605080127716,
3174
+ "learning_rate": 7.384206529992407e-06,
3175
+ "loss": 0.0085,
3176
+ "step": 4490
3177
+ },
3178
+ {
3179
+ "epoch": 2.562642369020501,
3180
+ "grad_norm": 0.17613981664180756,
3181
+ "learning_rate": 7.289293849658315e-06,
3182
+ "loss": 0.0073,
3183
+ "step": 4500
3184
+ },
3185
+ {
3186
+ "epoch": 2.568337129840547,
3187
+ "grad_norm": 0.09365126490592957,
3188
+ "learning_rate": 7.194381169324223e-06,
3189
+ "loss": 0.0119,
3190
+ "step": 4510
3191
+ },
3192
+ {
3193
+ "epoch": 2.574031890660592,
3194
+ "grad_norm": 0.19684773683547974,
3195
+ "learning_rate": 7.099468488990129e-06,
3196
+ "loss": 0.0064,
3197
+ "step": 4520
3198
+ },
3199
+ {
3200
+ "epoch": 2.579726651480638,
3201
+ "grad_norm": 1.106364130973816,
3202
+ "learning_rate": 7.004555808656037e-06,
3203
+ "loss": 0.0025,
3204
+ "step": 4530
3205
+ },
3206
+ {
3207
+ "epoch": 2.5854214123006836,
3208
+ "grad_norm": 0.040543317794799805,
3209
+ "learning_rate": 6.909643128321943e-06,
3210
+ "loss": 0.0065,
3211
+ "step": 4540
3212
+ },
3213
+ {
3214
+ "epoch": 2.591116173120729,
3215
+ "grad_norm": 0.00573074072599411,
3216
+ "learning_rate": 6.814730447987852e-06,
3217
+ "loss": 0.0195,
3218
+ "step": 4550
3219
+ },
3220
+ {
3221
+ "epoch": 2.5968109339407746,
3222
+ "grad_norm": 0.04998818784952164,
3223
+ "learning_rate": 6.719817767653759e-06,
3224
+ "loss": 0.0012,
3225
+ "step": 4560
3226
+ },
3227
+ {
3228
+ "epoch": 2.6025056947608203,
3229
+ "grad_norm": 0.502973198890686,
3230
+ "learning_rate": 6.624905087319666e-06,
3231
+ "loss": 0.0172,
3232
+ "step": 4570
3233
+ },
3234
+ {
3235
+ "epoch": 2.6082004555808656,
3236
+ "grad_norm": 0.06730928272008896,
3237
+ "learning_rate": 6.529992406985573e-06,
3238
+ "loss": 0.003,
3239
+ "step": 4580
3240
+ },
3241
+ {
3242
+ "epoch": 2.6138952164009113,
3243
+ "grad_norm": 0.007552881259471178,
3244
+ "learning_rate": 6.435079726651482e-06,
3245
+ "loss": 0.0045,
3246
+ "step": 4590
3247
+ },
3248
+ {
3249
+ "epoch": 2.619589977220957,
3250
+ "grad_norm": 0.015098507516086102,
3251
+ "learning_rate": 6.340167046317388e-06,
3252
+ "loss": 0.0039,
3253
+ "step": 4600
3254
+ },
3255
+ {
3256
+ "epoch": 2.6252847380410023,
3257
+ "grad_norm": 1.1533013582229614,
3258
+ "learning_rate": 6.245254365983296e-06,
3259
+ "loss": 0.0024,
3260
+ "step": 4610
3261
+ },
3262
+ {
3263
+ "epoch": 2.630979498861048,
3264
+ "grad_norm": 1.244232177734375,
3265
+ "learning_rate": 6.150341685649203e-06,
3266
+ "loss": 0.0234,
3267
+ "step": 4620
3268
+ },
3269
+ {
3270
+ "epoch": 2.6366742596810933,
3271
+ "grad_norm": 0.011134306900203228,
3272
+ "learning_rate": 6.05542900531511e-06,
3273
+ "loss": 0.0126,
3274
+ "step": 4630
3275
+ },
3276
+ {
3277
+ "epoch": 2.642369020501139,
3278
+ "grad_norm": 0.008693058975040913,
3279
+ "learning_rate": 5.960516324981018e-06,
3280
+ "loss": 0.0013,
3281
+ "step": 4640
3282
+ },
3283
+ {
3284
+ "epoch": 2.6480637813211843,
3285
+ "grad_norm": 0.4049939513206482,
3286
+ "learning_rate": 5.865603644646925e-06,
3287
+ "loss": 0.0045,
3288
+ "step": 4650
3289
+ },
3290
+ {
3291
+ "epoch": 2.65375854214123,
3292
+ "grad_norm": 0.01917268894612789,
3293
+ "learning_rate": 5.7706909643128325e-06,
3294
+ "loss": 0.0011,
3295
+ "step": 4660
3296
+ },
3297
+ {
3298
+ "epoch": 2.6594533029612757,
3299
+ "grad_norm": 0.032446008175611496,
3300
+ "learning_rate": 5.67577828397874e-06,
3301
+ "loss": 0.0034,
3302
+ "step": 4670
3303
+ },
3304
+ {
3305
+ "epoch": 2.665148063781321,
3306
+ "grad_norm": 0.3410187065601349,
3307
+ "learning_rate": 5.580865603644647e-06,
3308
+ "loss": 0.0179,
3309
+ "step": 4680
3310
+ },
3311
+ {
3312
+ "epoch": 2.6708428246013667,
3313
+ "grad_norm": 0.021253902465105057,
3314
+ "learning_rate": 5.4859529233105546e-06,
3315
+ "loss": 0.0147,
3316
+ "step": 4690
3317
+ },
3318
+ {
3319
+ "epoch": 2.6765375854214124,
3320
+ "grad_norm": 0.011832083575427532,
3321
+ "learning_rate": 5.391040242976462e-06,
3322
+ "loss": 0.0157,
3323
+ "step": 4700
3324
+ },
3325
+ {
3326
+ "epoch": 2.6822323462414577,
3327
+ "grad_norm": 0.011258887127041817,
3328
+ "learning_rate": 5.296127562642369e-06,
3329
+ "loss": 0.0054,
3330
+ "step": 4710
3331
+ },
3332
+ {
3333
+ "epoch": 2.6879271070615034,
3334
+ "grad_norm": 0.6816171407699585,
3335
+ "learning_rate": 5.201214882308277e-06,
3336
+ "loss": 0.0103,
3337
+ "step": 4720
3338
+ },
3339
+ {
3340
+ "epoch": 2.693621867881549,
3341
+ "grad_norm": 0.015361886471509933,
3342
+ "learning_rate": 5.106302201974184e-06,
3343
+ "loss": 0.0177,
3344
+ "step": 4730
3345
+ },
3346
+ {
3347
+ "epoch": 2.6993166287015944,
3348
+ "grad_norm": 1.1560934782028198,
3349
+ "learning_rate": 5.011389521640091e-06,
3350
+ "loss": 0.0121,
3351
+ "step": 4740
3352
+ },
3353
+ {
3354
+ "epoch": 2.70501138952164,
3355
+ "grad_norm": 0.2196737378835678,
3356
+ "learning_rate": 4.916476841305999e-06,
3357
+ "loss": 0.0174,
3358
+ "step": 4750
3359
+ },
3360
+ {
3361
+ "epoch": 2.710706150341686,
3362
+ "grad_norm": 0.00927172601222992,
3363
+ "learning_rate": 4.821564160971906e-06,
3364
+ "loss": 0.0069,
3365
+ "step": 4760
3366
+ },
3367
+ {
3368
+ "epoch": 2.716400911161731,
3369
+ "grad_norm": 0.0045639206655323505,
3370
+ "learning_rate": 4.7266514806378134e-06,
3371
+ "loss": 0.0041,
3372
+ "step": 4770
3373
+ },
3374
+ {
3375
+ "epoch": 2.722095671981777,
3376
+ "grad_norm": 0.026646023616194725,
3377
+ "learning_rate": 4.631738800303721e-06,
3378
+ "loss": 0.0138,
3379
+ "step": 4780
3380
+ },
3381
+ {
3382
+ "epoch": 2.7277904328018225,
3383
+ "grad_norm": 0.021237283945083618,
3384
+ "learning_rate": 4.536826119969628e-06,
3385
+ "loss": 0.0036,
3386
+ "step": 4790
3387
+ },
3388
+ {
3389
+ "epoch": 2.733485193621868,
3390
+ "grad_norm": 0.008988427929580212,
3391
+ "learning_rate": 4.4419134396355355e-06,
3392
+ "loss": 0.0048,
3393
+ "step": 4800
3394
+ },
3395
+ {
3396
+ "epoch": 2.7391799544419135,
3397
+ "grad_norm": 0.04954913258552551,
3398
+ "learning_rate": 4.347000759301443e-06,
3399
+ "loss": 0.0085,
3400
+ "step": 4810
3401
+ },
3402
+ {
3403
+ "epoch": 2.7448747152619593,
3404
+ "grad_norm": 1.486095666885376,
3405
+ "learning_rate": 4.25208807896735e-06,
3406
+ "loss": 0.0072,
3407
+ "step": 4820
3408
+ },
3409
+ {
3410
+ "epoch": 2.7505694760820045,
3411
+ "grad_norm": 0.6007639169692993,
3412
+ "learning_rate": 4.157175398633258e-06,
3413
+ "loss": 0.0045,
3414
+ "step": 4830
3415
+ },
3416
+ {
3417
+ "epoch": 2.7562642369020502,
3418
+ "grad_norm": 0.008939745835959911,
3419
+ "learning_rate": 4.062262718299165e-06,
3420
+ "loss": 0.0034,
3421
+ "step": 4840
3422
+ },
3423
+ {
3424
+ "epoch": 2.7619589977220955,
3425
+ "grad_norm": 1.5877684354782104,
3426
+ "learning_rate": 3.967350037965072e-06,
3427
+ "loss": 0.0211,
3428
+ "step": 4850
3429
+ },
3430
+ {
3431
+ "epoch": 2.7676537585421412,
3432
+ "grad_norm": 0.029445238411426544,
3433
+ "learning_rate": 3.87243735763098e-06,
3434
+ "loss": 0.0165,
3435
+ "step": 4860
3436
+ },
3437
+ {
3438
+ "epoch": 2.7733485193621865,
3439
+ "grad_norm": 0.021546538919210434,
3440
+ "learning_rate": 3.777524677296887e-06,
3441
+ "loss": 0.0023,
3442
+ "step": 4870
3443
+ },
3444
+ {
3445
+ "epoch": 2.7790432801822322,
3446
+ "grad_norm": 0.044492632150650024,
3447
+ "learning_rate": 3.682611996962795e-06,
3448
+ "loss": 0.0013,
3449
+ "step": 4880
3450
+ },
3451
+ {
3452
+ "epoch": 2.784738041002278,
3453
+ "grad_norm": 0.24219924211502075,
3454
+ "learning_rate": 3.5876993166287018e-06,
3455
+ "loss": 0.0231,
3456
+ "step": 4890
3457
+ },
3458
+ {
3459
+ "epoch": 2.7904328018223232,
3460
+ "grad_norm": 0.03521392121911049,
3461
+ "learning_rate": 3.492786636294609e-06,
3462
+ "loss": 0.0014,
3463
+ "step": 4900
3464
+ },
3465
+ {
3466
+ "epoch": 2.796127562642369,
3467
+ "grad_norm": 1.6615145206451416,
3468
+ "learning_rate": 3.3978739559605165e-06,
3469
+ "loss": 0.007,
3470
+ "step": 4910
3471
+ },
3472
+ {
3473
+ "epoch": 2.8018223234624147,
3474
+ "grad_norm": 0.3814733028411865,
3475
+ "learning_rate": 3.302961275626424e-06,
3476
+ "loss": 0.0028,
3477
+ "step": 4920
3478
+ },
3479
+ {
3480
+ "epoch": 2.80751708428246,
3481
+ "grad_norm": 1.6600357294082642,
3482
+ "learning_rate": 3.208048595292331e-06,
3483
+ "loss": 0.0098,
3484
+ "step": 4930
3485
+ },
3486
+ {
3487
+ "epoch": 2.8132118451025057,
3488
+ "grad_norm": 0.09767989814281464,
3489
+ "learning_rate": 3.1131359149582386e-06,
3490
+ "loss": 0.0125,
3491
+ "step": 4940
3492
+ },
3493
+ {
3494
+ "epoch": 2.8189066059225514,
3495
+ "grad_norm": 0.004134484566748142,
3496
+ "learning_rate": 3.018223234624146e-06,
3497
+ "loss": 0.001,
3498
+ "step": 4950
3499
+ },
3500
+ {
3501
+ "epoch": 2.8246013667425967,
3502
+ "grad_norm": 0.3089199960231781,
3503
+ "learning_rate": 2.9233105542900533e-06,
3504
+ "loss": 0.0153,
3505
+ "step": 4960
3506
+ },
3507
+ {
3508
+ "epoch": 2.8302961275626424,
3509
+ "grad_norm": 1.1428207159042358,
3510
+ "learning_rate": 2.8283978739559607e-06,
3511
+ "loss": 0.0217,
3512
+ "step": 4970
3513
+ },
3514
+ {
3515
+ "epoch": 2.835990888382688,
3516
+ "grad_norm": 1.542417049407959,
3517
+ "learning_rate": 2.733485193621868e-06,
3518
+ "loss": 0.0077,
3519
+ "step": 4980
3520
+ },
3521
+ {
3522
+ "epoch": 2.8416856492027334,
3523
+ "grad_norm": 0.7124744653701782,
3524
+ "learning_rate": 2.6385725132877754e-06,
3525
+ "loss": 0.025,
3526
+ "step": 4990
3527
+ },
3528
+ {
3529
+ "epoch": 2.847380410022779,
3530
+ "grad_norm": 0.045164983719587326,
3531
+ "learning_rate": 2.5436598329536827e-06,
3532
+ "loss": 0.0071,
3533
+ "step": 5000
3534
+ },
3535
+ {
3536
+ "epoch": 2.853075170842825,
3537
+ "grad_norm": 0.14568312466144562,
3538
+ "learning_rate": 2.44874715261959e-06,
3539
+ "loss": 0.0009,
3540
+ "step": 5010
3541
+ },
3542
+ {
3543
+ "epoch": 2.85876993166287,
3544
+ "grad_norm": 1.8170379400253296,
3545
+ "learning_rate": 2.3538344722854975e-06,
3546
+ "loss": 0.0071,
3547
+ "step": 5020
3548
+ },
3549
+ {
3550
+ "epoch": 2.864464692482916,
3551
+ "grad_norm": 0.018464110791683197,
3552
+ "learning_rate": 2.258921791951405e-06,
3553
+ "loss": 0.018,
3554
+ "step": 5030
3555
+ },
3556
+ {
3557
+ "epoch": 2.8701594533029615,
3558
+ "grad_norm": 0.01644555851817131,
3559
+ "learning_rate": 2.164009111617312e-06,
3560
+ "loss": 0.0014,
3561
+ "step": 5040
3562
+ },
3563
+ {
3564
+ "epoch": 2.875854214123007,
3565
+ "grad_norm": 1.8252747058868408,
3566
+ "learning_rate": 2.0690964312832195e-06,
3567
+ "loss": 0.0063,
3568
+ "step": 5050
3569
+ },
3570
+ {
3571
+ "epoch": 2.8815489749430525,
3572
+ "grad_norm": 2.68369197845459,
3573
+ "learning_rate": 1.974183750949127e-06,
3574
+ "loss": 0.0068,
3575
+ "step": 5060
3576
+ },
3577
+ {
3578
+ "epoch": 2.887243735763098,
3579
+ "grad_norm": 0.1895146667957306,
3580
+ "learning_rate": 1.879271070615034e-06,
3581
+ "loss": 0.0013,
3582
+ "step": 5070
3583
+ },
3584
+ {
3585
+ "epoch": 2.8929384965831435,
3586
+ "grad_norm": 0.9527952671051025,
3587
+ "learning_rate": 1.7843583902809414e-06,
3588
+ "loss": 0.0214,
3589
+ "step": 5080
3590
+ },
3591
+ {
3592
+ "epoch": 2.8986332574031892,
3593
+ "grad_norm": 0.3007192313671112,
3594
+ "learning_rate": 1.6894457099468492e-06,
3595
+ "loss": 0.0059,
3596
+ "step": 5090
3597
+ },
3598
+ {
3599
+ "epoch": 2.9043280182232345,
3600
+ "grad_norm": 1.1584299802780151,
3601
+ "learning_rate": 1.5945330296127566e-06,
3602
+ "loss": 0.0323,
3603
+ "step": 5100
3604
+ },
3605
+ {
3606
+ "epoch": 2.91002277904328,
3607
+ "grad_norm": 0.17047913372516632,
3608
+ "learning_rate": 1.4996203492786637e-06,
3609
+ "loss": 0.0075,
3610
+ "step": 5110
3611
+ },
3612
+ {
3613
+ "epoch": 2.9157175398633255,
3614
+ "grad_norm": 0.019094351679086685,
3615
+ "learning_rate": 1.404707668944571e-06,
3616
+ "loss": 0.0111,
3617
+ "step": 5120
3618
+ },
3619
+ {
3620
+ "epoch": 2.921412300683371,
3621
+ "grad_norm": 0.030679482966661453,
3622
+ "learning_rate": 1.3097949886104784e-06,
3623
+ "loss": 0.0066,
3624
+ "step": 5130
3625
+ },
3626
+ {
3627
+ "epoch": 2.927107061503417,
3628
+ "grad_norm": 2.1198318004608154,
3629
+ "learning_rate": 1.2148823082763858e-06,
3630
+ "loss": 0.0182,
3631
+ "step": 5140
3632
+ },
3633
+ {
3634
+ "epoch": 2.932801822323462,
3635
+ "grad_norm": 0.2060464471578598,
3636
+ "learning_rate": 1.1199696279422931e-06,
3637
+ "loss": 0.0084,
3638
+ "step": 5150
3639
+ },
3640
+ {
3641
+ "epoch": 2.938496583143508,
3642
+ "grad_norm": 0.4984743893146515,
3643
+ "learning_rate": 1.0250569476082005e-06,
3644
+ "loss": 0.0106,
3645
+ "step": 5160
3646
+ },
3647
+ {
3648
+ "epoch": 2.9441913439635536,
3649
+ "grad_norm": 2.510512351989746,
3650
+ "learning_rate": 9.301442672741079e-07,
3651
+ "loss": 0.0032,
3652
+ "step": 5170
3653
+ },
3654
+ {
3655
+ "epoch": 2.949886104783599,
3656
+ "grad_norm": 1.7853169441223145,
3657
+ "learning_rate": 8.352315869400152e-07,
3658
+ "loss": 0.0278,
3659
+ "step": 5180
3660
+ },
3661
+ {
3662
+ "epoch": 2.9555808656036446,
3663
+ "grad_norm": 0.020138094201683998,
3664
+ "learning_rate": 7.403189066059226e-07,
3665
+ "loss": 0.0105,
3666
+ "step": 5190
3667
+ },
3668
+ {
3669
+ "epoch": 2.9612756264236904,
3670
+ "grad_norm": 0.009497715160250664,
3671
+ "learning_rate": 6.4540622627183e-07,
3672
+ "loss": 0.0011,
3673
+ "step": 5200
3674
+ },
3675
+ {
3676
+ "epoch": 2.9669703872437356,
3677
+ "grad_norm": 0.5586445331573486,
3678
+ "learning_rate": 5.504935459377373e-07,
3679
+ "loss": 0.0179,
3680
+ "step": 5210
3681
+ },
3682
+ {
3683
+ "epoch": 2.9726651480637813,
3684
+ "grad_norm": 0.4381959140300751,
3685
+ "learning_rate": 4.5558086560364467e-07,
3686
+ "loss": 0.0251,
3687
+ "step": 5220
3688
+ },
3689
+ {
3690
+ "epoch": 2.978359908883827,
3691
+ "grad_norm": 0.004315070807933807,
3692
+ "learning_rate": 3.6066818526955203e-07,
3693
+ "loss": 0.0243,
3694
+ "step": 5230
3695
+ },
3696
+ {
3697
+ "epoch": 2.9840546697038723,
3698
+ "grad_norm": 0.5453450083732605,
3699
+ "learning_rate": 2.657555049354594e-07,
3700
+ "loss": 0.0085,
3701
+ "step": 5240
3702
+ },
3703
+ {
3704
+ "epoch": 2.989749430523918,
3705
+ "grad_norm": 0.2711639404296875,
3706
+ "learning_rate": 1.7084282460136675e-07,
3707
+ "loss": 0.0167,
3708
+ "step": 5250
3709
+ },
3710
+ {
3711
+ "epoch": 2.995444191343964,
3712
+ "grad_norm": 2.088967800140381,
3713
+ "learning_rate": 7.593014426727411e-08,
3714
+ "loss": 0.0021,
3715
+ "step": 5260
3716
+ }
3717
+ ],
3718
+ "logging_steps": 10,
3719
+ "max_steps": 5268,
3720
+ "num_input_tokens_seen": 0,
3721
+ "num_train_epochs": 3,
3722
+ "save_steps": 500,
3723
+ "stateful_callbacks": {
3724
+ "TrainerControl": {
3725
+ "args": {
3726
+ "should_epoch_stop": false,
3727
+ "should_evaluate": false,
3728
+ "should_log": false,
3729
+ "should_save": true,
3730
+ "should_training_stop": true
3731
+ },
3732
+ "attributes": {}
3733
+ }
3734
+ },
3735
+ "total_flos": 1376049275709696.0,
3736
+ "train_batch_size": 8,
3737
+ "trial_name": null,
3738
+ "trial_params": null
3739
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d5a7c37ffc3a1ea73ea48f16d2195b41ab088d4c270775abb361c7edd305f33e
3
+ size 5048
vocab.txt ADDED
The diff for this file is too large to render. See raw diff