jssky commited on
Commit
1325227
·
verified ·
1 Parent(s): 9043fd4

Training in progress, step 1500, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:8ee0ed64be9b747a78bcf1b178e9490c1d478b78f187b2d0f71171e083954d26
3
  size 161714
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:31010ed56664f957590e08a288c333b513538259a50774de796d38b59fe69cd3
3
  size 161714
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:e8dab045fdf4a53ad60be1294c2e1db0fb862e9afd88c55745e7fabaff95bbb9
3
  size 64814
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d57cecc12525d7940ff9686fa388858d73f6a896891a23cdd61beb2db94c8702
3
  size 64814
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:c91ecadd3c2a743ed912676ea330151768380e4c0c6579b4a23444cdbba33b06
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:01cb4db2229f4674337ee3a536f964337b37f91c1f5bde861c3756505602c2ae
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:966cc7c77768098c8af029c048689ac1de1ed0de938435a2a7a5601075335dbd
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fe4e625cf5525cf235a8c7e4c6984ba05d1b5436f9e969799dcec0119a3a6c2a
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
- "epoch": 0.14076466494099615,
5
  "eval_steps": 375,
6
- "global_step": 1125,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -7906,6 +7906,2639 @@
7906
  "eval_samples_per_second": 447.288,
7907
  "eval_steps_per_second": 223.661,
7908
  "step": 1125
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7909
  }
7910
  ],
7911
  "logging_steps": 1,
@@ -7920,12 +10553,12 @@
7920
  "should_evaluate": false,
7921
  "should_log": false,
7922
  "should_save": true,
7923
- "should_training_stop": false
7924
  },
7925
  "attributes": {}
7926
  }
7927
  },
7928
- "total_flos": 12255858266112.0,
7929
  "train_batch_size": 2,
7930
  "trial_name": null,
7931
  "trial_params": null
 
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
+ "epoch": 0.1876862199213282,
5
  "eval_steps": 375,
6
+ "global_step": 1500,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
7906
  "eval_samples_per_second": 447.288,
7907
  "eval_steps_per_second": 223.661,
7908
  "step": 1125
7909
+ },
7910
+ {
7911
+ "epoch": 0.14088978908761035,
7912
+ "grad_norm": 0.07243514060974121,
7913
+ "learning_rate": 2.9513310198183065e-05,
7914
+ "loss": 6.8429,
7915
+ "step": 1126
7916
+ },
7917
+ {
7918
+ "epoch": 0.14101491323422458,
7919
+ "grad_norm": 0.05593620613217354,
7920
+ "learning_rate": 2.936390617691097e-05,
7921
+ "loss": 6.8431,
7922
+ "step": 1127
7923
+ },
7924
+ {
7925
+ "epoch": 0.1411400373808388,
7926
+ "grad_norm": 0.05393727123737335,
7927
+ "learning_rate": 2.9214816173045356e-05,
7928
+ "loss": 6.8441,
7929
+ "step": 1128
7930
+ },
7931
+ {
7932
+ "epoch": 0.14126516152745303,
7933
+ "grad_norm": 0.05595025047659874,
7934
+ "learning_rate": 2.906604084937572e-05,
7935
+ "loss": 6.8387,
7936
+ "step": 1129
7937
+ },
7938
+ {
7939
+ "epoch": 0.14139028567406725,
7940
+ "grad_norm": 0.057013221085071564,
7941
+ "learning_rate": 2.8917580867292526e-05,
7942
+ "loss": 6.8346,
7943
+ "step": 1130
7944
+ },
7945
+ {
7946
+ "epoch": 0.14151540982068145,
7947
+ "grad_norm": 0.05450030788779259,
7948
+ "learning_rate": 2.8769436886784408e-05,
7949
+ "loss": 6.8357,
7950
+ "step": 1131
7951
+ },
7952
+ {
7953
+ "epoch": 0.14164053396729567,
7954
+ "grad_norm": 0.05271396040916443,
7955
+ "learning_rate": 2.862160956643517e-05,
7956
+ "loss": 6.8386,
7957
+ "step": 1132
7958
+ },
7959
+ {
7960
+ "epoch": 0.1417656581139099,
7961
+ "grad_norm": 0.06149327754974365,
7962
+ "learning_rate": 2.847409956342092e-05,
7963
+ "loss": 6.835,
7964
+ "step": 1133
7965
+ },
7966
+ {
7967
+ "epoch": 0.14189078226052412,
7968
+ "grad_norm": 0.0672340914607048,
7969
+ "learning_rate": 2.8326907533507074e-05,
7970
+ "loss": 6.8354,
7971
+ "step": 1134
7972
+ },
7973
+ {
7974
+ "epoch": 0.14201590640713832,
7975
+ "grad_norm": 0.05268840491771698,
7976
+ "learning_rate": 2.8180034131045464e-05,
7977
+ "loss": 6.8292,
7978
+ "step": 1135
7979
+ },
7980
+ {
7981
+ "epoch": 0.14214103055375255,
7982
+ "grad_norm": 0.06812043488025665,
7983
+ "learning_rate": 2.8033480008971546e-05,
7984
+ "loss": 6.8255,
7985
+ "step": 1136
7986
+ },
7987
+ {
7988
+ "epoch": 0.14226615470036677,
7989
+ "grad_norm": 0.05760839208960533,
7990
+ "learning_rate": 2.7887245818801277e-05,
7991
+ "loss": 6.826,
7992
+ "step": 1137
7993
+ },
7994
+ {
7995
+ "epoch": 0.142391278846981,
7996
+ "grad_norm": 0.059192292392253876,
7997
+ "learning_rate": 2.7741332210628345e-05,
7998
+ "loss": 6.825,
7999
+ "step": 1138
8000
+ },
8001
+ {
8002
+ "epoch": 0.14251640299359522,
8003
+ "grad_norm": 0.052887432277202606,
8004
+ "learning_rate": 2.759573983312138e-05,
8005
+ "loss": 6.8255,
8006
+ "step": 1139
8007
+ },
8008
+ {
8009
+ "epoch": 0.14264152714020942,
8010
+ "grad_norm": 0.07347966730594635,
8011
+ "learning_rate": 2.7450469333520855e-05,
8012
+ "loss": 6.8233,
8013
+ "step": 1140
8014
+ },
8015
+ {
8016
+ "epoch": 0.14276665128682364,
8017
+ "grad_norm": 0.12838901579380035,
8018
+ "learning_rate": 2.730552135763632e-05,
8019
+ "loss": 6.8223,
8020
+ "step": 1141
8021
+ },
8022
+ {
8023
+ "epoch": 0.14289177543343787,
8024
+ "grad_norm": 0.06712338328361511,
8025
+ "learning_rate": 2.7160896549843562e-05,
8026
+ "loss": 6.8161,
8027
+ "step": 1142
8028
+ },
8029
+ {
8030
+ "epoch": 0.1430168995800521,
8031
+ "grad_norm": 0.09065883606672287,
8032
+ "learning_rate": 2.701659555308169e-05,
8033
+ "loss": 6.8111,
8034
+ "step": 1143
8035
+ },
8036
+ {
8037
+ "epoch": 0.1431420237266663,
8038
+ "grad_norm": 0.07420609891414642,
8039
+ "learning_rate": 2.6872619008850274e-05,
8040
+ "loss": 6.8113,
8041
+ "step": 1144
8042
+ },
8043
+ {
8044
+ "epoch": 0.14326714787328051,
8045
+ "grad_norm": 0.07504729926586151,
8046
+ "learning_rate": 2.672896755720654e-05,
8047
+ "loss": 6.8062,
8048
+ "step": 1145
8049
+ },
8050
+ {
8051
+ "epoch": 0.14339227201989474,
8052
+ "grad_norm": 0.09265592694282532,
8053
+ "learning_rate": 2.6585641836762433e-05,
8054
+ "loss": 6.8024,
8055
+ "step": 1146
8056
+ },
8057
+ {
8058
+ "epoch": 0.14351739616650896,
8059
+ "grad_norm": 0.08413922786712646,
8060
+ "learning_rate": 2.6442642484681944e-05,
8061
+ "loss": 6.8001,
8062
+ "step": 1147
8063
+ },
8064
+ {
8065
+ "epoch": 0.1436425203131232,
8066
+ "grad_norm": 0.12287787348031998,
8067
+ "learning_rate": 2.6299970136678077e-05,
8068
+ "loss": 6.7912,
8069
+ "step": 1148
8070
+ },
8071
+ {
8072
+ "epoch": 0.1437676444597374,
8073
+ "grad_norm": 0.0844724029302597,
8074
+ "learning_rate": 2.6157625427010156e-05,
8075
+ "loss": 6.7793,
8076
+ "step": 1149
8077
+ },
8078
+ {
8079
+ "epoch": 0.1438927686063516,
8080
+ "grad_norm": 0.15094740688800812,
8081
+ "learning_rate": 2.6015608988480955e-05,
8082
+ "loss": 6.7479,
8083
+ "step": 1150
8084
+ },
8085
+ {
8086
+ "epoch": 0.14401789275296584,
8087
+ "grad_norm": 0.08073284476995468,
8088
+ "learning_rate": 2.5873921452433915e-05,
8089
+ "loss": 6.878,
8090
+ "step": 1151
8091
+ },
8092
+ {
8093
+ "epoch": 0.14414301689958006,
8094
+ "grad_norm": 0.07900699973106384,
8095
+ "learning_rate": 2.57325634487503e-05,
8096
+ "loss": 6.8632,
8097
+ "step": 1152
8098
+ },
8099
+ {
8100
+ "epoch": 0.14426814104619426,
8101
+ "grad_norm": 0.08771805465221405,
8102
+ "learning_rate": 2.5591535605846383e-05,
8103
+ "loss": 6.8526,
8104
+ "step": 1153
8105
+ },
8106
+ {
8107
+ "epoch": 0.14439326519280848,
8108
+ "grad_norm": 0.06478151679039001,
8109
+ "learning_rate": 2.5450838550670808e-05,
8110
+ "loss": 6.8671,
8111
+ "step": 1154
8112
+ },
8113
+ {
8114
+ "epoch": 0.1445183893394227,
8115
+ "grad_norm": 0.07485893368721008,
8116
+ "learning_rate": 2.5310472908701555e-05,
8117
+ "loss": 6.8614,
8118
+ "step": 1155
8119
+ },
8120
+ {
8121
+ "epoch": 0.14464351348603693,
8122
+ "grad_norm": 0.05978316441178322,
8123
+ "learning_rate": 2.5170439303943294e-05,
8124
+ "loss": 6.8607,
8125
+ "step": 1156
8126
+ },
8127
+ {
8128
+ "epoch": 0.14476863763265116,
8129
+ "grad_norm": 0.04734022170305252,
8130
+ "learning_rate": 2.503073835892471e-05,
8131
+ "loss": 6.8649,
8132
+ "step": 1157
8133
+ },
8134
+ {
8135
+ "epoch": 0.14489376177926536,
8136
+ "grad_norm": 0.05720485374331474,
8137
+ "learning_rate": 2.4891370694695517e-05,
8138
+ "loss": 6.8684,
8139
+ "step": 1158
8140
+ },
8141
+ {
8142
+ "epoch": 0.14501888592587958,
8143
+ "grad_norm": 0.05629875510931015,
8144
+ "learning_rate": 2.4752336930823837e-05,
8145
+ "loss": 6.859,
8146
+ "step": 1159
8147
+ },
8148
+ {
8149
+ "epoch": 0.1451440100724938,
8150
+ "grad_norm": 0.057331185787916183,
8151
+ "learning_rate": 2.4613637685393432e-05,
8152
+ "loss": 6.8613,
8153
+ "step": 1160
8154
+ },
8155
+ {
8156
+ "epoch": 0.14526913421910803,
8157
+ "grad_norm": 0.059672728180885315,
8158
+ "learning_rate": 2.4475273575000936e-05,
8159
+ "loss": 6.8661,
8160
+ "step": 1161
8161
+ },
8162
+ {
8163
+ "epoch": 0.14539425836572223,
8164
+ "grad_norm": 0.060559701174497604,
8165
+ "learning_rate": 2.4337245214753103e-05,
8166
+ "loss": 6.8659,
8167
+ "step": 1162
8168
+ },
8169
+ {
8170
+ "epoch": 0.14551938251233645,
8171
+ "grad_norm": 0.050393495708703995,
8172
+ "learning_rate": 2.4199553218264093e-05,
8173
+ "loss": 6.8618,
8174
+ "step": 1163
8175
+ },
8176
+ {
8177
+ "epoch": 0.14564450665895068,
8178
+ "grad_norm": 0.06175202131271362,
8179
+ "learning_rate": 2.4062198197652752e-05,
8180
+ "loss": 6.8602,
8181
+ "step": 1164
8182
+ },
8183
+ {
8184
+ "epoch": 0.1457696308055649,
8185
+ "grad_norm": 0.06584306061267853,
8186
+ "learning_rate": 2.3925180763539844e-05,
8187
+ "loss": 6.8603,
8188
+ "step": 1165
8189
+ },
8190
+ {
8191
+ "epoch": 0.14589475495217913,
8192
+ "grad_norm": 0.06702952086925507,
8193
+ "learning_rate": 2.3788501525045438e-05,
8194
+ "loss": 6.8579,
8195
+ "step": 1166
8196
+ },
8197
+ {
8198
+ "epoch": 0.14601987909879333,
8199
+ "grad_norm": 0.04580916836857796,
8200
+ "learning_rate": 2.3652161089786086e-05,
8201
+ "loss": 6.8539,
8202
+ "step": 1167
8203
+ },
8204
+ {
8205
+ "epoch": 0.14614500324540755,
8206
+ "grad_norm": 0.06374320387840271,
8207
+ "learning_rate": 2.351616006387214e-05,
8208
+ "loss": 6.8504,
8209
+ "step": 1168
8210
+ },
8211
+ {
8212
+ "epoch": 0.14627012739202178,
8213
+ "grad_norm": 0.05468731373548508,
8214
+ "learning_rate": 2.3380499051905137e-05,
8215
+ "loss": 6.8542,
8216
+ "step": 1169
8217
+ },
8218
+ {
8219
+ "epoch": 0.146395251538636,
8220
+ "grad_norm": 0.06402197480201721,
8221
+ "learning_rate": 2.324517865697501e-05,
8222
+ "loss": 6.8478,
8223
+ "step": 1170
8224
+ },
8225
+ {
8226
+ "epoch": 0.1465203756852502,
8227
+ "grad_norm": 0.05739054083824158,
8228
+ "learning_rate": 2.3110199480657525e-05,
8229
+ "loss": 6.8505,
8230
+ "step": 1171
8231
+ },
8232
+ {
8233
+ "epoch": 0.14664549983186442,
8234
+ "grad_norm": 0.053598348051309586,
8235
+ "learning_rate": 2.2975562123011495e-05,
8236
+ "loss": 6.8494,
8237
+ "step": 1172
8238
+ },
8239
+ {
8240
+ "epoch": 0.14677062397847865,
8241
+ "grad_norm": 0.05298564210534096,
8242
+ "learning_rate": 2.2841267182576143e-05,
8243
+ "loss": 6.8463,
8244
+ "step": 1173
8245
+ },
8246
+ {
8247
+ "epoch": 0.14689574812509287,
8248
+ "grad_norm": 0.06621244549751282,
8249
+ "learning_rate": 2.2707315256368433e-05,
8250
+ "loss": 6.8401,
8251
+ "step": 1174
8252
+ },
8253
+ {
8254
+ "epoch": 0.1470208722717071,
8255
+ "grad_norm": 0.052186187356710434,
8256
+ "learning_rate": 2.2573706939880555e-05,
8257
+ "loss": 6.8456,
8258
+ "step": 1175
8259
+ },
8260
+ {
8261
+ "epoch": 0.1471459964183213,
8262
+ "grad_norm": 0.06235424429178238,
8263
+ "learning_rate": 2.2440442827077045e-05,
8264
+ "loss": 6.8418,
8265
+ "step": 1176
8266
+ },
8267
+ {
8268
+ "epoch": 0.14727112056493552,
8269
+ "grad_norm": 0.06564217805862427,
8270
+ "learning_rate": 2.230752351039228e-05,
8271
+ "loss": 6.8407,
8272
+ "step": 1177
8273
+ },
8274
+ {
8275
+ "epoch": 0.14739624471154975,
8276
+ "grad_norm": 0.05897653102874756,
8277
+ "learning_rate": 2.2174949580727832e-05,
8278
+ "loss": 6.8432,
8279
+ "step": 1178
8280
+ },
8281
+ {
8282
+ "epoch": 0.14752136885816397,
8283
+ "grad_norm": 0.05609191954135895,
8284
+ "learning_rate": 2.2042721627449846e-05,
8285
+ "loss": 6.8424,
8286
+ "step": 1179
8287
+ },
8288
+ {
8289
+ "epoch": 0.14764649300477817,
8290
+ "grad_norm": 0.06082276254892349,
8291
+ "learning_rate": 2.1910840238386398e-05,
8292
+ "loss": 6.8354,
8293
+ "step": 1180
8294
+ },
8295
+ {
8296
+ "epoch": 0.1477716171513924,
8297
+ "grad_norm": 0.06168831139802933,
8298
+ "learning_rate": 2.1779305999824884e-05,
8299
+ "loss": 6.8359,
8300
+ "step": 1181
8301
+ },
8302
+ {
8303
+ "epoch": 0.14789674129800662,
8304
+ "grad_norm": 0.05733821168541908,
8305
+ "learning_rate": 2.164811949650942e-05,
8306
+ "loss": 6.8334,
8307
+ "step": 1182
8308
+ },
8309
+ {
8310
+ "epoch": 0.14802186544462084,
8311
+ "grad_norm": 0.08882861584424973,
8312
+ "learning_rate": 2.1517281311638217e-05,
8313
+ "loss": 6.8294,
8314
+ "step": 1183
8315
+ },
8316
+ {
8317
+ "epoch": 0.14814698959123504,
8318
+ "grad_norm": 0.06660692393779755,
8319
+ "learning_rate": 2.1386792026861103e-05,
8320
+ "loss": 6.8335,
8321
+ "step": 1184
8322
+ },
8323
+ {
8324
+ "epoch": 0.14827211373784926,
8325
+ "grad_norm": 0.059202343225479126,
8326
+ "learning_rate": 2.125665222227675e-05,
8327
+ "loss": 6.8341,
8328
+ "step": 1185
8329
+ },
8330
+ {
8331
+ "epoch": 0.1483972378844635,
8332
+ "grad_norm": 0.0701708048582077,
8333
+ "learning_rate": 2.112686247643024e-05,
8334
+ "loss": 6.8311,
8335
+ "step": 1186
8336
+ },
8337
+ {
8338
+ "epoch": 0.14852236203107771,
8339
+ "grad_norm": 0.07104705274105072,
8340
+ "learning_rate": 2.09974233663104e-05,
8341
+ "loss": 6.829,
8342
+ "step": 1187
8343
+ },
8344
+ {
8345
+ "epoch": 0.14864748617769194,
8346
+ "grad_norm": 0.05942048877477646,
8347
+ "learning_rate": 2.0868335467347366e-05,
8348
+ "loss": 6.8304,
8349
+ "step": 1188
8350
+ },
8351
+ {
8352
+ "epoch": 0.14877261032430614,
8353
+ "grad_norm": 0.06808766722679138,
8354
+ "learning_rate": 2.073959935340988e-05,
8355
+ "loss": 6.8279,
8356
+ "step": 1189
8357
+ },
8358
+ {
8359
+ "epoch": 0.14889773447092036,
8360
+ "grad_norm": 0.08521654456853867,
8361
+ "learning_rate": 2.06112155968028e-05,
8362
+ "loss": 6.8211,
8363
+ "step": 1190
8364
+ },
8365
+ {
8366
+ "epoch": 0.1490228586175346,
8367
+ "grad_norm": 0.07640393078327179,
8368
+ "learning_rate": 2.0483184768264596e-05,
8369
+ "loss": 6.825,
8370
+ "step": 1191
8371
+ },
8372
+ {
8373
+ "epoch": 0.1491479827641488,
8374
+ "grad_norm": 0.06751570105552673,
8375
+ "learning_rate": 2.035550743696468e-05,
8376
+ "loss": 6.8199,
8377
+ "step": 1192
8378
+ },
8379
+ {
8380
+ "epoch": 0.149273106910763,
8381
+ "grad_norm": 0.07916046679019928,
8382
+ "learning_rate": 2.022818417050113e-05,
8383
+ "loss": 6.8119,
8384
+ "step": 1193
8385
+ },
8386
+ {
8387
+ "epoch": 0.14939823105737723,
8388
+ "grad_norm": 0.07297234982252121,
8389
+ "learning_rate": 2.0101215534897855e-05,
8390
+ "loss": 6.8168,
8391
+ "step": 1194
8392
+ },
8393
+ {
8394
+ "epoch": 0.14952335520399146,
8395
+ "grad_norm": 0.08085519075393677,
8396
+ "learning_rate": 1.99746020946023e-05,
8397
+ "loss": 6.8093,
8398
+ "step": 1195
8399
+ },
8400
+ {
8401
+ "epoch": 0.14964847935060568,
8402
+ "grad_norm": 0.0728239044547081,
8403
+ "learning_rate": 1.9848344412482854e-05,
8404
+ "loss": 6.8036,
8405
+ "step": 1196
8406
+ },
8407
+ {
8408
+ "epoch": 0.1497736034972199,
8409
+ "grad_norm": 0.07863820344209671,
8410
+ "learning_rate": 1.9722443049826344e-05,
8411
+ "loss": 6.8025,
8412
+ "step": 1197
8413
+ },
8414
+ {
8415
+ "epoch": 0.1498987276438341,
8416
+ "grad_norm": 0.09008979052305222,
8417
+ "learning_rate": 1.9596898566335576e-05,
8418
+ "loss": 6.7999,
8419
+ "step": 1198
8420
+ },
8421
+ {
8422
+ "epoch": 0.15002385179044833,
8423
+ "grad_norm": 0.10627716779708862,
8424
+ "learning_rate": 1.9471711520126824e-05,
8425
+ "loss": 6.7894,
8426
+ "step": 1199
8427
+ },
8428
+ {
8429
+ "epoch": 0.15014897593706256,
8430
+ "grad_norm": 0.13538858294487,
8431
+ "learning_rate": 1.9346882467727325e-05,
8432
+ "loss": 6.7624,
8433
+ "step": 1200
8434
+ },
8435
+ {
8436
+ "epoch": 0.15027410008367678,
8437
+ "grad_norm": 0.09252560138702393,
8438
+ "learning_rate": 1.9222411964072884e-05,
8439
+ "loss": 6.8607,
8440
+ "step": 1201
8441
+ },
8442
+ {
8443
+ "epoch": 0.15039922423029098,
8444
+ "grad_norm": 0.08366183191537857,
8445
+ "learning_rate": 1.9098300562505266e-05,
8446
+ "loss": 6.869,
8447
+ "step": 1202
8448
+ },
8449
+ {
8450
+ "epoch": 0.1505243483769052,
8451
+ "grad_norm": 0.09882515668869019,
8452
+ "learning_rate": 1.8974548814769944e-05,
8453
+ "loss": 6.8594,
8454
+ "step": 1203
8455
+ },
8456
+ {
8457
+ "epoch": 0.15064947252351943,
8458
+ "grad_norm": 0.11313113570213318,
8459
+ "learning_rate": 1.8851157271013442e-05,
8460
+ "loss": 6.8446,
8461
+ "step": 1204
8462
+ },
8463
+ {
8464
+ "epoch": 0.15077459667013365,
8465
+ "grad_norm": 0.07016993314027786,
8466
+ "learning_rate": 1.872812647978095e-05,
8467
+ "loss": 6.869,
8468
+ "step": 1205
8469
+ },
8470
+ {
8471
+ "epoch": 0.15089972081674788,
8472
+ "grad_norm": 0.04867501184344292,
8473
+ "learning_rate": 1.8605456988014015e-05,
8474
+ "loss": 6.8652,
8475
+ "step": 1206
8476
+ },
8477
+ {
8478
+ "epoch": 0.15102484496336208,
8479
+ "grad_norm": 0.05337794870138168,
8480
+ "learning_rate": 1.8483149341047923e-05,
8481
+ "loss": 6.867,
8482
+ "step": 1207
8483
+ },
8484
+ {
8485
+ "epoch": 0.1511499691099763,
8486
+ "grad_norm": 0.0720386803150177,
8487
+ "learning_rate": 1.8361204082609352e-05,
8488
+ "loss": 6.8628,
8489
+ "step": 1208
8490
+ },
8491
+ {
8492
+ "epoch": 0.15127509325659053,
8493
+ "grad_norm": 0.062227506190538406,
8494
+ "learning_rate": 1.8239621754813995e-05,
8495
+ "loss": 6.8703,
8496
+ "step": 1209
8497
+ },
8498
+ {
8499
+ "epoch": 0.15140021740320475,
8500
+ "grad_norm": 0.06548401713371277,
8501
+ "learning_rate": 1.811840289816409e-05,
8502
+ "loss": 6.8592,
8503
+ "step": 1210
8504
+ },
8505
+ {
8506
+ "epoch": 0.15152534154981895,
8507
+ "grad_norm": 0.06194954365491867,
8508
+ "learning_rate": 1.799754805154603e-05,
8509
+ "loss": 6.8645,
8510
+ "step": 1211
8511
+ },
8512
+ {
8513
+ "epoch": 0.15165046569643317,
8514
+ "grad_norm": 0.06796473264694214,
8515
+ "learning_rate": 1.787705775222802e-05,
8516
+ "loss": 6.8637,
8517
+ "step": 1212
8518
+ },
8519
+ {
8520
+ "epoch": 0.1517755898430474,
8521
+ "grad_norm": 0.05032079666852951,
8522
+ "learning_rate": 1.775693253585763e-05,
8523
+ "loss": 6.8543,
8524
+ "step": 1213
8525
+ },
8526
+ {
8527
+ "epoch": 0.15190071398966162,
8528
+ "grad_norm": 0.06427576392889023,
8529
+ "learning_rate": 1.763717293645939e-05,
8530
+ "loss": 6.8571,
8531
+ "step": 1214
8532
+ },
8533
+ {
8534
+ "epoch": 0.15202583813627585,
8535
+ "grad_norm": 0.06306448578834534,
8536
+ "learning_rate": 1.7517779486432495e-05,
8537
+ "loss": 6.8525,
8538
+ "step": 1215
8539
+ },
8540
+ {
8541
+ "epoch": 0.15215096228289005,
8542
+ "grad_norm": 0.057377833873033524,
8543
+ "learning_rate": 1.7398752716548395e-05,
8544
+ "loss": 6.8529,
8545
+ "step": 1216
8546
+ },
8547
+ {
8548
+ "epoch": 0.15227608642950427,
8549
+ "grad_norm": 0.05794732645153999,
8550
+ "learning_rate": 1.728009315594843e-05,
8551
+ "loss": 6.8514,
8552
+ "step": 1217
8553
+ },
8554
+ {
8555
+ "epoch": 0.1524012105761185,
8556
+ "grad_norm": 0.05499265342950821,
8557
+ "learning_rate": 1.716180133214149e-05,
8558
+ "loss": 6.854,
8559
+ "step": 1218
8560
+ },
8561
+ {
8562
+ "epoch": 0.15252633472273272,
8563
+ "grad_norm": 0.05832820013165474,
8564
+ "learning_rate": 1.704387777100165e-05,
8565
+ "loss": 6.8503,
8566
+ "step": 1219
8567
+ },
8568
+ {
8569
+ "epoch": 0.15265145886934692,
8570
+ "grad_norm": 0.055457763373851776,
8571
+ "learning_rate": 1.6926322996765897e-05,
8572
+ "loss": 6.8482,
8573
+ "step": 1220
8574
+ },
8575
+ {
8576
+ "epoch": 0.15277658301596114,
8577
+ "grad_norm": 0.05789404734969139,
8578
+ "learning_rate": 1.6809137532031704e-05,
8579
+ "loss": 6.8551,
8580
+ "step": 1221
8581
+ },
8582
+ {
8583
+ "epoch": 0.15290170716257537,
8584
+ "grad_norm": 0.05464902147650719,
8585
+ "learning_rate": 1.6692321897754758e-05,
8586
+ "loss": 6.8463,
8587
+ "step": 1222
8588
+ },
8589
+ {
8590
+ "epoch": 0.1530268313091896,
8591
+ "grad_norm": 0.06019265204668045,
8592
+ "learning_rate": 1.65758766132467e-05,
8593
+ "loss": 6.8469,
8594
+ "step": 1223
8595
+ },
8596
+ {
8597
+ "epoch": 0.15315195545580382,
8598
+ "grad_norm": 0.055001046508550644,
8599
+ "learning_rate": 1.6459802196172668e-05,
8600
+ "loss": 6.8469,
8601
+ "step": 1224
8602
+ },
8603
+ {
8604
+ "epoch": 0.15327707960241801,
8605
+ "grad_norm": 0.06733505427837372,
8606
+ "learning_rate": 1.634409916254914e-05,
8607
+ "loss": 6.8426,
8608
+ "step": 1225
8609
+ },
8610
+ {
8611
+ "epoch": 0.15340220374903224,
8612
+ "grad_norm": 0.0662558376789093,
8613
+ "learning_rate": 1.622876802674158e-05,
8614
+ "loss": 6.8425,
8615
+ "step": 1226
8616
+ },
8617
+ {
8618
+ "epoch": 0.15352732789564646,
8619
+ "grad_norm": 0.06077055633068085,
8620
+ "learning_rate": 1.6113809301462125e-05,
8621
+ "loss": 6.8385,
8622
+ "step": 1227
8623
+ },
8624
+ {
8625
+ "epoch": 0.1536524520422607,
8626
+ "grad_norm": 0.05627214536070824,
8627
+ "learning_rate": 1.599922349776738e-05,
8628
+ "loss": 6.8382,
8629
+ "step": 1228
8630
+ },
8631
+ {
8632
+ "epoch": 0.1537775761888749,
8633
+ "grad_norm": 0.0525030717253685,
8634
+ "learning_rate": 1.5885011125056047e-05,
8635
+ "loss": 6.8342,
8636
+ "step": 1229
8637
+ },
8638
+ {
8639
+ "epoch": 0.1539027003354891,
8640
+ "grad_norm": 0.058503177016973495,
8641
+ "learning_rate": 1.5771172691066794e-05,
8642
+ "loss": 6.8402,
8643
+ "step": 1230
8644
+ },
8645
+ {
8646
+ "epoch": 0.15402782448210334,
8647
+ "grad_norm": 0.06108471751213074,
8648
+ "learning_rate": 1.565770870187585e-05,
8649
+ "loss": 6.8373,
8650
+ "step": 1231
8651
+ },
8652
+ {
8653
+ "epoch": 0.15415294862871756,
8654
+ "grad_norm": 0.06098058447241783,
8655
+ "learning_rate": 1.5544619661894864e-05,
8656
+ "loss": 6.8381,
8657
+ "step": 1232
8658
+ },
8659
+ {
8660
+ "epoch": 0.1542780727753318,
8661
+ "grad_norm": 0.046376653015613556,
8662
+ "learning_rate": 1.543190607386861e-05,
8663
+ "loss": 6.8318,
8664
+ "step": 1233
8665
+ },
8666
+ {
8667
+ "epoch": 0.15440319692194598,
8668
+ "grad_norm": 0.057242501527071,
8669
+ "learning_rate": 1.5319568438872745e-05,
8670
+ "loss": 6.8317,
8671
+ "step": 1234
8672
+ },
8673
+ {
8674
+ "epoch": 0.1545283210685602,
8675
+ "grad_norm": 0.05511382594704628,
8676
+ "learning_rate": 1.520760725631164e-05,
8677
+ "loss": 6.8303,
8678
+ "step": 1235
8679
+ },
8680
+ {
8681
+ "epoch": 0.15465344521517443,
8682
+ "grad_norm": 0.058222271502017975,
8683
+ "learning_rate": 1.5096023023916094e-05,
8684
+ "loss": 6.827,
8685
+ "step": 1236
8686
+ },
8687
+ {
8688
+ "epoch": 0.15477856936178866,
8689
+ "grad_norm": 0.07645133137702942,
8690
+ "learning_rate": 1.498481623774115e-05,
8691
+ "loss": 6.8294,
8692
+ "step": 1237
8693
+ },
8694
+ {
8695
+ "epoch": 0.15490369350840286,
8696
+ "grad_norm": 0.07166320085525513,
8697
+ "learning_rate": 1.4873987392163947e-05,
8698
+ "loss": 6.8227,
8699
+ "step": 1238
8700
+ },
8701
+ {
8702
+ "epoch": 0.15502881765501708,
8703
+ "grad_norm": 0.057397421449422836,
8704
+ "learning_rate": 1.4763536979881354e-05,
8705
+ "loss": 6.8234,
8706
+ "step": 1239
8707
+ },
8708
+ {
8709
+ "epoch": 0.1551539418016313,
8710
+ "grad_norm": 0.07023253291845322,
8711
+ "learning_rate": 1.4653465491908003e-05,
8712
+ "loss": 6.8245,
8713
+ "step": 1240
8714
+ },
8715
+ {
8716
+ "epoch": 0.15527906594824553,
8717
+ "grad_norm": 0.0744609609246254,
8718
+ "learning_rate": 1.4543773417573925e-05,
8719
+ "loss": 6.8202,
8720
+ "step": 1241
8721
+ },
8722
+ {
8723
+ "epoch": 0.15540419009485976,
8724
+ "grad_norm": 0.0631578117609024,
8725
+ "learning_rate": 1.4434461244522458e-05,
8726
+ "loss": 6.8206,
8727
+ "step": 1242
8728
+ },
8729
+ {
8730
+ "epoch": 0.15552931424147395,
8731
+ "grad_norm": 0.09936635196208954,
8732
+ "learning_rate": 1.4325529458708065e-05,
8733
+ "loss": 6.8125,
8734
+ "step": 1243
8735
+ },
8736
+ {
8737
+ "epoch": 0.15565443838808818,
8738
+ "grad_norm": 0.07729128003120422,
8739
+ "learning_rate": 1.4216978544394177e-05,
8740
+ "loss": 6.8108,
8741
+ "step": 1244
8742
+ },
8743
+ {
8744
+ "epoch": 0.1557795625347024,
8745
+ "grad_norm": 0.10020412504673004,
8746
+ "learning_rate": 1.4108808984151023e-05,
8747
+ "loss": 6.8118,
8748
+ "step": 1245
8749
+ },
8750
+ {
8751
+ "epoch": 0.15590468668131663,
8752
+ "grad_norm": 0.11231788247823715,
8753
+ "learning_rate": 1.4001021258853509e-05,
8754
+ "loss": 6.8043,
8755
+ "step": 1246
8756
+ },
8757
+ {
8758
+ "epoch": 0.15602981082793083,
8759
+ "grad_norm": 0.12214125692844391,
8760
+ "learning_rate": 1.3893615847679065e-05,
8761
+ "loss": 6.8015,
8762
+ "step": 1247
8763
+ },
8764
+ {
8765
+ "epoch": 0.15615493497454505,
8766
+ "grad_norm": 0.08515699207782745,
8767
+ "learning_rate": 1.3786593228105494e-05,
8768
+ "loss": 6.7896,
8769
+ "step": 1248
8770
+ },
8771
+ {
8772
+ "epoch": 0.15628005912115928,
8773
+ "grad_norm": 0.0987449586391449,
8774
+ "learning_rate": 1.3679953875908957e-05,
8775
+ "loss": 6.7856,
8776
+ "step": 1249
8777
+ },
8778
+ {
8779
+ "epoch": 0.1564051832677735,
8780
+ "grad_norm": 0.14125549793243408,
8781
+ "learning_rate": 1.3573698265161683e-05,
8782
+ "loss": 6.7561,
8783
+ "step": 1250
8784
+ },
8785
+ {
8786
+ "epoch": 0.15653030741438773,
8787
+ "grad_norm": 0.10132603347301483,
8788
+ "learning_rate": 1.3467826868229994e-05,
8789
+ "loss": 6.8523,
8790
+ "step": 1251
8791
+ },
8792
+ {
8793
+ "epoch": 0.15665543156100192,
8794
+ "grad_norm": 0.07547570765018463,
8795
+ "learning_rate": 1.3362340155772146e-05,
8796
+ "loss": 6.8674,
8797
+ "step": 1252
8798
+ },
8799
+ {
8800
+ "epoch": 0.15678055570761615,
8801
+ "grad_norm": 0.0960906445980072,
8802
+ "learning_rate": 1.3257238596736266e-05,
8803
+ "loss": 6.8591,
8804
+ "step": 1253
8805
+ },
8806
+ {
8807
+ "epoch": 0.15690567985423037,
8808
+ "grad_norm": 0.09767723828554153,
8809
+ "learning_rate": 1.3152522658358245e-05,
8810
+ "loss": 6.8437,
8811
+ "step": 1254
8812
+ },
8813
+ {
8814
+ "epoch": 0.1570308040008446,
8815
+ "grad_norm": 0.0690990686416626,
8816
+ "learning_rate": 1.3048192806159721e-05,
8817
+ "loss": 6.8631,
8818
+ "step": 1255
8819
+ },
8820
+ {
8821
+ "epoch": 0.1571559281474588,
8822
+ "grad_norm": 0.06839364767074585,
8823
+ "learning_rate": 1.2944249503945894e-05,
8824
+ "loss": 6.8635,
8825
+ "step": 1256
8826
+ },
8827
+ {
8828
+ "epoch": 0.15728105229407302,
8829
+ "grad_norm": 0.06043870002031326,
8830
+ "learning_rate": 1.2840693213803545e-05,
8831
+ "loss": 6.8648,
8832
+ "step": 1257
8833
+ },
8834
+ {
8835
+ "epoch": 0.15740617644068725,
8836
+ "grad_norm": 0.0687263160943985,
8837
+ "learning_rate": 1.2737524396099032e-05,
8838
+ "loss": 6.8595,
8839
+ "step": 1258
8840
+ },
8841
+ {
8842
+ "epoch": 0.15753130058730147,
8843
+ "grad_norm": 0.05132860690355301,
8844
+ "learning_rate": 1.2634743509476088e-05,
8845
+ "loss": 6.864,
8846
+ "step": 1259
8847
+ },
8848
+ {
8849
+ "epoch": 0.1576564247339157,
8850
+ "grad_norm": 0.04881085827946663,
8851
+ "learning_rate": 1.2532351010853916e-05,
8852
+ "loss": 6.8635,
8853
+ "step": 1260
8854
+ },
8855
+ {
8856
+ "epoch": 0.1577815488805299,
8857
+ "grad_norm": 0.06334888935089111,
8858
+ "learning_rate": 1.243034735542512e-05,
8859
+ "loss": 6.8601,
8860
+ "step": 1261
8861
+ },
8862
+ {
8863
+ "epoch": 0.15790667302714412,
8864
+ "grad_norm": 0.05100672319531441,
8865
+ "learning_rate": 1.2328732996653669e-05,
8866
+ "loss": 6.8588,
8867
+ "step": 1262
8868
+ },
8869
+ {
8870
+ "epoch": 0.15803179717375834,
8871
+ "grad_norm": 0.057795774191617966,
8872
+ "learning_rate": 1.2227508386272878e-05,
8873
+ "loss": 6.8628,
8874
+ "step": 1263
8875
+ },
8876
+ {
8877
+ "epoch": 0.15815692132037257,
8878
+ "grad_norm": 0.05266465246677399,
8879
+ "learning_rate": 1.212667397428342e-05,
8880
+ "loss": 6.8604,
8881
+ "step": 1264
8882
+ },
8883
+ {
8884
+ "epoch": 0.15828204546698676,
8885
+ "grad_norm": 0.06735730171203613,
8886
+ "learning_rate": 1.2026230208951306e-05,
8887
+ "loss": 6.8572,
8888
+ "step": 1265
8889
+ },
8890
+ {
8891
+ "epoch": 0.158407169613601,
8892
+ "grad_norm": 0.053272221237421036,
8893
+ "learning_rate": 1.1926177536805905e-05,
8894
+ "loss": 6.8562,
8895
+ "step": 1266
8896
+ },
8897
+ {
8898
+ "epoch": 0.15853229376021521,
8899
+ "grad_norm": 0.07732369005680084,
8900
+ "learning_rate": 1.1826516402637989e-05,
8901
+ "loss": 6.8537,
8902
+ "step": 1267
8903
+ },
8904
+ {
8905
+ "epoch": 0.15865741790682944,
8906
+ "grad_norm": 0.05819777026772499,
8907
+ "learning_rate": 1.1727247249497685e-05,
8908
+ "loss": 6.854,
8909
+ "step": 1268
8910
+ },
8911
+ {
8912
+ "epoch": 0.15878254205344366,
8913
+ "grad_norm": 0.055479660630226135,
8914
+ "learning_rate": 1.1628370518692533e-05,
8915
+ "loss": 6.8496,
8916
+ "step": 1269
8917
+ },
8918
+ {
8919
+ "epoch": 0.15890766620005786,
8920
+ "grad_norm": 0.058534570038318634,
8921
+ "learning_rate": 1.152988664978556e-05,
8922
+ "loss": 6.854,
8923
+ "step": 1270
8924
+ },
8925
+ {
8926
+ "epoch": 0.1590327903466721,
8927
+ "grad_norm": 0.062482766807079315,
8928
+ "learning_rate": 1.1431796080593283e-05,
8929
+ "loss": 6.8521,
8930
+ "step": 1271
8931
+ },
8932
+ {
8933
+ "epoch": 0.1591579144932863,
8934
+ "grad_norm": 0.06007704511284828,
8935
+ "learning_rate": 1.1334099247183783e-05,
8936
+ "loss": 6.8486,
8937
+ "step": 1272
8938
+ },
8939
+ {
8940
+ "epoch": 0.15928303863990054,
8941
+ "grad_norm": 0.0645846351981163,
8942
+ "learning_rate": 1.1236796583874787e-05,
8943
+ "loss": 6.8472,
8944
+ "step": 1273
8945
+ },
8946
+ {
8947
+ "epoch": 0.15940816278651473,
8948
+ "grad_norm": 0.05408726632595062,
8949
+ "learning_rate": 1.1139888523231678e-05,
8950
+ "loss": 6.8477,
8951
+ "step": 1274
8952
+ },
8953
+ {
8954
+ "epoch": 0.15953328693312896,
8955
+ "grad_norm": 0.05780980736017227,
8956
+ "learning_rate": 1.1043375496065611e-05,
8957
+ "loss": 6.843,
8958
+ "step": 1275
8959
+ },
8960
+ {
8961
+ "epoch": 0.15965841107974318,
8962
+ "grad_norm": 0.058385562151670456,
8963
+ "learning_rate": 1.0947257931431642e-05,
8964
+ "loss": 6.8458,
8965
+ "step": 1276
8966
+ },
8967
+ {
8968
+ "epoch": 0.1597835352263574,
8969
+ "grad_norm": 0.05572573095560074,
8970
+ "learning_rate": 1.0851536256626705e-05,
8971
+ "loss": 6.847,
8972
+ "step": 1277
8973
+ },
8974
+ {
8975
+ "epoch": 0.1599086593729716,
8976
+ "grad_norm": 0.054147008806467056,
8977
+ "learning_rate": 1.0756210897187812e-05,
8978
+ "loss": 6.8415,
8979
+ "step": 1278
8980
+ },
8981
+ {
8982
+ "epoch": 0.16003378351958583,
8983
+ "grad_norm": 0.05122090131044388,
8984
+ "learning_rate": 1.0661282276890127e-05,
8985
+ "loss": 6.8356,
8986
+ "step": 1279
8987
+ },
8988
+ {
8989
+ "epoch": 0.16015890766620006,
8990
+ "grad_norm": 0.05577128008008003,
8991
+ "learning_rate": 1.0566750817745074e-05,
8992
+ "loss": 6.8385,
8993
+ "step": 1280
8994
+ },
8995
+ {
8996
+ "epoch": 0.16028403181281428,
8997
+ "grad_norm": 0.057551562786102295,
8998
+ "learning_rate": 1.0472616939998492e-05,
8999
+ "loss": 6.838,
9000
+ "step": 1281
9001
+ },
9002
+ {
9003
+ "epoch": 0.1604091559594285,
9004
+ "grad_norm": 0.06074923649430275,
9005
+ "learning_rate": 1.0378881062128731e-05,
9006
+ "loss": 6.8309,
9007
+ "step": 1282
9008
+ },
9009
+ {
9010
+ "epoch": 0.1605342801060427,
9011
+ "grad_norm": 0.05625593662261963,
9012
+ "learning_rate": 1.0285543600844804e-05,
9013
+ "loss": 6.8316,
9014
+ "step": 1283
9015
+ },
9016
+ {
9017
+ "epoch": 0.16065940425265693,
9018
+ "grad_norm": 0.05791671574115753,
9019
+ "learning_rate": 1.019260497108453e-05,
9020
+ "loss": 6.8344,
9021
+ "step": 1284
9022
+ },
9023
+ {
9024
+ "epoch": 0.16078452839927115,
9025
+ "grad_norm": 0.06227971613407135,
9026
+ "learning_rate": 1.010006558601274e-05,
9027
+ "loss": 6.8312,
9028
+ "step": 1285
9029
+ },
9030
+ {
9031
+ "epoch": 0.16090965254588538,
9032
+ "grad_norm": 0.061791278421878815,
9033
+ "learning_rate": 1.000792585701934e-05,
9034
+ "loss": 6.8268,
9035
+ "step": 1286
9036
+ },
9037
+ {
9038
+ "epoch": 0.16103477669249958,
9039
+ "grad_norm": 0.057605765759944916,
9040
+ "learning_rate": 9.91618619371757e-06,
9041
+ "loss": 6.8281,
9042
+ "step": 1287
9043
+ },
9044
+ {
9045
+ "epoch": 0.1611599008391138,
9046
+ "grad_norm": 0.07101979106664658,
9047
+ "learning_rate": 9.82484700394215e-06,
9048
+ "loss": 6.8253,
9049
+ "step": 1288
9050
+ },
9051
+ {
9052
+ "epoch": 0.16128502498572803,
9053
+ "grad_norm": 0.06478337943553925,
9054
+ "learning_rate": 9.73390869374743e-06,
9055
+ "loss": 6.823,
9056
+ "step": 1289
9057
+ },
9058
+ {
9059
+ "epoch": 0.16141014913234225,
9060
+ "grad_norm": 0.06531362980604172,
9061
+ "learning_rate": 9.643371667405698e-06,
9062
+ "loss": 6.8202,
9063
+ "step": 1290
9064
+ },
9065
+ {
9066
+ "epoch": 0.16153527327895648,
9067
+ "grad_norm": 0.07579568773508072,
9068
+ "learning_rate": 9.553236327405246e-06,
9069
+ "loss": 6.8168,
9070
+ "step": 1291
9071
+ },
9072
+ {
9073
+ "epoch": 0.16166039742557067,
9074
+ "grad_norm": 0.06963292509317398,
9075
+ "learning_rate": 9.463503074448677e-06,
9076
+ "loss": 6.8192,
9077
+ "step": 1292
9078
+ },
9079
+ {
9080
+ "epoch": 0.1617855215721849,
9081
+ "grad_norm": 0.06998664885759354,
9082
+ "learning_rate": 9.374172307451068e-06,
9083
+ "loss": 6.8166,
9084
+ "step": 1293
9085
+ },
9086
+ {
9087
+ "epoch": 0.16191064571879912,
9088
+ "grad_norm": 0.09028169512748718,
9089
+ "learning_rate": 9.285244423538197e-06,
9090
+ "loss": 6.8117,
9091
+ "step": 1294
9092
+ },
9093
+ {
9094
+ "epoch": 0.16203576986541335,
9095
+ "grad_norm": 0.06465288251638412,
9096
+ "learning_rate": 9.196719818044886e-06,
9097
+ "loss": 6.8104,
9098
+ "step": 1295
9099
+ },
9100
+ {
9101
+ "epoch": 0.16216089401202755,
9102
+ "grad_norm": 0.07682817429304123,
9103
+ "learning_rate": 9.108598884513053e-06,
9104
+ "loss": 6.8031,
9105
+ "step": 1296
9106
+ },
9107
+ {
9108
+ "epoch": 0.16228601815864177,
9109
+ "grad_norm": 0.08894361555576324,
9110
+ "learning_rate": 9.020882014690136e-06,
9111
+ "loss": 6.7982,
9112
+ "step": 1297
9113
+ },
9114
+ {
9115
+ "epoch": 0.162411142305256,
9116
+ "grad_norm": 0.10202386230230331,
9117
+ "learning_rate": 8.933569598527247e-06,
9118
+ "loss": 6.7969,
9119
+ "step": 1298
9120
+ },
9121
+ {
9122
+ "epoch": 0.16253626645187022,
9123
+ "grad_norm": 0.17059394717216492,
9124
+ "learning_rate": 8.846662024177477e-06,
9125
+ "loss": 6.7858,
9126
+ "step": 1299
9127
+ },
9128
+ {
9129
+ "epoch": 0.16266139059848445,
9130
+ "grad_norm": 0.14211882650852203,
9131
+ "learning_rate": 8.760159677994172e-06,
9132
+ "loss": 6.7531,
9133
+ "step": 1300
9134
+ },
9135
+ {
9136
+ "epoch": 0.16278651474509864,
9137
+ "grad_norm": 0.08895996958017349,
9138
+ "learning_rate": 8.674062944529216e-06,
9139
+ "loss": 6.8541,
9140
+ "step": 1301
9141
+ },
9142
+ {
9143
+ "epoch": 0.16291163889171287,
9144
+ "grad_norm": 0.08907456696033478,
9145
+ "learning_rate": 8.588372206531292e-06,
9146
+ "loss": 6.8638,
9147
+ "step": 1302
9148
+ },
9149
+ {
9150
+ "epoch": 0.1630367630383271,
9151
+ "grad_norm": 0.07456039637327194,
9152
+ "learning_rate": 8.503087844944213e-06,
9153
+ "loss": 6.865,
9154
+ "step": 1303
9155
+ },
9156
+ {
9157
+ "epoch": 0.16316188718494132,
9158
+ "grad_norm": 0.158840149641037,
9159
+ "learning_rate": 8.418210238905256e-06,
9160
+ "loss": 6.8306,
9161
+ "step": 1304
9162
+ },
9163
+ {
9164
+ "epoch": 0.16328701133155551,
9165
+ "grad_norm": 0.11015015095472336,
9166
+ "learning_rate": 8.333739765743398e-06,
9167
+ "loss": 6.8499,
9168
+ "step": 1305
9169
+ },
9170
+ {
9171
+ "epoch": 0.16341213547816974,
9172
+ "grad_norm": 0.04712749272584915,
9173
+ "learning_rate": 8.249676800977658e-06,
9174
+ "loss": 6.8658,
9175
+ "step": 1306
9176
+ },
9177
+ {
9178
+ "epoch": 0.16353725962478396,
9179
+ "grad_norm": 0.06225185841321945,
9180
+ "learning_rate": 8.16602171831553e-06,
9181
+ "loss": 6.8644,
9182
+ "step": 1307
9183
+ },
9184
+ {
9185
+ "epoch": 0.1636623837713982,
9186
+ "grad_norm": 0.05664203315973282,
9187
+ "learning_rate": 8.082774889651168e-06,
9188
+ "loss": 6.8701,
9189
+ "step": 1308
9190
+ },
9191
+ {
9192
+ "epoch": 0.16378750791801241,
9193
+ "grad_norm": 0.05763581395149231,
9194
+ "learning_rate": 7.999936685063835e-06,
9195
+ "loss": 6.8665,
9196
+ "step": 1309
9197
+ },
9198
+ {
9199
+ "epoch": 0.1639126320646266,
9200
+ "grad_norm": 0.0597081296145916,
9201
+ "learning_rate": 7.91750747281621e-06,
9202
+ "loss": 6.861,
9203
+ "step": 1310
9204
+ },
9205
+ {
9206
+ "epoch": 0.16403775621124084,
9207
+ "grad_norm": 0.05000796914100647,
9208
+ "learning_rate": 7.835487619352811e-06,
9209
+ "loss": 6.8578,
9210
+ "step": 1311
9211
+ },
9212
+ {
9213
+ "epoch": 0.16416288035785506,
9214
+ "grad_norm": 0.054538823664188385,
9215
+ "learning_rate": 7.753877489298244e-06,
9216
+ "loss": 6.8551,
9217
+ "step": 1312
9218
+ },
9219
+ {
9220
+ "epoch": 0.1642880045044693,
9221
+ "grad_norm": 0.06144242361187935,
9222
+ "learning_rate": 7.67267744545579e-06,
9223
+ "loss": 6.8575,
9224
+ "step": 1313
9225
+ },
9226
+ {
9227
+ "epoch": 0.16441312865108348,
9228
+ "grad_norm": 0.05060692876577377,
9229
+ "learning_rate": 7.591887848805545e-06,
9230
+ "loss": 6.8527,
9231
+ "step": 1314
9232
+ },
9233
+ {
9234
+ "epoch": 0.1645382527976977,
9235
+ "grad_norm": 0.05450880527496338,
9236
+ "learning_rate": 7.5115090585029966e-06,
9237
+ "loss": 6.8538,
9238
+ "step": 1315
9239
+ },
9240
+ {
9241
+ "epoch": 0.16466337694431193,
9242
+ "grad_norm": 0.05674571171402931,
9243
+ "learning_rate": 7.431541431877342e-06,
9244
+ "loss": 6.8546,
9245
+ "step": 1316
9246
+ },
9247
+ {
9248
+ "epoch": 0.16478850109092616,
9249
+ "grad_norm": 0.06123065575957298,
9250
+ "learning_rate": 7.351985324429933e-06,
9251
+ "loss": 6.8539,
9252
+ "step": 1317
9253
+ },
9254
+ {
9255
+ "epoch": 0.16491362523754038,
9256
+ "grad_norm": 0.052988309413194656,
9257
+ "learning_rate": 7.272841089832694e-06,
9258
+ "loss": 6.849,
9259
+ "step": 1318
9260
+ },
9261
+ {
9262
+ "epoch": 0.16503874938415458,
9263
+ "grad_norm": 0.06131447106599808,
9264
+ "learning_rate": 7.194109079926514e-06,
9265
+ "loss": 6.849,
9266
+ "step": 1319
9267
+ },
9268
+ {
9269
+ "epoch": 0.1651638735307688,
9270
+ "grad_norm": 0.052703384310007095,
9271
+ "learning_rate": 7.115789644719728e-06,
9272
+ "loss": 6.8467,
9273
+ "step": 1320
9274
+ },
9275
+ {
9276
+ "epoch": 0.16528899767738303,
9277
+ "grad_norm": 0.06801564246416092,
9278
+ "learning_rate": 7.037883132386547e-06,
9279
+ "loss": 6.8499,
9280
+ "step": 1321
9281
+ },
9282
+ {
9283
+ "epoch": 0.16541412182399726,
9284
+ "grad_norm": 0.07062938064336777,
9285
+ "learning_rate": 6.960389889265517e-06,
9286
+ "loss": 6.8447,
9287
+ "step": 1322
9288
+ },
9289
+ {
9290
+ "epoch": 0.16553924597061145,
9291
+ "grad_norm": 0.10002299398183823,
9292
+ "learning_rate": 6.883310259857944e-06,
9293
+ "loss": 6.8425,
9294
+ "step": 1323
9295
+ },
9296
+ {
9297
+ "epoch": 0.16566437011722568,
9298
+ "grad_norm": 0.06357421725988388,
9299
+ "learning_rate": 6.806644586826383e-06,
9300
+ "loss": 6.8456,
9301
+ "step": 1324
9302
+ },
9303
+ {
9304
+ "epoch": 0.1657894942638399,
9305
+ "grad_norm": 0.0659535825252533,
9306
+ "learning_rate": 6.730393210993147e-06,
9307
+ "loss": 6.8422,
9308
+ "step": 1325
9309
+ },
9310
+ {
9311
+ "epoch": 0.16591461841045413,
9312
+ "grad_norm": 0.06332556903362274,
9313
+ "learning_rate": 6.654556471338746e-06,
9314
+ "loss": 6.8409,
9315
+ "step": 1326
9316
+ },
9317
+ {
9318
+ "epoch": 0.16603974255706835,
9319
+ "grad_norm": 0.05108652263879776,
9320
+ "learning_rate": 6.579134705000412e-06,
9321
+ "loss": 6.837,
9322
+ "step": 1327
9323
+ },
9324
+ {
9325
+ "epoch": 0.16616486670368255,
9326
+ "grad_norm": 0.06405655294656754,
9327
+ "learning_rate": 6.504128247270546e-06,
9328
+ "loss": 6.8385,
9329
+ "step": 1328
9330
+ },
9331
+ {
9332
+ "epoch": 0.16628999085029678,
9333
+ "grad_norm": 0.05968260020017624,
9334
+ "learning_rate": 6.429537431595312e-06,
9335
+ "loss": 6.8325,
9336
+ "step": 1329
9337
+ },
9338
+ {
9339
+ "epoch": 0.166415114996911,
9340
+ "grad_norm": 0.05928070470690727,
9341
+ "learning_rate": 6.355362589573077e-06,
9342
+ "loss": 6.8355,
9343
+ "step": 1330
9344
+ },
9345
+ {
9346
+ "epoch": 0.16654023914352523,
9347
+ "grad_norm": 0.06275006383657455,
9348
+ "learning_rate": 6.2816040509530165e-06,
9349
+ "loss": 6.8355,
9350
+ "step": 1331
9351
+ },
9352
+ {
9353
+ "epoch": 0.16666536329013942,
9354
+ "grad_norm": 0.07541554421186447,
9355
+ "learning_rate": 6.2082621436335475e-06,
9356
+ "loss": 6.8351,
9357
+ "step": 1332
9358
+ },
9359
+ {
9360
+ "epoch": 0.16679048743675365,
9361
+ "grad_norm": 0.05294984206557274,
9362
+ "learning_rate": 6.135337193660962e-06,
9363
+ "loss": 6.8323,
9364
+ "step": 1333
9365
+ },
9366
+ {
9367
+ "epoch": 0.16691561158336787,
9368
+ "grad_norm": 0.06002030149102211,
9369
+ "learning_rate": 6.062829525227909e-06,
9370
+ "loss": 6.833,
9371
+ "step": 1334
9372
+ },
9373
+ {
9374
+ "epoch": 0.1670407357299821,
9375
+ "grad_norm": 0.05374766141176224,
9376
+ "learning_rate": 5.990739460672024e-06,
9377
+ "loss": 6.829,
9378
+ "step": 1335
9379
+ },
9380
+ {
9381
+ "epoch": 0.16716585987659632,
9382
+ "grad_norm": 0.06032724305987358,
9383
+ "learning_rate": 5.9190673204744255e-06,
9384
+ "loss": 6.8235,
9385
+ "step": 1336
9386
+ },
9387
+ {
9388
+ "epoch": 0.16729098402321052,
9389
+ "grad_norm": 0.07873076945543289,
9390
+ "learning_rate": 5.84781342325833e-06,
9391
+ "loss": 6.8274,
9392
+ "step": 1337
9393
+ },
9394
+ {
9395
+ "epoch": 0.16741610816982475,
9396
+ "grad_norm": 0.06482894718647003,
9397
+ "learning_rate": 5.77697808578761e-06,
9398
+ "loss": 6.8248,
9399
+ "step": 1338
9400
+ },
9401
+ {
9402
+ "epoch": 0.16754123231643897,
9403
+ "grad_norm": 0.06034001335501671,
9404
+ "learning_rate": 5.706561622965467e-06,
9405
+ "loss": 6.8233,
9406
+ "step": 1339
9407
+ },
9408
+ {
9409
+ "epoch": 0.1676663564630532,
9410
+ "grad_norm": 0.0549284853041172,
9411
+ "learning_rate": 5.636564347832907e-06,
9412
+ "loss": 6.8207,
9413
+ "step": 1340
9414
+ },
9415
+ {
9416
+ "epoch": 0.1677914806096674,
9417
+ "grad_norm": 0.06023858115077019,
9418
+ "learning_rate": 5.566986571567401e-06,
9419
+ "loss": 6.8187,
9420
+ "step": 1341
9421
+ },
9422
+ {
9423
+ "epoch": 0.16791660475628162,
9424
+ "grad_norm": 0.06581918895244598,
9425
+ "learning_rate": 5.497828603481569e-06,
9426
+ "loss": 6.8167,
9427
+ "step": 1342
9428
+ },
9429
+ {
9430
+ "epoch": 0.16804172890289584,
9431
+ "grad_norm": 0.0744078978896141,
9432
+ "learning_rate": 5.429090751021704e-06,
9433
+ "loss": 6.8141,
9434
+ "step": 1343
9435
+ },
9436
+ {
9437
+ "epoch": 0.16816685304951007,
9438
+ "grad_norm": 0.06617950648069382,
9439
+ "learning_rate": 5.3607733197664436e-06,
9440
+ "loss": 6.8127,
9441
+ "step": 1344
9442
+ },
9443
+ {
9444
+ "epoch": 0.1682919771961243,
9445
+ "grad_norm": 0.07519249618053436,
9446
+ "learning_rate": 5.2928766134254345e-06,
9447
+ "loss": 6.8122,
9448
+ "step": 1345
9449
+ },
9450
+ {
9451
+ "epoch": 0.1684171013427385,
9452
+ "grad_norm": 0.07171600311994553,
9453
+ "learning_rate": 5.225400933837954e-06,
9454
+ "loss": 6.8046,
9455
+ "step": 1346
9456
+ },
9457
+ {
9458
+ "epoch": 0.16854222548935271,
9459
+ "grad_norm": 0.08736371994018555,
9460
+ "learning_rate": 5.158346580971573e-06,
9461
+ "loss": 6.7995,
9462
+ "step": 1347
9463
+ },
9464
+ {
9465
+ "epoch": 0.16866734963596694,
9466
+ "grad_norm": 0.0909268856048584,
9467
+ "learning_rate": 5.091713852920854e-06,
9468
+ "loss": 6.7924,
9469
+ "step": 1348
9470
+ },
9471
+ {
9472
+ "epoch": 0.16879247378258116,
9473
+ "grad_norm": 0.1106017604470253,
9474
+ "learning_rate": 5.025503045905933e-06,
9475
+ "loss": 6.7833,
9476
+ "step": 1349
9477
+ },
9478
+ {
9479
+ "epoch": 0.16891759792919536,
9480
+ "grad_norm": 0.14610743522644043,
9481
+ "learning_rate": 4.959714454271369e-06,
9482
+ "loss": 6.762,
9483
+ "step": 1350
9484
+ },
9485
+ {
9486
+ "epoch": 0.1690427220758096,
9487
+ "grad_norm": 0.09530216455459595,
9488
+ "learning_rate": 4.8943483704846475e-06,
9489
+ "loss": 6.8633,
9490
+ "step": 1351
9491
+ },
9492
+ {
9493
+ "epoch": 0.1691678462224238,
9494
+ "grad_norm": 0.08176793903112411,
9495
+ "learning_rate": 4.829405085134997e-06,
9496
+ "loss": 6.869,
9497
+ "step": 1352
9498
+ },
9499
+ {
9500
+ "epoch": 0.16929297036903804,
9501
+ "grad_norm": 0.06940693408250809,
9502
+ "learning_rate": 4.764884886932086e-06,
9503
+ "loss": 6.8652,
9504
+ "step": 1353
9505
+ },
9506
+ {
9507
+ "epoch": 0.16941809451565226,
9508
+ "grad_norm": 0.12383774667978287,
9509
+ "learning_rate": 4.700788062704687e-06,
9510
+ "loss": 6.8393,
9511
+ "step": 1354
9512
+ },
9513
+ {
9514
+ "epoch": 0.16954321866226646,
9515
+ "grad_norm": 0.059174198657274246,
9516
+ "learning_rate": 4.6371148973994525e-06,
9517
+ "loss": 6.8673,
9518
+ "step": 1355
9519
+ },
9520
+ {
9521
+ "epoch": 0.16966834280888068,
9522
+ "grad_norm": 0.05575103312730789,
9523
+ "learning_rate": 4.573865674079625e-06,
9524
+ "loss": 6.8639,
9525
+ "step": 1356
9526
+ },
9527
+ {
9528
+ "epoch": 0.1697934669554949,
9529
+ "grad_norm": 0.06360621005296707,
9530
+ "learning_rate": 4.511040673923828e-06,
9531
+ "loss": 6.8683,
9532
+ "step": 1357
9533
+ },
9534
+ {
9535
+ "epoch": 0.16991859110210913,
9536
+ "grad_norm": 0.06387114524841309,
9537
+ "learning_rate": 4.448640176224694e-06,
9538
+ "loss": 6.8696,
9539
+ "step": 1358
9540
+ },
9541
+ {
9542
+ "epoch": 0.17004371524872333,
9543
+ "grad_norm": 0.050917718559503555,
9544
+ "learning_rate": 4.386664458387779e-06,
9545
+ "loss": 6.864,
9546
+ "step": 1359
9547
+ },
9548
+ {
9549
+ "epoch": 0.17016883939533756,
9550
+ "grad_norm": 0.05284392461180687,
9551
+ "learning_rate": 4.325113795930203e-06,
9552
+ "loss": 6.8616,
9553
+ "step": 1360
9554
+ },
9555
+ {
9556
+ "epoch": 0.17029396354195178,
9557
+ "grad_norm": 0.053370919078588486,
9558
+ "learning_rate": 4.263988462479484e-06,
9559
+ "loss": 6.8664,
9560
+ "step": 1361
9561
+ },
9562
+ {
9563
+ "epoch": 0.170419087688566,
9564
+ "grad_norm": 0.04814120754599571,
9565
+ "learning_rate": 4.203288729772326e-06,
9566
+ "loss": 6.8628,
9567
+ "step": 1362
9568
+ },
9569
+ {
9570
+ "epoch": 0.17054421183518023,
9571
+ "grad_norm": 0.054461799561977386,
9572
+ "learning_rate": 4.143014867653383e-06,
9573
+ "loss": 6.8596,
9574
+ "step": 1363
9575
+ },
9576
+ {
9577
+ "epoch": 0.17066933598179443,
9578
+ "grad_norm": 0.049728453159332275,
9579
+ "learning_rate": 4.083167144074073e-06,
9580
+ "loss": 6.8607,
9581
+ "step": 1364
9582
+ },
9583
+ {
9584
+ "epoch": 0.17079446012840865,
9585
+ "grad_norm": 0.049136579036712646,
9586
+ "learning_rate": 4.023745825091407e-06,
9587
+ "loss": 6.854,
9588
+ "step": 1365
9589
+ },
9590
+ {
9591
+ "epoch": 0.17091958427502288,
9592
+ "grad_norm": 0.0593116469681263,
9593
+ "learning_rate": 3.964751174866765e-06,
9594
+ "loss": 6.8524,
9595
+ "step": 1366
9596
+ },
9597
+ {
9598
+ "epoch": 0.1710447084216371,
9599
+ "grad_norm": 0.0577319897711277,
9600
+ "learning_rate": 3.906183455664725e-06,
9601
+ "loss": 6.8479,
9602
+ "step": 1367
9603
+ },
9604
+ {
9605
+ "epoch": 0.1711698325682513,
9606
+ "grad_norm": 0.05450035631656647,
9607
+ "learning_rate": 3.84804292785198e-06,
9608
+ "loss": 6.8538,
9609
+ "step": 1368
9610
+ },
9611
+ {
9612
+ "epoch": 0.17129495671486553,
9613
+ "grad_norm": 0.05601746588945389,
9614
+ "learning_rate": 3.7903298498960572e-06,
9615
+ "loss": 6.8491,
9616
+ "step": 1369
9617
+ },
9618
+ {
9619
+ "epoch": 0.17142008086147975,
9620
+ "grad_norm": 0.06383606791496277,
9621
+ "learning_rate": 3.7330444783642338e-06,
9622
+ "loss": 6.8453,
9623
+ "step": 1370
9624
+ },
9625
+ {
9626
+ "epoch": 0.17154520500809398,
9627
+ "grad_norm": 0.05076981708407402,
9628
+ "learning_rate": 3.676187067922421e-06,
9629
+ "loss": 6.8444,
9630
+ "step": 1371
9631
+ },
9632
+ {
9633
+ "epoch": 0.17167032915470817,
9634
+ "grad_norm": 0.06610114127397537,
9635
+ "learning_rate": 3.619757871333973e-06,
9636
+ "loss": 6.8468,
9637
+ "step": 1372
9638
+ },
9639
+ {
9640
+ "epoch": 0.1717954533013224,
9641
+ "grad_norm": 0.05181503668427467,
9642
+ "learning_rate": 3.563757139458579e-06,
9643
+ "loss": 6.843,
9644
+ "step": 1373
9645
+ },
9646
+ {
9647
+ "epoch": 0.17192057744793662,
9648
+ "grad_norm": 0.07020257413387299,
9649
+ "learning_rate": 3.5081851212512175e-06,
9650
+ "loss": 6.8429,
9651
+ "step": 1374
9652
+ },
9653
+ {
9654
+ "epoch": 0.17204570159455085,
9655
+ "grad_norm": 0.058668918907642365,
9656
+ "learning_rate": 3.4530420637609363e-06,
9657
+ "loss": 6.8459,
9658
+ "step": 1375
9659
+ },
9660
+ {
9661
+ "epoch": 0.17217082574116507,
9662
+ "grad_norm": 0.05918782576918602,
9663
+ "learning_rate": 3.3983282121298086e-06,
9664
+ "loss": 6.8378,
9665
+ "step": 1376
9666
+ },
9667
+ {
9668
+ "epoch": 0.17229594988777927,
9669
+ "grad_norm": 0.054112061858177185,
9670
+ "learning_rate": 3.3440438095919126e-06,
9671
+ "loss": 6.8431,
9672
+ "step": 1377
9673
+ },
9674
+ {
9675
+ "epoch": 0.1724210740343935,
9676
+ "grad_norm": 0.06641299277544022,
9677
+ "learning_rate": 3.290189097472096e-06,
9678
+ "loss": 6.8386,
9679
+ "step": 1378
9680
+ },
9681
+ {
9682
+ "epoch": 0.17254619818100772,
9683
+ "grad_norm": 0.06148559972643852,
9684
+ "learning_rate": 3.236764315185037e-06,
9685
+ "loss": 6.8395,
9686
+ "step": 1379
9687
+ },
9688
+ {
9689
+ "epoch": 0.17267132232762195,
9690
+ "grad_norm": 0.05435129627585411,
9691
+ "learning_rate": 3.1837697002341293e-06,
9692
+ "loss": 6.8381,
9693
+ "step": 1380
9694
+ },
9695
+ {
9696
+ "epoch": 0.17279644647423614,
9697
+ "grad_norm": 0.056218743324279785,
9698
+ "learning_rate": 3.131205488210409e-06,
9699
+ "loss": 6.8329,
9700
+ "step": 1381
9701
+ },
9702
+ {
9703
+ "epoch": 0.17292157062085037,
9704
+ "grad_norm": 0.07692524790763855,
9705
+ "learning_rate": 3.0790719127915646e-06,
9706
+ "loss": 6.834,
9707
+ "step": 1382
9708
+ },
9709
+ {
9710
+ "epoch": 0.1730466947674646,
9711
+ "grad_norm": 0.07179510593414307,
9712
+ "learning_rate": 3.0273692057408265e-06,
9713
+ "loss": 6.8352,
9714
+ "step": 1383
9715
+ },
9716
+ {
9717
+ "epoch": 0.17317181891407882,
9718
+ "grad_norm": 0.058145493268966675,
9719
+ "learning_rate": 2.976097596905969e-06,
9720
+ "loss": 6.8313,
9721
+ "step": 1384
9722
+ },
9723
+ {
9724
+ "epoch": 0.17329694306069304,
9725
+ "grad_norm": 0.08015631139278412,
9726
+ "learning_rate": 2.9252573142183326e-06,
9727
+ "loss": 6.8311,
9728
+ "step": 1385
9729
+ },
9730
+ {
9731
+ "epoch": 0.17342206720730724,
9732
+ "grad_norm": 0.059036049991846085,
9733
+ "learning_rate": 2.874848583691714e-06,
9734
+ "loss": 6.8289,
9735
+ "step": 1386
9736
+ },
9737
+ {
9738
+ "epoch": 0.17354719135392147,
9739
+ "grad_norm": 0.06354140490293503,
9740
+ "learning_rate": 2.8248716294214774e-06,
9741
+ "loss": 6.8224,
9742
+ "step": 1387
9743
+ },
9744
+ {
9745
+ "epoch": 0.1736723155005357,
9746
+ "grad_norm": 0.06228512153029442,
9747
+ "learning_rate": 2.7753266735834338e-06,
9748
+ "loss": 6.8214,
9749
+ "step": 1388
9750
+ },
9751
+ {
9752
+ "epoch": 0.17379743964714991,
9753
+ "grad_norm": 0.0634087398648262,
9754
+ "learning_rate": 2.7262139364329643e-06,
9755
+ "loss": 6.8238,
9756
+ "step": 1389
9757
+ },
9758
+ {
9759
+ "epoch": 0.1739225637937641,
9760
+ "grad_norm": 0.0680609792470932,
9761
+ "learning_rate": 2.677533636303964e-06,
9762
+ "loss": 6.8191,
9763
+ "step": 1390
9764
+ },
9765
+ {
9766
+ "epoch": 0.17404768794037834,
9767
+ "grad_norm": 0.07776638120412827,
9768
+ "learning_rate": 2.6292859896079213e-06,
9769
+ "loss": 6.822,
9770
+ "step": 1391
9771
+ },
9772
+ {
9773
+ "epoch": 0.17417281208699256,
9774
+ "grad_norm": 0.07317586243152618,
9775
+ "learning_rate": 2.581471210832931e-06,
9776
+ "loss": 6.8189,
9777
+ "step": 1392
9778
+ },
9779
+ {
9780
+ "epoch": 0.1742979362336068,
9781
+ "grad_norm": 0.09229645133018494,
9782
+ "learning_rate": 2.5340895125427364e-06,
9783
+ "loss": 6.8136,
9784
+ "step": 1393
9785
+ },
9786
+ {
9787
+ "epoch": 0.174423060380221,
9788
+ "grad_norm": 0.0773492231965065,
9789
+ "learning_rate": 2.4871411053757898e-06,
9790
+ "loss": 6.8085,
9791
+ "step": 1394
9792
+ },
9793
+ {
9794
+ "epoch": 0.1745481845268352,
9795
+ "grad_norm": 0.11506694555282593,
9796
+ "learning_rate": 2.440626198044327e-06,
9797
+ "loss": 6.8066,
9798
+ "step": 1395
9799
+ },
9800
+ {
9801
+ "epoch": 0.17467330867344943,
9802
+ "grad_norm": 0.06844329088926315,
9803
+ "learning_rate": 2.394544997333437e-06,
9804
+ "loss": 6.8036,
9805
+ "step": 1396
9806
+ },
9807
+ {
9808
+ "epoch": 0.17479843282006366,
9809
+ "grad_norm": 0.0800548866391182,
9810
+ "learning_rate": 2.3488977081001394e-06,
9811
+ "loss": 6.8005,
9812
+ "step": 1397
9813
+ },
9814
+ {
9815
+ "epoch": 0.17492355696667788,
9816
+ "grad_norm": 0.140996053814888,
9817
+ "learning_rate": 2.3036845332724543e-06,
9818
+ "loss": 6.7943,
9819
+ "step": 1398
9820
+ },
9821
+ {
9822
+ "epoch": 0.17504868111329208,
9823
+ "grad_norm": 0.13243380188941956,
9824
+ "learning_rate": 2.2589056738485324e-06,
9825
+ "loss": 6.7782,
9826
+ "step": 1399
9827
+ },
9828
+ {
9829
+ "epoch": 0.1751738052599063,
9830
+ "grad_norm": 0.1351012885570526,
9831
+ "learning_rate": 2.2145613288957478e-06,
9832
+ "loss": 6.7557,
9833
+ "step": 1400
9834
+ },
9835
+ {
9836
+ "epoch": 0.17529892940652053,
9837
+ "grad_norm": 0.09377124905586243,
9838
+ "learning_rate": 2.170651695549786e-06,
9839
+ "loss": 6.859,
9840
+ "step": 1401
9841
+ },
9842
+ {
9843
+ "epoch": 0.17542405355313476,
9844
+ "grad_norm": 0.07952917367219925,
9845
+ "learning_rate": 2.1271769690138332e-06,
9846
+ "loss": 6.8723,
9847
+ "step": 1402
9848
+ },
9849
+ {
9850
+ "epoch": 0.17554917769974898,
9851
+ "grad_norm": 0.07432472705841064,
9852
+ "learning_rate": 2.084137342557646e-06,
9853
+ "loss": 6.8693,
9854
+ "step": 1403
9855
+ },
9856
+ {
9857
+ "epoch": 0.17567430184636318,
9858
+ "grad_norm": 0.1256646364927292,
9859
+ "learning_rate": 2.0415330075166937e-06,
9860
+ "loss": 6.856,
9861
+ "step": 1404
9862
+ },
9863
+ {
9864
+ "epoch": 0.1757994259929774,
9865
+ "grad_norm": 0.058985039591789246,
9866
+ "learning_rate": 1.9993641532913833e-06,
9867
+ "loss": 6.8758,
9868
+ "step": 1405
9869
+ },
9870
+ {
9871
+ "epoch": 0.17592455013959163,
9872
+ "grad_norm": 0.05767710506916046,
9873
+ "learning_rate": 1.9576309673461357e-06,
9874
+ "loss": 6.8717,
9875
+ "step": 1406
9876
+ },
9877
+ {
9878
+ "epoch": 0.17604967428620585,
9879
+ "grad_norm": 0.05004095286130905,
9880
+ "learning_rate": 1.916333635208556e-06,
9881
+ "loss": 6.8659,
9882
+ "step": 1407
9883
+ },
9884
+ {
9885
+ "epoch": 0.17617479843282005,
9886
+ "grad_norm": 0.050979193300008774,
9887
+ "learning_rate": 1.8754723404686425e-06,
9888
+ "loss": 6.8668,
9889
+ "step": 1408
9890
+ },
9891
+ {
9892
+ "epoch": 0.17629992257943428,
9893
+ "grad_norm": 0.05201297625899315,
9894
+ "learning_rate": 1.8350472647780116e-06,
9895
+ "loss": 6.8612,
9896
+ "step": 1409
9897
+ },
9898
+ {
9899
+ "epoch": 0.1764250467260485,
9900
+ "grad_norm": 0.05118010193109512,
9901
+ "learning_rate": 1.7950585878489856e-06,
9902
+ "loss": 6.8596,
9903
+ "step": 1410
9904
+ },
9905
+ {
9906
+ "epoch": 0.17655017087266273,
9907
+ "grad_norm": 0.05477053299546242,
9908
+ "learning_rate": 1.7555064874538397e-06,
9909
+ "loss": 6.8633,
9910
+ "step": 1411
9911
+ },
9912
+ {
9913
+ "epoch": 0.17667529501927695,
9914
+ "grad_norm": 0.05414487421512604,
9915
+ "learning_rate": 1.7163911394240672e-06,
9916
+ "loss": 6.8606,
9917
+ "step": 1412
9918
+ },
9919
+ {
9920
+ "epoch": 0.17680041916589115,
9921
+ "grad_norm": 0.06751760840415955,
9922
+ "learning_rate": 1.6777127176495043e-06,
9923
+ "loss": 6.8593,
9924
+ "step": 1413
9925
+ },
9926
+ {
9927
+ "epoch": 0.17692554331250537,
9928
+ "grad_norm": 0.04939683899283409,
9929
+ "learning_rate": 1.6394713940776296e-06,
9930
+ "loss": 6.8597,
9931
+ "step": 1414
9932
+ },
9933
+ {
9934
+ "epoch": 0.1770506674591196,
9935
+ "grad_norm": 0.05685962736606598,
9936
+ "learning_rate": 1.6016673387127646e-06,
9937
+ "loss": 6.8576,
9938
+ "step": 1415
9939
+ },
9940
+ {
9941
+ "epoch": 0.17717579160573382,
9942
+ "grad_norm": 0.06365666538476944,
9943
+ "learning_rate": 1.5643007196153302e-06,
9944
+ "loss": 6.8557,
9945
+ "step": 1416
9946
+ },
9947
+ {
9948
+ "epoch": 0.17730091575234802,
9949
+ "grad_norm": 0.06001985818147659,
9950
+ "learning_rate": 1.5273717029010925e-06,
9951
+ "loss": 6.8531,
9952
+ "step": 1417
9953
+ },
9954
+ {
9955
+ "epoch": 0.17742603989896225,
9956
+ "grad_norm": 0.06495179235935211,
9957
+ "learning_rate": 1.4908804527404286e-06,
9958
+ "loss": 6.8526,
9959
+ "step": 1418
9960
+ },
9961
+ {
9962
+ "epoch": 0.17755116404557647,
9963
+ "grad_norm": 0.05439097434282303,
9964
+ "learning_rate": 1.4548271313575835e-06,
9965
+ "loss": 6.8549,
9966
+ "step": 1419
9967
+ },
9968
+ {
9969
+ "epoch": 0.1776762881921907,
9970
+ "grad_norm": 0.059629399329423904,
9971
+ "learning_rate": 1.4192118990299707e-06,
9972
+ "loss": 6.8445,
9973
+ "step": 1420
9974
+ },
9975
+ {
9976
+ "epoch": 0.17780141233880492,
9977
+ "grad_norm": 0.04757322743535042,
9978
+ "learning_rate": 1.3840349140874619e-06,
9979
+ "loss": 6.8475,
9980
+ "step": 1421
9981
+ },
9982
+ {
9983
+ "epoch": 0.17792653648541912,
9984
+ "grad_norm": 0.06703180074691772,
9985
+ "learning_rate": 1.3492963329116537e-06,
9986
+ "loss": 6.8473,
9987
+ "step": 1422
9988
+ },
9989
+ {
9990
+ "epoch": 0.17805166063203334,
9991
+ "grad_norm": 0.07519087940454483,
9992
+ "learning_rate": 1.3149963099352014e-06,
9993
+ "loss": 6.8478,
9994
+ "step": 1423
9995
+ },
9996
+ {
9997
+ "epoch": 0.17817678477864757,
9998
+ "grad_norm": 0.0541621595621109,
9999
+ "learning_rate": 1.2811349976411202e-06,
10000
+ "loss": 6.848,
10001
+ "step": 1424
10002
+ },
10003
+ {
10004
+ "epoch": 0.1783019089252618,
10005
+ "grad_norm": 0.058931704610586166,
10006
+ "learning_rate": 1.2477125465620853e-06,
10007
+ "loss": 6.8421,
10008
+ "step": 1425
10009
+ },
10010
+ {
10011
+ "epoch": 0.178427033071876,
10012
+ "grad_norm": 0.059702515602111816,
10013
+ "learning_rate": 1.2147291052798216e-06,
10014
+ "loss": 6.841,
10015
+ "step": 1426
10016
+ },
10017
+ {
10018
+ "epoch": 0.17855215721849022,
10019
+ "grad_norm": 0.056329287588596344,
10020
+ "learning_rate": 1.1821848204243814e-06,
10021
+ "loss": 6.8391,
10022
+ "step": 1427
10023
+ },
10024
+ {
10025
+ "epoch": 0.17867728136510444,
10026
+ "grad_norm": 0.05391077324748039,
10027
+ "learning_rate": 1.1500798366735233e-06,
10028
+ "loss": 6.8406,
10029
+ "step": 1428
10030
+ },
10031
+ {
10032
+ "epoch": 0.17880240551171867,
10033
+ "grad_norm": 0.056805387139320374,
10034
+ "learning_rate": 1.1184142967520794e-06,
10035
+ "loss": 6.8356,
10036
+ "step": 1429
10037
+ },
10038
+ {
10039
+ "epoch": 0.1789275296583329,
10040
+ "grad_norm": 0.05493747815489769,
10041
+ "learning_rate": 1.0871883414312777e-06,
10042
+ "loss": 6.8346,
10043
+ "step": 1430
10044
+ },
10045
+ {
10046
+ "epoch": 0.1790526538049471,
10047
+ "grad_norm": 0.06074679642915726,
10048
+ "learning_rate": 1.0564021095281652e-06,
10049
+ "loss": 6.8354,
10050
+ "step": 1431
10051
+ },
10052
+ {
10053
+ "epoch": 0.1791777779515613,
10054
+ "grad_norm": 0.056792713701725006,
10055
+ "learning_rate": 1.0260557379049519e-06,
10056
+ "loss": 6.8354,
10057
+ "step": 1432
10058
+ },
10059
+ {
10060
+ "epoch": 0.17930290209817554,
10061
+ "grad_norm": 0.05123317986726761,
10062
+ "learning_rate": 9.96149361468457e-07,
10063
+ "loss": 6.8308,
10064
+ "step": 1433
10065
+ },
10066
+ {
10067
+ "epoch": 0.17942802624478976,
10068
+ "grad_norm": 0.06268208473920822,
10069
+ "learning_rate": 9.66683113169431e-07,
10070
+ "loss": 6.8295,
10071
+ "step": 1434
10072
+ },
10073
+ {
10074
+ "epoch": 0.17955315039140396,
10075
+ "grad_norm": 0.06159789115190506,
10076
+ "learning_rate": 9.376571240020227e-07,
10077
+ "loss": 6.8298,
10078
+ "step": 1435
10079
+ },
10080
+ {
10081
+ "epoch": 0.17967827453801818,
10082
+ "grad_norm": 0.07016710937023163,
10083
+ "learning_rate": 9.090715230031688e-07,
10084
+ "loss": 6.8278,
10085
+ "step": 1436
10086
+ },
10087
+ {
10088
+ "epoch": 0.1798033986846324,
10089
+ "grad_norm": 0.07208134979009628,
10090
+ "learning_rate": 8.809264372520609e-07,
10091
+ "loss": 6.8288,
10092
+ "step": 1437
10093
+ },
10094
+ {
10095
+ "epoch": 0.17992852283124663,
10096
+ "grad_norm": 0.06572156399488449,
10097
+ "learning_rate": 8.532219918695128e-07,
10098
+ "loss": 6.8248,
10099
+ "step": 1438
10100
+ },
10101
+ {
10102
+ "epoch": 0.18005364697786086,
10103
+ "grad_norm": 0.06400032341480255,
10104
+ "learning_rate": 8.259583100174606e-07,
10105
+ "loss": 6.8204,
10106
+ "step": 1439
10107
+ },
10108
+ {
10109
+ "epoch": 0.18017877112447506,
10110
+ "grad_norm": 0.0679529458284378,
10111
+ "learning_rate": 7.991355128984079e-07,
10112
+ "loss": 6.8173,
10113
+ "step": 1440
10114
+ },
10115
+ {
10116
+ "epoch": 0.18030389527108928,
10117
+ "grad_norm": 0.07652369886636734,
10118
+ "learning_rate": 7.727537197548707e-07,
10119
+ "loss": 6.8166,
10120
+ "step": 1441
10121
+ },
10122
+ {
10123
+ "epoch": 0.1804290194177035,
10124
+ "grad_norm": 0.08422042429447174,
10125
+ "learning_rate": 7.468130478688218e-07,
10126
+ "loss": 6.8148,
10127
+ "step": 1442
10128
+ },
10129
+ {
10130
+ "epoch": 0.18055414356431773,
10131
+ "grad_norm": 0.08339574187994003,
10132
+ "learning_rate": 7.213136125612586e-07,
10133
+ "loss": 6.8147,
10134
+ "step": 1443
10135
+ },
10136
+ {
10137
+ "epoch": 0.18067926771093193,
10138
+ "grad_norm": 0.08772672712802887,
10139
+ "learning_rate": 6.962555271915805e-07,
10140
+ "loss": 6.8093,
10141
+ "step": 1444
10142
+ },
10143
+ {
10144
+ "epoch": 0.18080439185754615,
10145
+ "grad_norm": 0.08588062971830368,
10146
+ "learning_rate": 6.716389031571568e-07,
10147
+ "loss": 6.8107,
10148
+ "step": 1445
10149
+ },
10150
+ {
10151
+ "epoch": 0.18092951600416038,
10152
+ "grad_norm": 0.10700280219316483,
10153
+ "learning_rate": 6.474638498928265e-07,
10154
+ "loss": 6.8064,
10155
+ "step": 1446
10156
+ },
10157
+ {
10158
+ "epoch": 0.1810546401507746,
10159
+ "grad_norm": 0.07625709474086761,
10160
+ "learning_rate": 6.237304748703543e-07,
10161
+ "loss": 6.7989,
10162
+ "step": 1447
10163
+ },
10164
+ {
10165
+ "epoch": 0.18117976429738883,
10166
+ "grad_norm": 0.12817145884037018,
10167
+ "learning_rate": 6.004388835980423e-07,
10168
+ "loss": 6.7896,
10169
+ "step": 1448
10170
+ },
10171
+ {
10172
+ "epoch": 0.18130488844400303,
10173
+ "grad_norm": 0.09448394179344177,
10174
+ "learning_rate": 5.77589179620186e-07,
10175
+ "loss": 6.7849,
10176
+ "step": 1449
10177
+ },
10178
+ {
10179
+ "epoch": 0.18143001259061725,
10180
+ "grad_norm": 0.14554812014102936,
10181
+ "learning_rate": 5.55181464516652e-07,
10182
+ "loss": 6.7574,
10183
+ "step": 1450
10184
+ },
10185
+ {
10186
+ "epoch": 0.18155513673723148,
10187
+ "grad_norm": 0.10746641457080841,
10188
+ "learning_rate": 5.332158379024122e-07,
10189
+ "loss": 6.8465,
10190
+ "step": 1451
10191
+ },
10192
+ {
10193
+ "epoch": 0.1816802608838457,
10194
+ "grad_norm": 0.10362215340137482,
10195
+ "learning_rate": 5.116923974270993e-07,
10196
+ "loss": 6.8582,
10197
+ "step": 1452
10198
+ },
10199
+ {
10200
+ "epoch": 0.1818053850304599,
10201
+ "grad_norm": 0.08789569139480591,
10202
+ "learning_rate": 4.906112387745965e-07,
10203
+ "loss": 6.8572,
10204
+ "step": 1453
10205
+ },
10206
+ {
10207
+ "epoch": 0.18193050917707412,
10208
+ "grad_norm": 0.09827589988708496,
10209
+ "learning_rate": 4.6997245566257064e-07,
10210
+ "loss": 6.8474,
10211
+ "step": 1454
10212
+ },
10213
+ {
10214
+ "epoch": 0.18205563332368835,
10215
+ "grad_norm": 0.10099496692419052,
10216
+ "learning_rate": 4.497761398421063e-07,
10217
+ "loss": 6.8488,
10218
+ "step": 1455
10219
+ },
10220
+ {
10221
+ "epoch": 0.18218075747030257,
10222
+ "grad_norm": 0.06926746666431427,
10223
+ "learning_rate": 4.3002238109723927e-07,
10224
+ "loss": 6.8615,
10225
+ "step": 1456
10226
+ },
10227
+ {
10228
+ "epoch": 0.1823058816169168,
10229
+ "grad_norm": 0.053934670984745026,
10230
+ "learning_rate": 4.107112672446123e-07,
10231
+ "loss": 6.8683,
10232
+ "step": 1457
10233
+ },
10234
+ {
10235
+ "epoch": 0.182431005763531,
10236
+ "grad_norm": 0.05834341421723366,
10237
+ "learning_rate": 3.9184288413306456e-07,
10238
+ "loss": 6.8636,
10239
+ "step": 1458
10240
+ },
10241
+ {
10242
+ "epoch": 0.18255612991014522,
10243
+ "grad_norm": 0.054404616355895996,
10244
+ "learning_rate": 3.734173156432208e-07,
10245
+ "loss": 6.8559,
10246
+ "step": 1459
10247
+ },
10248
+ {
10249
+ "epoch": 0.18268125405675945,
10250
+ "grad_norm": 0.046236101537942886,
10251
+ "learning_rate": 3.554346436871581e-07,
10252
+ "loss": 6.8672,
10253
+ "step": 1460
10254
+ },
10255
+ {
10256
+ "epoch": 0.18280637820337367,
10257
+ "grad_norm": 0.053519781678915024,
10258
+ "learning_rate": 3.3789494820803957e-07,
10259
+ "loss": 6.8624,
10260
+ "step": 1461
10261
+ },
10262
+ {
10263
+ "epoch": 0.18293150234998787,
10264
+ "grad_norm": 0.05783402919769287,
10265
+ "learning_rate": 3.2079830717972606e-07,
10266
+ "loss": 6.8568,
10267
+ "step": 1462
10268
+ },
10269
+ {
10270
+ "epoch": 0.1830566264966021,
10271
+ "grad_norm": 0.05109785124659538,
10272
+ "learning_rate": 3.041447966064648e-07,
10273
+ "loss": 6.8628,
10274
+ "step": 1463
10275
+ },
10276
+ {
10277
+ "epoch": 0.18318175064321632,
10278
+ "grad_norm": 0.05525349825620651,
10279
+ "learning_rate": 2.8793449052254563e-07,
10280
+ "loss": 6.8621,
10281
+ "step": 1464
10282
+ },
10283
+ {
10284
+ "epoch": 0.18330687478983054,
10285
+ "grad_norm": 0.058113943785429,
10286
+ "learning_rate": 2.721674609919345e-07,
10287
+ "loss": 6.8567,
10288
+ "step": 1465
10289
+ },
10290
+ {
10291
+ "epoch": 0.18343199893644474,
10292
+ "grad_norm": 0.054108813405036926,
10293
+ "learning_rate": 2.568437781080069e-07,
10294
+ "loss": 6.8559,
10295
+ "step": 1466
10296
+ },
10297
+ {
10298
+ "epoch": 0.18355712308305897,
10299
+ "grad_norm": 0.059466779232025146,
10300
+ "learning_rate": 2.4196350999320384e-07,
10301
+ "loss": 6.8578,
10302
+ "step": 1467
10303
+ },
10304
+ {
10305
+ "epoch": 0.1836822472296732,
10306
+ "grad_norm": 0.05075949430465698,
10307
+ "learning_rate": 2.275267227987321e-07,
10308
+ "loss": 6.8509,
10309
+ "step": 1468
10310
+ },
10311
+ {
10312
+ "epoch": 0.18380737137628742,
10313
+ "grad_norm": 0.05008383467793465,
10314
+ "learning_rate": 2.135334807042866e-07,
10315
+ "loss": 6.8546,
10316
+ "step": 1469
10317
+ },
10318
+ {
10319
+ "epoch": 0.18393249552290164,
10320
+ "grad_norm": 0.056943994015455246,
10321
+ "learning_rate": 1.9998384591773944e-07,
10322
+ "loss": 6.8515,
10323
+ "step": 1470
10324
+ },
10325
+ {
10326
+ "epoch": 0.18405761966951584,
10327
+ "grad_norm": 0.05193135887384415,
10328
+ "learning_rate": 1.8687787867489592e-07,
10329
+ "loss": 6.8491,
10330
+ "step": 1471
10331
+ },
10332
+ {
10333
+ "epoch": 0.18418274381613006,
10334
+ "grad_norm": 0.059180911630392075,
10335
+ "learning_rate": 1.7421563723919454e-07,
10336
+ "loss": 6.8451,
10337
+ "step": 1472
10338
+ },
10339
+ {
10340
+ "epoch": 0.1843078679627443,
10341
+ "grad_norm": 0.05493330582976341,
10342
+ "learning_rate": 1.6199717790145174e-07,
10343
+ "loss": 6.8475,
10344
+ "step": 1473
10345
+ },
10346
+ {
10347
+ "epoch": 0.1844329921093585,
10348
+ "grad_norm": 0.05605136230587959,
10349
+ "learning_rate": 1.5022255497962879e-07,
10350
+ "loss": 6.8458,
10351
+ "step": 1474
10352
+ },
10353
+ {
10354
+ "epoch": 0.1845581162559727,
10355
+ "grad_norm": 0.053757090121507645,
10356
+ "learning_rate": 1.3889182081860962e-07,
10357
+ "loss": 6.843,
10358
+ "step": 1475
10359
+ },
10360
+ {
10361
+ "epoch": 0.18468324040258693,
10362
+ "grad_norm": 0.05816550552845001,
10363
+ "learning_rate": 1.2800502578991235e-07,
10364
+ "loss": 6.8402,
10365
+ "step": 1476
10366
+ },
10367
+ {
10368
+ "epoch": 0.18480836454920116,
10369
+ "grad_norm": 0.04979588836431503,
10370
+ "learning_rate": 1.1756221829148928e-07,
10371
+ "loss": 6.8432,
10372
+ "step": 1477
10373
+ },
10374
+ {
10375
+ "epoch": 0.18493348869581538,
10376
+ "grad_norm": 0.05705437809228897,
10377
+ "learning_rate": 1.0756344474753821e-07,
10378
+ "loss": 6.836,
10379
+ "step": 1478
10380
+ },
10381
+ {
10382
+ "epoch": 0.1850586128424296,
10383
+ "grad_norm": 0.06499331444501877,
10384
+ "learning_rate": 9.800874960826933e-08,
10385
+ "loss": 6.8347,
10386
+ "step": 1479
10387
+ },
10388
+ {
10389
+ "epoch": 0.1851837369890438,
10390
+ "grad_norm": 0.052779845893383026,
10391
+ "learning_rate": 8.889817534969425e-08,
10392
+ "loss": 6.8363,
10393
+ "step": 1480
10394
+ },
10395
+ {
10396
+ "epoch": 0.18530886113565803,
10397
+ "grad_norm": 0.05613570287823677,
10398
+ "learning_rate": 8.023176247348163e-08,
10399
+ "loss": 6.8341,
10400
+ "step": 1481
10401
+ },
10402
+ {
10403
+ "epoch": 0.18543398528227226,
10404
+ "grad_norm": 0.06078937277197838,
10405
+ "learning_rate": 7.200954950673522e-08,
10406
+ "loss": 6.839,
10407
+ "step": 1482
10408
+ },
10409
+ {
10410
+ "epoch": 0.18555910942888648,
10411
+ "grad_norm": 0.05623992532491684,
10412
+ "learning_rate": 6.423157300184946e-08,
10413
+ "loss": 6.8335,
10414
+ "step": 1483
10415
+ },
10416
+ {
10417
+ "epoch": 0.18568423357550068,
10418
+ "grad_norm": 0.04787232354283333,
10419
+ "learning_rate": 5.6897867536331864e-08,
10420
+ "loss": 6.8278,
10421
+ "step": 1484
10422
+ },
10423
+ {
10424
+ "epoch": 0.1858093577221149,
10425
+ "grad_norm": 0.061891939491033554,
10426
+ "learning_rate": 5.000846571264761e-08,
10427
+ "loss": 6.8347,
10428
+ "step": 1485
10429
+ },
10430
+ {
10431
+ "epoch": 0.18593448186872913,
10432
+ "grad_norm": 0.06739771366119385,
10433
+ "learning_rate": 4.35633981580974e-08,
10434
+ "loss": 6.8218,
10435
+ "step": 1486
10436
+ },
10437
+ {
10438
+ "epoch": 0.18605960601534335,
10439
+ "grad_norm": 0.06384280323982239,
10440
+ "learning_rate": 3.756269352462871e-08,
10441
+ "loss": 6.8237,
10442
+ "step": 1487
10443
+ },
10444
+ {
10445
+ "epoch": 0.18618473016195758,
10446
+ "grad_norm": 0.06037496030330658,
10447
+ "learning_rate": 3.20063784888025e-08,
10448
+ "loss": 6.8251,
10449
+ "step": 1488
10450
+ },
10451
+ {
10452
+ "epoch": 0.18630985430857178,
10453
+ "grad_norm": 0.06595481932163239,
10454
+ "learning_rate": 2.6894477751548964e-08,
10455
+ "loss": 6.822,
10456
+ "step": 1489
10457
+ },
10458
+ {
10459
+ "epoch": 0.186434978455186,
10460
+ "grad_norm": 0.06832300871610641,
10461
+ "learning_rate": 2.222701403818972e-08,
10462
+ "loss": 6.822,
10463
+ "step": 1490
10464
+ },
10465
+ {
10466
+ "epoch": 0.18656010260180023,
10467
+ "grad_norm": 0.0702512115240097,
10468
+ "learning_rate": 1.8004008098226887e-08,
10469
+ "loss": 6.82,
10470
+ "step": 1491
10471
+ },
10472
+ {
10473
+ "epoch": 0.18668522674841445,
10474
+ "grad_norm": 0.06402243673801422,
10475
+ "learning_rate": 1.4225478705309769e-08,
10476
+ "loss": 6.8174,
10477
+ "step": 1492
10478
+ },
10479
+ {
10480
+ "epoch": 0.18681035089502865,
10481
+ "grad_norm": 0.07588471472263336,
10482
+ "learning_rate": 1.0891442657134932e-08,
10483
+ "loss": 6.8137,
10484
+ "step": 1493
10485
+ },
10486
+ {
10487
+ "epoch": 0.18693547504164287,
10488
+ "grad_norm": 0.07471845299005508,
10489
+ "learning_rate": 8.001914775401798e-09,
10490
+ "loss": 6.8135,
10491
+ "step": 1494
10492
+ },
10493
+ {
10494
+ "epoch": 0.1870605991882571,
10495
+ "grad_norm": 0.10632038116455078,
10496
+ "learning_rate": 5.5569079056794206e-09,
10497
+ "loss": 6.8137,
10498
+ "step": 1495
10499
+ },
10500
+ {
10501
+ "epoch": 0.18718572333487132,
10502
+ "grad_norm": 0.0800660252571106,
10503
+ "learning_rate": 3.5564329174064824e-09,
10504
+ "loss": 6.8013,
10505
+ "step": 1496
10506
+ },
10507
+ {
10508
+ "epoch": 0.18731084748148555,
10509
+ "grad_norm": 0.08418132364749908,
10510
+ "learning_rate": 2.0004987038246824e-09,
10511
+ "loss": 6.802,
10512
+ "step": 1497
10513
+ },
10514
+ {
10515
+ "epoch": 0.18743597162809975,
10516
+ "grad_norm": 0.08943944424390793,
10517
+ "learning_rate": 8.891121819565306e-10,
10518
+ "loss": 6.7891,
10519
+ "step": 1498
10520
+ },
10521
+ {
10522
+ "epoch": 0.18756109577471397,
10523
+ "grad_norm": 0.15149299800395966,
10524
+ "learning_rate": 2.2227829252763344e-10,
10525
+ "loss": 6.7772,
10526
+ "step": 1499
10527
+ },
10528
+ {
10529
+ "epoch": 0.1876862199213282,
10530
+ "grad_norm": 0.1595006287097931,
10531
+ "learning_rate": 0.0,
10532
+ "loss": 6.7472,
10533
+ "step": 1500
10534
+ },
10535
+ {
10536
+ "epoch": 0.1876862199213282,
10537
+ "eval_loss": 6.83489465713501,
10538
+ "eval_runtime": 31.2539,
10539
+ "eval_samples_per_second": 430.698,
10540
+ "eval_steps_per_second": 215.365,
10541
+ "step": 1500
10542
  }
10543
  ],
10544
  "logging_steps": 1,
 
10553
  "should_evaluate": false,
10554
  "should_log": false,
10555
  "should_save": true,
10556
+ "should_training_stop": true
10557
  },
10558
  "attributes": {}
10559
  }
10560
  },
10561
+ "total_flos": 16322907451392.0,
10562
  "train_batch_size": 2,
10563
  "trial_name": null,
10564
  "trial_params": null