{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 864,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.003472222222222222,
      "grad_norm": 9.143418312072754,
      "learning_rate": 1.9230769230769234e-07,
      "loss": 0.4412,
      "step": 1
    },
    {
      "epoch": 0.006944444444444444,
      "grad_norm": 5.692189693450928,
      "learning_rate": 3.846153846153847e-07,
      "loss": 0.3612,
      "step": 2
    },
    {
      "epoch": 0.010416666666666666,
      "grad_norm": 8.714964866638184,
      "learning_rate": 5.76923076923077e-07,
      "loss": 0.4317,
      "step": 3
    },
    {
      "epoch": 0.013888888888888888,
      "grad_norm": 6.462607383728027,
      "learning_rate": 7.692307692307694e-07,
      "loss": 0.3863,
      "step": 4
    },
    {
      "epoch": 0.017361111111111112,
      "grad_norm": 6.752634525299072,
      "learning_rate": 9.615384615384617e-07,
      "loss": 0.3942,
      "step": 5
    },
    {
      "epoch": 0.020833333333333332,
      "grad_norm": 5.007726192474365,
      "learning_rate": 1.153846153846154e-06,
      "loss": 0.3527,
      "step": 6
    },
    {
      "epoch": 0.024305555555555556,
      "grad_norm": 10.097623825073242,
      "learning_rate": 1.3461538461538462e-06,
      "loss": 0.4375,
      "step": 7
    },
    {
      "epoch": 0.027777777777777776,
      "grad_norm": 5.444087982177734,
      "learning_rate": 1.5384615384615387e-06,
      "loss": 0.3295,
      "step": 8
    },
    {
      "epoch": 0.03125,
      "grad_norm": 5.880770683288574,
      "learning_rate": 1.7307692307692308e-06,
      "loss": 0.342,
      "step": 9
    },
    {
      "epoch": 0.034722222222222224,
      "grad_norm": 5.850656986236572,
      "learning_rate": 1.9230769230769234e-06,
      "loss": 0.3204,
      "step": 10
    },
    {
      "epoch": 0.03819444444444445,
      "grad_norm": 2.3554506301879883,
      "learning_rate": 2.1153846153846155e-06,
      "loss": 0.2392,
      "step": 11
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 2.3278982639312744,
      "learning_rate": 2.307692307692308e-06,
      "loss": 0.2406,
      "step": 12
    },
    {
      "epoch": 0.04513888888888889,
      "grad_norm": 2.1902029514312744,
      "learning_rate": 2.5e-06,
      "loss": 0.221,
      "step": 13
    },
    {
      "epoch": 0.04861111111111111,
      "grad_norm": 1.8376996517181396,
      "learning_rate": 2.6923076923076923e-06,
      "loss": 0.2044,
      "step": 14
    },
    {
      "epoch": 0.052083333333333336,
      "grad_norm": 1.3121569156646729,
      "learning_rate": 2.8846153846153845e-06,
      "loss": 0.1636,
      "step": 15
    },
    {
      "epoch": 0.05555555555555555,
      "grad_norm": 1.1748747825622559,
      "learning_rate": 3.0769230769230774e-06,
      "loss": 0.1611,
      "step": 16
    },
    {
      "epoch": 0.059027777777777776,
      "grad_norm": 4.9017252922058105,
      "learning_rate": 3.2692307692307696e-06,
      "loss": 0.1529,
      "step": 17
    },
    {
      "epoch": 0.0625,
      "grad_norm": 1.0161631107330322,
      "learning_rate": 3.4615384615384617e-06,
      "loss": 0.1438,
      "step": 18
    },
    {
      "epoch": 0.06597222222222222,
      "grad_norm": 1.0789623260498047,
      "learning_rate": 3.653846153846154e-06,
      "loss": 0.1376,
      "step": 19
    },
    {
      "epoch": 0.06944444444444445,
      "grad_norm": 1.0161643028259277,
      "learning_rate": 3.846153846153847e-06,
      "loss": 0.1201,
      "step": 20
    },
    {
      "epoch": 0.07291666666666667,
      "grad_norm": 0.8355692625045776,
      "learning_rate": 4.0384615384615385e-06,
      "loss": 0.1141,
      "step": 21
    },
    {
      "epoch": 0.0763888888888889,
      "grad_norm": 0.8423459529876709,
      "learning_rate": 4.230769230769231e-06,
      "loss": 0.1093,
      "step": 22
    },
    {
      "epoch": 0.0798611111111111,
      "grad_norm": 0.6619585752487183,
      "learning_rate": 4.423076923076924e-06,
      "loss": 0.1012,
      "step": 23
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 0.6417743563652039,
      "learning_rate": 4.615384615384616e-06,
      "loss": 0.0994,
      "step": 24
    },
    {
      "epoch": 0.08680555555555555,
      "grad_norm": 1.0830308198928833,
      "learning_rate": 4.807692307692308e-06,
      "loss": 0.0986,
      "step": 25
    },
    {
      "epoch": 0.09027777777777778,
      "grad_norm": 0.5724624395370483,
      "learning_rate": 5e-06,
      "loss": 0.095,
      "step": 26
    },
    {
      "epoch": 0.09375,
      "grad_norm": 0.6061978936195374,
      "learning_rate": 4.999982432044913e-06,
      "loss": 0.0952,
      "step": 27
    },
    {
      "epoch": 0.09722222222222222,
      "grad_norm": 0.521072268486023,
      "learning_rate": 4.999929728426558e-06,
      "loss": 0.0879,
      "step": 28
    },
    {
      "epoch": 0.10069444444444445,
      "grad_norm": 0.47806334495544434,
      "learning_rate": 4.999841889885651e-06,
      "loss": 0.0858,
      "step": 29
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 0.3314768671989441,
      "learning_rate": 4.999718917656705e-06,
      "loss": 0.0843,
      "step": 30
    },
    {
      "epoch": 0.1076388888888889,
      "grad_norm": 0.38829582929611206,
      "learning_rate": 4.999560813468019e-06,
      "loss": 0.0822,
      "step": 31
    },
    {
      "epoch": 0.1111111111111111,
      "grad_norm": 0.3185882866382599,
      "learning_rate": 4.999367579541647e-06,
      "loss": 0.0778,
      "step": 32
    },
    {
      "epoch": 0.11458333333333333,
      "grad_norm": 0.6252641081809998,
      "learning_rate": 4.999139218593367e-06,
      "loss": 0.0806,
      "step": 33
    },
    {
      "epoch": 0.11805555555555555,
      "grad_norm": 0.3952082395553589,
      "learning_rate": 4.9988757338326474e-06,
      "loss": 0.0777,
      "step": 34
    },
    {
      "epoch": 0.12152777777777778,
      "grad_norm": 0.40102440118789673,
      "learning_rate": 4.9985771289625995e-06,
      "loss": 0.0775,
      "step": 35
    },
    {
      "epoch": 0.125,
      "grad_norm": 0.25240015983581543,
      "learning_rate": 4.998243408179926e-06,
      "loss": 0.0743,
      "step": 36
    },
    {
      "epoch": 0.1284722222222222,
      "grad_norm": 0.264276385307312,
      "learning_rate": 4.997874576174857e-06,
      "loss": 0.0715,
      "step": 37
    },
    {
      "epoch": 0.13194444444444445,
      "grad_norm": 0.573332667350769,
      "learning_rate": 4.997470638131094e-06,
      "loss": 0.0723,
      "step": 38
    },
    {
      "epoch": 0.13541666666666666,
      "grad_norm": 0.24950316548347473,
      "learning_rate": 4.99703159972573e-06,
      "loss": 0.0712,
      "step": 39
    },
    {
      "epoch": 0.1388888888888889,
      "grad_norm": 0.3155728578567505,
      "learning_rate": 4.99655746712917e-06,
      "loss": 0.0712,
      "step": 40
    },
    {
      "epoch": 0.1423611111111111,
      "grad_norm": 0.2202472686767578,
      "learning_rate": 4.996048247005045e-06,
      "loss": 0.0691,
      "step": 41
    },
    {
      "epoch": 0.14583333333333334,
      "grad_norm": 0.1996021568775177,
      "learning_rate": 4.995503946510121e-06,
      "loss": 0.0683,
      "step": 42
    },
    {
      "epoch": 0.14930555555555555,
      "grad_norm": 0.18836352229118347,
      "learning_rate": 4.994924573294195e-06,
      "loss": 0.0685,
      "step": 43
    },
    {
      "epoch": 0.1527777777777778,
      "grad_norm": 0.23543813824653625,
      "learning_rate": 4.99431013549999e-06,
      "loss": 0.0671,
      "step": 44
    },
    {
      "epoch": 0.15625,
      "grad_norm": 0.1790906935930252,
      "learning_rate": 4.993660641763036e-06,
      "loss": 0.065,
      "step": 45
    },
    {
      "epoch": 0.1597222222222222,
      "grad_norm": 0.1717810034751892,
      "learning_rate": 4.992976101211558e-06,
      "loss": 0.0656,
      "step": 46
    },
    {
      "epoch": 0.16319444444444445,
      "grad_norm": 0.1621074676513672,
      "learning_rate": 4.992256523466335e-06,
      "loss": 0.0632,
      "step": 47
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.20394158363342285,
      "learning_rate": 4.991501918640576e-06,
      "loss": 0.0651,
      "step": 48
    },
    {
      "epoch": 0.1701388888888889,
      "grad_norm": 0.21701334416866302,
      "learning_rate": 4.990712297339772e-06,
      "loss": 0.0644,
      "step": 49
    },
    {
      "epoch": 0.1736111111111111,
      "grad_norm": 0.17352674901485443,
      "learning_rate": 4.989887670661549e-06,
      "loss": 0.0652,
      "step": 50
    },
    {
      "epoch": 0.17708333333333334,
      "grad_norm": 0.16254101693630219,
      "learning_rate": 4.989028050195509e-06,
      "loss": 0.0638,
      "step": 51
    },
    {
      "epoch": 0.18055555555555555,
      "grad_norm": 0.19063079357147217,
      "learning_rate": 4.988133448023071e-06,
      "loss": 0.0652,
      "step": 52
    },
    {
      "epoch": 0.1840277777777778,
      "grad_norm": 0.1698583960533142,
      "learning_rate": 4.987203876717302e-06,
      "loss": 0.0617,
      "step": 53
    },
    {
      "epoch": 0.1875,
      "grad_norm": 1.1894266605377197,
      "learning_rate": 4.986239349342732e-06,
      "loss": 0.0673,
      "step": 54
    },
    {
      "epoch": 0.1909722222222222,
      "grad_norm": 0.18656675517559052,
      "learning_rate": 4.9852398794551824e-06,
      "loss": 0.0637,
      "step": 55
    },
    {
      "epoch": 0.19444444444444445,
      "grad_norm": 0.17882826924324036,
      "learning_rate": 4.9842054811015655e-06,
      "loss": 0.0608,
      "step": 56
    },
    {
      "epoch": 0.19791666666666666,
      "grad_norm": 0.22528418898582458,
      "learning_rate": 4.983136168819693e-06,
      "loss": 0.0606,
      "step": 57
    },
    {
      "epoch": 0.2013888888888889,
      "grad_norm": 0.17503120005130768,
      "learning_rate": 4.9820319576380704e-06,
      "loss": 0.0601,
      "step": 58
    },
    {
      "epoch": 0.2048611111111111,
      "grad_norm": 0.218691885471344,
      "learning_rate": 4.980892863075682e-06,
      "loss": 0.0594,
      "step": 59
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 0.16857214272022247,
      "learning_rate": 4.979718901141776e-06,
      "loss": 0.0591,
      "step": 60
    },
    {
      "epoch": 0.21180555555555555,
      "grad_norm": 0.14156892895698547,
      "learning_rate": 4.9785100883356445e-06,
      "loss": 0.0589,
      "step": 61
    },
    {
      "epoch": 0.2152777777777778,
      "grad_norm": 0.13165761530399323,
      "learning_rate": 4.9772664416463805e-06,
      "loss": 0.0599,
      "step": 62
    },
    {
      "epoch": 0.21875,
      "grad_norm": 0.17925940454006195,
      "learning_rate": 4.975987978552646e-06,
      "loss": 0.0582,
      "step": 63
    },
    {
      "epoch": 0.2222222222222222,
      "grad_norm": 0.13385337591171265,
      "learning_rate": 4.974674717022431e-06,
      "loss": 0.0581,
      "step": 64
    },
    {
      "epoch": 0.22569444444444445,
      "grad_norm": 0.1276213824748993,
      "learning_rate": 4.973326675512788e-06,
      "loss": 0.058,
      "step": 65
    },
    {
      "epoch": 0.22916666666666666,
      "grad_norm": 0.14453844726085663,
      "learning_rate": 4.971943872969582e-06,
      "loss": 0.0577,
      "step": 66
    },
    {
      "epoch": 0.2326388888888889,
      "grad_norm": 0.1398511379957199,
      "learning_rate": 4.970526328827227e-06,
      "loss": 0.0563,
      "step": 67
    },
    {
      "epoch": 0.2361111111111111,
      "grad_norm": 0.1347368359565735,
      "learning_rate": 4.969074063008403e-06,
      "loss": 0.0575,
      "step": 68
    },
    {
      "epoch": 0.23958333333333334,
      "grad_norm": 0.33030328154563904,
      "learning_rate": 4.96758709592378e-06,
      "loss": 0.0568,
      "step": 69
    },
    {
      "epoch": 0.24305555555555555,
      "grad_norm": 0.10682626813650131,
      "learning_rate": 4.966065448471739e-06,
      "loss": 0.0541,
      "step": 70
    },
    {
      "epoch": 0.2465277777777778,
      "grad_norm": 0.1803036779165268,
      "learning_rate": 4.964509142038064e-06,
      "loss": 0.055,
      "step": 71
    },
    {
      "epoch": 0.25,
      "grad_norm": 0.1318272054195404,
      "learning_rate": 4.9629181984956546e-06,
      "loss": 0.0546,
      "step": 72
    },
    {
      "epoch": 0.2534722222222222,
      "grad_norm": 0.13011488318443298,
      "learning_rate": 4.9612926402042084e-06,
      "loss": 0.0558,
      "step": 73
    },
    {
      "epoch": 0.2569444444444444,
      "grad_norm": 0.12468533962965012,
      "learning_rate": 4.959632490009914e-06,
      "loss": 0.0544,
      "step": 74
    },
    {
      "epoch": 0.2604166666666667,
      "grad_norm": 0.15634964406490326,
      "learning_rate": 4.957937771245128e-06,
      "loss": 0.0556,
      "step": 75
    },
    {
      "epoch": 0.2638888888888889,
      "grad_norm": 0.3014536499977112,
      "learning_rate": 4.956208507728044e-06,
      "loss": 0.0561,
      "step": 76
    },
    {
      "epoch": 0.2673611111111111,
      "grad_norm": 0.13210470974445343,
      "learning_rate": 4.954444723762362e-06,
      "loss": 0.0548,
      "step": 77
    },
    {
      "epoch": 0.2708333333333333,
      "grad_norm": 0.26827508211135864,
      "learning_rate": 4.952646444136942e-06,
      "loss": 0.0551,
      "step": 78
    },
    {
      "epoch": 0.2743055555555556,
      "grad_norm": 0.3850822448730469,
      "learning_rate": 4.950813694125462e-06,
      "loss": 0.0546,
      "step": 79
    },
    {
      "epoch": 0.2777777777777778,
      "grad_norm": 0.13222765922546387,
      "learning_rate": 4.948946499486057e-06,
      "loss": 0.0542,
      "step": 80
    },
    {
      "epoch": 0.28125,
      "grad_norm": 0.15266184508800507,
      "learning_rate": 4.94704488646096e-06,
      "loss": 0.0537,
      "step": 81
    },
    {
      "epoch": 0.2847222222222222,
      "grad_norm": 0.18932130932807922,
      "learning_rate": 4.945108881776135e-06,
      "loss": 0.0518,
      "step": 82
    },
    {
      "epoch": 0.2881944444444444,
      "grad_norm": 0.1857946515083313,
      "learning_rate": 4.943138512640895e-06,
      "loss": 0.052,
      "step": 83
    },
    {
      "epoch": 0.2916666666666667,
      "grad_norm": 0.18193677067756653,
      "learning_rate": 4.941133806747524e-06,
      "loss": 0.0546,
      "step": 84
    },
    {
      "epoch": 0.2951388888888889,
      "grad_norm": 0.15722572803497314,
      "learning_rate": 4.939094792270892e-06,
      "loss": 0.0525,
      "step": 85
    },
    {
      "epoch": 0.2986111111111111,
      "grad_norm": 0.14119955897331238,
      "learning_rate": 4.937021497868048e-06,
      "loss": 0.0536,
      "step": 86
    },
    {
      "epoch": 0.3020833333333333,
      "grad_norm": 0.24204914271831512,
      "learning_rate": 4.934913952677827e-06,
      "loss": 0.0521,
      "step": 87
    },
    {
      "epoch": 0.3055555555555556,
      "grad_norm": 0.1372714340686798,
      "learning_rate": 4.932772186320436e-06,
      "loss": 0.0512,
      "step": 88
    },
    {
      "epoch": 0.3090277777777778,
      "grad_norm": 0.2498633712530136,
      "learning_rate": 4.9305962288970385e-06,
      "loss": 0.0529,
      "step": 89
    },
    {
      "epoch": 0.3125,
      "grad_norm": 0.11306985467672348,
      "learning_rate": 4.928386110989335e-06,
      "loss": 0.0505,
      "step": 90
    },
    {
      "epoch": 0.3159722222222222,
      "grad_norm": 0.12442992627620697,
      "learning_rate": 4.9261418636591255e-06,
      "loss": 0.0503,
      "step": 91
    },
    {
      "epoch": 0.3194444444444444,
      "grad_norm": 0.13168303668498993,
      "learning_rate": 4.923863518447879e-06,
      "loss": 0.0541,
      "step": 92
    },
    {
      "epoch": 0.3229166666666667,
      "grad_norm": 0.1564704328775406,
      "learning_rate": 4.921551107376289e-06,
      "loss": 0.052,
      "step": 93
    },
    {
      "epoch": 0.3263888888888889,
      "grad_norm": 0.11406940966844559,
      "learning_rate": 4.919204662943821e-06,
      "loss": 0.0502,
      "step": 94
    },
    {
      "epoch": 0.3298611111111111,
      "grad_norm": 0.34039613604545593,
      "learning_rate": 4.9168242181282624e-06,
      "loss": 0.052,
      "step": 95
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.14278586208820343,
      "learning_rate": 4.9144098063852485e-06,
      "loss": 0.0488,
      "step": 96
    },
    {
      "epoch": 0.3368055555555556,
      "grad_norm": 0.15891773998737335,
      "learning_rate": 4.911961461647803e-06,
      "loss": 0.0492,
      "step": 97
    },
    {
      "epoch": 0.3402777777777778,
      "grad_norm": 0.1540294736623764,
      "learning_rate": 4.909479218325852e-06,
      "loss": 0.0494,
      "step": 98
    },
    {
      "epoch": 0.34375,
      "grad_norm": 0.12617278099060059,
      "learning_rate": 4.906963111305748e-06,
      "loss": 0.0487,
      "step": 99
    },
    {
      "epoch": 0.3472222222222222,
      "grad_norm": 0.12190888822078705,
      "learning_rate": 4.9044131759497755e-06,
      "loss": 0.0492,
      "step": 100
    },
    {
      "epoch": 0.3506944444444444,
      "grad_norm": 0.13582740724086761,
      "learning_rate": 4.901829448095655e-06,
      "loss": 0.0498,
      "step": 101
    },
    {
      "epoch": 0.3541666666666667,
      "grad_norm": 0.371078759431839,
      "learning_rate": 4.899211964056036e-06,
      "loss": 0.0505,
      "step": 102
    },
    {
      "epoch": 0.3576388888888889,
      "grad_norm": 0.3527744710445404,
      "learning_rate": 4.896560760617994e-06,
      "loss": 0.0512,
      "step": 103
    },
    {
      "epoch": 0.3611111111111111,
      "grad_norm": 0.11283187568187714,
      "learning_rate": 4.893875875042507e-06,
      "loss": 0.0492,
      "step": 104
    },
    {
      "epoch": 0.3645833333333333,
      "grad_norm": 0.15902937948703766,
      "learning_rate": 4.891157345063934e-06,
      "loss": 0.0485,
      "step": 105
    },
    {
      "epoch": 0.3680555555555556,
      "grad_norm": 0.11751257628202438,
      "learning_rate": 4.888405208889485e-06,
      "loss": 0.0473,
      "step": 106
    },
    {
      "epoch": 0.3715277777777778,
      "grad_norm": 0.1548757553100586,
      "learning_rate": 4.885619505198685e-06,
      "loss": 0.0496,
      "step": 107
    },
    {
      "epoch": 0.375,
      "grad_norm": 0.13453996181488037,
      "learning_rate": 4.882800273142827e-06,
      "loss": 0.0481,
      "step": 108
    },
    {
      "epoch": 0.3784722222222222,
      "grad_norm": 0.11562646925449371,
      "learning_rate": 4.879947552344424e-06,
      "loss": 0.0479,
      "step": 109
    },
    {
      "epoch": 0.3819444444444444,
      "grad_norm": 0.16978201270103455,
      "learning_rate": 4.877061382896653e-06,
      "loss": 0.048,
      "step": 110
    },
    {
      "epoch": 0.3854166666666667,
      "grad_norm": 0.1370890736579895,
      "learning_rate": 4.8741418053627905e-06,
      "loss": 0.0469,
      "step": 111
    },
    {
      "epoch": 0.3888888888888889,
      "grad_norm": 0.13058441877365112,
      "learning_rate": 4.871188860775643e-06,
      "loss": 0.0478,
      "step": 112
    },
    {
      "epoch": 0.3923611111111111,
      "grad_norm": 0.2263036072254181,
      "learning_rate": 4.868202590636968e-06,
      "loss": 0.0464,
      "step": 113
    },
    {
      "epoch": 0.3958333333333333,
      "grad_norm": 0.13786663115024567,
      "learning_rate": 4.865183036916892e-06,
      "loss": 0.0479,
      "step": 114
    },
    {
      "epoch": 0.3993055555555556,
      "grad_norm": 0.14342691004276276,
      "learning_rate": 4.862130242053325e-06,
      "loss": 0.0475,
      "step": 115
    },
    {
      "epoch": 0.4027777777777778,
      "grad_norm": 0.16943736374378204,
      "learning_rate": 4.859044248951354e-06,
      "loss": 0.0479,
      "step": 116
    },
    {
      "epoch": 0.40625,
      "grad_norm": 0.2079457938671112,
      "learning_rate": 4.855925100982653e-06,
      "loss": 0.0479,
      "step": 117
    },
    {
      "epoch": 0.4097222222222222,
      "grad_norm": 0.33455783128738403,
      "learning_rate": 4.852772841984861e-06,
      "loss": 0.0481,
      "step": 118
    },
    {
      "epoch": 0.4131944444444444,
      "grad_norm": 0.1484152376651764,
      "learning_rate": 4.849587516260974e-06,
      "loss": 0.0463,
      "step": 119
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 0.26041239500045776,
      "learning_rate": 4.846369168578721e-06,
      "loss": 0.0473,
      "step": 120
    },
    {
      "epoch": 0.4201388888888889,
      "grad_norm": 0.18461398780345917,
      "learning_rate": 4.8431178441699286e-06,
      "loss": 0.0472,
      "step": 121
    },
    {
      "epoch": 0.4236111111111111,
      "grad_norm": 0.1678476333618164,
      "learning_rate": 4.839833588729897e-06,
      "loss": 0.0474,
      "step": 122
    },
    {
      "epoch": 0.4270833333333333,
      "grad_norm": 0.18165849149227142,
      "learning_rate": 4.836516448416747e-06,
      "loss": 0.0462,
      "step": 123
    },
    {
      "epoch": 0.4305555555555556,
      "grad_norm": 0.16049925982952118,
      "learning_rate": 4.833166469850775e-06,
      "loss": 0.0456,
      "step": 124
    },
    {
      "epoch": 0.4340277777777778,
      "grad_norm": 0.21575939655303955,
      "learning_rate": 4.8297837001138e-06,
      "loss": 0.0477,
      "step": 125
    },
    {
      "epoch": 0.4375,
      "grad_norm": 0.22125618159770966,
      "learning_rate": 4.826368186748501e-06,
      "loss": 0.0504,
      "step": 126
    },
    {
      "epoch": 0.4409722222222222,
      "grad_norm": 0.17737671732902527,
      "learning_rate": 4.822919977757744e-06,
      "loss": 0.0467,
      "step": 127
    },
    {
      "epoch": 0.4444444444444444,
      "grad_norm": 0.18350781500339508,
      "learning_rate": 4.819439121603915e-06,
      "loss": 0.0458,
      "step": 128
    },
    {
      "epoch": 0.4479166666666667,
      "grad_norm": 0.14949235320091248,
      "learning_rate": 4.815925667208234e-06,
      "loss": 0.0474,
      "step": 129
    },
    {
      "epoch": 0.4513888888888889,
      "grad_norm": 0.1304091513156891,
      "learning_rate": 4.8123796639500655e-06,
      "loss": 0.0475,
      "step": 130
    },
    {
      "epoch": 0.4548611111111111,
      "grad_norm": 0.23221689462661743,
      "learning_rate": 4.808801161666234e-06,
      "loss": 0.0473,
      "step": 131
    },
    {
      "epoch": 0.4583333333333333,
      "grad_norm": 0.16750171780586243,
      "learning_rate": 4.805190210650311e-06,
      "loss": 0.047,
      "step": 132
    },
    {
      "epoch": 0.4618055555555556,
      "grad_norm": 0.19074364006519318,
      "learning_rate": 4.801546861651917e-06,
      "loss": 0.0461,
      "step": 133
    },
    {
      "epoch": 0.4652777777777778,
      "grad_norm": 0.13447712361812592,
      "learning_rate": 4.797871165876007e-06,
      "loss": 0.046,
      "step": 134
    },
    {
      "epoch": 0.46875,
      "grad_norm": 0.16824130713939667,
      "learning_rate": 4.794163174982145e-06,
      "loss": 0.0438,
      "step": 135
    },
    {
      "epoch": 0.4722222222222222,
      "grad_norm": 0.12305115163326263,
      "learning_rate": 4.790422941083787e-06,
      "loss": 0.0444,
      "step": 136
    },
    {
      "epoch": 0.4756944444444444,
      "grad_norm": 0.11863905191421509,
      "learning_rate": 4.78665051674754e-06,
      "loss": 0.0459,
      "step": 137
    },
    {
      "epoch": 0.4791666666666667,
      "grad_norm": 0.14378808438777924,
      "learning_rate": 4.782845954992432e-06,
      "loss": 0.0444,
      "step": 138
    },
    {
      "epoch": 0.4826388888888889,
      "grad_norm": 0.17540527880191803,
      "learning_rate": 4.779009309289157e-06,
      "loss": 0.0455,
      "step": 139
    },
    {
      "epoch": 0.4861111111111111,
      "grad_norm": 0.1261070817708969,
      "learning_rate": 4.7751406335593295e-06,
      "loss": 0.0428,
      "step": 140
    },
    {
      "epoch": 0.4895833333333333,
      "grad_norm": 0.15086349844932556,
      "learning_rate": 4.771239982174728e-06,
      "loss": 0.0446,
      "step": 141
    },
    {
      "epoch": 0.4930555555555556,
      "grad_norm": 0.1332276612520218,
      "learning_rate": 4.767307409956528e-06,
      "loss": 0.0456,
      "step": 142
    },
    {
      "epoch": 0.4965277777777778,
      "grad_norm": 0.11172042787075043,
      "learning_rate": 4.7633429721745305e-06,
      "loss": 0.0451,
      "step": 143
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.14254513382911682,
      "learning_rate": 4.759346724546386e-06,
      "loss": 0.0449,
      "step": 144
    },
    {
      "epoch": 0.5034722222222222,
      "grad_norm": 0.1059415191411972,
      "learning_rate": 4.755318723236816e-06,
      "loss": 0.0437,
      "step": 145
    },
    {
      "epoch": 0.5069444444444444,
      "grad_norm": 0.14756228029727936,
      "learning_rate": 4.751259024856816e-06,
      "loss": 0.0462,
      "step": 146
    },
    {
      "epoch": 0.5104166666666666,
      "grad_norm": 0.161917582154274,
      "learning_rate": 4.747167686462865e-06,
      "loss": 0.0449,
      "step": 147
    },
    {
      "epoch": 0.5138888888888888,
      "grad_norm": 0.101764015853405,
      "learning_rate": 4.7430447655561235e-06,
      "loss": 0.0452,
      "step": 148
    },
    {
      "epoch": 0.5173611111111112,
      "grad_norm": 0.6033731698989868,
      "learning_rate": 4.738890320081621e-06,
      "loss": 0.0464,
      "step": 149
    },
    {
      "epoch": 0.5208333333333334,
      "grad_norm": 0.1872342973947525,
      "learning_rate": 4.734704408427449e-06,
      "loss": 0.0441,
      "step": 150
    },
    {
      "epoch": 0.5243055555555556,
      "grad_norm": 0.1137688010931015,
      "learning_rate": 4.730487089423931e-06,
      "loss": 0.0424,
      "step": 151
    },
    {
      "epoch": 0.5277777777777778,
      "grad_norm": 0.12221691012382507,
      "learning_rate": 4.726238422342806e-06,
      "loss": 0.0457,
      "step": 152
    },
    {
      "epoch": 0.53125,
      "grad_norm": 0.15371988713741302,
      "learning_rate": 4.721958466896387e-06,
      "loss": 0.0446,
      "step": 153
    },
    {
      "epoch": 0.5347222222222222,
      "grad_norm": 0.13891756534576416,
      "learning_rate": 4.717647283236726e-06,
      "loss": 0.0432,
      "step": 154
    },
    {
      "epoch": 0.5381944444444444,
      "grad_norm": 0.1512340009212494,
      "learning_rate": 4.713304931954768e-06,
      "loss": 0.0436,
      "step": 155
    },
    {
      "epoch": 0.5416666666666666,
      "grad_norm": 0.18724144995212555,
      "learning_rate": 4.708931474079499e-06,
      "loss": 0.0442,
      "step": 156
    },
    {
      "epoch": 0.5451388888888888,
      "grad_norm": 0.11891813576221466,
      "learning_rate": 4.704526971077089e-06,
      "loss": 0.0444,
      "step": 157
    },
    {
      "epoch": 0.5486111111111112,
      "grad_norm": 0.1288479119539261,
      "learning_rate": 4.700091484850025e-06,
      "loss": 0.0435,
      "step": 158
    },
    {
      "epoch": 0.5520833333333334,
      "grad_norm": 0.14060503244400024,
      "learning_rate": 4.695625077736246e-06,
      "loss": 0.0423,
      "step": 159
    },
    {
      "epoch": 0.5555555555555556,
      "grad_norm": 0.0862833708524704,
      "learning_rate": 4.691127812508263e-06,
      "loss": 0.0408,
      "step": 160
    },
    {
      "epoch": 0.5590277777777778,
      "grad_norm": 0.11336778104305267,
      "learning_rate": 4.68659975237228e-06,
      "loss": 0.0435,
      "step": 161
    },
    {
      "epoch": 0.5625,
      "grad_norm": 0.13796082139015198,
      "learning_rate": 4.682040960967304e-06,
      "loss": 0.044,
      "step": 162
    },
    {
      "epoch": 0.5659722222222222,
      "grad_norm": 0.2824229896068573,
      "learning_rate": 4.6774515023642455e-06,
      "loss": 0.0423,
      "step": 163
    },
    {
      "epoch": 0.5694444444444444,
      "grad_norm": 0.10338843613862991,
      "learning_rate": 4.672831441065028e-06,
      "loss": 0.0427,
      "step": 164
    },
    {
      "epoch": 0.5729166666666666,
      "grad_norm": 0.2242819368839264,
      "learning_rate": 4.6681808420016765e-06,
      "loss": 0.0438,
      "step": 165
    },
    {
      "epoch": 0.5763888888888888,
      "grad_norm": 0.09749865531921387,
      "learning_rate": 4.663499770535402e-06,
      "loss": 0.0426,
      "step": 166
    },
    {
      "epoch": 0.5798611111111112,
      "grad_norm": 0.09969424456357956,
      "learning_rate": 4.658788292455688e-06,
      "loss": 0.0444,
      "step": 167
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 0.1247202605009079,
      "learning_rate": 4.6540464739793625e-06,
      "loss": 0.0432,
      "step": 168
    },
    {
      "epoch": 0.5868055555555556,
      "grad_norm": 0.10644786804914474,
      "learning_rate": 4.649274381749668e-06,
      "loss": 0.0427,
      "step": 169
    },
    {
      "epoch": 0.5902777777777778,
      "grad_norm": 0.11136279255151749,
      "learning_rate": 4.644472082835326e-06,
      "loss": 0.0414,
      "step": 170
    },
    {
      "epoch": 0.59375,
      "grad_norm": 0.1348523646593094,
      "learning_rate": 4.639639644729594e-06,
      "loss": 0.0422,
      "step": 171
    },
    {
      "epoch": 0.5972222222222222,
      "grad_norm": 0.10145433992147446,
      "learning_rate": 4.634777135349318e-06,
      "loss": 0.0423,
      "step": 172
    },
    {
      "epoch": 0.6006944444444444,
      "grad_norm": 0.14065136015415192,
      "learning_rate": 4.629884623033973e-06,
      "loss": 0.0431,
      "step": 173
    },
    {
      "epoch": 0.6041666666666666,
      "grad_norm": 0.20034432411193848,
      "learning_rate": 4.62496217654471e-06,
      "loss": 0.0423,
      "step": 174
    },
    {
      "epoch": 0.6076388888888888,
      "grad_norm": 0.08863140642642975,
      "learning_rate": 4.620009865063382e-06,
      "loss": 0.0411,
      "step": 175
    },
    {
      "epoch": 0.6111111111111112,
      "grad_norm": 0.12225303798913956,
      "learning_rate": 4.61502775819158e-06,
      "loss": 0.0421,
      "step": 176
    },
    {
      "epoch": 0.6145833333333334,
      "grad_norm": 0.12981022894382477,
      "learning_rate": 4.610015925949647e-06,
      "loss": 0.0418,
      "step": 177
    },
    {
      "epoch": 0.6180555555555556,
      "grad_norm": 0.12339942902326584,
      "learning_rate": 4.6049744387756964e-06,
      "loss": 0.0423,
      "step": 178
    },
    {
      "epoch": 0.6215277777777778,
      "grad_norm": 0.13103044033050537,
      "learning_rate": 4.599903367524627e-06,
      "loss": 0.043,
      "step": 179
    },
    {
      "epoch": 0.625,
      "grad_norm": 0.12940624356269836,
      "learning_rate": 4.5948027834671176e-06,
      "loss": 0.0425,
      "step": 180
    },
    {
      "epoch": 0.6284722222222222,
      "grad_norm": 0.10389026999473572,
      "learning_rate": 4.589672758288636e-06,
      "loss": 0.0414,
      "step": 181
    },
    {
      "epoch": 0.6319444444444444,
      "grad_norm": 0.0999772921204567,
      "learning_rate": 4.584513364088422e-06,
      "loss": 0.0429,
      "step": 182
    },
    {
      "epoch": 0.6354166666666666,
      "grad_norm": 0.09683631360530853,
      "learning_rate": 4.579324673378481e-06,
      "loss": 0.0412,
      "step": 183
    },
    {
      "epoch": 0.6388888888888888,
      "grad_norm": 0.10641929507255554,
      "learning_rate": 4.574106759082561e-06,
      "loss": 0.0408,
      "step": 184
    },
    {
      "epoch": 0.6423611111111112,
      "grad_norm": 0.09515181928873062,
      "learning_rate": 4.568859694535129e-06,
      "loss": 0.0408,
      "step": 185
    },
    {
      "epoch": 0.6458333333333334,
      "grad_norm": 0.11836621165275574,
      "learning_rate": 4.563583553480341e-06,
      "loss": 0.0434,
      "step": 186
    },
    {
      "epoch": 0.6493055555555556,
      "grad_norm": 0.13046801090240479,
      "learning_rate": 4.558278410071004e-06,
      "loss": 0.0423,
      "step": 187
    },
    {
      "epoch": 0.6527777777777778,
      "grad_norm": 0.359036922454834,
      "learning_rate": 4.552944338867534e-06,
      "loss": 0.0444,
      "step": 188
    },
    {
      "epoch": 0.65625,
      "grad_norm": 0.3195350468158722,
      "learning_rate": 4.547581414836912e-06,
      "loss": 0.042,
      "step": 189
    },
    {
      "epoch": 0.6597222222222222,
      "grad_norm": 0.09748683869838715,
      "learning_rate": 4.542189713351623e-06,
      "loss": 0.041,
      "step": 190
    },
    {
      "epoch": 0.6631944444444444,
      "grad_norm": 0.13412615656852722,
      "learning_rate": 4.536769310188601e-06,
      "loss": 0.0411,
      "step": 191
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.15448537468910217,
      "learning_rate": 4.531320281528169e-06,
      "loss": 0.0417,
      "step": 192
    },
    {
      "epoch": 0.6701388888888888,
      "grad_norm": 0.16399464011192322,
      "learning_rate": 4.525842703952958e-06,
      "loss": 0.044,
      "step": 193
    },
    {
      "epoch": 0.6736111111111112,
      "grad_norm": 0.17634686827659607,
      "learning_rate": 4.520336654446839e-06,
      "loss": 0.0422,
      "step": 194
    },
    {
      "epoch": 0.6770833333333334,
      "grad_norm": 0.14069226384162903,
      "learning_rate": 4.514802210393833e-06,
      "loss": 0.042,
      "step": 195
    },
    {
      "epoch": 0.6805555555555556,
      "grad_norm": 0.14406989514827728,
      "learning_rate": 4.509239449577034e-06,
      "loss": 0.0429,
      "step": 196
    },
    {
      "epoch": 0.6840277777777778,
      "grad_norm": 0.17166978120803833,
      "learning_rate": 4.5036484501775065e-06,
      "loss": 0.043,
      "step": 197
    },
    {
      "epoch": 0.6875,
      "grad_norm": 0.15818418562412262,
      "learning_rate": 4.498029290773193e-06,
      "loss": 0.0414,
      "step": 198
    },
    {
      "epoch": 0.6909722222222222,
      "grad_norm": 0.14940214157104492,
      "learning_rate": 4.492382050337805e-06,
      "loss": 0.0421,
      "step": 199
    },
    {
      "epoch": 0.6944444444444444,
      "grad_norm": 0.12957589328289032,
      "learning_rate": 4.4867068082397144e-06,
      "loss": 0.0422,
      "step": 200
    },
    {
      "epoch": 0.6979166666666666,
      "grad_norm": 0.13950559496879578,
      "learning_rate": 4.481003644240842e-06,
      "loss": 0.0397,
      "step": 201
    },
    {
      "epoch": 0.7013888888888888,
      "grad_norm": 0.17835752665996552,
      "learning_rate": 4.47527263849553e-06,
      "loss": 0.0414,
      "step": 202
    },
    {
      "epoch": 0.7048611111111112,
      "grad_norm": 0.13186202943325043,
      "learning_rate": 4.469513871549419e-06,
      "loss": 0.0403,
      "step": 203
    },
    {
      "epoch": 0.7083333333333334,
      "grad_norm": 0.1072673574090004,
      "learning_rate": 4.4637274243383165e-06,
      "loss": 0.041,
      "step": 204
    },
    {
      "epoch": 0.7118055555555556,
      "grad_norm": 0.13432258367538452,
      "learning_rate": 4.457913378187059e-06,
      "loss": 0.0417,
      "step": 205
    },
    {
      "epoch": 0.7152777777777778,
      "grad_norm": 0.18294939398765564,
      "learning_rate": 4.452071814808367e-06,
      "loss": 0.0414,
      "step": 206
    },
    {
      "epoch": 0.71875,
      "grad_norm": 0.13726216554641724,
      "learning_rate": 4.446202816301699e-06,
      "loss": 0.0413,
      "step": 207
    },
    {
      "epoch": 0.7222222222222222,
      "grad_norm": 0.14163826406002045,
      "learning_rate": 4.440306465152098e-06,
      "loss": 0.0418,
      "step": 208
    },
    {
      "epoch": 0.7256944444444444,
      "grad_norm": 0.10949459671974182,
      "learning_rate": 4.434382844229028e-06,
      "loss": 0.0406,
      "step": 209
    },
    {
      "epoch": 0.7291666666666666,
      "grad_norm": 0.10799147188663483,
      "learning_rate": 4.428432036785214e-06,
      "loss": 0.0401,
      "step": 210
    },
    {
      "epoch": 0.7326388888888888,
      "grad_norm": 0.15484774112701416,
      "learning_rate": 4.422454126455474e-06,
      "loss": 0.0407,
      "step": 211
    },
    {
      "epoch": 0.7361111111111112,
      "grad_norm": 0.1091999039053917,
      "learning_rate": 4.41644919725553e-06,
      "loss": 0.0405,
      "step": 212
    },
    {
      "epoch": 0.7395833333333334,
      "grad_norm": 0.11307651549577713,
      "learning_rate": 4.410417333580849e-06,
      "loss": 0.04,
      "step": 213
    },
    {
      "epoch": 0.7430555555555556,
      "grad_norm": 0.13210344314575195,
      "learning_rate": 4.404358620205435e-06,
      "loss": 0.0414,
      "step": 214
    },
    {
      "epoch": 0.7465277777777778,
      "grad_norm": 0.1032988578081131,
      "learning_rate": 4.3982731422806534e-06,
      "loss": 0.0398,
      "step": 215
    },
    {
      "epoch": 0.75,
      "grad_norm": 0.08926104754209518,
      "learning_rate": 4.392160985334027e-06,
      "loss": 0.0399,
      "step": 216
    },
    {
      "epoch": 0.7534722222222222,
      "grad_norm": 0.0985676720738411,
      "learning_rate": 4.386022235268034e-06,
      "loss": 0.0397,
      "step": 217
    },
    {
      "epoch": 0.7569444444444444,
      "grad_norm": 0.10603489726781845,
      "learning_rate": 4.379856978358902e-06,
      "loss": 0.0388,
      "step": 218
    },
    {
      "epoch": 0.7604166666666666,
      "grad_norm": 0.11447900533676147,
      "learning_rate": 4.373665301255398e-06,
      "loss": 0.0395,
      "step": 219
    },
    {
      "epoch": 0.7638888888888888,
      "grad_norm": 0.10561159998178482,
      "learning_rate": 4.367447290977604e-06,
      "loss": 0.0386,
      "step": 220
    },
    {
      "epoch": 0.7673611111111112,
      "grad_norm": 0.10854826867580414,
      "learning_rate": 4.3612030349157015e-06,
      "loss": 0.0408,
      "step": 221
    },
    {
      "epoch": 0.7708333333333334,
      "grad_norm": 0.10238426923751831,
      "learning_rate": 4.35493262082874e-06,
      "loss": 0.0404,
      "step": 222
    },
    {
      "epoch": 0.7743055555555556,
      "grad_norm": 0.4103968143463135,
      "learning_rate": 4.348636136843399e-06,
      "loss": 0.0413,
      "step": 223
    },
    {
      "epoch": 0.7777777777777778,
      "grad_norm": 0.11399518698453903,
      "learning_rate": 4.3423136714527595e-06,
      "loss": 0.0392,
      "step": 224
    },
    {
      "epoch": 0.78125,
      "grad_norm": 0.09158521145582199,
      "learning_rate": 4.33596531351505e-06,
      "loss": 0.0391,
      "step": 225
    },
    {
      "epoch": 0.7847222222222222,
      "grad_norm": 0.11626172065734863,
      "learning_rate": 4.329591152252405e-06,
      "loss": 0.0396,
      "step": 226
    },
    {
      "epoch": 0.7881944444444444,
      "grad_norm": 0.11754734069108963,
      "learning_rate": 4.323191277249606e-06,
      "loss": 0.0402,
      "step": 227
    },
    {
      "epoch": 0.7916666666666666,
      "grad_norm": 0.1229032352566719,
      "learning_rate": 4.31676577845283e-06,
      "loss": 0.0398,
      "step": 228
    },
    {
      "epoch": 0.7951388888888888,
      "grad_norm": 0.11567321419715881,
      "learning_rate": 4.310314746168372e-06,
      "loss": 0.0396,
      "step": 229
    },
    {
      "epoch": 0.7986111111111112,
      "grad_norm": 0.10476019978523254,
      "learning_rate": 4.303838271061391e-06,
      "loss": 0.0378,
      "step": 230
    },
    {
      "epoch": 0.8020833333333334,
      "grad_norm": 0.08592893183231354,
      "learning_rate": 4.297336444154626e-06,
      "loss": 0.0412,
      "step": 231
    },
    {
      "epoch": 0.8055555555555556,
      "grad_norm": 0.12810568511486053,
      "learning_rate": 4.290809356827119e-06,
      "loss": 0.0406,
      "step": 232
    },
    {
      "epoch": 0.8090277777777778,
      "grad_norm": 0.11629325151443481,
      "learning_rate": 4.284257100812931e-06,
      "loss": 0.0385,
      "step": 233
    },
    {
      "epoch": 0.8125,
      "grad_norm": 0.10487047582864761,
      "learning_rate": 4.277679768199855e-06,
      "loss": 0.0405,
      "step": 234
    },
    {
      "epoch": 0.8159722222222222,
      "grad_norm": 0.08873811364173889,
      "learning_rate": 4.271077451428116e-06,
      "loss": 0.04,
      "step": 235
    },
    {
      "epoch": 0.8194444444444444,
      "grad_norm": 0.11863256245851517,
      "learning_rate": 4.264450243289079e-06,
      "loss": 0.0384,
      "step": 236
    },
    {
      "epoch": 0.8229166666666666,
      "grad_norm": 0.09512842446565628,
      "learning_rate": 4.257798236923941e-06,
      "loss": 0.0397,
      "step": 237
    },
    {
      "epoch": 0.8263888888888888,
      "grad_norm": 0.09482207894325256,
      "learning_rate": 4.251121525822419e-06,
      "loss": 0.0401,
      "step": 238
    },
    {
      "epoch": 0.8298611111111112,
      "grad_norm": 0.1092769056558609,
      "learning_rate": 4.2444202038214425e-06,
      "loss": 0.0385,
      "step": 239
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 0.4156738221645355,
      "learning_rate": 4.237694365103831e-06,
      "loss": 0.0417,
      "step": 240
    },
    {
      "epoch": 0.8368055555555556,
      "grad_norm": 0.09347352385520935,
      "learning_rate": 4.23094410419697e-06,
      "loss": 0.0388,
      "step": 241
    },
    {
      "epoch": 0.8402777777777778,
      "grad_norm": 0.09404996037483215,
      "learning_rate": 4.224169515971485e-06,
      "loss": 0.0381,
      "step": 242
    },
    {
      "epoch": 0.84375,
      "grad_norm": 0.11364345997571945,
      "learning_rate": 4.217370695639904e-06,
      "loss": 0.039,
      "step": 243
    },
    {
      "epoch": 0.8472222222222222,
      "grad_norm": 0.1296929121017456,
      "learning_rate": 4.210547738755324e-06,
      "loss": 0.0388,
      "step": 244
    },
    {
      "epoch": 0.8506944444444444,
      "grad_norm": 0.12822413444519043,
      "learning_rate": 4.203700741210064e-06,
      "loss": 0.0392,
      "step": 245
    },
    {
      "epoch": 0.8541666666666666,
      "grad_norm": 0.11240168660879135,
      "learning_rate": 4.196829799234322e-06,
      "loss": 0.0398,
      "step": 246
    },
    {
      "epoch": 0.8576388888888888,
      "grad_norm": 0.08810293674468994,
      "learning_rate": 4.189935009394816e-06,
      "loss": 0.0386,
      "step": 247
    },
    {
      "epoch": 0.8611111111111112,
      "grad_norm": 0.15568102896213531,
      "learning_rate": 4.183016468593434e-06,
      "loss": 0.0397,
      "step": 248
    },
    {
      "epoch": 0.8645833333333334,
      "grad_norm": 0.08587350696325302,
      "learning_rate": 4.176074274065868e-06,
      "loss": 0.0382,
      "step": 249
    },
    {
      "epoch": 0.8680555555555556,
      "grad_norm": 0.1070128008723259,
      "learning_rate": 4.169108523380245e-06,
      "loss": 0.0384,
      "step": 250
    },
    {
      "epoch": 0.8715277777777778,
      "grad_norm": 0.11601398140192032,
      "learning_rate": 4.162119314435763e-06,
      "loss": 0.0397,
      "step": 251
    },
    {
      "epoch": 0.875,
      "grad_norm": 0.09858991205692291,
      "learning_rate": 4.155106745461308e-06,
      "loss": 0.0385,
      "step": 252
    },
    {
      "epoch": 0.8784722222222222,
      "grad_norm": 0.11073406785726547,
      "learning_rate": 4.148070915014078e-06,
      "loss": 0.0396,
      "step": 253
    },
    {
      "epoch": 0.8819444444444444,
      "grad_norm": 0.10793688893318176,
      "learning_rate": 4.141011921978196e-06,
      "loss": 0.0399,
      "step": 254
    },
    {
      "epoch": 0.8854166666666666,
      "grad_norm": 0.0984438955783844,
      "learning_rate": 4.13392986556332e-06,
      "loss": 0.0382,
      "step": 255
    },
    {
      "epoch": 0.8888888888888888,
      "grad_norm": 0.11203981935977936,
      "learning_rate": 4.126824845303247e-06,
      "loss": 0.0385,
      "step": 256
    },
    {
      "epoch": 0.8923611111111112,
      "grad_norm": 0.09894721210002899,
      "learning_rate": 4.119696961054523e-06,
      "loss": 0.0385,
      "step": 257
    },
    {
      "epoch": 0.8958333333333334,
      "grad_norm": 0.2033790796995163,
      "learning_rate": 4.1125463129950235e-06,
      "loss": 0.0367,
      "step": 258
    },
    {
      "epoch": 0.8993055555555556,
      "grad_norm": 0.091950923204422,
      "learning_rate": 4.105373001622563e-06,
      "loss": 0.0376,
      "step": 259
    },
    {
      "epoch": 0.9027777777777778,
      "grad_norm": 0.1297457367181778,
      "learning_rate": 4.0981771277534686e-06,
      "loss": 0.0393,
      "step": 260
    },
    {
      "epoch": 0.90625,
      "grad_norm": 0.11634797602891922,
      "learning_rate": 4.090958792521173e-06,
      "loss": 0.0398,
      "step": 261
    },
    {
      "epoch": 0.9097222222222222,
      "grad_norm": 0.0970335528254509,
      "learning_rate": 4.083718097374788e-06,
      "loss": 0.0384,
      "step": 262
    },
    {
      "epoch": 0.9131944444444444,
      "grad_norm": 0.5387095808982849,
      "learning_rate": 4.076455144077679e-06,
      "loss": 0.0405,
      "step": 263
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 0.1064249724149704,
      "learning_rate": 4.0691700347060344e-06,
      "loss": 0.0371,
      "step": 264
    },
    {
      "epoch": 0.9201388888888888,
      "grad_norm": 0.12649689614772797,
      "learning_rate": 4.061862871647435e-06,
      "loss": 0.0399,
      "step": 265
    },
    {
      "epoch": 0.9236111111111112,
      "grad_norm": 0.12759321928024292,
      "learning_rate": 4.054533757599411e-06,
      "loss": 0.0377,
      "step": 266
    },
    {
      "epoch": 0.9270833333333334,
      "grad_norm": 0.09432400017976761,
      "learning_rate": 4.047182795567998e-06,
      "loss": 0.039,
      "step": 267
    },
    {
      "epoch": 0.9305555555555556,
      "grad_norm": 0.12018612027168274,
      "learning_rate": 4.039810088866294e-06,
      "loss": 0.0392,
      "step": 268
    },
    {
      "epoch": 0.9340277777777778,
      "grad_norm": 0.1553112268447876,
      "learning_rate": 4.032415741113002e-06,
      "loss": 0.0387,
      "step": 269
    },
    {
      "epoch": 0.9375,
      "grad_norm": 0.12055694311857224,
      "learning_rate": 4.024999856230978e-06,
      "loss": 0.0372,
      "step": 270
    },
    {
      "epoch": 0.9409722222222222,
      "grad_norm": 0.1351049542427063,
      "learning_rate": 4.017562538445769e-06,
      "loss": 0.0385,
      "step": 271
    },
    {
      "epoch": 0.9444444444444444,
      "grad_norm": 0.1886376589536667,
      "learning_rate": 4.010103892284147e-06,
      "loss": 0.0418,
      "step": 272
    },
    {
      "epoch": 0.9479166666666666,
      "grad_norm": 0.12253985553979874,
      "learning_rate": 4.002624022572638e-06,
      "loss": 0.0376,
      "step": 273
    },
    {
      "epoch": 0.9513888888888888,
      "grad_norm": 0.11659642308950424,
      "learning_rate": 3.9951230344360555e-06,
      "loss": 0.0397,
      "step": 274
    },
    {
      "epoch": 0.9548611111111112,
      "grad_norm": 0.1558295339345932,
      "learning_rate": 3.987601033296019e-06,
      "loss": 0.038,
      "step": 275
    },
    {
      "epoch": 0.9583333333333334,
      "grad_norm": 0.19072526693344116,
      "learning_rate": 3.9800581248694695e-06,
      "loss": 0.0393,
      "step": 276
    },
    {
      "epoch": 0.9618055555555556,
      "grad_norm": 0.10783593356609344,
      "learning_rate": 3.9724944151671885e-06,
      "loss": 0.0373,
      "step": 277
    },
    {
      "epoch": 0.9652777777777778,
      "grad_norm": 0.16431266069412231,
      "learning_rate": 3.964910010492305e-06,
      "loss": 0.0379,
      "step": 278
    },
    {
      "epoch": 0.96875,
      "grad_norm": 0.1290053129196167,
      "learning_rate": 3.957305017438806e-06,
      "loss": 0.0374,
      "step": 279
    },
    {
      "epoch": 0.9722222222222222,
      "grad_norm": 0.272797167301178,
      "learning_rate": 3.949679542890031e-06,
      "loss": 0.0388,
      "step": 280
    },
    {
      "epoch": 0.9756944444444444,
      "grad_norm": 0.16525359451770782,
      "learning_rate": 3.9420336940171754e-06,
      "loss": 0.037,
      "step": 281
    },
    {
      "epoch": 0.9791666666666666,
      "grad_norm": 0.10031793266534805,
      "learning_rate": 3.9343675782777835e-06,
      "loss": 0.0372,
      "step": 282
    },
    {
      "epoch": 0.9826388888888888,
      "grad_norm": 0.09637466073036194,
      "learning_rate": 3.926681303414237e-06,
      "loss": 0.0372,
      "step": 283
    },
    {
      "epoch": 0.9861111111111112,
      "grad_norm": 0.133241668343544,
      "learning_rate": 3.91897497745224e-06,
      "loss": 0.0376,
      "step": 284
    },
    {
      "epoch": 0.9895833333333334,
      "grad_norm": 0.12994840741157532,
      "learning_rate": 3.911248708699304e-06,
      "loss": 0.0382,
      "step": 285
    },
    {
      "epoch": 0.9930555555555556,
      "grad_norm": 0.09187270700931549,
      "learning_rate": 3.903502605743222e-06,
      "loss": 0.0362,
      "step": 286
    },
    {
      "epoch": 0.9965277777777778,
      "grad_norm": 0.10548574477434158,
      "learning_rate": 3.8957367774505475e-06,
      "loss": 0.0376,
      "step": 287
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.11515788733959198,
      "learning_rate": 3.887951332965057e-06,
      "loss": 0.0369,
      "step": 288
    },
    {
      "epoch": 1.0034722222222223,
      "grad_norm": 0.12226413935422897,
      "learning_rate": 3.88014638170622e-06,
      "loss": 0.036,
      "step": 289
    },
    {
      "epoch": 1.0069444444444444,
      "grad_norm": 0.10493435710668564,
      "learning_rate": 3.872322033367667e-06,
      "loss": 0.0349,
      "step": 290
    },
    {
      "epoch": 1.0104166666666667,
      "grad_norm": 0.08117599040269852,
      "learning_rate": 3.864478397915635e-06,
      "loss": 0.035,
      "step": 291
    },
    {
      "epoch": 1.0138888888888888,
      "grad_norm": 0.0829809382557869,
      "learning_rate": 3.856615585587434e-06,
      "loss": 0.0374,
      "step": 292
    },
    {
      "epoch": 1.0173611111111112,
      "grad_norm": 0.09372568875551224,
      "learning_rate": 3.8487337068898905e-06,
      "loss": 0.0371,
      "step": 293
    },
    {
      "epoch": 1.0208333333333333,
      "grad_norm": 0.08779069036245346,
      "learning_rate": 3.840832872597796e-06,
      "loss": 0.0364,
      "step": 294
    },
    {
      "epoch": 1.0243055555555556,
      "grad_norm": 0.08584199100732803,
      "learning_rate": 3.832913193752354e-06,
      "loss": 0.0347,
      "step": 295
    },
    {
      "epoch": 1.0277777777777777,
      "grad_norm": 0.10123753547668457,
      "learning_rate": 3.824974781659614e-06,
      "loss": 0.036,
      "step": 296
    },
    {
      "epoch": 1.03125,
      "grad_norm": 0.09402521699666977,
      "learning_rate": 3.8170177478889096e-06,
      "loss": 0.0361,
      "step": 297
    },
    {
      "epoch": 1.0347222222222223,
      "grad_norm": 0.12597708404064178,
      "learning_rate": 3.809042204271288e-06,
      "loss": 0.0359,
      "step": 298
    },
    {
      "epoch": 1.0381944444444444,
      "grad_norm": 0.0785890594124794,
      "learning_rate": 3.801048262897946e-06,
      "loss": 0.0343,
      "step": 299
    },
    {
      "epoch": 1.0416666666666667,
      "grad_norm": 0.09483007341623306,
      "learning_rate": 3.7930360361186454e-06,
      "loss": 0.0358,
      "step": 300
    },
    {
      "epoch": 1.0451388888888888,
      "grad_norm": 0.10368721187114716,
      "learning_rate": 3.785005636540137e-06,
      "loss": 0.0352,
      "step": 301
    },
    {
      "epoch": 1.0486111111111112,
      "grad_norm": 0.18014498054981232,
      "learning_rate": 3.7769571770245817e-06,
      "loss": 0.0349,
      "step": 302
    },
    {
      "epoch": 1.0520833333333333,
      "grad_norm": 0.09136196970939636,
      "learning_rate": 3.7688907706879587e-06,
      "loss": 0.0367,
      "step": 303
    },
    {
      "epoch": 1.0555555555555556,
      "grad_norm": 0.10800204426050186,
      "learning_rate": 3.7608065308984786e-06,
      "loss": 0.0357,
      "step": 304
    },
    {
      "epoch": 1.0590277777777777,
      "grad_norm": 0.13311514258384705,
      "learning_rate": 3.7527045712749933e-06,
      "loss": 0.0343,
      "step": 305
    },
    {
      "epoch": 1.0625,
      "grad_norm": 0.10827336460351944,
      "learning_rate": 3.74458500568539e-06,
      "loss": 0.0375,
      "step": 306
    },
    {
      "epoch": 1.0659722222222223,
      "grad_norm": 0.10805215686559677,
      "learning_rate": 3.7364479482450015e-06,
      "loss": 0.0364,
      "step": 307
    },
    {
      "epoch": 1.0694444444444444,
      "grad_norm": 0.09037192910909653,
      "learning_rate": 3.7282935133149955e-06,
      "loss": 0.0355,
      "step": 308
    },
    {
      "epoch": 1.0729166666666667,
      "grad_norm": 0.08453647792339325,
      "learning_rate": 3.720121815500768e-06,
      "loss": 0.0348,
      "step": 309
    },
    {
      "epoch": 1.0763888888888888,
      "grad_norm": 0.10149750113487244,
      "learning_rate": 3.711932969650337e-06,
      "loss": 0.035,
      "step": 310
    },
    {
      "epoch": 1.0798611111111112,
      "grad_norm": 0.1946180760860443,
      "learning_rate": 3.7037270908527212e-06,
      "loss": 0.035,
      "step": 311
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 0.09787549823522568,
      "learning_rate": 3.6955042944363305e-06,
      "loss": 0.0369,
      "step": 312
    },
    {
      "epoch": 1.0868055555555556,
      "grad_norm": 0.12781886756420135,
      "learning_rate": 3.6872646959673385e-06,
      "loss": 0.0351,
      "step": 313
    },
    {
      "epoch": 1.0902777777777777,
      "grad_norm": 0.18614132702350616,
      "learning_rate": 3.679008411248063e-06,
      "loss": 0.0355,
      "step": 314
    },
    {
      "epoch": 1.09375,
      "grad_norm": 0.15595434606075287,
      "learning_rate": 3.6707355563153335e-06,
      "loss": 0.0353,
      "step": 315
    },
    {
      "epoch": 1.0972222222222223,
      "grad_norm": 0.10660479217767715,
      "learning_rate": 3.662446247438867e-06,
      "loss": 0.0371,
      "step": 316
    },
    {
      "epoch": 1.1006944444444444,
      "grad_norm": 0.10783390700817108,
      "learning_rate": 3.654140601119626e-06,
      "loss": 0.0366,
      "step": 317
    },
    {
      "epoch": 1.1041666666666667,
      "grad_norm": 0.09462081640958786,
      "learning_rate": 3.64581873408819e-06,
      "loss": 0.0361,
      "step": 318
    },
    {
      "epoch": 1.1076388888888888,
      "grad_norm": 0.09897305816411972,
      "learning_rate": 3.6374807633031075e-06,
      "loss": 0.035,
      "step": 319
    },
    {
      "epoch": 1.1111111111111112,
      "grad_norm": 0.09394152462482452,
      "learning_rate": 3.6291268059492544e-06,
      "loss": 0.0366,
      "step": 320
    },
    {
      "epoch": 1.1145833333333333,
      "grad_norm": 0.12614838778972626,
      "learning_rate": 3.62075697943619e-06,
      "loss": 0.0361,
      "step": 321
    },
    {
      "epoch": 1.1180555555555556,
      "grad_norm": 0.10611895471811295,
      "learning_rate": 3.6123714013965023e-06,
      "loss": 0.0362,
      "step": 322
    },
    {
      "epoch": 1.1215277777777777,
      "grad_norm": 0.10249809175729752,
      "learning_rate": 3.6039701896841594e-06,
      "loss": 0.0347,
      "step": 323
    },
    {
      "epoch": 1.125,
      "grad_norm": 0.10524166375398636,
      "learning_rate": 3.5955534623728477e-06,
      "loss": 0.0348,
      "step": 324
    },
    {
      "epoch": 1.1284722222222223,
      "grad_norm": 0.09200931340456009,
      "learning_rate": 3.587121337754318e-06,
      "loss": 0.0336,
      "step": 325
    },
    {
      "epoch": 1.1319444444444444,
      "grad_norm": 0.10736843943595886,
      "learning_rate": 3.5786739343367204e-06,
      "loss": 0.0375,
      "step": 326
    },
    {
      "epoch": 1.1354166666666667,
      "grad_norm": 0.11449631303548813,
      "learning_rate": 3.5702113708429355e-06,
      "loss": 0.0366,
      "step": 327
    },
    {
      "epoch": 1.1388888888888888,
      "grad_norm": 0.09040048718452454,
      "learning_rate": 3.5617337662089148e-06,
      "loss": 0.0341,
      "step": 328
    },
    {
      "epoch": 1.1423611111111112,
      "grad_norm": 0.37338557839393616,
      "learning_rate": 3.553241239581997e-06,
      "loss": 0.0361,
      "step": 329
    },
    {
      "epoch": 1.1458333333333333,
      "grad_norm": 0.10194606333971024,
      "learning_rate": 3.5447339103192456e-06,
      "loss": 0.0357,
      "step": 330
    },
    {
      "epoch": 1.1493055555555556,
      "grad_norm": 0.09893582761287689,
      "learning_rate": 3.536211897985763e-06,
      "loss": 0.0364,
      "step": 331
    },
    {
      "epoch": 1.1527777777777777,
      "grad_norm": 0.09601099789142609,
      "learning_rate": 3.5276753223530113e-06,
      "loss": 0.035,
      "step": 332
    },
    {
      "epoch": 1.15625,
      "grad_norm": 0.10547734797000885,
      "learning_rate": 3.5191243033971344e-06,
      "loss": 0.0362,
      "step": 333
    },
    {
      "epoch": 1.1597222222222223,
      "grad_norm": 0.10132454335689545,
      "learning_rate": 3.510558961297266e-06,
      "loss": 0.0363,
      "step": 334
    },
    {
      "epoch": 1.1631944444444444,
      "grad_norm": 0.09440963715314865,
      "learning_rate": 3.5019794164338405e-06,
      "loss": 0.0358,
      "step": 335
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 0.08906985074281693,
      "learning_rate": 3.493385789386906e-06,
      "loss": 0.0352,
      "step": 336
    },
    {
      "epoch": 1.1701388888888888,
      "grad_norm": 0.09685350954532623,
      "learning_rate": 3.484778200934426e-06,
      "loss": 0.0361,
      "step": 337
    },
    {
      "epoch": 1.1736111111111112,
      "grad_norm": 0.09066646546125412,
      "learning_rate": 3.4761567720505824e-06,
      "loss": 0.0346,
      "step": 338
    },
    {
      "epoch": 1.1770833333333333,
      "grad_norm": 0.11225445568561554,
      "learning_rate": 3.4675216239040743e-06,
      "loss": 0.0352,
      "step": 339
    },
    {
      "epoch": 1.1805555555555556,
      "grad_norm": 0.09443587809801102,
      "learning_rate": 3.4588728778564196e-06,
      "loss": 0.0356,
      "step": 340
    },
    {
      "epoch": 1.1840277777777777,
      "grad_norm": 0.08822441101074219,
      "learning_rate": 3.450210655460242e-06,
      "loss": 0.0358,
      "step": 341
    },
    {
      "epoch": 1.1875,
      "grad_norm": 0.10916097462177277,
      "learning_rate": 3.4415350784575697e-06,
      "loss": 0.0362,
      "step": 342
    },
    {
      "epoch": 1.1909722222222223,
      "grad_norm": 0.1029500737786293,
      "learning_rate": 3.4328462687781206e-06,
      "loss": 0.0335,
      "step": 343
    },
    {
      "epoch": 1.1944444444444444,
      "grad_norm": 0.10381455719470978,
      "learning_rate": 3.4241443485375893e-06,
      "loss": 0.0357,
      "step": 344
    },
    {
      "epoch": 1.1979166666666667,
      "grad_norm": 0.10592871904373169,
      "learning_rate": 3.4154294400359295e-06,
      "loss": 0.0349,
      "step": 345
    },
    {
      "epoch": 1.2013888888888888,
      "grad_norm": 0.10936404764652252,
      "learning_rate": 3.40670166575564e-06,
      "loss": 0.0372,
      "step": 346
    },
    {
      "epoch": 1.2048611111111112,
      "grad_norm": 0.15741786360740662,
      "learning_rate": 3.397961148360037e-06,
      "loss": 0.0335,
      "step": 347
    },
    {
      "epoch": 1.2083333333333333,
      "grad_norm": 0.12936483323574066,
      "learning_rate": 3.3892080106915348e-06,
      "loss": 0.0359,
      "step": 348
    },
    {
      "epoch": 1.2118055555555556,
      "grad_norm": 0.12176040560007095,
      "learning_rate": 3.3804423757699156e-06,
      "loss": 0.0346,
      "step": 349
    },
    {
      "epoch": 1.2152777777777777,
      "grad_norm": 0.10245862603187561,
      "learning_rate": 3.3716643667906057e-06,
      "loss": 0.0347,
      "step": 350
    },
    {
      "epoch": 1.21875,
      "grad_norm": 0.12617072463035583,
      "learning_rate": 3.362874107122938e-06,
      "loss": 0.0344,
      "step": 351
    },
    {
      "epoch": 1.2222222222222223,
      "grad_norm": 0.0875701829791069,
      "learning_rate": 3.3540717203084226e-06,
      "loss": 0.0337,
      "step": 352
    },
    {
      "epoch": 1.2256944444444444,
      "grad_norm": 0.08421158045530319,
      "learning_rate": 3.345257330059008e-06,
      "loss": 0.0346,
      "step": 353
    },
    {
      "epoch": 1.2291666666666667,
      "grad_norm": 0.1523522138595581,
      "learning_rate": 3.336431060255344e-06,
      "loss": 0.0354,
      "step": 354
    },
    {
      "epoch": 1.2326388888888888,
      "grad_norm": 0.10595856606960297,
      "learning_rate": 3.3275930349450402e-06,
      "loss": 0.0351,
      "step": 355
    },
    {
      "epoch": 1.2361111111111112,
      "grad_norm": 0.11165869235992432,
      "learning_rate": 3.3187433783409216e-06,
      "loss": 0.0339,
      "step": 356
    },
    {
      "epoch": 1.2395833333333333,
      "grad_norm": 0.10949059575796127,
      "learning_rate": 3.3098822148192836e-06,
      "loss": 0.0335,
      "step": 357
    },
    {
      "epoch": 1.2430555555555556,
      "grad_norm": 0.09662698209285736,
      "learning_rate": 3.3010096689181453e-06,
      "loss": 0.0348,
      "step": 358
    },
    {
      "epoch": 1.2465277777777777,
      "grad_norm": 0.0934520810842514,
      "learning_rate": 3.292125865335497e-06,
      "loss": 0.0357,
      "step": 359
    },
    {
      "epoch": 1.25,
      "grad_norm": 0.0975743979215622,
      "learning_rate": 3.283230928927548e-06,
      "loss": 0.0358,
      "step": 360
    },
    {
      "epoch": 1.2534722222222223,
      "grad_norm": 0.39430856704711914,
      "learning_rate": 3.2743249847069724e-06,
      "loss": 0.0369,
      "step": 361
    },
    {
      "epoch": 1.2569444444444444,
      "grad_norm": 0.08603217452764511,
      "learning_rate": 3.2654081578411532e-06,
      "loss": 0.0356,
      "step": 362
    },
    {
      "epoch": 1.2604166666666667,
      "grad_norm": 0.12141703814268112,
      "learning_rate": 3.256480573650423e-06,
      "loss": 0.0367,
      "step": 363
    },
    {
      "epoch": 1.2638888888888888,
      "grad_norm": 0.12421681731939316,
      "learning_rate": 3.2475423576062986e-06,
      "loss": 0.0345,
      "step": 364
    },
    {
      "epoch": 1.2673611111111112,
      "grad_norm": 0.10901670902967453,
      "learning_rate": 3.238593635329722e-06,
      "loss": 0.0349,
      "step": 365
    },
    {
      "epoch": 1.2708333333333333,
      "grad_norm": 0.135972797870636,
      "learning_rate": 3.229634532589296e-06,
      "loss": 0.0363,
      "step": 366
    },
    {
      "epoch": 1.2743055555555556,
      "grad_norm": 0.12399457395076752,
      "learning_rate": 3.2206651752995103e-06,
      "loss": 0.035,
      "step": 367
    },
    {
      "epoch": 1.2777777777777777,
      "grad_norm": 0.08571314066648483,
      "learning_rate": 3.2116856895189785e-06,
      "loss": 0.0348,
      "step": 368
    },
    {
      "epoch": 1.28125,
      "grad_norm": 0.13199849426746368,
      "learning_rate": 3.2026962014486635e-06,
      "loss": 0.0345,
      "step": 369
    },
    {
      "epoch": 1.2847222222222223,
      "grad_norm": 0.09638667851686478,
      "learning_rate": 3.1936968374301025e-06,
      "loss": 0.0348,
      "step": 370
    },
    {
      "epoch": 1.2881944444444444,
      "grad_norm": 0.10975995659828186,
      "learning_rate": 3.1846877239436343e-06,
      "loss": 0.0341,
      "step": 371
    },
    {
      "epoch": 1.2916666666666667,
      "grad_norm": 0.127323180437088,
      "learning_rate": 3.1756689876066194e-06,
      "loss": 0.0345,
      "step": 372
    },
    {
      "epoch": 1.2951388888888888,
      "grad_norm": 0.10173925757408142,
      "learning_rate": 3.1666407551716623e-06,
      "loss": 0.0342,
      "step": 373
    },
    {
      "epoch": 1.2986111111111112,
      "grad_norm": 0.10085804015398026,
      "learning_rate": 3.157603153524828e-06,
      "loss": 0.0354,
      "step": 374
    },
    {
      "epoch": 1.3020833333333333,
      "grad_norm": 0.09150590002536774,
      "learning_rate": 3.1485563096838605e-06,
      "loss": 0.0358,
      "step": 375
    },
    {
      "epoch": 1.3055555555555556,
      "grad_norm": 0.08241839706897736,
      "learning_rate": 3.1395003507963973e-06,
      "loss": 0.0344,
      "step": 376
    },
    {
      "epoch": 1.3090277777777777,
      "grad_norm": 0.12511339783668518,
      "learning_rate": 3.130435404138182e-06,
      "loss": 0.0342,
      "step": 377
    },
    {
      "epoch": 1.3125,
      "grad_norm": 0.09180887788534164,
      "learning_rate": 3.121361597111273e-06,
      "loss": 0.0342,
      "step": 378
    },
    {
      "epoch": 1.3159722222222223,
      "grad_norm": 0.09976798295974731,
      "learning_rate": 3.1122790572422603e-06,
      "loss": 0.0343,
      "step": 379
    },
    {
      "epoch": 1.3194444444444444,
      "grad_norm": 0.10853918641805649,
      "learning_rate": 3.1031879121804637e-06,
      "loss": 0.0347,
      "step": 380
    },
    {
      "epoch": 1.3229166666666667,
      "grad_norm": 0.15387721359729767,
      "learning_rate": 3.094088289696147e-06,
      "loss": 0.0361,
      "step": 381
    },
    {
      "epoch": 1.3263888888888888,
      "grad_norm": 0.1311766505241394,
      "learning_rate": 3.0849803176787184e-06,
      "loss": 0.0339,
      "step": 382
    },
    {
      "epoch": 1.3298611111111112,
      "grad_norm": 0.10942820459604263,
      "learning_rate": 3.07586412413493e-06,
      "loss": 0.0346,
      "step": 383
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.10228657722473145,
      "learning_rate": 3.066739837187088e-06,
      "loss": 0.0342,
      "step": 384
    },
    {
      "epoch": 1.3368055555555556,
      "grad_norm": 0.08626681566238403,
      "learning_rate": 3.0576075850712406e-06,
      "loss": 0.0343,
      "step": 385
    },
    {
      "epoch": 1.3402777777777777,
      "grad_norm": 0.09915263950824738,
      "learning_rate": 3.0484674961353838e-06,
      "loss": 0.0336,
      "step": 386
    },
    {
      "epoch": 1.34375,
      "grad_norm": 0.10185376554727554,
      "learning_rate": 3.0393196988376567e-06,
      "loss": 0.0355,
      "step": 387
    },
    {
      "epoch": 1.3472222222222223,
      "grad_norm": 0.09487300366163254,
      "learning_rate": 3.030164321744532e-06,
      "loss": 0.0335,
      "step": 388
    },
    {
      "epoch": 1.3506944444444444,
      "grad_norm": 0.3177691102027893,
      "learning_rate": 3.021001493529012e-06,
      "loss": 0.0362,
      "step": 389
    },
    {
      "epoch": 1.3541666666666667,
      "grad_norm": 0.44625094532966614,
      "learning_rate": 3.0118313429688216e-06,
      "loss": 0.0365,
      "step": 390
    },
    {
      "epoch": 1.3576388888888888,
      "grad_norm": 0.09031222015619278,
      "learning_rate": 3.0026539989445945e-06,
      "loss": 0.0343,
      "step": 391
    },
    {
      "epoch": 1.3611111111111112,
      "grad_norm": 0.08382237702608109,
      "learning_rate": 2.9934695904380658e-06,
      "loss": 0.033,
      "step": 392
    },
    {
      "epoch": 1.3645833333333333,
      "grad_norm": 0.10642342269420624,
      "learning_rate": 2.984278246530255e-06,
      "loss": 0.0357,
      "step": 393
    },
    {
      "epoch": 1.3680555555555556,
      "grad_norm": 0.13202299177646637,
      "learning_rate": 2.9750800963996567e-06,
      "loss": 0.0337,
      "step": 394
    },
    {
      "epoch": 1.3715277777777777,
      "grad_norm": 0.11188042163848877,
      "learning_rate": 2.9658752693204218e-06,
      "loss": 0.0342,
      "step": 395
    },
    {
      "epoch": 1.375,
      "grad_norm": 0.1219249740242958,
      "learning_rate": 2.9566638946605393e-06,
      "loss": 0.0355,
      "step": 396
    },
    {
      "epoch": 1.3784722222222223,
      "grad_norm": 0.13167539238929749,
      "learning_rate": 2.947446101880025e-06,
      "loss": 0.0365,
      "step": 397
    },
    {
      "epoch": 1.3819444444444444,
      "grad_norm": 0.11574683338403702,
      "learning_rate": 2.9382220205290923e-06,
      "loss": 0.0348,
      "step": 398
    },
    {
      "epoch": 1.3854166666666667,
      "grad_norm": 0.11228840798139572,
      "learning_rate": 2.92899178024634e-06,
      "loss": 0.0353,
      "step": 399
    },
    {
      "epoch": 1.3888888888888888,
      "grad_norm": 0.08646392822265625,
      "learning_rate": 2.9197555107569266e-06,
      "loss": 0.0349,
      "step": 400
    },
    {
      "epoch": 1.3923611111111112,
      "grad_norm": 0.10196250677108765,
      "learning_rate": 2.9105133418707426e-06,
      "loss": 0.0344,
      "step": 401
    },
    {
      "epoch": 1.3958333333333333,
      "grad_norm": 0.09208845347166061,
      "learning_rate": 2.9012654034805976e-06,
      "loss": 0.0343,
      "step": 402
    },
    {
      "epoch": 1.3993055555555556,
      "grad_norm": 0.10160809755325317,
      "learning_rate": 2.892011825560383e-06,
      "loss": 0.0342,
      "step": 403
    },
    {
      "epoch": 1.4027777777777777,
      "grad_norm": 0.12244601547718048,
      "learning_rate": 2.8827527381632525e-06,
      "loss": 0.0357,
      "step": 404
    },
    {
      "epoch": 1.40625,
      "grad_norm": 0.11082416027784348,
      "learning_rate": 2.8734882714197917e-06,
      "loss": 0.0351,
      "step": 405
    },
    {
      "epoch": 1.4097222222222223,
      "grad_norm": 0.1262350082397461,
      "learning_rate": 2.864218555536188e-06,
      "loss": 0.034,
      "step": 406
    },
    {
      "epoch": 1.4131944444444444,
      "grad_norm": 0.12037837505340576,
      "learning_rate": 2.8549437207924037e-06,
      "loss": 0.0344,
      "step": 407
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 0.08786515891551971,
      "learning_rate": 2.8456638975403426e-06,
      "loss": 0.0339,
      "step": 408
    },
    {
      "epoch": 1.4201388888888888,
      "grad_norm": 0.09171997755765915,
      "learning_rate": 2.836379216202021e-06,
      "loss": 0.0346,
      "step": 409
    },
    {
      "epoch": 1.4236111111111112,
      "grad_norm": 0.09611935168504715,
      "learning_rate": 2.8270898072677285e-06,
      "loss": 0.0353,
      "step": 410
    },
    {
      "epoch": 1.4270833333333333,
      "grad_norm": 0.227742001414299,
      "learning_rate": 2.8177958012942015e-06,
      "loss": 0.0342,
      "step": 411
    },
    {
      "epoch": 1.4305555555555556,
      "grad_norm": 0.09076597541570663,
      "learning_rate": 2.808497328902783e-06,
      "loss": 0.0346,
      "step": 412
    },
    {
      "epoch": 1.4340277777777777,
      "grad_norm": 0.08244024962186813,
      "learning_rate": 2.7991945207775896e-06,
      "loss": 0.0343,
      "step": 413
    },
    {
      "epoch": 1.4375,
      "grad_norm": 0.08759651333093643,
      "learning_rate": 2.7898875076636735e-06,
      "loss": 0.0344,
      "step": 414
    },
    {
      "epoch": 1.4409722222222223,
      "grad_norm": 0.09875623136758804,
      "learning_rate": 2.7805764203651857e-06,
      "loss": 0.034,
      "step": 415
    },
    {
      "epoch": 1.4444444444444444,
      "grad_norm": 0.1014552116394043,
      "learning_rate": 2.7712613897435357e-06,
      "loss": 0.0325,
      "step": 416
    },
    {
      "epoch": 1.4479166666666667,
      "grad_norm": 0.10211663693189621,
      "learning_rate": 2.761942546715558e-06,
      "loss": 0.0352,
      "step": 417
    },
    {
      "epoch": 1.4513888888888888,
      "grad_norm": 0.10028363764286041,
      "learning_rate": 2.752620022251662e-06,
      "loss": 0.0344,
      "step": 418
    },
    {
      "epoch": 1.4548611111111112,
      "grad_norm": 0.1068742424249649,
      "learning_rate": 2.7432939473740017e-06,
      "loss": 0.0344,
      "step": 419
    },
    {
      "epoch": 1.4583333333333333,
      "grad_norm": 0.11455323547124863,
      "learning_rate": 2.73396445315463e-06,
      "loss": 0.0336,
      "step": 420
    },
    {
      "epoch": 1.4618055555555556,
      "grad_norm": 0.11361102759838104,
      "learning_rate": 2.7246316707136532e-06,
      "loss": 0.0335,
      "step": 421
    },
    {
      "epoch": 1.4652777777777777,
      "grad_norm": 0.09340100735425949,
      "learning_rate": 2.715295731217396e-06,
      "loss": 0.0342,
      "step": 422
    },
    {
      "epoch": 1.46875,
      "grad_norm": 0.08380884677171707,
      "learning_rate": 2.705956765876549e-06,
      "loss": 0.0348,
      "step": 423
    },
    {
      "epoch": 1.4722222222222223,
      "grad_norm": 0.18371760845184326,
      "learning_rate": 2.6966149059443315e-06,
      "loss": 0.0356,
      "step": 424
    },
    {
      "epoch": 1.4756944444444444,
      "grad_norm": 0.09755038470029831,
      "learning_rate": 2.687270282714644e-06,
      "loss": 0.0348,
      "step": 425
    },
    {
      "epoch": 1.4791666666666667,
      "grad_norm": 0.12309851497411728,
      "learning_rate": 2.6779230275202244e-06,
      "loss": 0.0326,
      "step": 426
    },
    {
      "epoch": 1.4826388888888888,
      "grad_norm": 0.07623454183340073,
      "learning_rate": 2.6685732717307996e-06,
      "loss": 0.0349,
      "step": 427
    },
    {
      "epoch": 1.4861111111111112,
      "grad_norm": 0.11328881233930588,
      "learning_rate": 2.659221146751241e-06,
      "loss": 0.0338,
      "step": 428
    },
    {
      "epoch": 1.4895833333333333,
      "grad_norm": 0.07914930582046509,
      "learning_rate": 2.6498667840197185e-06,
      "loss": 0.0327,
      "step": 429
    },
    {
      "epoch": 1.4930555555555556,
      "grad_norm": 0.08887946605682373,
      "learning_rate": 2.6405103150058515e-06,
      "loss": 0.0324,
      "step": 430
    },
    {
      "epoch": 1.4965277777777777,
      "grad_norm": 0.10010132193565369,
      "learning_rate": 2.6311518712088617e-06,
      "loss": 0.0345,
      "step": 431
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.08699404448270798,
      "learning_rate": 2.6217915841557257e-06,
      "loss": 0.0342,
      "step": 432
    },
    {
      "epoch": 1.5034722222222223,
      "grad_norm": 0.09522323310375214,
      "learning_rate": 2.612429585399326e-06,
      "loss": 0.0334,
      "step": 433
    },
    {
      "epoch": 1.5069444444444444,
      "grad_norm": 0.3448934555053711,
      "learning_rate": 2.6030660065165993e-06,
      "loss": 0.036,
      "step": 434
    },
    {
      "epoch": 1.5104166666666665,
      "grad_norm": 0.08791328221559525,
      "learning_rate": 2.5937009791066953e-06,
      "loss": 0.0332,
      "step": 435
    },
    {
      "epoch": 1.5138888888888888,
      "grad_norm": 0.08862703293561935,
      "learning_rate": 2.5843346347891163e-06,
      "loss": 0.034,
      "step": 436
    },
    {
      "epoch": 1.5173611111111112,
      "grad_norm": 0.10206678509712219,
      "learning_rate": 2.5749671052018767e-06,
      "loss": 0.0353,
      "step": 437
    },
    {
      "epoch": 1.5208333333333335,
      "grad_norm": 0.08325862884521484,
      "learning_rate": 2.565598521999647e-06,
      "loss": 0.0329,
      "step": 438
    },
    {
      "epoch": 1.5243055555555556,
      "grad_norm": 0.09117390215396881,
      "learning_rate": 2.5562290168519068e-06,
      "loss": 0.0327,
      "step": 439
    },
    {
      "epoch": 1.5277777777777777,
      "grad_norm": 0.10089855641126633,
      "learning_rate": 2.5468587214410926e-06,
      "loss": 0.0347,
      "step": 440
    },
    {
      "epoch": 1.53125,
      "grad_norm": 0.0844096839427948,
      "learning_rate": 2.537487767460748e-06,
      "loss": 0.0347,
      "step": 441
    },
    {
      "epoch": 1.5347222222222223,
      "grad_norm": 0.1482667326927185,
      "learning_rate": 2.5281162866136703e-06,
      "loss": 0.0336,
      "step": 442
    },
    {
      "epoch": 1.5381944444444444,
      "grad_norm": 0.10980680584907532,
      "learning_rate": 2.518744410610065e-06,
      "loss": 0.0353,
      "step": 443
    },
    {
      "epoch": 1.5416666666666665,
      "grad_norm": 0.08856187760829926,
      "learning_rate": 2.509372271165688e-06,
      "loss": 0.0342,
      "step": 444
    },
    {
      "epoch": 1.5451388888888888,
      "grad_norm": 0.11350642144680023,
      "learning_rate": 2.5e-06,
      "loss": 0.0327,
      "step": 445
    },
    {
      "epoch": 1.5486111111111112,
      "grad_norm": 0.0881035178899765,
      "learning_rate": 2.4906277288343123e-06,
      "loss": 0.0346,
      "step": 446
    },
    {
      "epoch": 1.5520833333333335,
      "grad_norm": 0.08988867700099945,
      "learning_rate": 2.4812555893899354e-06,
      "loss": 0.0346,
      "step": 447
    },
    {
      "epoch": 1.5555555555555556,
      "grad_norm": 0.12381166219711304,
      "learning_rate": 2.47188371338633e-06,
      "loss": 0.034,
      "step": 448
    },
    {
      "epoch": 1.5590277777777777,
      "grad_norm": 0.0797121673822403,
      "learning_rate": 2.462512232539253e-06,
      "loss": 0.0331,
      "step": 449
    },
    {
      "epoch": 1.5625,
      "grad_norm": 0.08082444220781326,
      "learning_rate": 2.4531412785589086e-06,
      "loss": 0.0335,
      "step": 450
    },
    {
      "epoch": 1.5659722222222223,
      "grad_norm": 0.08089325577020645,
      "learning_rate": 2.4437709831480936e-06,
      "loss": 0.0339,
      "step": 451
    },
    {
      "epoch": 1.5694444444444444,
      "grad_norm": 0.08041566610336304,
      "learning_rate": 2.4344014780003532e-06,
      "loss": 0.033,
      "step": 452
    },
    {
      "epoch": 1.5729166666666665,
      "grad_norm": 0.07629969716072083,
      "learning_rate": 2.4250328947981246e-06,
      "loss": 0.0331,
      "step": 453
    },
    {
      "epoch": 1.5763888888888888,
      "grad_norm": 0.08418645709753036,
      "learning_rate": 2.4156653652108846e-06,
      "loss": 0.0329,
      "step": 454
    },
    {
      "epoch": 1.5798611111111112,
      "grad_norm": 0.08451014012098312,
      "learning_rate": 2.4062990208933055e-06,
      "loss": 0.0342,
      "step": 455
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 0.09519058465957642,
      "learning_rate": 2.396933993483401e-06,
      "loss": 0.0338,
      "step": 456
    },
    {
      "epoch": 1.5868055555555556,
      "grad_norm": 0.08267609775066376,
      "learning_rate": 2.3875704146006754e-06,
      "loss": 0.034,
      "step": 457
    },
    {
      "epoch": 1.5902777777777777,
      "grad_norm": 0.09301088750362396,
      "learning_rate": 2.3782084158442747e-06,
      "loss": 0.0318,
      "step": 458
    },
    {
      "epoch": 1.59375,
      "grad_norm": 0.0884101614356041,
      "learning_rate": 2.3688481287911387e-06,
      "loss": 0.0333,
      "step": 459
    },
    {
      "epoch": 1.5972222222222223,
      "grad_norm": 0.1050783172249794,
      "learning_rate": 2.3594896849941493e-06,
      "loss": 0.0354,
      "step": 460
    },
    {
      "epoch": 1.6006944444444444,
      "grad_norm": 0.08727885782718658,
      "learning_rate": 2.3501332159802827e-06,
      "loss": 0.0328,
      "step": 461
    },
    {
      "epoch": 1.6041666666666665,
      "grad_norm": 0.14543761312961578,
      "learning_rate": 2.3407788532487595e-06,
      "loss": 0.035,
      "step": 462
    },
    {
      "epoch": 1.6076388888888888,
      "grad_norm": 0.07555941492319107,
      "learning_rate": 2.3314267282692017e-06,
      "loss": 0.0328,
      "step": 463
    },
    {
      "epoch": 1.6111111111111112,
      "grad_norm": 0.08927436918020248,
      "learning_rate": 2.3220769724797765e-06,
      "loss": 0.0337,
      "step": 464
    },
    {
      "epoch": 1.6145833333333335,
      "grad_norm": 0.08585847914218903,
      "learning_rate": 2.312729717285356e-06,
      "loss": 0.0338,
      "step": 465
    },
    {
      "epoch": 1.6180555555555556,
      "grad_norm": 0.09755540639162064,
      "learning_rate": 2.3033850940556693e-06,
      "loss": 0.034,
      "step": 466
    },
    {
      "epoch": 1.6215277777777777,
      "grad_norm": 0.09897331893444061,
      "learning_rate": 2.294043234123452e-06,
      "loss": 0.034,
      "step": 467
    },
    {
      "epoch": 1.625,
      "grad_norm": 0.09724624454975128,
      "learning_rate": 2.2847042687826052e-06,
      "loss": 0.035,
      "step": 468
    },
    {
      "epoch": 1.6284722222222223,
      "grad_norm": 0.08342147618532181,
      "learning_rate": 2.2753683292863467e-06,
      "loss": 0.0325,
      "step": 469
    },
    {
      "epoch": 1.6319444444444444,
      "grad_norm": 0.07785166054964066,
      "learning_rate": 2.2660355468453706e-06,
      "loss": 0.0334,
      "step": 470
    },
    {
      "epoch": 1.6354166666666665,
      "grad_norm": 0.09935390949249268,
      "learning_rate": 2.256706052625999e-06,
      "loss": 0.0319,
      "step": 471
    },
    {
      "epoch": 1.6388888888888888,
      "grad_norm": 0.1128755435347557,
      "learning_rate": 2.247379977748339e-06,
      "loss": 0.0334,
      "step": 472
    },
    {
      "epoch": 1.6423611111111112,
      "grad_norm": 0.08226320892572403,
      "learning_rate": 2.238057453284443e-06,
      "loss": 0.0337,
      "step": 473
    },
    {
      "epoch": 1.6458333333333335,
      "grad_norm": 0.09652496874332428,
      "learning_rate": 2.2287386102564647e-06,
      "loss": 0.0342,
      "step": 474
    },
    {
      "epoch": 1.6493055555555556,
      "grad_norm": 0.10443145781755447,
      "learning_rate": 2.2194235796348156e-06,
      "loss": 0.0337,
      "step": 475
    },
    {
      "epoch": 1.6527777777777777,
      "grad_norm": 0.0930706337094307,
      "learning_rate": 2.210112492336327e-06,
      "loss": 0.0327,
      "step": 476
    },
    {
      "epoch": 1.65625,
      "grad_norm": 0.08750075846910477,
      "learning_rate": 2.200805479222411e-06,
      "loss": 0.0341,
      "step": 477
    },
    {
      "epoch": 1.6597222222222223,
      "grad_norm": 0.09725753217935562,
      "learning_rate": 2.191502671097218e-06,
      "loss": 0.0329,
      "step": 478
    },
    {
      "epoch": 1.6631944444444444,
      "grad_norm": 0.09370933473110199,
      "learning_rate": 2.1822041987058e-06,
      "loss": 0.0323,
      "step": 479
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.11352363973855972,
      "learning_rate": 2.1729101927322715e-06,
      "loss": 0.0353,
      "step": 480
    },
    {
      "epoch": 1.6701388888888888,
      "grad_norm": 0.10422051697969437,
      "learning_rate": 2.16362078379798e-06,
      "loss": 0.0336,
      "step": 481
    },
    {
      "epoch": 1.6736111111111112,
      "grad_norm": 0.07686290889978409,
      "learning_rate": 2.154336102459658e-06,
      "loss": 0.0346,
      "step": 482
    },
    {
      "epoch": 1.6770833333333335,
      "grad_norm": 0.09117128700017929,
      "learning_rate": 2.1450562792075967e-06,
      "loss": 0.0343,
      "step": 483
    },
    {
      "epoch": 1.6805555555555556,
      "grad_norm": 0.08517707884311676,
      "learning_rate": 2.135781444463813e-06,
      "loss": 0.0327,
      "step": 484
    },
    {
      "epoch": 1.6840277777777777,
      "grad_norm": 0.08548937737941742,
      "learning_rate": 2.126511728580209e-06,
      "loss": 0.0334,
      "step": 485
    },
    {
      "epoch": 1.6875,
      "grad_norm": 0.08858038485050201,
      "learning_rate": 2.1172472618367483e-06,
      "loss": 0.0335,
      "step": 486
    },
    {
      "epoch": 1.6909722222222223,
      "grad_norm": 0.09837979823350906,
      "learning_rate": 2.1079881744396174e-06,
      "loss": 0.0323,
      "step": 487
    },
    {
      "epoch": 1.6944444444444444,
      "grad_norm": 0.0856815055012703,
      "learning_rate": 2.0987345965194028e-06,
      "loss": 0.0342,
      "step": 488
    },
    {
      "epoch": 1.6979166666666665,
      "grad_norm": 0.11249001324176788,
      "learning_rate": 2.0894866581292582e-06,
      "loss": 0.033,
      "step": 489
    },
    {
      "epoch": 1.7013888888888888,
      "grad_norm": 0.1011880487203598,
      "learning_rate": 2.080244489243075e-06,
      "loss": 0.033,
      "step": 490
    },
    {
      "epoch": 1.7048611111111112,
      "grad_norm": 0.08275032788515091,
      "learning_rate": 2.07100821975366e-06,
      "loss": 0.0322,
      "step": 491
    },
    {
      "epoch": 1.7083333333333335,
      "grad_norm": 0.2342270016670227,
      "learning_rate": 2.0617779794709086e-06,
      "loss": 0.0359,
      "step": 492
    },
    {
      "epoch": 1.7118055555555556,
      "grad_norm": 0.31100139021873474,
      "learning_rate": 2.052553898119976e-06,
      "loss": 0.0355,
      "step": 493
    },
    {
      "epoch": 1.7152777777777777,
      "grad_norm": 0.0901796892285347,
      "learning_rate": 2.0433361053394607e-06,
      "loss": 0.0333,
      "step": 494
    },
    {
      "epoch": 1.71875,
      "grad_norm": 0.09563644230365753,
      "learning_rate": 2.034124730679579e-06,
      "loss": 0.0337,
      "step": 495
    },
    {
      "epoch": 1.7222222222222223,
      "grad_norm": 0.0828825905919075,
      "learning_rate": 2.024919903600344e-06,
      "loss": 0.0318,
      "step": 496
    },
    {
      "epoch": 1.7256944444444444,
      "grad_norm": 0.10687359422445297,
      "learning_rate": 2.015721753469746e-06,
      "loss": 0.0331,
      "step": 497
    },
    {
      "epoch": 1.7291666666666665,
      "grad_norm": 0.08469292521476746,
      "learning_rate": 2.0065304095619346e-06,
      "loss": 0.0328,
      "step": 498
    },
    {
      "epoch": 1.7326388888888888,
      "grad_norm": 0.09606139361858368,
      "learning_rate": 1.997346001055406e-06,
      "loss": 0.0331,
      "step": 499
    },
    {
      "epoch": 1.7361111111111112,
      "grad_norm": 0.09543082863092422,
      "learning_rate": 1.988168657031179e-06,
      "loss": 0.0335,
      "step": 500
    },
    {
      "epoch": 1.7395833333333335,
      "grad_norm": 0.12665878236293793,
      "learning_rate": 1.978998506470988e-06,
      "loss": 0.0339,
      "step": 501
    },
    {
      "epoch": 1.7430555555555556,
      "grad_norm": 0.08768679946660995,
      "learning_rate": 1.9698356782554687e-06,
      "loss": 0.0318,
      "step": 502
    },
    {
      "epoch": 1.7465277777777777,
      "grad_norm": 0.09412168711423874,
      "learning_rate": 1.960680301162344e-06,
      "loss": 0.035,
      "step": 503
    },
    {
      "epoch": 1.75,
      "grad_norm": 0.10155269503593445,
      "learning_rate": 1.951532503864617e-06,
      "loss": 0.0338,
      "step": 504
    },
    {
      "epoch": 1.7534722222222223,
      "grad_norm": 0.09157512336969376,
      "learning_rate": 1.9423924149287602e-06,
      "loss": 0.0341,
      "step": 505
    },
    {
      "epoch": 1.7569444444444444,
      "grad_norm": 0.10498194396495819,
      "learning_rate": 1.9332601628129127e-06,
      "loss": 0.0339,
      "step": 506
    },
    {
      "epoch": 1.7604166666666665,
      "grad_norm": 0.0840122327208519,
      "learning_rate": 1.9241358758650702e-06,
      "loss": 0.0324,
      "step": 507
    },
    {
      "epoch": 1.7638888888888888,
      "grad_norm": 0.11167245358228683,
      "learning_rate": 1.915019682321283e-06,
      "loss": 0.0322,
      "step": 508
    },
    {
      "epoch": 1.7673611111111112,
      "grad_norm": 0.09572207927703857,
      "learning_rate": 1.905911710303853e-06,
      "loss": 0.0324,
      "step": 509
    },
    {
      "epoch": 1.7708333333333335,
      "grad_norm": 0.09823821485042572,
      "learning_rate": 1.8968120878195373e-06,
      "loss": 0.0328,
      "step": 510
    },
    {
      "epoch": 1.7743055555555556,
      "grad_norm": 0.0986163541674614,
      "learning_rate": 1.8877209427577412e-06,
      "loss": 0.0352,
      "step": 511
    },
    {
      "epoch": 1.7777777777777777,
      "grad_norm": 0.11851443350315094,
      "learning_rate": 1.8786384028887272e-06,
      "loss": 0.0336,
      "step": 512
    },
    {
      "epoch": 1.78125,
      "grad_norm": 0.09046804904937744,
      "learning_rate": 1.8695645958618192e-06,
      "loss": 0.0341,
      "step": 513
    },
    {
      "epoch": 1.7847222222222223,
      "grad_norm": 0.09390436112880707,
      "learning_rate": 1.8604996492036031e-06,
      "loss": 0.0333,
      "step": 514
    },
    {
      "epoch": 1.7881944444444444,
      "grad_norm": 0.09248839318752289,
      "learning_rate": 1.8514436903161399e-06,
      "loss": 0.0341,
      "step": 515
    },
    {
      "epoch": 1.7916666666666665,
      "grad_norm": 0.089256651699543,
      "learning_rate": 1.8423968464751723e-06,
      "loss": 0.0326,
      "step": 516
    },
    {
      "epoch": 1.7951388888888888,
      "grad_norm": 0.08673638850450516,
      "learning_rate": 1.8333592448283386e-06,
      "loss": 0.0341,
      "step": 517
    },
    {
      "epoch": 1.7986111111111112,
      "grad_norm": 0.09792578220367432,
      "learning_rate": 1.8243310123933813e-06,
      "loss": 0.0334,
      "step": 518
    },
    {
      "epoch": 1.8020833333333335,
      "grad_norm": 0.08559972792863846,
      "learning_rate": 1.8153122760563671e-06,
      "loss": 0.0336,
      "step": 519
    },
    {
      "epoch": 1.8055555555555556,
      "grad_norm": 0.08834969252347946,
      "learning_rate": 1.8063031625698984e-06,
      "loss": 0.0325,
      "step": 520
    },
    {
      "epoch": 1.8090277777777777,
      "grad_norm": 0.16573822498321533,
      "learning_rate": 1.7973037985513373e-06,
      "loss": 0.0329,
      "step": 521
    },
    {
      "epoch": 1.8125,
      "grad_norm": 0.1244572177529335,
      "learning_rate": 1.7883143104810225e-06,
      "loss": 0.0338,
      "step": 522
    },
    {
      "epoch": 1.8159722222222223,
      "grad_norm": 0.09488087147474289,
      "learning_rate": 1.7793348247004905e-06,
      "loss": 0.0337,
      "step": 523
    },
    {
      "epoch": 1.8194444444444444,
      "grad_norm": 0.38386884331703186,
      "learning_rate": 1.7703654674107047e-06,
      "loss": 0.0355,
      "step": 524
    },
    {
      "epoch": 1.8229166666666665,
      "grad_norm": 0.08194152265787125,
      "learning_rate": 1.7614063646702785e-06,
      "loss": 0.0319,
      "step": 525
    },
    {
      "epoch": 1.8263888888888888,
      "grad_norm": 0.080869160592556,
      "learning_rate": 1.7524576423937026e-06,
      "loss": 0.0341,
      "step": 526
    },
    {
      "epoch": 1.8298611111111112,
      "grad_norm": 0.08877138793468475,
      "learning_rate": 1.7435194263495776e-06,
      "loss": 0.0329,
      "step": 527
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 0.09945903718471527,
      "learning_rate": 1.734591842158847e-06,
      "loss": 0.0328,
      "step": 528
    },
    {
      "epoch": 1.8368055555555556,
      "grad_norm": 0.12519390881061554,
      "learning_rate": 1.7256750152930285e-06,
      "loss": 0.0333,
      "step": 529
    },
    {
      "epoch": 1.8402777777777777,
      "grad_norm": 0.09540285915136337,
      "learning_rate": 1.7167690710724528e-06,
      "loss": 0.0328,
      "step": 530
    },
    {
      "epoch": 1.84375,
      "grad_norm": 0.09680230915546417,
      "learning_rate": 1.7078741346645035e-06,
      "loss": 0.0342,
      "step": 531
    },
    {
      "epoch": 1.8472222222222223,
      "grad_norm": 0.07564783096313477,
      "learning_rate": 1.698990331081855e-06,
      "loss": 0.0325,
      "step": 532
    },
    {
      "epoch": 1.8506944444444444,
      "grad_norm": 0.09180152416229248,
      "learning_rate": 1.6901177851807168e-06,
      "loss": 0.0321,
      "step": 533
    },
    {
      "epoch": 1.8541666666666665,
      "grad_norm": 0.10208146274089813,
      "learning_rate": 1.6812566216590786e-06,
      "loss": 0.0333,
      "step": 534
    },
    {
      "epoch": 1.8576388888888888,
      "grad_norm": 0.1024680882692337,
      "learning_rate": 1.6724069650549606e-06,
      "loss": 0.0353,
      "step": 535
    },
    {
      "epoch": 1.8611111111111112,
      "grad_norm": 0.10866821557283401,
      "learning_rate": 1.6635689397446564e-06,
      "loss": 0.0339,
      "step": 536
    },
    {
      "epoch": 1.8645833333333335,
      "grad_norm": 0.09033416211605072,
      "learning_rate": 1.6547426699409931e-06,
      "loss": 0.0325,
      "step": 537
    },
    {
      "epoch": 1.8680555555555556,
      "grad_norm": 0.07767568528652191,
      "learning_rate": 1.6459282796915782e-06,
      "loss": 0.0329,
      "step": 538
    },
    {
      "epoch": 1.8715277777777777,
      "grad_norm": 0.09547679126262665,
      "learning_rate": 1.6371258928770629e-06,
      "loss": 0.0331,
      "step": 539
    },
    {
      "epoch": 1.875,
      "grad_norm": 0.0805947333574295,
      "learning_rate": 1.6283356332093954e-06,
      "loss": 0.0333,
      "step": 540
    },
    {
      "epoch": 1.8784722222222223,
      "grad_norm": 0.09117279201745987,
      "learning_rate": 1.6195576242300848e-06,
      "loss": 0.0331,
      "step": 541
    },
    {
      "epoch": 1.8819444444444444,
      "grad_norm": 0.09735280275344849,
      "learning_rate": 1.610791989308466e-06,
      "loss": 0.033,
      "step": 542
    },
    {
      "epoch": 1.8854166666666665,
      "grad_norm": 0.07676882296800613,
      "learning_rate": 1.6020388516399644e-06,
      "loss": 0.0332,
      "step": 543
    },
    {
      "epoch": 1.8888888888888888,
      "grad_norm": 0.0865699052810669,
      "learning_rate": 1.5932983342443611e-06,
      "loss": 0.0341,
      "step": 544
    },
    {
      "epoch": 1.8923611111111112,
      "grad_norm": 0.07805299013853073,
      "learning_rate": 1.584570559964071e-06,
      "loss": 0.0321,
      "step": 545
    },
    {
      "epoch": 1.8958333333333335,
      "grad_norm": 0.08122742921113968,
      "learning_rate": 1.5758556514624118e-06,
      "loss": 0.0326,
      "step": 546
    },
    {
      "epoch": 1.8993055555555556,
      "grad_norm": 0.08157409727573395,
      "learning_rate": 1.5671537312218805e-06,
      "loss": 0.0336,
      "step": 547
    },
    {
      "epoch": 1.9027777777777777,
      "grad_norm": 0.07330319285392761,
      "learning_rate": 1.5584649215424303e-06,
      "loss": 0.0329,
      "step": 548
    },
    {
      "epoch": 1.90625,
      "grad_norm": 0.07048080861568451,
      "learning_rate": 1.5497893445397583e-06,
      "loss": 0.0323,
      "step": 549
    },
    {
      "epoch": 1.9097222222222223,
      "grad_norm": 0.193235382437706,
      "learning_rate": 1.5411271221435815e-06,
      "loss": 0.0327,
      "step": 550
    },
    {
      "epoch": 1.9131944444444444,
      "grad_norm": 0.08565504103899002,
      "learning_rate": 1.5324783760959261e-06,
      "loss": 0.0332,
      "step": 551
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 0.0854913592338562,
      "learning_rate": 1.5238432279494182e-06,
      "loss": 0.0335,
      "step": 552
    },
    {
      "epoch": 1.9201388888888888,
      "grad_norm": 0.08227759599685669,
      "learning_rate": 1.5152217990655742e-06,
      "loss": 0.0332,
      "step": 553
    },
    {
      "epoch": 1.9236111111111112,
      "grad_norm": 0.08253435045480728,
      "learning_rate": 1.5066142106130943e-06,
      "loss": 0.0323,
      "step": 554
    },
    {
      "epoch": 1.9270833333333335,
      "grad_norm": 0.09564584493637085,
      "learning_rate": 1.4980205835661608e-06,
      "loss": 0.0343,
      "step": 555
    },
    {
      "epoch": 1.9305555555555556,
      "grad_norm": 0.07955571264028549,
      "learning_rate": 1.489441038702735e-06,
      "loss": 0.0324,
      "step": 556
    },
    {
      "epoch": 1.9340277777777777,
      "grad_norm": 0.07559920847415924,
      "learning_rate": 1.480875696602866e-06,
      "loss": 0.0322,
      "step": 557
    },
    {
      "epoch": 1.9375,
      "grad_norm": 0.08124665915966034,
      "learning_rate": 1.4723246776469895e-06,
      "loss": 0.0319,
      "step": 558
    },
    {
      "epoch": 1.9409722222222223,
      "grad_norm": 0.09301026165485382,
      "learning_rate": 1.463788102014238e-06,
      "loss": 0.0324,
      "step": 559
    },
    {
      "epoch": 1.9444444444444444,
      "grad_norm": 0.09986859560012817,
      "learning_rate": 1.4552660896807553e-06,
      "loss": 0.0336,
      "step": 560
    },
    {
      "epoch": 1.9479166666666665,
      "grad_norm": 0.0797615647315979,
      "learning_rate": 1.4467587604180033e-06,
      "loss": 0.0322,
      "step": 561
    },
    {
      "epoch": 1.9513888888888888,
      "grad_norm": 0.07878441363573074,
      "learning_rate": 1.438266233791087e-06,
      "loss": 0.0322,
      "step": 562
    },
    {
      "epoch": 1.9548611111111112,
      "grad_norm": 0.08748759329319,
      "learning_rate": 1.4297886291570645e-06,
      "loss": 0.033,
      "step": 563
    },
    {
      "epoch": 1.9583333333333335,
      "grad_norm": 0.07532475888729095,
      "learning_rate": 1.421326065663281e-06,
      "loss": 0.0343,
      "step": 564
    },
    {
      "epoch": 1.9618055555555556,
      "grad_norm": 0.07612042874097824,
      "learning_rate": 1.4128786622456819e-06,
      "loss": 0.0315,
      "step": 565
    },
    {
      "epoch": 1.9652777777777777,
      "grad_norm": 0.07990960776805878,
      "learning_rate": 1.4044465376271531e-06,
      "loss": 0.032,
      "step": 566
    },
    {
      "epoch": 1.96875,
      "grad_norm": 0.07755967974662781,
      "learning_rate": 1.3960298103158412e-06,
      "loss": 0.0325,
      "step": 567
    },
    {
      "epoch": 1.9722222222222223,
      "grad_norm": 0.46549713611602783,
      "learning_rate": 1.387628598603498e-06,
      "loss": 0.0344,
      "step": 568
    },
    {
      "epoch": 1.9756944444444444,
      "grad_norm": 0.08815637975931168,
      "learning_rate": 1.3792430205638112e-06,
      "loss": 0.0333,
      "step": 569
    },
    {
      "epoch": 1.9791666666666665,
      "grad_norm": 0.07772219181060791,
      "learning_rate": 1.3708731940507464e-06,
      "loss": 0.0309,
      "step": 570
    },
    {
      "epoch": 1.9826388888888888,
      "grad_norm": 0.08856731653213501,
      "learning_rate": 1.3625192366968932e-06,
      "loss": 0.0322,
      "step": 571
    },
    {
      "epoch": 1.9861111111111112,
      "grad_norm": 0.1001049056649208,
      "learning_rate": 1.3541812659118106e-06,
      "loss": 0.0333,
      "step": 572
    },
    {
      "epoch": 1.9895833333333335,
      "grad_norm": 0.07093587517738342,
      "learning_rate": 1.3458593988803751e-06,
      "loss": 0.0321,
      "step": 573
    },
    {
      "epoch": 1.9930555555555556,
      "grad_norm": 0.09380342066287994,
      "learning_rate": 1.3375537525611342e-06,
      "loss": 0.0343,
      "step": 574
    },
    {
      "epoch": 1.9965277777777777,
      "grad_norm": 0.08820290863513947,
      "learning_rate": 1.3292644436846677e-06,
      "loss": 0.0329,
      "step": 575
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.0801403596997261,
      "learning_rate": 1.3209915887519382e-06,
      "loss": 0.0324,
      "step": 576
    },
    {
      "epoch": 2.0034722222222223,
      "grad_norm": 0.08590015023946762,
      "learning_rate": 1.3127353040326613e-06,
      "loss": 0.0314,
      "step": 577
    },
    {
      "epoch": 2.0069444444444446,
      "grad_norm": 0.0739566758275032,
      "learning_rate": 1.3044957055636699e-06,
      "loss": 0.0317,
      "step": 578
    },
    {
      "epoch": 2.0104166666666665,
      "grad_norm": 0.07540319859981537,
      "learning_rate": 1.2962729091472798e-06,
      "loss": 0.0319,
      "step": 579
    },
    {
      "epoch": 2.013888888888889,
      "grad_norm": 0.06790811568498611,
      "learning_rate": 1.288067030349664e-06,
      "loss": 0.0316,
      "step": 580
    },
    {
      "epoch": 2.017361111111111,
      "grad_norm": 0.07835891097784042,
      "learning_rate": 1.2798781844992318e-06,
      "loss": 0.0323,
      "step": 581
    },
    {
      "epoch": 2.0208333333333335,
      "grad_norm": 0.08071696758270264,
      "learning_rate": 1.271706486685005e-06,
      "loss": 0.0297,
      "step": 582
    },
    {
      "epoch": 2.0243055555555554,
      "grad_norm": 0.07958495616912842,
      "learning_rate": 1.263552051754999e-06,
      "loss": 0.0316,
      "step": 583
    },
    {
      "epoch": 2.0277777777777777,
      "grad_norm": 0.08378104120492935,
      "learning_rate": 1.255414994314611e-06,
      "loss": 0.0312,
      "step": 584
    },
    {
      "epoch": 2.03125,
      "grad_norm": 0.09661484509706497,
      "learning_rate": 1.247295428725008e-06,
      "loss": 0.032,
      "step": 585
    },
    {
      "epoch": 2.0347222222222223,
      "grad_norm": 0.07474976032972336,
      "learning_rate": 1.2391934691015214e-06,
      "loss": 0.0321,
      "step": 586
    },
    {
      "epoch": 2.0381944444444446,
      "grad_norm": 0.08704522997140884,
      "learning_rate": 1.2311092293120426e-06,
      "loss": 0.0303,
      "step": 587
    },
    {
      "epoch": 2.0416666666666665,
      "grad_norm": 0.09962702542543411,
      "learning_rate": 1.2230428229754187e-06,
      "loss": 0.033,
      "step": 588
    },
    {
      "epoch": 2.045138888888889,
      "grad_norm": 0.07692939043045044,
      "learning_rate": 1.2149943634598635e-06,
      "loss": 0.0311,
      "step": 589
    },
    {
      "epoch": 2.048611111111111,
      "grad_norm": 0.07630238682031631,
      "learning_rate": 1.2069639638813557e-06,
      "loss": 0.0323,
      "step": 590
    },
    {
      "epoch": 2.0520833333333335,
      "grad_norm": 0.07105807214975357,
      "learning_rate": 1.1989517371020542e-06,
      "loss": 0.0311,
      "step": 591
    },
    {
      "epoch": 2.0555555555555554,
      "grad_norm": 0.08539631217718124,
      "learning_rate": 1.190957795728712e-06,
      "loss": 0.0314,
      "step": 592
    },
    {
      "epoch": 2.0590277777777777,
      "grad_norm": 0.07606377452611923,
      "learning_rate": 1.1829822521110917e-06,
      "loss": 0.0297,
      "step": 593
    },
    {
      "epoch": 2.0625,
      "grad_norm": 0.0736665353178978,
      "learning_rate": 1.1750252183403871e-06,
      "loss": 0.03,
      "step": 594
    },
    {
      "epoch": 2.0659722222222223,
      "grad_norm": 0.07256300747394562,
      "learning_rate": 1.1670868062476462e-06,
      "loss": 0.0306,
      "step": 595
    },
    {
      "epoch": 2.0694444444444446,
      "grad_norm": 0.0869077667593956,
      "learning_rate": 1.1591671274022034e-06,
      "loss": 0.0303,
      "step": 596
    },
    {
      "epoch": 2.0729166666666665,
      "grad_norm": 0.08701958507299423,
      "learning_rate": 1.1512662931101102e-06,
      "loss": 0.0307,
      "step": 597
    },
    {
      "epoch": 2.076388888888889,
      "grad_norm": 0.07373093068599701,
      "learning_rate": 1.1433844144125666e-06,
      "loss": 0.0306,
      "step": 598
    },
    {
      "epoch": 2.079861111111111,
      "grad_norm": 0.07683662325143814,
      "learning_rate": 1.1355216020843649e-06,
      "loss": 0.0314,
      "step": 599
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 0.0713699534535408,
      "learning_rate": 1.1276779666323337e-06,
      "loss": 0.0308,
      "step": 600
    },
    {
      "epoch": 2.0868055555555554,
      "grad_norm": 0.09329617768526077,
      "learning_rate": 1.1198536182937794e-06,
      "loss": 0.0323,
      "step": 601
    },
    {
      "epoch": 2.0902777777777777,
      "grad_norm": 0.07457021623849869,
      "learning_rate": 1.1120486670349443e-06,
      "loss": 0.0306,
      "step": 602
    },
    {
      "epoch": 2.09375,
      "grad_norm": 0.08459705114364624,
      "learning_rate": 1.1042632225494529e-06,
      "loss": 0.0319,
      "step": 603
    },
    {
      "epoch": 2.0972222222222223,
      "grad_norm": 0.07791051268577576,
      "learning_rate": 1.0964973942567783e-06,
      "loss": 0.031,
      "step": 604
    },
    {
      "epoch": 2.1006944444444446,
      "grad_norm": 0.07818476110696793,
      "learning_rate": 1.0887512913006976e-06,
      "loss": 0.0317,
      "step": 605
    },
    {
      "epoch": 2.1041666666666665,
      "grad_norm": 0.08858077228069305,
      "learning_rate": 1.0810250225477612e-06,
      "loss": 0.0333,
      "step": 606
    },
    {
      "epoch": 2.107638888888889,
      "grad_norm": 0.09768931567668915,
      "learning_rate": 1.073318696585764e-06,
      "loss": 0.0307,
      "step": 607
    },
    {
      "epoch": 2.111111111111111,
      "grad_norm": 0.07012086361646652,
      "learning_rate": 1.0656324217222171e-06,
      "loss": 0.0308,
      "step": 608
    },
    {
      "epoch": 2.1145833333333335,
      "grad_norm": 0.07889332622289658,
      "learning_rate": 1.0579663059828254e-06,
      "loss": 0.0303,
      "step": 609
    },
    {
      "epoch": 2.1180555555555554,
      "grad_norm": 0.08012253046035767,
      "learning_rate": 1.0503204571099696e-06,
      "loss": 0.0307,
      "step": 610
    },
    {
      "epoch": 2.1215277777777777,
      "grad_norm": 0.09245440363883972,
      "learning_rate": 1.042694982561195e-06,
      "loss": 0.0307,
      "step": 611
    },
    {
      "epoch": 2.125,
      "grad_norm": 0.10081558674573898,
      "learning_rate": 1.0350899895076949e-06,
      "loss": 0.0309,
      "step": 612
    },
    {
      "epoch": 2.1284722222222223,
      "grad_norm": 0.08144093304872513,
      "learning_rate": 1.027505584832812e-06,
      "loss": 0.0314,
      "step": 613
    },
    {
      "epoch": 2.1319444444444446,
      "grad_norm": 0.08556900173425674,
      "learning_rate": 1.0199418751305315e-06,
      "loss": 0.0303,
      "step": 614
    },
    {
      "epoch": 2.1354166666666665,
      "grad_norm": 0.07942487299442291,
      "learning_rate": 1.0123989667039823e-06,
      "loss": 0.0313,
      "step": 615
    },
    {
      "epoch": 2.138888888888889,
      "grad_norm": 0.07571721076965332,
      "learning_rate": 1.004876965563945e-06,
      "loss": 0.0299,
      "step": 616
    },
    {
      "epoch": 2.142361111111111,
      "grad_norm": 0.07973307371139526,
      "learning_rate": 9.973759774273628e-07,
      "loss": 0.0304,
      "step": 617
    },
    {
      "epoch": 2.1458333333333335,
      "grad_norm": 0.07859702408313751,
      "learning_rate": 9.898961077158544e-07,
      "loss": 0.0314,
      "step": 618
    },
    {
      "epoch": 2.1493055555555554,
      "grad_norm": 0.07425400614738464,
      "learning_rate": 9.824374615542318e-07,
      "loss": 0.0307,
      "step": 619
    },
    {
      "epoch": 2.1527777777777777,
      "grad_norm": 0.06932216137647629,
      "learning_rate": 9.750001437690229e-07,
      "loss": 0.03,
      "step": 620
    },
    {
      "epoch": 2.15625,
      "grad_norm": 0.07915540039539337,
      "learning_rate": 9.67584258886999e-07,
      "loss": 0.0307,
      "step": 621
    },
    {
      "epoch": 2.1597222222222223,
      "grad_norm": 0.08918701857328415,
      "learning_rate": 9.60189911133707e-07,
      "loss": 0.0312,
      "step": 622
    },
    {
      "epoch": 2.1631944444444446,
      "grad_norm": 0.06716031581163406,
      "learning_rate": 9.528172044320033e-07,
      "loss": 0.0303,
      "step": 623
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 0.08237398415803909,
      "learning_rate": 9.454662424005901e-07,
      "loss": 0.0312,
      "step": 624
    },
    {
      "epoch": 2.170138888888889,
      "grad_norm": 0.0839972272515297,
      "learning_rate": 9.381371283525659e-07,
      "loss": 0.0294,
      "step": 625
    },
    {
      "epoch": 2.173611111111111,
      "grad_norm": 0.20741994678974152,
      "learning_rate": 9.308299652939667e-07,
      "loss": 0.0323,
      "step": 626
    },
    {
      "epoch": 2.1770833333333335,
      "grad_norm": 0.07882515341043472,
      "learning_rate": 9.23544855922322e-07,
      "loss": 0.0305,
      "step": 627
    },
    {
      "epoch": 2.1805555555555554,
      "grad_norm": 0.08123145997524261,
      "learning_rate": 9.162819026252118e-07,
      "loss": 0.0311,
      "step": 628
    },
    {
      "epoch": 2.1840277777777777,
      "grad_norm": 0.06976938992738724,
      "learning_rate": 9.090412074788269e-07,
      "loss": 0.0318,
      "step": 629
    },
    {
      "epoch": 2.1875,
      "grad_norm": 0.08180829137563705,
      "learning_rate": 9.018228722465322e-07,
      "loss": 0.0316,
      "step": 630
    },
    {
      "epoch": 2.1909722222222223,
      "grad_norm": 0.13638685643672943,
      "learning_rate": 8.946269983774381e-07,
      "loss": 0.0318,
      "step": 631
    },
    {
      "epoch": 2.1944444444444446,
      "grad_norm": 0.08463310450315475,
      "learning_rate": 8.874536870049765e-07,
      "loss": 0.031,
      "step": 632
    },
    {
      "epoch": 2.1979166666666665,
      "grad_norm": 0.07580015063285828,
      "learning_rate": 8.80303038945478e-07,
      "loss": 0.0304,
      "step": 633
    },
    {
      "epoch": 2.201388888888889,
      "grad_norm": 0.07334792613983154,
      "learning_rate": 8.731751546967531e-07,
      "loss": 0.0314,
      "step": 634
    },
    {
      "epoch": 2.204861111111111,
      "grad_norm": 0.08295217156410217,
      "learning_rate": 8.660701344366809e-07,
      "loss": 0.0307,
      "step": 635
    },
    {
      "epoch": 2.2083333333333335,
      "grad_norm": 0.07557862997055054,
      "learning_rate": 8.589880780218049e-07,
      "loss": 0.0306,
      "step": 636
    },
    {
      "epoch": 2.2118055555555554,
      "grad_norm": 0.07664569467306137,
      "learning_rate": 8.519290849859221e-07,
      "loss": 0.0308,
      "step": 637
    },
    {
      "epoch": 2.2152777777777777,
      "grad_norm": 0.08243940025568008,
      "learning_rate": 8.448932545386929e-07,
      "loss": 0.0305,
      "step": 638
    },
    {
      "epoch": 2.21875,
      "grad_norm": 0.09455078840255737,
      "learning_rate": 8.378806855642376e-07,
      "loss": 0.032,
      "step": 639
    },
    {
      "epoch": 2.2222222222222223,
      "grad_norm": 0.0757819190621376,
      "learning_rate": 8.30891476619756e-07,
      "loss": 0.0308,
      "step": 640
    },
    {
      "epoch": 2.2256944444444446,
      "grad_norm": 0.07992719858884811,
      "learning_rate": 8.239257259341338e-07,
      "loss": 0.0311,
      "step": 641
    },
    {
      "epoch": 2.2291666666666665,
      "grad_norm": 0.07270017266273499,
      "learning_rate": 8.169835314065663e-07,
      "loss": 0.0312,
      "step": 642
    },
    {
      "epoch": 2.232638888888889,
      "grad_norm": 0.09561949223279953,
      "learning_rate": 8.100649906051841e-07,
      "loss": 0.0312,
      "step": 643
    },
    {
      "epoch": 2.236111111111111,
      "grad_norm": 0.09469616413116455,
      "learning_rate": 8.031702007656791e-07,
      "loss": 0.0319,
      "step": 644
    },
    {
      "epoch": 2.2395833333333335,
      "grad_norm": 0.08843550086021423,
      "learning_rate": 7.962992587899371e-07,
      "loss": 0.031,
      "step": 645
    },
    {
      "epoch": 2.2430555555555554,
      "grad_norm": 0.08293499052524567,
      "learning_rate": 7.89452261244677e-07,
      "loss": 0.0322,
      "step": 646
    },
    {
      "epoch": 2.2465277777777777,
      "grad_norm": 0.08645423501729965,
      "learning_rate": 7.826293043600963e-07,
      "loss": 0.0308,
      "step": 647
    },
    {
      "epoch": 2.25,
      "grad_norm": 0.08332621306180954,
      "learning_rate": 7.758304840285158e-07,
      "loss": 0.032,
      "step": 648
    },
    {
      "epoch": 2.2534722222222223,
      "grad_norm": 0.06776492297649384,
      "learning_rate": 7.690558958030306e-07,
      "loss": 0.0305,
      "step": 649
    },
    {
      "epoch": 2.2569444444444446,
      "grad_norm": 0.08468502014875412,
      "learning_rate": 7.623056348961694e-07,
      "loss": 0.0292,
      "step": 650
    },
    {
      "epoch": 2.2604166666666665,
      "grad_norm": 0.08029761910438538,
      "learning_rate": 7.555797961785586e-07,
      "loss": 0.0315,
      "step": 651
    },
    {
      "epoch": 2.263888888888889,
      "grad_norm": 0.07102996110916138,
      "learning_rate": 7.488784741775817e-07,
      "loss": 0.0311,
      "step": 652
    },
    {
      "epoch": 2.267361111111111,
      "grad_norm": 0.07779023796319962,
      "learning_rate": 7.422017630760594e-07,
      "loss": 0.0313,
      "step": 653
    },
    {
      "epoch": 2.2708333333333335,
      "grad_norm": 0.07998807728290558,
      "learning_rate": 7.35549756710921e-07,
      "loss": 0.0307,
      "step": 654
    },
    {
      "epoch": 2.2743055555555554,
      "grad_norm": 0.0815153494477272,
      "learning_rate": 7.289225485718845e-07,
      "loss": 0.0315,
      "step": 655
    },
    {
      "epoch": 2.2777777777777777,
      "grad_norm": 0.08315471559762955,
      "learning_rate": 7.223202318001466e-07,
      "loss": 0.0298,
      "step": 656
    },
    {
      "epoch": 2.28125,
      "grad_norm": 0.08561203628778458,
      "learning_rate": 7.157428991870693e-07,
      "loss": 0.0312,
      "step": 657
    },
    {
      "epoch": 2.2847222222222223,
      "grad_norm": 0.07471787929534912,
      "learning_rate": 7.091906431728812e-07,
      "loss": 0.031,
      "step": 658
    },
    {
      "epoch": 2.2881944444444446,
      "grad_norm": 0.07677436619997025,
      "learning_rate": 7.026635558453742e-07,
      "loss": 0.0321,
      "step": 659
    },
    {
      "epoch": 2.2916666666666665,
      "grad_norm": 0.07603947073221207,
      "learning_rate": 6.961617289386088e-07,
      "loss": 0.0314,
      "step": 660
    },
    {
      "epoch": 2.295138888888889,
      "grad_norm": 0.09379855543375015,
      "learning_rate": 6.896852538316284e-07,
      "loss": 0.0309,
      "step": 661
    },
    {
      "epoch": 2.298611111111111,
      "grad_norm": 0.08050437271595001,
      "learning_rate": 6.832342215471716e-07,
      "loss": 0.0296,
      "step": 662
    },
    {
      "epoch": 2.3020833333333335,
      "grad_norm": 0.08762253820896149,
      "learning_rate": 6.768087227503939e-07,
      "loss": 0.0304,
      "step": 663
    },
    {
      "epoch": 2.3055555555555554,
      "grad_norm": 0.09014241397380829,
      "learning_rate": 6.704088477475956e-07,
      "loss": 0.034,
      "step": 664
    },
    {
      "epoch": 2.3090277777777777,
      "grad_norm": 0.07743160426616669,
      "learning_rate": 6.640346864849509e-07,
      "loss": 0.0307,
      "step": 665
    },
    {
      "epoch": 2.3125,
      "grad_norm": 0.08577896654605865,
      "learning_rate": 6.576863285472415e-07,
      "loss": 0.0308,
      "step": 666
    },
    {
      "epoch": 2.3159722222222223,
      "grad_norm": 0.07862690836191177,
      "learning_rate": 6.513638631566011e-07,
      "loss": 0.032,
      "step": 667
    },
    {
      "epoch": 2.3194444444444446,
      "grad_norm": 0.08192867785692215,
      "learning_rate": 6.4506737917126e-07,
      "loss": 0.0313,
      "step": 668
    },
    {
      "epoch": 2.3229166666666665,
      "grad_norm": 0.076665960252285,
      "learning_rate": 6.387969650842981e-07,
      "loss": 0.0322,
      "step": 669
    },
    {
      "epoch": 2.326388888888889,
      "grad_norm": 0.07705209404230118,
      "learning_rate": 6.325527090223965e-07,
      "loss": 0.0318,
      "step": 670
    },
    {
      "epoch": 2.329861111111111,
      "grad_norm": 0.08457445353269577,
      "learning_rate": 6.263346987446029e-07,
      "loss": 0.0312,
      "step": 671
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 0.08644086867570877,
      "learning_rate": 6.201430216410986e-07,
      "loss": 0.0305,
      "step": 672
    },
    {
      "epoch": 2.3368055555555554,
      "grad_norm": 0.0853765606880188,
      "learning_rate": 6.139777647319667e-07,
      "loss": 0.0317,
      "step": 673
    },
    {
      "epoch": 2.3402777777777777,
      "grad_norm": 0.07388275861740112,
      "learning_rate": 6.078390146659738e-07,
      "loss": 0.0309,
      "step": 674
    },
    {
      "epoch": 2.34375,
      "grad_norm": 0.07953795790672302,
      "learning_rate": 6.017268577193467e-07,
      "loss": 0.0293,
      "step": 675
    },
    {
      "epoch": 2.3472222222222223,
      "grad_norm": 0.07475805282592773,
      "learning_rate": 5.956413797945656e-07,
      "loss": 0.0298,
      "step": 676
    },
    {
      "epoch": 2.3506944444444446,
      "grad_norm": 0.07575996220111847,
      "learning_rate": 5.895826664191526e-07,
      "loss": 0.0303,
      "step": 677
    },
    {
      "epoch": 2.3541666666666665,
      "grad_norm": 0.07877416908740997,
      "learning_rate": 5.835508027444703e-07,
      "loss": 0.032,
      "step": 678
    },
    {
      "epoch": 2.357638888888889,
      "grad_norm": 0.07567904889583588,
      "learning_rate": 5.775458735445275e-07,
      "loss": 0.03,
      "step": 679
    },
    {
      "epoch": 2.361111111111111,
      "grad_norm": 0.07162833958864212,
      "learning_rate": 5.715679632147858e-07,
      "loss": 0.0317,
      "step": 680
    },
    {
      "epoch": 2.3645833333333335,
      "grad_norm": 0.07010748982429504,
      "learning_rate": 5.656171557709733e-07,
      "loss": 0.0309,
      "step": 681
    },
    {
      "epoch": 2.3680555555555554,
      "grad_norm": 0.07418311387300491,
      "learning_rate": 5.596935348479029e-07,
      "loss": 0.0304,
      "step": 682
    },
    {
      "epoch": 2.3715277777777777,
      "grad_norm": 0.07636378705501556,
      "learning_rate": 5.537971836983011e-07,
      "loss": 0.0305,
      "step": 683
    },
    {
      "epoch": 2.375,
      "grad_norm": 0.07674182951450348,
      "learning_rate": 5.479281851916337e-07,
      "loss": 0.0309,
      "step": 684
    },
    {
      "epoch": 2.3784722222222223,
      "grad_norm": 0.07758651673793793,
      "learning_rate": 5.42086621812942e-07,
      "loss": 0.0312,
      "step": 685
    },
    {
      "epoch": 2.3819444444444446,
      "grad_norm": 0.0779494047164917,
      "learning_rate": 5.362725756616838e-07,
      "loss": 0.0314,
      "step": 686
    },
    {
      "epoch": 2.3854166666666665,
      "grad_norm": 0.11360656470060349,
      "learning_rate": 5.304861284505819e-07,
      "loss": 0.0308,
      "step": 687
    },
    {
      "epoch": 2.388888888888889,
      "grad_norm": 0.07941307872533798,
      "learning_rate": 5.247273615044707e-07,
      "loss": 0.0321,
      "step": 688
    },
    {
      "epoch": 2.392361111111111,
      "grad_norm": 0.07135394960641861,
      "learning_rate": 5.189963557591577e-07,
      "loss": 0.0305,
      "step": 689
    },
    {
      "epoch": 2.3958333333333335,
      "grad_norm": 0.0761200338602066,
      "learning_rate": 5.132931917602854e-07,
      "loss": 0.0302,
      "step": 690
    },
    {
      "epoch": 2.3993055555555554,
      "grad_norm": 0.07725370675325394,
      "learning_rate": 5.076179496621958e-07,
      "loss": 0.0309,
      "step": 691
    },
    {
      "epoch": 2.4027777777777777,
      "grad_norm": 0.09048782289028168,
      "learning_rate": 5.019707092268081e-07,
      "loss": 0.0317,
      "step": 692
    },
    {
      "epoch": 2.40625,
      "grad_norm": 0.06998349726200104,
      "learning_rate": 4.963515498224941e-07,
      "loss": 0.0298,
      "step": 693
    },
    {
      "epoch": 2.4097222222222223,
      "grad_norm": 0.07268805056810379,
      "learning_rate": 4.907605504229668e-07,
      "loss": 0.0304,
      "step": 694
    },
    {
      "epoch": 2.4131944444444446,
      "grad_norm": 0.07258985936641693,
      "learning_rate": 4.85197789606168e-07,
      "loss": 0.0316,
      "step": 695
    },
    {
      "epoch": 2.4166666666666665,
      "grad_norm": 0.07498931884765625,
      "learning_rate": 4.796633455531627e-07,
      "loss": 0.0314,
      "step": 696
    },
    {
      "epoch": 2.420138888888889,
      "grad_norm": 0.07773162424564362,
      "learning_rate": 4.741572960470417e-07,
      "loss": 0.0312,
      "step": 697
    },
    {
      "epoch": 2.423611111111111,
      "grad_norm": 0.07057441771030426,
      "learning_rate": 4.6867971847183057e-07,
      "loss": 0.0298,
      "step": 698
    },
    {
      "epoch": 2.4270833333333335,
      "grad_norm": 0.07450975477695465,
      "learning_rate": 4.6323068981139865e-07,
      "loss": 0.0312,
      "step": 699
    },
    {
      "epoch": 2.4305555555555554,
      "grad_norm": 0.10415519028902054,
      "learning_rate": 4.57810286648378e-07,
      "loss": 0.0304,
      "step": 700
    },
    {
      "epoch": 2.4340277777777777,
      "grad_norm": 0.07111155241727829,
      "learning_rate": 4.5241858516308886e-07,
      "loss": 0.0312,
      "step": 701
    },
    {
      "epoch": 2.4375,
      "grad_norm": 0.0689658373594284,
      "learning_rate": 4.470556611324664e-07,
      "loss": 0.0302,
      "step": 702
    },
    {
      "epoch": 2.4409722222222223,
      "grad_norm": 0.07079221308231354,
      "learning_rate": 4.4172158992899673e-07,
      "loss": 0.0295,
      "step": 703
    },
    {
      "epoch": 2.4444444444444446,
      "grad_norm": 0.07274811714887619,
      "learning_rate": 4.364164465196594e-07,
      "loss": 0.0301,
      "step": 704
    },
    {
      "epoch": 2.4479166666666665,
      "grad_norm": 0.0727149024605751,
      "learning_rate": 4.311403054648716e-07,
      "loss": 0.0311,
      "step": 705
    },
    {
      "epoch": 2.451388888888889,
      "grad_norm": 0.08022144436836243,
      "learning_rate": 4.258932409174402e-07,
      "loss": 0.0307,
      "step": 706
    },
    {
      "epoch": 2.454861111111111,
      "grad_norm": 0.08938895165920258,
      "learning_rate": 4.2067532662151965e-07,
      "loss": 0.0324,
      "step": 707
    },
    {
      "epoch": 2.4583333333333335,
      "grad_norm": 0.07280925661325455,
      "learning_rate": 4.154866359115789e-07,
      "loss": 0.0312,
      "step": 708
    },
    {
      "epoch": 2.4618055555555554,
      "grad_norm": 0.0717618390917778,
      "learning_rate": 4.103272417113649e-07,
      "loss": 0.0302,
      "step": 709
    },
    {
      "epoch": 2.4652777777777777,
      "grad_norm": 0.07531286031007767,
      "learning_rate": 4.0519721653288326e-07,
      "loss": 0.0309,
      "step": 710
    },
    {
      "epoch": 2.46875,
      "grad_norm": 0.08548147976398468,
      "learning_rate": 4.000966324753741e-07,
      "loss": 0.0318,
      "step": 711
    },
    {
      "epoch": 2.4722222222222223,
      "grad_norm": 0.07441239804029465,
      "learning_rate": 3.950255612243042e-07,
      "loss": 0.0307,
      "step": 712
    },
    {
      "epoch": 2.4756944444444446,
      "grad_norm": 0.07849752902984619,
      "learning_rate": 3.8998407405035437e-07,
      "loss": 0.031,
      "step": 713
    },
    {
      "epoch": 2.4791666666666665,
      "grad_norm": 0.08279726654291153,
      "learning_rate": 3.8497224180842065e-07,
      "loss": 0.0315,
      "step": 714
    },
    {
      "epoch": 2.482638888888889,
      "grad_norm": 0.07280096411705017,
      "learning_rate": 3.799901349366178e-07,
      "loss": 0.0295,
      "step": 715
    },
    {
      "epoch": 2.486111111111111,
      "grad_norm": 0.08283864706754684,
      "learning_rate": 3.7503782345529095e-07,
      "loss": 0.0302,
      "step": 716
    },
    {
      "epoch": 2.4895833333333335,
      "grad_norm": 0.07567720115184784,
      "learning_rate": 3.701153769660279e-07,
      "loss": 0.0298,
      "step": 717
    },
    {
      "epoch": 2.4930555555555554,
      "grad_norm": 0.07280651479959488,
      "learning_rate": 3.652228646506828e-07,
      "loss": 0.0318,
      "step": 718
    },
    {
      "epoch": 2.4965277777777777,
      "grad_norm": 0.07660435140132904,
      "learning_rate": 3.60360355270406e-07,
      "loss": 0.0323,
      "step": 719
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.06559138745069504,
      "learning_rate": 3.55527917164675e-07,
      "loss": 0.0315,
      "step": 720
    },
    {
      "epoch": 2.5034722222222223,
      "grad_norm": 0.06885040551424026,
      "learning_rate": 3.507256182503335e-07,
      "loss": 0.0305,
      "step": 721
    },
    {
      "epoch": 2.5069444444444446,
      "grad_norm": 0.11531556397676468,
      "learning_rate": 3.459535260206384e-07,
      "loss": 0.0308,
      "step": 722
    },
    {
      "epoch": 2.5104166666666665,
      "grad_norm": 0.0792870819568634,
      "learning_rate": 3.4121170754431276e-07,
      "loss": 0.0302,
      "step": 723
    },
    {
      "epoch": 2.513888888888889,
      "grad_norm": 0.07011454552412033,
      "learning_rate": 3.3650022946459806e-07,
      "loss": 0.0298,
      "step": 724
    },
    {
      "epoch": 2.517361111111111,
      "grad_norm": 0.08552692085504532,
      "learning_rate": 3.318191579983235e-07,
      "loss": 0.0322,
      "step": 725
    },
    {
      "epoch": 2.5208333333333335,
      "grad_norm": 0.0726555660367012,
      "learning_rate": 3.271685589349721e-07,
      "loss": 0.0308,
      "step": 726
    },
    {
      "epoch": 2.5243055555555554,
      "grad_norm": 0.07766875624656677,
      "learning_rate": 3.225484976357557e-07,
      "loss": 0.0304,
      "step": 727
    },
    {
      "epoch": 2.5277777777777777,
      "grad_norm": 0.07210135459899902,
      "learning_rate": 3.1795903903269783e-07,
      "loss": 0.0316,
      "step": 728
    },
    {
      "epoch": 2.53125,
      "grad_norm": 0.0863841325044632,
      "learning_rate": 3.134002476277201e-07,
      "loss": 0.0323,
      "step": 729
    },
    {
      "epoch": 2.5347222222222223,
      "grad_norm": 0.07878429442644119,
      "learning_rate": 3.088721874917372e-07,
      "loss": 0.0304,
      "step": 730
    },
    {
      "epoch": 2.5381944444444446,
      "grad_norm": 0.0796593651175499,
      "learning_rate": 3.0437492226375513e-07,
      "loss": 0.0307,
      "step": 731
    },
    {
      "epoch": 2.5416666666666665,
      "grad_norm": 0.0779607966542244,
      "learning_rate": 2.9990851514997645e-07,
      "loss": 0.032,
      "step": 732
    },
    {
      "epoch": 2.545138888888889,
      "grad_norm": 0.07694730162620544,
      "learning_rate": 2.9547302892291213e-07,
      "loss": 0.0312,
      "step": 733
    },
    {
      "epoch": 2.548611111111111,
      "grad_norm": 0.07988740503787994,
      "learning_rate": 2.9106852592050095e-07,
      "loss": 0.0296,
      "step": 734
    },
    {
      "epoch": 2.5520833333333335,
      "grad_norm": 0.07748119533061981,
      "learning_rate": 2.866950680452324e-07,
      "loss": 0.0315,
      "step": 735
    },
    {
      "epoch": 2.5555555555555554,
      "grad_norm": 0.07287778705358505,
      "learning_rate": 2.8235271676327445e-07,
      "loss": 0.0304,
      "step": 736
    },
    {
      "epoch": 2.5590277777777777,
      "grad_norm": 0.07414110749959946,
      "learning_rate": 2.78041533103614e-07,
      "loss": 0.0308,
      "step": 737
    },
    {
      "epoch": 2.5625,
      "grad_norm": 0.06827665865421295,
      "learning_rate": 2.737615776571953e-07,
      "loss": 0.0318,
      "step": 738
    },
    {
      "epoch": 2.5659722222222223,
      "grad_norm": 0.08554545789957047,
      "learning_rate": 2.695129105760699e-07,
      "loss": 0.0315,
      "step": 739
    },
    {
      "epoch": 2.5694444444444446,
      "grad_norm": 0.08511532098054886,
      "learning_rate": 2.652955915725522e-07,
      "loss": 0.0308,
      "step": 740
    },
    {
      "epoch": 2.5729166666666665,
      "grad_norm": 0.06823769211769104,
      "learning_rate": 2.611096799183793e-07,
      "loss": 0.0293,
      "step": 741
    },
    {
      "epoch": 2.576388888888889,
      "grad_norm": 0.07958739995956421,
      "learning_rate": 2.5695523444387747e-07,
      "loss": 0.0298,
      "step": 742
    },
    {
      "epoch": 2.579861111111111,
      "grad_norm": 0.07139437645673752,
      "learning_rate": 2.528323135371349e-07,
      "loss": 0.0302,
      "step": 743
    },
    {
      "epoch": 2.5833333333333335,
      "grad_norm": 0.07491526752710342,
      "learning_rate": 2.4874097514318433e-07,
      "loss": 0.0305,
      "step": 744
    },
    {
      "epoch": 2.5868055555555554,
      "grad_norm": 0.0705602765083313,
      "learning_rate": 2.44681276763184e-07,
      "loss": 0.0315,
      "step": 745
    },
    {
      "epoch": 2.5902777777777777,
      "grad_norm": 0.07351835817098618,
      "learning_rate": 2.4065327545361393e-07,
      "loss": 0.0304,
      "step": 746
    },
    {
      "epoch": 2.59375,
      "grad_norm": 0.07715285569429398,
      "learning_rate": 2.3665702782546984e-07,
      "loss": 0.0301,
      "step": 747
    },
    {
      "epoch": 2.5972222222222223,
      "grad_norm": 0.07910597324371338,
      "learning_rate": 2.3269259004347232e-07,
      "loss": 0.0292,
      "step": 748
    },
    {
      "epoch": 2.6006944444444446,
      "grad_norm": 0.08254042267799377,
      "learning_rate": 2.287600178252719e-07,
      "loss": 0.031,
      "step": 749
    },
    {
      "epoch": 2.6041666666666665,
      "grad_norm": 0.08161944150924683,
      "learning_rate": 2.2485936644067119e-07,
      "loss": 0.0306,
      "step": 750
    },
    {
      "epoch": 2.607638888888889,
      "grad_norm": 0.06973577290773392,
      "learning_rate": 2.2099069071084417e-07,
      "loss": 0.03,
      "step": 751
    },
    {
      "epoch": 2.611111111111111,
      "grad_norm": 0.07760939747095108,
      "learning_rate": 2.1715404500756876e-07,
      "loss": 0.0311,
      "step": 752
    },
    {
      "epoch": 2.6145833333333335,
      "grad_norm": 0.06724958121776581,
      "learning_rate": 2.133494832524602e-07,
      "loss": 0.0299,
      "step": 753
    },
    {
      "epoch": 2.6180555555555554,
      "grad_norm": 0.08100852370262146,
      "learning_rate": 2.0957705891621383e-07,
      "loss": 0.0302,
      "step": 754
    },
    {
      "epoch": 2.6215277777777777,
      "grad_norm": 0.08792813122272491,
      "learning_rate": 2.0583682501785524e-07,
      "loss": 0.0314,
      "step": 755
    },
    {
      "epoch": 2.625,
      "grad_norm": 0.08348779380321503,
      "learning_rate": 2.0212883412399409e-07,
      "loss": 0.0304,
      "step": 756
    },
    {
      "epoch": 2.6284722222222223,
      "grad_norm": 0.06598281860351562,
      "learning_rate": 1.9845313834808338e-07,
      "loss": 0.0301,
      "step": 757
    },
    {
      "epoch": 2.6319444444444446,
      "grad_norm": 0.08993739634752274,
      "learning_rate": 1.9480978934968946e-07,
      "loss": 0.031,
      "step": 758
    },
    {
      "epoch": 2.6354166666666665,
      "grad_norm": 0.07601960003376007,
      "learning_rate": 1.9119883833376678e-07,
      "loss": 0.0295,
      "step": 759
    },
    {
      "epoch": 2.638888888888889,
      "grad_norm": 0.0743350088596344,
      "learning_rate": 1.8762033604993456e-07,
      "loss": 0.0297,
      "step": 760
    },
    {
      "epoch": 2.642361111111111,
      "grad_norm": 0.07553434371948242,
      "learning_rate": 1.840743327917674e-07,
      "loss": 0.0305,
      "step": 761
    },
    {
      "epoch": 2.6458333333333335,
      "grad_norm": 0.08134180307388306,
      "learning_rate": 1.805608783960855e-07,
      "loss": 0.0308,
      "step": 762
    },
    {
      "epoch": 2.6493055555555554,
      "grad_norm": 0.0790461078286171,
      "learning_rate": 1.7708002224225669e-07,
      "loss": 0.0317,
      "step": 763
    },
    {
      "epoch": 2.6527777777777777,
      "grad_norm": 0.07087615877389908,
      "learning_rate": 1.7363181325150024e-07,
      "loss": 0.0299,
      "step": 764
    },
    {
      "epoch": 2.65625,
      "grad_norm": 0.08172857761383057,
      "learning_rate": 1.7021629988619974e-07,
      "loss": 0.0317,
      "step": 765
    },
    {
      "epoch": 2.6597222222222223,
      "grad_norm": 0.08409317582845688,
      "learning_rate": 1.6683353014922549e-07,
      "loss": 0.0302,
      "step": 766
    },
    {
      "epoch": 2.6631944444444446,
      "grad_norm": 0.09268525242805481,
      "learning_rate": 1.6348355158325418e-07,
      "loss": 0.0303,
      "step": 767
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 0.08578655868768692,
      "learning_rate": 1.6016641127010373e-07,
      "loss": 0.03,
      "step": 768
    },
    {
      "epoch": 2.670138888888889,
      "grad_norm": 0.07618473470211029,
      "learning_rate": 1.5688215583007177e-07,
      "loss": 0.0327,
      "step": 769
    },
    {
      "epoch": 2.673611111111111,
      "grad_norm": 0.07358857244253159,
      "learning_rate": 1.5363083142128005e-07,
      "loss": 0.029,
      "step": 770
    },
    {
      "epoch": 2.6770833333333335,
      "grad_norm": 0.1319722682237625,
      "learning_rate": 1.5041248373902612e-07,
      "loss": 0.0312,
      "step": 771
    },
    {
      "epoch": 2.6805555555555554,
      "grad_norm": 0.07285432517528534,
      "learning_rate": 1.4722715801513938e-07,
      "loss": 0.03,
      "step": 772
    },
    {
      "epoch": 2.6840277777777777,
      "grad_norm": 0.08117173612117767,
      "learning_rate": 1.4407489901734766e-07,
      "loss": 0.0307,
      "step": 773
    },
    {
      "epoch": 2.6875,
      "grad_norm": 0.08199554681777954,
      "learning_rate": 1.4095575104864617e-07,
      "loss": 0.0307,
      "step": 774
    },
    {
      "epoch": 2.6909722222222223,
      "grad_norm": 0.08660900592803955,
      "learning_rate": 1.3786975794667589e-07,
      "loss": 0.0312,
      "step": 775
    },
    {
      "epoch": 2.6944444444444446,
      "grad_norm": 0.07655421644449234,
      "learning_rate": 1.348169630831078e-07,
      "loss": 0.0306,
      "step": 776
    },
    {
      "epoch": 2.6979166666666665,
      "grad_norm": 0.0735250860452652,
      "learning_rate": 1.3179740936303282e-07,
      "loss": 0.0307,
      "step": 777
    },
    {
      "epoch": 2.701388888888889,
      "grad_norm": 0.07603076845407486,
      "learning_rate": 1.288111392243574e-07,
      "loss": 0.0303,
      "step": 778
    },
    {
      "epoch": 2.704861111111111,
      "grad_norm": 0.07170908153057098,
      "learning_rate": 1.258581946372095e-07,
      "loss": 0.0317,
      "step": 779
    },
    {
      "epoch": 2.7083333333333335,
      "grad_norm": 0.07100588083267212,
      "learning_rate": 1.22938617103347e-07,
      "loss": 0.0304,
      "step": 780
    },
    {
      "epoch": 2.7118055555555554,
      "grad_norm": 0.08404555171728134,
      "learning_rate": 1.2005244765557672e-07,
      "loss": 0.0309,
      "step": 781
    },
    {
      "epoch": 2.7152777777777777,
      "grad_norm": 0.080288827419281,
      "learning_rate": 1.1719972685717396e-07,
      "loss": 0.0303,
      "step": 782
    },
    {
      "epoch": 2.71875,
      "grad_norm": 0.06903711706399918,
      "learning_rate": 1.1438049480131525e-07,
      "loss": 0.0304,
      "step": 783
    },
    {
      "epoch": 2.7222222222222223,
      "grad_norm": 0.07489404827356339,
      "learning_rate": 1.1159479111051502e-07,
      "loss": 0.0309,
      "step": 784
    },
    {
      "epoch": 2.7256944444444446,
      "grad_norm": 0.07264979928731918,
      "learning_rate": 1.0884265493606633e-07,
      "loss": 0.0304,
      "step": 785
    },
    {
      "epoch": 2.7291666666666665,
      "grad_norm": 0.08701203763484955,
      "learning_rate": 1.0612412495749347e-07,
      "loss": 0.0308,
      "step": 786
    },
    {
      "epoch": 2.732638888888889,
      "grad_norm": 0.07101600617170334,
      "learning_rate": 1.0343923938200634e-07,
      "loss": 0.0311,
      "step": 787
    },
    {
      "epoch": 2.736111111111111,
      "grad_norm": 0.06843852996826172,
      "learning_rate": 1.0078803594396447e-07,
      "loss": 0.0304,
      "step": 788
    },
    {
      "epoch": 2.7395833333333335,
      "grad_norm": 0.06711427867412567,
      "learning_rate": 9.817055190434604e-08,
      "loss": 0.03,
      "step": 789
    },
    {
      "epoch": 2.7430555555555554,
      "grad_norm": 0.07748064398765564,
      "learning_rate": 9.558682405022445e-08,
      "loss": 0.0297,
      "step": 790
    },
    {
      "epoch": 2.7465277777777777,
      "grad_norm": 0.0736667662858963,
      "learning_rate": 9.303688869425203e-08,
      "loss": 0.0301,
      "step": 791
    },
    {
      "epoch": 2.75,
      "grad_norm": 0.07295675575733185,
      "learning_rate": 9.052078167414851e-08,
      "loss": 0.0313,
      "step": 792
    },
    {
      "epoch": 2.7534722222222223,
      "grad_norm": 0.07612074911594391,
      "learning_rate": 8.803853835219812e-08,
      "loss": 0.0301,
      "step": 793
    },
    {
      "epoch": 2.7569444444444446,
      "grad_norm": 0.06932767480611801,
      "learning_rate": 8.559019361475156e-08,
      "loss": 0.0306,
      "step": 794
    },
    {
      "epoch": 2.7604166666666665,
      "grad_norm": 0.08955582976341248,
      "learning_rate": 8.317578187173825e-08,
      "loss": 0.0316,
      "step": 795
    },
    {
      "epoch": 2.763888888888889,
      "grad_norm": 0.0764101892709732,
      "learning_rate": 8.07953370561787e-08,
      "loss": 0.0322,
      "step": 796
    },
    {
      "epoch": 2.767361111111111,
      "grad_norm": 0.07155953347682953,
      "learning_rate": 7.844889262371175e-08,
      "loss": 0.0301,
      "step": 797
    },
    {
      "epoch": 2.7708333333333335,
      "grad_norm": 0.07844618707895279,
      "learning_rate": 7.613648155212122e-08,
      "loss": 0.0307,
      "step": 798
    },
    {
      "epoch": 2.7743055555555554,
      "grad_norm": 0.07776734977960587,
      "learning_rate": 7.385813634087497e-08,
      "loss": 0.0305,
      "step": 799
    },
    {
      "epoch": 2.7777777777777777,
      "grad_norm": 0.07670630514621735,
      "learning_rate": 7.16138890106649e-08,
      "loss": 0.0304,
      "step": 800
    },
    {
      "epoch": 2.78125,
      "grad_norm": 0.07257203012704849,
      "learning_rate": 6.940377110296103e-08,
      "loss": 0.0313,
      "step": 801
    },
    {
      "epoch": 2.7847222222222223,
      "grad_norm": 0.08373381197452545,
      "learning_rate": 6.722781367956483e-08,
      "loss": 0.0314,
      "step": 802
    },
    {
      "epoch": 2.7881944444444446,
      "grad_norm": 0.07172171771526337,
      "learning_rate": 6.508604732217428e-08,
      "loss": 0.0302,
      "step": 803
    },
    {
      "epoch": 2.7916666666666665,
      "grad_norm": 0.07415993511676788,
      "learning_rate": 6.297850213195317e-08,
      "loss": 0.0306,
      "step": 804
    },
    {
      "epoch": 2.795138888888889,
      "grad_norm": 0.07504456490278244,
      "learning_rate": 6.090520772910863e-08,
      "loss": 0.0308,
      "step": 805
    },
    {
      "epoch": 2.798611111111111,
      "grad_norm": 0.08004260808229446,
      "learning_rate": 5.886619325247561e-08,
      "loss": 0.031,
      "step": 806
    },
    {
      "epoch": 2.8020833333333335,
      "grad_norm": 0.07137143611907959,
      "learning_rate": 5.686148735910585e-08,
      "loss": 0.0305,
      "step": 807
    },
    {
      "epoch": 2.8055555555555554,
      "grad_norm": 0.07917658239603043,
      "learning_rate": 5.489111822386567e-08,
      "loss": 0.0314,
      "step": 808
    },
    {
      "epoch": 2.8090277777777777,
      "grad_norm": 0.06926701962947845,
      "learning_rate": 5.295511353903993e-08,
      "loss": 0.0308,
      "step": 809
    },
    {
      "epoch": 2.8125,
      "grad_norm": 0.08771774917840958,
      "learning_rate": 5.105350051394398e-08,
      "loss": 0.0321,
      "step": 810
    },
    {
      "epoch": 2.8159722222222223,
      "grad_norm": 0.07307300716638565,
      "learning_rate": 4.9186305874539266e-08,
      "loss": 0.0291,
      "step": 811
    },
    {
      "epoch": 2.8194444444444446,
      "grad_norm": 0.0861656442284584,
      "learning_rate": 4.735355586305862e-08,
      "loss": 0.03,
      "step": 812
    },
    {
      "epoch": 2.8229166666666665,
      "grad_norm": 0.06259112805128098,
      "learning_rate": 4.555527623763878e-08,
      "loss": 0.0308,
      "step": 813
    },
    {
      "epoch": 2.826388888888889,
      "grad_norm": 0.07273875921964645,
      "learning_rate": 4.379149227195595e-08,
      "loss": 0.0305,
      "step": 814
    },
    {
      "epoch": 2.829861111111111,
      "grad_norm": 0.07823726534843445,
      "learning_rate": 4.206222875487193e-08,
      "loss": 0.0309,
      "step": 815
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 0.08540591597557068,
      "learning_rate": 4.036750999008576e-08,
      "loss": 0.0304,
      "step": 816
    },
    {
      "epoch": 2.8368055555555554,
      "grad_norm": 0.0787176787853241,
      "learning_rate": 3.87073597957921e-08,
      "loss": 0.0308,
      "step": 817
    },
    {
      "epoch": 2.8402777777777777,
      "grad_norm": 0.07534324377775192,
      "learning_rate": 3.7081801504346426e-08,
      "loss": 0.0306,
      "step": 818
    },
    {
      "epoch": 2.84375,
      "grad_norm": 0.07480069249868393,
      "learning_rate": 3.549085796193647e-08,
      "loss": 0.0307,
      "step": 819
    },
    {
      "epoch": 2.8472222222222223,
      "grad_norm": 0.07662595063447952,
      "learning_rate": 3.393455152826186e-08,
      "loss": 0.0308,
      "step": 820
    },
    {
      "epoch": 2.8506944444444446,
      "grad_norm": 0.07794708013534546,
      "learning_rate": 3.241290407622e-08,
      "loss": 0.0307,
      "step": 821
    },
    {
      "epoch": 2.8541666666666665,
      "grad_norm": 0.09365274012088776,
      "learning_rate": 3.092593699159846e-08,
      "loss": 0.0304,
      "step": 822
    },
    {
      "epoch": 2.857638888888889,
      "grad_norm": 0.29100650548934937,
      "learning_rate": 2.947367117277361e-08,
      "loss": 0.0315,
      "step": 823
    },
    {
      "epoch": 2.861111111111111,
      "grad_norm": 0.22712476551532745,
      "learning_rate": 2.8056127030418046e-08,
      "loss": 0.0312,
      "step": 824
    },
    {
      "epoch": 2.8645833333333335,
      "grad_norm": 0.07548069208860397,
      "learning_rate": 2.6673324487213603e-08,
      "loss": 0.0315,
      "step": 825
    },
    {
      "epoch": 2.8680555555555554,
      "grad_norm": 0.0894177034497261,
      "learning_rate": 2.532528297756992e-08,
      "loss": 0.0312,
      "step": 826
    },
    {
      "epoch": 2.8715277777777777,
      "grad_norm": 0.07930919528007507,
      "learning_rate": 2.4012021447353817e-08,
      "loss": 0.0312,
      "step": 827
    },
    {
      "epoch": 2.875,
      "grad_norm": 0.07434222102165222,
      "learning_rate": 2.273355835362062e-08,
      "loss": 0.031,
      "step": 828
    },
    {
      "epoch": 2.8784722222222223,
      "grad_norm": 0.07435128837823868,
      "learning_rate": 2.1489911664356323e-08,
      "loss": 0.0311,
      "step": 829
    },
    {
      "epoch": 2.8819444444444446,
      "grad_norm": 0.07444646954536438,
      "learning_rate": 2.0281098858224158e-08,
      "loss": 0.0299,
      "step": 830
    },
    {
      "epoch": 2.8854166666666665,
      "grad_norm": 0.08751827478408813,
      "learning_rate": 1.9107136924319258e-08,
      "loss": 0.0311,
      "step": 831
    },
    {
      "epoch": 2.888888888888889,
      "grad_norm": 0.07868948578834534,
      "learning_rate": 1.7968042361930226e-08,
      "loss": 0.0298,
      "step": 832
    },
    {
      "epoch": 2.892361111111111,
      "grad_norm": 0.07375209778547287,
      "learning_rate": 1.6863831180306822e-08,
      "loss": 0.0316,
      "step": 833
    },
    {
      "epoch": 2.8958333333333335,
      "grad_norm": 0.08830597996711731,
      "learning_rate": 1.5794518898434862e-08,
      "loss": 0.0311,
      "step": 834
    },
    {
      "epoch": 2.8993055555555554,
      "grad_norm": 0.07945113629102707,
      "learning_rate": 1.4760120544818346e-08,
      "loss": 0.0312,
      "step": 835
    },
    {
      "epoch": 2.9027777777777777,
      "grad_norm": 0.06849882751703262,
      "learning_rate": 1.3760650657268782e-08,
      "loss": 0.03,
      "step": 836
    },
    {
      "epoch": 2.90625,
      "grad_norm": 0.07908596843481064,
      "learning_rate": 1.2796123282699247e-08,
      "loss": 0.0306,
      "step": 837
    },
    {
      "epoch": 2.9097222222222223,
      "grad_norm": 0.06601276248693466,
      "learning_rate": 1.1866551976928986e-08,
      "loss": 0.0284,
      "step": 838
    },
    {
      "epoch": 2.9131944444444446,
      "grad_norm": 0.07204879820346832,
      "learning_rate": 1.0971949804491344e-08,
      "loss": 0.0304,
      "step": 839
    },
    {
      "epoch": 2.9166666666666665,
      "grad_norm": 0.07418639957904816,
      "learning_rate": 1.011232933845141e-08,
      "loss": 0.0316,
      "step": 840
    },
    {
      "epoch": 2.920138888888889,
      "grad_norm": 0.07970517128705978,
      "learning_rate": 9.28770266022755e-09,
      "loss": 0.0313,
      "step": 841
    },
    {
      "epoch": 2.923611111111111,
      "grad_norm": 0.09216306358575821,
      "learning_rate": 8.49808135942376e-09,
      "loss": 0.031,
      "step": 842
    },
    {
      "epoch": 2.9270833333333335,
      "grad_norm": 0.08491267263889313,
      "learning_rate": 7.743476533665085e-09,
      "loss": 0.0326,
      "step": 843
    },
    {
      "epoch": 2.9305555555555554,
      "grad_norm": 0.07042358070611954,
      "learning_rate": 7.023898788442729e-09,
      "loss": 0.031,
      "step": 844
    },
    {
      "epoch": 2.9340277777777777,
      "grad_norm": 0.07358433306217194,
      "learning_rate": 6.3393582369639104e-09,
      "loss": 0.031,
      "step": 845
    },
    {
      "epoch": 2.9375,
      "grad_norm": 0.07359428703784943,
      "learning_rate": 5.689864500010856e-09,
      "loss": 0.0307,
      "step": 846
    },
    {
      "epoch": 2.9409722222222223,
      "grad_norm": 0.07165790349245071,
      "learning_rate": 5.075426705805353e-09,
      "loss": 0.0308,
      "step": 847
    },
    {
      "epoch": 2.9444444444444446,
      "grad_norm": 0.07343942672014236,
      "learning_rate": 4.496053489879415e-09,
      "loss": 0.0306,
      "step": 848
    },
    {
      "epoch": 2.9479166666666665,
      "grad_norm": 0.07413213700056076,
      "learning_rate": 3.9517529949553715e-09,
      "loss": 0.0301,
      "step": 849
    },
    {
      "epoch": 2.951388888888889,
      "grad_norm": 0.08277144283056259,
      "learning_rate": 3.4425328708306836e-09,
      "loss": 0.0308,
      "step": 850
    },
    {
      "epoch": 2.954861111111111,
      "grad_norm": 0.07588683068752289,
      "learning_rate": 2.968400274269978e-09,
      "loss": 0.0307,
      "step": 851
    },
    {
      "epoch": 2.9583333333333335,
      "grad_norm": 0.16103269159793854,
      "learning_rate": 2.5293618689056776e-09,
      "loss": 0.0305,
      "step": 852
    },
    {
      "epoch": 2.9618055555555554,
      "grad_norm": 0.0769064798951149,
      "learning_rate": 2.1254238251433577e-09,
      "loss": 0.031,
      "step": 853
    },
    {
      "epoch": 2.9652777777777777,
      "grad_norm": 0.06405849754810333,
      "learning_rate": 1.7565918200751486e-09,
      "loss": 0.0298,
      "step": 854
    },
    {
      "epoch": 2.96875,
      "grad_norm": 0.08821862190961838,
      "learning_rate": 1.4228710374006306e-09,
      "loss": 0.0309,
      "step": 855
    },
    {
      "epoch": 2.9722222222222223,
      "grad_norm": 0.06847349554300308,
      "learning_rate": 1.1242661673527278e-09,
      "loss": 0.0306,
      "step": 856
    },
    {
      "epoch": 2.9756944444444446,
      "grad_norm": 0.07664573192596436,
      "learning_rate": 8.607814066335928e-10,
      "loss": 0.0313,
      "step": 857
    },
    {
      "epoch": 2.9791666666666665,
      "grad_norm": 0.08342213183641434,
      "learning_rate": 6.324204583535443e-10,
      "loss": 0.0308,
      "step": 858
    },
    {
      "epoch": 2.982638888888889,
      "grad_norm": 0.07757673412561417,
      "learning_rate": 4.391865319808286e-10,
      "loss": 0.0294,
      "step": 859
    },
    {
      "epoch": 2.986111111111111,
      "grad_norm": 0.07195166498422623,
      "learning_rate": 2.810823432949916e-10,
      "loss": 0.0307,
      "step": 860
    },
    {
      "epoch": 2.9895833333333335,
      "grad_norm": 0.07295399904251099,
      "learning_rate": 1.5811011434996304e-10,
      "loss": 0.031,
      "step": 861
    },
    {
      "epoch": 2.9930555555555554,
      "grad_norm": 0.09042622894048691,
      "learning_rate": 7.02715734424153e-11,
      "loss": 0.0305,
      "step": 862
    },
    {
      "epoch": 2.9965277777777777,
      "grad_norm": 0.0834117904305458,
      "learning_rate": 1.7567955087338662e-11,
      "loss": 0.0299,
      "step": 863
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.07452529668807983,
      "learning_rate": 0.0,
      "loss": 0.0297,
      "step": 864
    },
    {
      "epoch": 3.0,
      "step": 864,
      "total_flos": 6.502674177634337e+18,
      "train_loss": 0.043296724473798856,
      "train_runtime": 112235.927,
      "train_samples_per_second": 3.941,
      "train_steps_per_second": 0.008
    }
  ],
  "logging_steps": 1.0,
  "max_steps": 864,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 200,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 6.502674177634337e+18,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}