{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.0033333333333333335,
  "eval_steps": 500,
  "global_step": 2000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 1.6666666666666667e-06,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.1496,
      "step": 1
    },
    {
      "epoch": 3.3333333333333333e-06,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.1093,
      "step": 2
    },
    {
      "epoch": 5e-06,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.0542,
      "step": 3
    },
    {
      "epoch": 6.666666666666667e-06,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.049,
      "step": 4
    },
    {
      "epoch": 8.333333333333334e-06,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.0558,
      "step": 5
    },
    {
      "epoch": 1e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.0969,
      "step": 6
    },
    {
      "epoch": 1.1666666666666666e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 2.8803,
      "step": 7
    },
    {
      "epoch": 1.3333333333333333e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 2.9608,
      "step": 8
    },
    {
      "epoch": 1.5e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.1656,
      "step": 9
    },
    {
      "epoch": 1.6666666666666667e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.1611,
      "step": 10
    },
    {
      "epoch": 1.8333333333333333e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.1404,
      "step": 11
    },
    {
      "epoch": 2e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.0039,
      "step": 12
    },
    {
      "epoch": 2.1666666666666667e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.0609,
      "step": 13
    },
    {
      "epoch": 2.3333333333333332e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.167,
      "step": 14
    },
    {
      "epoch": 2.5e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 2.9087,
      "step": 15
    },
    {
      "epoch": 2.6666666666666667e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.097,
      "step": 16
    },
    {
      "epoch": 2.8333333333333332e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.3354,
      "step": 17
    },
    {
      "epoch": 3e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 2.983,
      "step": 18
    },
    {
      "epoch": 3.1666666666666666e-05,
      "grad_norm": 0.0,
      "learning_rate": 0.0,
      "loss": 3.2061,
      "step": 19
    },
    {
      "epoch": 3.3333333333333335e-05,
      "grad_norm": 47.834747314453125,
      "learning_rate": 3.3333333333333334e-09,
      "loss": 3.1524,
      "step": 20
    },
    {
      "epoch": 3.5e-05,
      "grad_norm": 54.88141632080078,
      "learning_rate": 6.666666666666667e-09,
      "loss": 3.1101,
      "step": 21
    },
    {
      "epoch": 3.6666666666666666e-05,
      "grad_norm": 44.263954162597656,
      "learning_rate": 1e-08,
      "loss": 2.9099,
      "step": 22
    },
    {
      "epoch": 3.8333333333333334e-05,
      "grad_norm": 51.92649841308594,
      "learning_rate": 1.3333333333333334e-08,
      "loss": 3.1149,
      "step": 23
    },
    {
      "epoch": 4e-05,
      "grad_norm": 42.27455520629883,
      "learning_rate": 1.666666666666667e-08,
      "loss": 2.9633,
      "step": 24
    },
    {
      "epoch": 4.1666666666666665e-05,
      "grad_norm": 50.15815734863281,
      "learning_rate": 2e-08,
      "loss": 3.1578,
      "step": 25
    },
    {
      "epoch": 4.3333333333333334e-05,
      "grad_norm": 43.36662292480469,
      "learning_rate": 2.3333333333333337e-08,
      "loss": 3.134,
      "step": 26
    },
    {
      "epoch": 4.5e-05,
      "grad_norm": 62.033084869384766,
      "learning_rate": 2.6666666666666667e-08,
      "loss": 3.0412,
      "step": 27
    },
    {
      "epoch": 4.6666666666666665e-05,
      "grad_norm": 75.07389831542969,
      "learning_rate": 3.0000000000000004e-08,
      "loss": 3.2218,
      "step": 28
    },
    {
      "epoch": 4.8333333333333334e-05,
      "grad_norm": 51.344566345214844,
      "learning_rate": 3.333333333333334e-08,
      "loss": 2.978,
      "step": 29
    },
    {
      "epoch": 5e-05,
      "grad_norm": 67.9194564819336,
      "learning_rate": 3.666666666666667e-08,
      "loss": 3.1491,
      "step": 30
    },
    {
      "epoch": 5.1666666666666664e-05,
      "grad_norm": 40.58277893066406,
      "learning_rate": 4e-08,
      "loss": 2.8974,
      "step": 31
    },
    {
      "epoch": 5.333333333333333e-05,
      "grad_norm": 46.76699447631836,
      "learning_rate": 4.333333333333334e-08,
      "loss": 3.1015,
      "step": 32
    },
    {
      "epoch": 5.5e-05,
      "grad_norm": 46.533119201660156,
      "learning_rate": 4.6666666666666674e-08,
      "loss": 3.1846,
      "step": 33
    },
    {
      "epoch": 5.6666666666666664e-05,
      "grad_norm": 47.13284683227539,
      "learning_rate": 5.0000000000000004e-08,
      "loss": 2.9567,
      "step": 34
    },
    {
      "epoch": 5.833333333333333e-05,
      "grad_norm": 42.0144157409668,
      "learning_rate": 5.3333333333333334e-08,
      "loss": 2.9258,
      "step": 35
    },
    {
      "epoch": 6e-05,
      "grad_norm": 48.98158645629883,
      "learning_rate": 5.666666666666668e-08,
      "loss": 2.9863,
      "step": 36
    },
    {
      "epoch": 6.166666666666667e-05,
      "grad_norm": 46.96261978149414,
      "learning_rate": 6.000000000000001e-08,
      "loss": 3.0391,
      "step": 37
    },
    {
      "epoch": 6.333333333333333e-05,
      "grad_norm": 54.5601921081543,
      "learning_rate": 6.333333333333333e-08,
      "loss": 3.0599,
      "step": 38
    },
    {
      "epoch": 6.5e-05,
      "grad_norm": 54.5601921081543,
      "learning_rate": 6.333333333333333e-08,
      "loss": 2.9964,
      "step": 39
    },
    {
      "epoch": 6.666666666666667e-05,
      "grad_norm": 38.246707916259766,
      "learning_rate": 6.666666666666668e-08,
      "loss": 2.9633,
      "step": 40
    },
    {
      "epoch": 6.833333333333333e-05,
      "grad_norm": 39.34197998046875,
      "learning_rate": 7e-08,
      "loss": 2.9756,
      "step": 41
    },
    {
      "epoch": 7e-05,
      "grad_norm": 37.70391082763672,
      "learning_rate": 7.333333333333334e-08,
      "loss": 2.8555,
      "step": 42
    },
    {
      "epoch": 7.166666666666667e-05,
      "grad_norm": 34.819847106933594,
      "learning_rate": 7.666666666666666e-08,
      "loss": 2.9254,
      "step": 43
    },
    {
      "epoch": 7.333333333333333e-05,
      "grad_norm": 32.11854934692383,
      "learning_rate": 8e-08,
      "loss": 2.905,
      "step": 44
    },
    {
      "epoch": 7.5e-05,
      "grad_norm": 33.14441680908203,
      "learning_rate": 8.333333333333334e-08,
      "loss": 2.9205,
      "step": 45
    },
    {
      "epoch": 7.666666666666667e-05,
      "grad_norm": 31.174579620361328,
      "learning_rate": 8.666666666666668e-08,
      "loss": 2.7526,
      "step": 46
    },
    {
      "epoch": 7.833333333333333e-05,
      "grad_norm": 29.10773468017578,
      "learning_rate": 9e-08,
      "loss": 2.7287,
      "step": 47
    },
    {
      "epoch": 8e-05,
      "grad_norm": 21.129026412963867,
      "learning_rate": 9.333333333333335e-08,
      "loss": 2.7567,
      "step": 48
    },
    {
      "epoch": 8.166666666666667e-05,
      "grad_norm": 26.050222396850586,
      "learning_rate": 9.666666666666669e-08,
      "loss": 2.736,
      "step": 49
    },
    {
      "epoch": 8.333333333333333e-05,
      "grad_norm": 19.948942184448242,
      "learning_rate": 1.0000000000000001e-07,
      "loss": 2.66,
      "step": 50
    },
    {
      "epoch": 8.5e-05,
      "grad_norm": 23.93376350402832,
      "learning_rate": 1.0333333333333335e-07,
      "loss": 2.7653,
      "step": 51
    },
    {
      "epoch": 8.666666666666667e-05,
      "grad_norm": 31.06721305847168,
      "learning_rate": 1.0666666666666667e-07,
      "loss": 2.7049,
      "step": 52
    },
    {
      "epoch": 8.833333333333333e-05,
      "grad_norm": 18.737506866455078,
      "learning_rate": 1.1e-07,
      "loss": 2.7673,
      "step": 53
    },
    {
      "epoch": 9e-05,
      "grad_norm": 16.26967430114746,
      "learning_rate": 1.1333333333333336e-07,
      "loss": 2.8597,
      "step": 54
    },
    {
      "epoch": 9.166666666666667e-05,
      "grad_norm": 19.457290649414062,
      "learning_rate": 1.1666666666666668e-07,
      "loss": 2.6356,
      "step": 55
    },
    {
      "epoch": 9.333333333333333e-05,
      "grad_norm": 22.017492294311523,
      "learning_rate": 1.2000000000000002e-07,
      "loss": 2.5412,
      "step": 56
    },
    {
      "epoch": 9.5e-05,
      "grad_norm": 21.750598907470703,
      "learning_rate": 1.2333333333333335e-07,
      "loss": 2.5677,
      "step": 57
    },
    {
      "epoch": 9.666666666666667e-05,
      "grad_norm": 27.145410537719727,
      "learning_rate": 1.2666666666666666e-07,
      "loss": 2.6131,
      "step": 58
    },
    {
      "epoch": 9.833333333333333e-05,
      "grad_norm": 25.723491668701172,
      "learning_rate": 1.3e-07,
      "loss": 2.4312,
      "step": 59
    },
    {
      "epoch": 0.0001,
      "grad_norm": 14.137507438659668,
      "learning_rate": 1.3333333333333336e-07,
      "loss": 2.3994,
      "step": 60
    },
    {
      "epoch": 0.00010166666666666667,
      "grad_norm": 10.265013694763184,
      "learning_rate": 1.3666666666666667e-07,
      "loss": 2.3456,
      "step": 61
    },
    {
      "epoch": 0.00010333333333333333,
      "grad_norm": 10.281889915466309,
      "learning_rate": 1.4e-07,
      "loss": 2.4966,
      "step": 62
    },
    {
      "epoch": 0.000105,
      "grad_norm": 9.651606559753418,
      "learning_rate": 1.4333333333333335e-07,
      "loss": 2.5904,
      "step": 63
    },
    {
      "epoch": 0.00010666666666666667,
      "grad_norm": 9.19933795928955,
      "learning_rate": 1.4666666666666668e-07,
      "loss": 2.4798,
      "step": 64
    },
    {
      "epoch": 0.00010833333333333333,
      "grad_norm": 14.895517349243164,
      "learning_rate": 1.5000000000000002e-07,
      "loss": 2.4121,
      "step": 65
    },
    {
      "epoch": 0.00011,
      "grad_norm": 15.861869812011719,
      "learning_rate": 1.5333333333333333e-07,
      "loss": 2.3829,
      "step": 66
    },
    {
      "epoch": 0.00011166666666666667,
      "grad_norm": 7.685720920562744,
      "learning_rate": 1.5666666666666667e-07,
      "loss": 2.573,
      "step": 67
    },
    {
      "epoch": 0.00011333333333333333,
      "grad_norm": 8.009383201599121,
      "learning_rate": 1.6e-07,
      "loss": 2.5927,
      "step": 68
    },
    {
      "epoch": 0.000115,
      "grad_norm": 9.222675323486328,
      "learning_rate": 1.6333333333333334e-07,
      "loss": 2.4189,
      "step": 69
    },
    {
      "epoch": 0.00011666666666666667,
      "grad_norm": 7.450701713562012,
      "learning_rate": 1.6666666666666668e-07,
      "loss": 2.3882,
      "step": 70
    },
    {
      "epoch": 0.00011833333333333333,
      "grad_norm": 6.9933342933654785,
      "learning_rate": 1.7000000000000001e-07,
      "loss": 2.2846,
      "step": 71
    },
    {
      "epoch": 0.00012,
      "grad_norm": 6.460840225219727,
      "learning_rate": 1.7333333333333335e-07,
      "loss": 2.4827,
      "step": 72
    },
    {
      "epoch": 0.00012166666666666667,
      "grad_norm": 6.194606781005859,
      "learning_rate": 1.766666666666667e-07,
      "loss": 2.4526,
      "step": 73
    },
    {
      "epoch": 0.00012333333333333334,
      "grad_norm": 6.134594917297363,
      "learning_rate": 1.8e-07,
      "loss": 2.3241,
      "step": 74
    },
    {
      "epoch": 0.000125,
      "grad_norm": 5.460887432098389,
      "learning_rate": 1.8333333333333336e-07,
      "loss": 2.2742,
      "step": 75
    },
    {
      "epoch": 0.00012666666666666666,
      "grad_norm": 6.335653781890869,
      "learning_rate": 1.866666666666667e-07,
      "loss": 2.4005,
      "step": 76
    },
    {
      "epoch": 0.00012833333333333333,
      "grad_norm": 6.504576683044434,
      "learning_rate": 1.9e-07,
      "loss": 2.3522,
      "step": 77
    },
    {
      "epoch": 0.00013,
      "grad_norm": 5.795915603637695,
      "learning_rate": 1.9333333333333337e-07,
      "loss": 2.3528,
      "step": 78
    },
    {
      "epoch": 0.00013166666666666668,
      "grad_norm": 6.684273719787598,
      "learning_rate": 1.9666666666666668e-07,
      "loss": 2.5041,
      "step": 79
    },
    {
      "epoch": 0.00013333333333333334,
      "grad_norm": 6.188433647155762,
      "learning_rate": 2.0000000000000002e-07,
      "loss": 2.4004,
      "step": 80
    },
    {
      "epoch": 0.000135,
      "grad_norm": 5.242168426513672,
      "learning_rate": 2.0333333333333333e-07,
      "loss": 2.4322,
      "step": 81
    },
    {
      "epoch": 0.00013666666666666666,
      "grad_norm": 6.51165246963501,
      "learning_rate": 2.066666666666667e-07,
      "loss": 2.2866,
      "step": 82
    },
    {
      "epoch": 0.00013833333333333333,
      "grad_norm": 5.517500877380371,
      "learning_rate": 2.1000000000000003e-07,
      "loss": 2.4149,
      "step": 83
    },
    {
      "epoch": 0.00014,
      "grad_norm": 5.7862677574157715,
      "learning_rate": 2.1333333333333334e-07,
      "loss": 2.4691,
      "step": 84
    },
    {
      "epoch": 0.00014166666666666668,
      "grad_norm": 4.996763229370117,
      "learning_rate": 2.166666666666667e-07,
      "loss": 2.3498,
      "step": 85
    },
    {
      "epoch": 0.00014333333333333334,
      "grad_norm": 5.296374797821045,
      "learning_rate": 2.2e-07,
      "loss": 2.3209,
      "step": 86
    },
    {
      "epoch": 0.000145,
      "grad_norm": 4.67485237121582,
      "learning_rate": 2.2333333333333335e-07,
      "loss": 2.3666,
      "step": 87
    },
    {
      "epoch": 0.00014666666666666666,
      "grad_norm": 5.7535810470581055,
      "learning_rate": 2.266666666666667e-07,
      "loss": 2.2762,
      "step": 88
    },
    {
      "epoch": 0.00014833333333333332,
      "grad_norm": 4.764284610748291,
      "learning_rate": 2.3000000000000002e-07,
      "loss": 2.3604,
      "step": 89
    },
    {
      "epoch": 0.00015,
      "grad_norm": 4.678205490112305,
      "learning_rate": 2.3333333333333336e-07,
      "loss": 2.2818,
      "step": 90
    },
    {
      "epoch": 0.00015166666666666668,
      "grad_norm": 5.188456058502197,
      "learning_rate": 2.3666666666666667e-07,
      "loss": 2.5414,
      "step": 91
    },
    {
      "epoch": 0.00015333333333333334,
      "grad_norm": 4.808278560638428,
      "learning_rate": 2.4000000000000003e-07,
      "loss": 2.3214,
      "step": 92
    },
    {
      "epoch": 0.000155,
      "grad_norm": 4.923377990722656,
      "learning_rate": 2.433333333333333e-07,
      "loss": 2.2623,
      "step": 93
    },
    {
      "epoch": 0.00015666666666666666,
      "grad_norm": 5.150440692901611,
      "learning_rate": 2.466666666666667e-07,
      "loss": 2.2775,
      "step": 94
    },
    {
      "epoch": 0.00015833333333333332,
      "grad_norm": 4.241551399230957,
      "learning_rate": 2.5000000000000004e-07,
      "loss": 2.402,
      "step": 95
    },
    {
      "epoch": 0.00016,
      "grad_norm": 4.37778902053833,
      "learning_rate": 2.533333333333333e-07,
      "loss": 2.2275,
      "step": 96
    },
    {
      "epoch": 0.00016166666666666668,
      "grad_norm": 4.28651237487793,
      "learning_rate": 2.566666666666667e-07,
      "loss": 2.2564,
      "step": 97
    },
    {
      "epoch": 0.00016333333333333334,
      "grad_norm": 4.382720470428467,
      "learning_rate": 2.6e-07,
      "loss": 2.229,
      "step": 98
    },
    {
      "epoch": 0.000165,
      "grad_norm": 8.285897254943848,
      "learning_rate": 2.6333333333333334e-07,
      "loss": 2.2431,
      "step": 99
    },
    {
      "epoch": 0.00016666666666666666,
      "grad_norm": 4.053915023803711,
      "learning_rate": 2.666666666666667e-07,
      "loss": 2.2815,
      "step": 100
    },
    {
      "epoch": 0.00016833333333333332,
      "grad_norm": 4.211411476135254,
      "learning_rate": 2.7e-07,
      "loss": 2.2257,
      "step": 101
    },
    {
      "epoch": 0.00017,
      "grad_norm": 4.39414119720459,
      "learning_rate": 2.7333333333333335e-07,
      "loss": 2.3199,
      "step": 102
    },
    {
      "epoch": 0.00017166666666666667,
      "grad_norm": 4.3657050132751465,
      "learning_rate": 2.766666666666667e-07,
      "loss": 2.2116,
      "step": 103
    },
    {
      "epoch": 0.00017333333333333334,
      "grad_norm": 4.14740514755249,
      "learning_rate": 2.8e-07,
      "loss": 2.3201,
      "step": 104
    },
    {
      "epoch": 0.000175,
      "grad_norm": 4.500834941864014,
      "learning_rate": 2.8333333333333336e-07,
      "loss": 2.3779,
      "step": 105
    },
    {
      "epoch": 0.00017666666666666666,
      "grad_norm": 3.926689624786377,
      "learning_rate": 2.866666666666667e-07,
      "loss": 2.2662,
      "step": 106
    },
    {
      "epoch": 0.00017833333333333332,
      "grad_norm": 3.8178930282592773,
      "learning_rate": 2.9000000000000003e-07,
      "loss": 2.2379,
      "step": 107
    },
    {
      "epoch": 0.00018,
      "grad_norm": 8.009201049804688,
      "learning_rate": 2.9333333333333337e-07,
      "loss": 2.2576,
      "step": 108
    },
    {
      "epoch": 0.00018166666666666667,
      "grad_norm": 4.0832390785217285,
      "learning_rate": 2.966666666666667e-07,
      "loss": 2.2579,
      "step": 109
    },
    {
      "epoch": 0.00018333333333333334,
      "grad_norm": 5.2707109451293945,
      "learning_rate": 3.0000000000000004e-07,
      "loss": 2.2525,
      "step": 110
    },
    {
      "epoch": 0.000185,
      "grad_norm": 4.617767810821533,
      "learning_rate": 3.033333333333334e-07,
      "loss": 2.4536,
      "step": 111
    },
    {
      "epoch": 0.00018666666666666666,
      "grad_norm": 4.068319320678711,
      "learning_rate": 3.0666666666666666e-07,
      "loss": 2.2765,
      "step": 112
    },
    {
      "epoch": 0.00018833333333333332,
      "grad_norm": 4.438241004943848,
      "learning_rate": 3.1000000000000005e-07,
      "loss": 2.2188,
      "step": 113
    },
    {
      "epoch": 0.00019,
      "grad_norm": 4.058171272277832,
      "learning_rate": 3.1333333333333333e-07,
      "loss": 2.2858,
      "step": 114
    },
    {
      "epoch": 0.00019166666666666667,
      "grad_norm": 3.8828656673431396,
      "learning_rate": 3.166666666666667e-07,
      "loss": 2.2632,
      "step": 115
    },
    {
      "epoch": 0.00019333333333333333,
      "grad_norm": 4.646280765533447,
      "learning_rate": 3.2e-07,
      "loss": 2.235,
      "step": 116
    },
    {
      "epoch": 0.000195,
      "grad_norm": 3.659020185470581,
      "learning_rate": 3.2333333333333334e-07,
      "loss": 2.2536,
      "step": 117
    },
    {
      "epoch": 0.00019666666666666666,
      "grad_norm": 4.3489766120910645,
      "learning_rate": 3.266666666666667e-07,
      "loss": 2.3968,
      "step": 118
    },
    {
      "epoch": 0.00019833333333333332,
      "grad_norm": 4.798959732055664,
      "learning_rate": 3.3e-07,
      "loss": 2.2203,
      "step": 119
    },
    {
      "epoch": 0.0002,
      "grad_norm": 3.9934682846069336,
      "learning_rate": 3.3333333333333335e-07,
      "loss": 2.2207,
      "step": 120
    },
    {
      "epoch": 0.00020166666666666667,
      "grad_norm": 3.7160139083862305,
      "learning_rate": 3.366666666666667e-07,
      "loss": 2.209,
      "step": 121
    },
    {
      "epoch": 0.00020333333333333333,
      "grad_norm": 8.606180191040039,
      "learning_rate": 3.4000000000000003e-07,
      "loss": 2.2965,
      "step": 122
    },
    {
      "epoch": 0.000205,
      "grad_norm": 3.8512449264526367,
      "learning_rate": 3.4333333333333336e-07,
      "loss": 2.199,
      "step": 123
    },
    {
      "epoch": 0.00020666666666666666,
      "grad_norm": 3.798727512359619,
      "learning_rate": 3.466666666666667e-07,
      "loss": 2.1965,
      "step": 124
    },
    {
      "epoch": 0.00020833333333333335,
      "grad_norm": 3.719564914703369,
      "learning_rate": 3.5000000000000004e-07,
      "loss": 2.143,
      "step": 125
    },
    {
      "epoch": 0.00021,
      "grad_norm": 3.560814142227173,
      "learning_rate": 3.533333333333334e-07,
      "loss": 2.2446,
      "step": 126
    },
    {
      "epoch": 0.00021166666666666667,
      "grad_norm": 3.5466110706329346,
      "learning_rate": 3.566666666666667e-07,
      "loss": 2.2523,
      "step": 127
    },
    {
      "epoch": 0.00021333333333333333,
      "grad_norm": 3.607421398162842,
      "learning_rate": 3.6e-07,
      "loss": 2.342,
      "step": 128
    },
    {
      "epoch": 0.000215,
      "grad_norm": 3.8069825172424316,
      "learning_rate": 3.633333333333334e-07,
      "loss": 2.3691,
      "step": 129
    },
    {
      "epoch": 0.00021666666666666666,
      "grad_norm": 3.7564244270324707,
      "learning_rate": 3.666666666666667e-07,
      "loss": 2.1145,
      "step": 130
    },
    {
      "epoch": 0.00021833333333333335,
      "grad_norm": 3.8074018955230713,
      "learning_rate": 3.7e-07,
      "loss": 2.239,
      "step": 131
    },
    {
      "epoch": 0.00022,
      "grad_norm": 3.6915407180786133,
      "learning_rate": 3.733333333333334e-07,
      "loss": 2.2918,
      "step": 132
    },
    {
      "epoch": 0.00022166666666666667,
      "grad_norm": 3.9527289867401123,
      "learning_rate": 3.7666666666666673e-07,
      "loss": 2.3881,
      "step": 133
    },
    {
      "epoch": 0.00022333333333333333,
      "grad_norm": 3.95123291015625,
      "learning_rate": 3.8e-07,
      "loss": 2.2233,
      "step": 134
    },
    {
      "epoch": 0.000225,
      "grad_norm": 3.9561853408813477,
      "learning_rate": 3.8333333333333335e-07,
      "loss": 2.2869,
      "step": 135
    },
    {
      "epoch": 0.00022666666666666666,
      "grad_norm": 3.7896862030029297,
      "learning_rate": 3.8666666666666674e-07,
      "loss": 2.2258,
      "step": 136
    },
    {
      "epoch": 0.00022833333333333334,
      "grad_norm": 4.165142059326172,
      "learning_rate": 3.9e-07,
      "loss": 2.3166,
      "step": 137
    },
    {
      "epoch": 0.00023,
      "grad_norm": 3.6743946075439453,
      "learning_rate": 3.9333333333333336e-07,
      "loss": 2.2722,
      "step": 138
    },
    {
      "epoch": 0.00023166666666666667,
      "grad_norm": 3.533959150314331,
      "learning_rate": 3.9666666666666675e-07,
      "loss": 2.3073,
      "step": 139
    },
    {
      "epoch": 0.00023333333333333333,
      "grad_norm": 3.5916359424591064,
      "learning_rate": 4.0000000000000003e-07,
      "loss": 2.3623,
      "step": 140
    },
    {
      "epoch": 0.000235,
      "grad_norm": 3.7370080947875977,
      "learning_rate": 4.0333333333333337e-07,
      "loss": 2.2802,
      "step": 141
    },
    {
      "epoch": 0.00023666666666666665,
      "grad_norm": 3.4620065689086914,
      "learning_rate": 4.0666666666666666e-07,
      "loss": 2.1774,
      "step": 142
    },
    {
      "epoch": 0.00023833333333333334,
      "grad_norm": 5.634512424468994,
      "learning_rate": 4.1000000000000004e-07,
      "loss": 2.1346,
      "step": 143
    },
    {
      "epoch": 0.00024,
      "grad_norm": 3.7833032608032227,
      "learning_rate": 4.133333333333334e-07,
      "loss": 2.5321,
      "step": 144
    },
    {
      "epoch": 0.00024166666666666667,
      "grad_norm": 3.667879104614258,
      "learning_rate": 4.1666666666666667e-07,
      "loss": 2.1817,
      "step": 145
    },
    {
      "epoch": 0.00024333333333333333,
      "grad_norm": 3.6451449394226074,
      "learning_rate": 4.2000000000000006e-07,
      "loss": 2.294,
      "step": 146
    },
    {
      "epoch": 0.000245,
      "grad_norm": 3.7745754718780518,
      "learning_rate": 4.233333333333334e-07,
      "loss": 2.1804,
      "step": 147
    },
    {
      "epoch": 0.0002466666666666667,
      "grad_norm": 3.6353564262390137,
      "learning_rate": 4.266666666666667e-07,
      "loss": 2.3267,
      "step": 148
    },
    {
      "epoch": 0.0002483333333333333,
      "grad_norm": 3.464329481124878,
      "learning_rate": 4.3e-07,
      "loss": 2.1294,
      "step": 149
    },
    {
      "epoch": 0.00025,
      "grad_norm": 3.612912893295288,
      "learning_rate": 4.333333333333334e-07,
      "loss": 2.2912,
      "step": 150
    },
    {
      "epoch": 0.00025166666666666664,
      "grad_norm": 3.5340893268585205,
      "learning_rate": 4.366666666666667e-07,
      "loss": 2.2863,
      "step": 151
    },
    {
      "epoch": 0.00025333333333333333,
      "grad_norm": 6.318047046661377,
      "learning_rate": 4.4e-07,
      "loss": 2.2772,
      "step": 152
    },
    {
      "epoch": 0.000255,
      "grad_norm": 3.569880485534668,
      "learning_rate": 4.433333333333334e-07,
      "loss": 2.2218,
      "step": 153
    },
    {
      "epoch": 0.00025666666666666665,
      "grad_norm": 4.125046730041504,
      "learning_rate": 4.466666666666667e-07,
      "loss": 2.1652,
      "step": 154
    },
    {
      "epoch": 0.00025833333333333334,
      "grad_norm": 3.553255319595337,
      "learning_rate": 4.5000000000000003e-07,
      "loss": 2.2225,
      "step": 155
    },
    {
      "epoch": 0.00026,
      "grad_norm": 3.6233487129211426,
      "learning_rate": 4.533333333333334e-07,
      "loss": 2.2674,
      "step": 156
    },
    {
      "epoch": 0.00026166666666666667,
      "grad_norm": 4.067767143249512,
      "learning_rate": 4.566666666666667e-07,
      "loss": 2.166,
      "step": 157
    },
    {
      "epoch": 0.00026333333333333336,
      "grad_norm": 4.010318756103516,
      "learning_rate": 4.6000000000000004e-07,
      "loss": 2.4091,
      "step": 158
    },
    {
      "epoch": 0.000265,
      "grad_norm": 3.7085626125335693,
      "learning_rate": 4.6333333333333333e-07,
      "loss": 2.2487,
      "step": 159
    },
    {
      "epoch": 0.0002666666666666667,
      "grad_norm": 3.698594331741333,
      "learning_rate": 4.666666666666667e-07,
      "loss": 2.2316,
      "step": 160
    },
    {
      "epoch": 0.0002683333333333333,
      "grad_norm": 3.516068696975708,
      "learning_rate": 4.7000000000000005e-07,
      "loss": 2.0922,
      "step": 161
    },
    {
      "epoch": 0.00027,
      "grad_norm": 3.7503509521484375,
      "learning_rate": 4.7333333333333334e-07,
      "loss": 2.2639,
      "step": 162
    },
    {
      "epoch": 0.0002716666666666667,
      "grad_norm": 3.6365246772766113,
      "learning_rate": 4.766666666666667e-07,
      "loss": 2.2053,
      "step": 163
    },
    {
      "epoch": 0.00027333333333333333,
      "grad_norm": 3.6674654483795166,
      "learning_rate": 4.800000000000001e-07,
      "loss": 2.1066,
      "step": 164
    },
    {
      "epoch": 0.000275,
      "grad_norm": 3.272441864013672,
      "learning_rate": 4.833333333333334e-07,
      "loss": 2.2597,
      "step": 165
    },
    {
      "epoch": 0.00027666666666666665,
      "grad_norm": 3.479905843734741,
      "learning_rate": 4.866666666666666e-07,
      "loss": 2.2007,
      "step": 166
    },
    {
      "epoch": 0.00027833333333333334,
      "grad_norm": 3.4225947856903076,
      "learning_rate": 4.900000000000001e-07,
      "loss": 2.1248,
      "step": 167
    },
    {
      "epoch": 0.00028,
      "grad_norm": 3.635416030883789,
      "learning_rate": 4.933333333333334e-07,
      "loss": 2.3043,
      "step": 168
    },
    {
      "epoch": 0.00028166666666666666,
      "grad_norm": 3.469557762145996,
      "learning_rate": 4.966666666666666e-07,
      "loss": 2.2515,
      "step": 169
    },
    {
      "epoch": 0.00028333333333333335,
      "grad_norm": 3.670501947402954,
      "learning_rate": 5.000000000000001e-07,
      "loss": 2.2934,
      "step": 170
    },
    {
      "epoch": 0.000285,
      "grad_norm": 3.3163390159606934,
      "learning_rate": 5.033333333333334e-07,
      "loss": 2.3261,
      "step": 171
    },
    {
      "epoch": 0.0002866666666666667,
      "grad_norm": 3.5410947799682617,
      "learning_rate": 5.066666666666667e-07,
      "loss": 2.1122,
      "step": 172
    },
    {
      "epoch": 0.0002883333333333333,
      "grad_norm": 3.2128145694732666,
      "learning_rate": 5.1e-07,
      "loss": 2.2851,
      "step": 173
    },
    {
      "epoch": 0.00029,
      "grad_norm": 3.3406319618225098,
      "learning_rate": 5.133333333333334e-07,
      "loss": 2.1119,
      "step": 174
    },
    {
      "epoch": 0.0002916666666666667,
      "grad_norm": 3.692870855331421,
      "learning_rate": 5.166666666666667e-07,
      "loss": 2.2545,
      "step": 175
    },
    {
      "epoch": 0.0002933333333333333,
      "grad_norm": 3.23844051361084,
      "learning_rate": 5.2e-07,
      "loss": 2.1436,
      "step": 176
    },
    {
      "epoch": 0.000295,
      "grad_norm": 3.333601474761963,
      "learning_rate": 5.233333333333334e-07,
      "loss": 2.2175,
      "step": 177
    },
    {
      "epoch": 0.00029666666666666665,
      "grad_norm": 3.22853684425354,
      "learning_rate": 5.266666666666667e-07,
      "loss": 2.0939,
      "step": 178
    },
    {
      "epoch": 0.00029833333333333334,
      "grad_norm": 3.53792405128479,
      "learning_rate": 5.3e-07,
      "loss": 2.3765,
      "step": 179
    },
    {
      "epoch": 0.0003,
      "grad_norm": 3.3273508548736572,
      "learning_rate": 5.333333333333335e-07,
      "loss": 2.1451,
      "step": 180
    },
    {
      "epoch": 0.00030166666666666666,
      "grad_norm": 3.512294292449951,
      "learning_rate": 5.366666666666667e-07,
      "loss": 2.2402,
      "step": 181
    },
    {
      "epoch": 0.00030333333333333335,
      "grad_norm": 4.0778727531433105,
      "learning_rate": 5.4e-07,
      "loss": 2.1986,
      "step": 182
    },
    {
      "epoch": 0.000305,
      "grad_norm": 3.530198574066162,
      "learning_rate": 5.433333333333334e-07,
      "loss": 2.0396,
      "step": 183
    },
    {
      "epoch": 0.0003066666666666667,
      "grad_norm": 3.24788236618042,
      "learning_rate": 5.466666666666667e-07,
      "loss": 2.1699,
      "step": 184
    },
    {
      "epoch": 0.0003083333333333333,
      "grad_norm": 3.8111255168914795,
      "learning_rate": 5.5e-07,
      "loss": 2.0998,
      "step": 185
    },
    {
      "epoch": 0.00031,
      "grad_norm": 3.3403515815734863,
      "learning_rate": 5.533333333333334e-07,
      "loss": 2.2084,
      "step": 186
    },
    {
      "epoch": 0.0003116666666666667,
      "grad_norm": 3.2776055335998535,
      "learning_rate": 5.566666666666667e-07,
      "loss": 2.1498,
      "step": 187
    },
    {
      "epoch": 0.0003133333333333333,
      "grad_norm": 3.1020638942718506,
      "learning_rate": 5.6e-07,
      "loss": 2.2089,
      "step": 188
    },
    {
      "epoch": 0.000315,
      "grad_norm": 3.5409724712371826,
      "learning_rate": 5.633333333333334e-07,
      "loss": 2.1354,
      "step": 189
    },
    {
      "epoch": 0.00031666666666666665,
      "grad_norm": 3.7998881340026855,
      "learning_rate": 5.666666666666667e-07,
      "loss": 2.0938,
      "step": 190
    },
    {
      "epoch": 0.00031833333333333334,
      "grad_norm": 5.593634128570557,
      "learning_rate": 5.7e-07,
      "loss": 2.1847,
      "step": 191
    },
    {
      "epoch": 0.00032,
      "grad_norm": 4.824940204620361,
      "learning_rate": 5.733333333333334e-07,
      "loss": 2.2361,
      "step": 192
    },
    {
      "epoch": 0.00032166666666666666,
      "grad_norm": 8.155876159667969,
      "learning_rate": 5.766666666666667e-07,
      "loss": 2.295,
      "step": 193
    },
    {
      "epoch": 0.00032333333333333335,
      "grad_norm": 3.4356842041015625,
      "learning_rate": 5.800000000000001e-07,
      "loss": 2.3042,
      "step": 194
    },
    {
      "epoch": 0.000325,
      "grad_norm": 3.5187149047851562,
      "learning_rate": 5.833333333333334e-07,
      "loss": 2.1846,
      "step": 195
    },
    {
      "epoch": 0.0003266666666666667,
      "grad_norm": 3.6229703426361084,
      "learning_rate": 5.866666666666667e-07,
      "loss": 2.2082,
      "step": 196
    },
    {
      "epoch": 0.0003283333333333333,
      "grad_norm": 3.197228193283081,
      "learning_rate": 5.900000000000001e-07,
      "loss": 2.2125,
      "step": 197
    },
    {
      "epoch": 0.00033,
      "grad_norm": 3.633387327194214,
      "learning_rate": 5.933333333333334e-07,
      "loss": 2.2337,
      "step": 198
    },
    {
      "epoch": 0.0003316666666666667,
      "grad_norm": 4.006237506866455,
      "learning_rate": 5.966666666666667e-07,
      "loss": 2.2591,
      "step": 199
    },
    {
      "epoch": 0.0003333333333333333,
      "grad_norm": 3.464388847351074,
      "learning_rate": 6.000000000000001e-07,
      "loss": 2.2069,
      "step": 200
    },
    {
      "epoch": 0.000335,
      "grad_norm": 3.2800869941711426,
      "learning_rate": 6.033333333333334e-07,
      "loss": 2.2294,
      "step": 201
    },
    {
      "epoch": 0.00033666666666666665,
      "grad_norm": 3.3473339080810547,
      "learning_rate": 6.066666666666668e-07,
      "loss": 2.1665,
      "step": 202
    },
    {
      "epoch": 0.00033833333333333334,
      "grad_norm": 3.303223133087158,
      "learning_rate": 6.100000000000001e-07,
      "loss": 2.1815,
      "step": 203
    },
    {
      "epoch": 0.00034,
      "grad_norm": 3.3095366954803467,
      "learning_rate": 6.133333333333333e-07,
      "loss": 2.2146,
      "step": 204
    },
    {
      "epoch": 0.00034166666666666666,
      "grad_norm": 3.3596718311309814,
      "learning_rate": 6.166666666666668e-07,
      "loss": 2.2314,
      "step": 205
    },
    {
      "epoch": 0.00034333333333333335,
      "grad_norm": 3.480015993118286,
      "learning_rate": 6.200000000000001e-07,
      "loss": 2.1936,
      "step": 206
    },
    {
      "epoch": 0.000345,
      "grad_norm": 3.433551549911499,
      "learning_rate": 6.233333333333333e-07,
      "loss": 2.1271,
      "step": 207
    },
    {
      "epoch": 0.00034666666666666667,
      "grad_norm": 3.254009962081909,
      "learning_rate": 6.266666666666667e-07,
      "loss": 2.1279,
      "step": 208
    },
    {
      "epoch": 0.0003483333333333333,
      "grad_norm": 3.0791831016540527,
      "learning_rate": 6.3e-07,
      "loss": 2.1431,
      "step": 209
    },
    {
      "epoch": 0.00035,
      "grad_norm": 3.1897780895233154,
      "learning_rate": 6.333333333333334e-07,
      "loss": 2.2021,
      "step": 210
    },
    {
      "epoch": 0.0003516666666666667,
      "grad_norm": 3.671116590499878,
      "learning_rate": 6.366666666666667e-07,
      "loss": 2.0895,
      "step": 211
    },
    {
      "epoch": 0.0003533333333333333,
      "grad_norm": 3.288315534591675,
      "learning_rate": 6.4e-07,
      "loss": 2.2116,
      "step": 212
    },
    {
      "epoch": 0.000355,
      "grad_norm": 3.560579538345337,
      "learning_rate": 6.433333333333335e-07,
      "loss": 2.2111,
      "step": 213
    },
    {
      "epoch": 0.00035666666666666664,
      "grad_norm": 3.300999879837036,
      "learning_rate": 6.466666666666667e-07,
      "loss": 2.2054,
      "step": 214
    },
    {
      "epoch": 0.00035833333333333333,
      "grad_norm": 3.8684535026550293,
      "learning_rate": 6.5e-07,
      "loss": 2.2107,
      "step": 215
    },
    {
      "epoch": 0.00036,
      "grad_norm": 3.7834713459014893,
      "learning_rate": 6.533333333333334e-07,
      "loss": 2.266,
      "step": 216
    },
    {
      "epoch": 0.00036166666666666666,
      "grad_norm": 3.638498306274414,
      "learning_rate": 6.566666666666667e-07,
      "loss": 2.1766,
      "step": 217
    },
    {
      "epoch": 0.00036333333333333335,
      "grad_norm": 3.1609325408935547,
      "learning_rate": 6.6e-07,
      "loss": 2.1463,
      "step": 218
    },
    {
      "epoch": 0.000365,
      "grad_norm": 3.1320905685424805,
      "learning_rate": 6.633333333333334e-07,
      "loss": 2.1427,
      "step": 219
    },
    {
      "epoch": 0.00036666666666666667,
      "grad_norm": 3.087714195251465,
      "learning_rate": 6.666666666666667e-07,
      "loss": 2.1232,
      "step": 220
    },
    {
      "epoch": 0.00036833333333333336,
      "grad_norm": 3.217393398284912,
      "learning_rate": 6.7e-07,
      "loss": 2.1451,
      "step": 221
    },
    {
      "epoch": 0.00037,
      "grad_norm": 3.5729143619537354,
      "learning_rate": 6.733333333333334e-07,
      "loss": 2.0553,
      "step": 222
    },
    {
      "epoch": 0.0003716666666666667,
      "grad_norm": 3.404822826385498,
      "learning_rate": 6.766666666666667e-07,
      "loss": 2.1171,
      "step": 223
    },
    {
      "epoch": 0.0003733333333333333,
      "grad_norm": 3.2625889778137207,
      "learning_rate": 6.800000000000001e-07,
      "loss": 2.2385,
      "step": 224
    },
    {
      "epoch": 0.000375,
      "grad_norm": 3.7405285835266113,
      "learning_rate": 6.833333333333334e-07,
      "loss": 2.2344,
      "step": 225
    },
    {
      "epoch": 0.00037666666666666664,
      "grad_norm": 3.3850364685058594,
      "learning_rate": 6.866666666666667e-07,
      "loss": 2.2362,
      "step": 226
    },
    {
      "epoch": 0.00037833333333333333,
      "grad_norm": 5.393030643463135,
      "learning_rate": 6.900000000000001e-07,
      "loss": 2.0589,
      "step": 227
    },
    {
      "epoch": 0.00038,
      "grad_norm": 3.2233691215515137,
      "learning_rate": 6.933333333333334e-07,
      "loss": 2.2255,
      "step": 228
    },
    {
      "epoch": 0.00038166666666666666,
      "grad_norm": 3.756507635116577,
      "learning_rate": 6.966666666666667e-07,
      "loss": 2.1673,
      "step": 229
    },
    {
      "epoch": 0.00038333333333333334,
      "grad_norm": 3.2503631114959717,
      "learning_rate": 7.000000000000001e-07,
      "loss": 2.1797,
      "step": 230
    },
    {
      "epoch": 0.000385,
      "grad_norm": 3.8048455715179443,
      "learning_rate": 7.033333333333334e-07,
      "loss": 2.2788,
      "step": 231
    },
    {
      "epoch": 0.00038666666666666667,
      "grad_norm": 3.406733989715576,
      "learning_rate": 7.066666666666667e-07,
      "loss": 2.1585,
      "step": 232
    },
    {
      "epoch": 0.00038833333333333336,
      "grad_norm": 3.442100763320923,
      "learning_rate": 7.1e-07,
      "loss": 2.1425,
      "step": 233
    },
    {
      "epoch": 0.00039,
      "grad_norm": 3.305011510848999,
      "learning_rate": 7.133333333333334e-07,
      "loss": 2.1445,
      "step": 234
    },
    {
      "epoch": 0.0003916666666666667,
      "grad_norm": 3.4751946926116943,
      "learning_rate": 7.166666666666668e-07,
      "loss": 2.1982,
      "step": 235
    },
    {
      "epoch": 0.0003933333333333333,
      "grad_norm": 3.3443620204925537,
      "learning_rate": 7.2e-07,
      "loss": 2.1335,
      "step": 236
    },
    {
      "epoch": 0.000395,
      "grad_norm": 3.7415897846221924,
      "learning_rate": 7.233333333333334e-07,
      "loss": 2.2033,
      "step": 237
    },
    {
      "epoch": 0.00039666666666666664,
      "grad_norm": 3.1289150714874268,
      "learning_rate": 7.266666666666668e-07,
      "loss": 2.1357,
      "step": 238
    },
    {
      "epoch": 0.00039833333333333333,
      "grad_norm": 3.0999622344970703,
      "learning_rate": 7.3e-07,
      "loss": 2.0418,
      "step": 239
    },
    {
      "epoch": 0.0004,
      "grad_norm": 3.928886651992798,
      "learning_rate": 7.333333333333334e-07,
      "loss": 2.2126,
      "step": 240
    },
    {
      "epoch": 0.00040166666666666665,
      "grad_norm": 3.2213311195373535,
      "learning_rate": 7.366666666666668e-07,
      "loss": 2.1409,
      "step": 241
    },
    {
      "epoch": 0.00040333333333333334,
      "grad_norm": 3.6510229110717773,
      "learning_rate": 7.4e-07,
      "loss": 2.183,
      "step": 242
    },
    {
      "epoch": 0.000405,
      "grad_norm": 3.6483256816864014,
      "learning_rate": 7.433333333333335e-07,
      "loss": 2.0958,
      "step": 243
    },
    {
      "epoch": 0.00040666666666666667,
      "grad_norm": 3.279611349105835,
      "learning_rate": 7.466666666666668e-07,
      "loss": 2.2102,
      "step": 244
    },
    {
      "epoch": 0.00040833333333333336,
      "grad_norm": 3.6234872341156006,
      "learning_rate": 7.5e-07,
      "loss": 2.2097,
      "step": 245
    },
    {
      "epoch": 0.00041,
      "grad_norm": 3.0972087383270264,
      "learning_rate": 7.533333333333335e-07,
      "loss": 2.085,
      "step": 246
    },
    {
      "epoch": 0.0004116666666666667,
      "grad_norm": 3.3883328437805176,
      "learning_rate": 7.566666666666667e-07,
      "loss": 2.0631,
      "step": 247
    },
    {
      "epoch": 0.0004133333333333333,
      "grad_norm": 3.11635684967041,
      "learning_rate": 7.6e-07,
      "loss": 2.0648,
      "step": 248
    },
    {
      "epoch": 0.000415,
      "grad_norm": 3.0306026935577393,
      "learning_rate": 7.633333333333335e-07,
      "loss": 2.0424,
      "step": 249
    },
    {
      "epoch": 0.0004166666666666667,
      "grad_norm": 3.1958749294281006,
      "learning_rate": 7.666666666666667e-07,
      "loss": 2.1448,
      "step": 250
    },
    {
      "epoch": 0.00041833333333333333,
      "grad_norm": 3.2071986198425293,
      "learning_rate": 7.7e-07,
      "loss": 2.1654,
      "step": 251
    },
    {
      "epoch": 0.00042,
      "grad_norm": 3.4537813663482666,
      "learning_rate": 7.733333333333335e-07,
      "loss": 2.1723,
      "step": 252
    },
    {
      "epoch": 0.00042166666666666665,
      "grad_norm": 3.200592279434204,
      "learning_rate": 7.766666666666667e-07,
      "loss": 2.2334,
      "step": 253
    },
    {
      "epoch": 0.00042333333333333334,
      "grad_norm": 3.0800442695617676,
      "learning_rate": 7.8e-07,
      "loss": 2.2109,
      "step": 254
    },
    {
      "epoch": 0.000425,
      "grad_norm": 7.873789310455322,
      "learning_rate": 7.833333333333335e-07,
      "loss": 2.1143,
      "step": 255
    },
    {
      "epoch": 0.00042666666666666667,
      "grad_norm": 3.5618667602539062,
      "learning_rate": 7.866666666666667e-07,
      "loss": 2.1553,
      "step": 256
    },
    {
      "epoch": 0.00042833333333333335,
      "grad_norm": 3.192700147628784,
      "learning_rate": 7.900000000000001e-07,
      "loss": 2.0377,
      "step": 257
    },
    {
      "epoch": 0.00043,
      "grad_norm": 3.4576079845428467,
      "learning_rate": 7.933333333333335e-07,
      "loss": 2.2241,
      "step": 258
    },
    {
      "epoch": 0.0004316666666666667,
      "grad_norm": 3.4288082122802734,
      "learning_rate": 7.966666666666667e-07,
      "loss": 2.1902,
      "step": 259
    },
    {
      "epoch": 0.0004333333333333333,
      "grad_norm": 3.6016452312469482,
      "learning_rate": 8.000000000000001e-07,
      "loss": 2.1407,
      "step": 260
    },
    {
      "epoch": 0.000435,
      "grad_norm": 3.6028566360473633,
      "learning_rate": 8.033333333333335e-07,
      "loss": 2.1358,
      "step": 261
    },
    {
      "epoch": 0.0004366666666666667,
      "grad_norm": 3.443125009536743,
      "learning_rate": 8.066666666666667e-07,
      "loss": 2.2621,
      "step": 262
    },
    {
      "epoch": 0.0004383333333333333,
      "grad_norm": 3.4014644622802734,
      "learning_rate": 8.100000000000001e-07,
      "loss": 2.1358,
      "step": 263
    },
    {
      "epoch": 0.00044,
      "grad_norm": 3.0584557056427,
      "learning_rate": 8.133333333333333e-07,
      "loss": 2.0899,
      "step": 264
    },
    {
      "epoch": 0.00044166666666666665,
      "grad_norm": 3.4463586807250977,
      "learning_rate": 8.166666666666668e-07,
      "loss": 2.1293,
      "step": 265
    },
    {
      "epoch": 0.00044333333333333334,
      "grad_norm": 3.2459778785705566,
      "learning_rate": 8.200000000000001e-07,
      "loss": 2.2418,
      "step": 266
    },
    {
      "epoch": 0.000445,
      "grad_norm": 3.220194101333618,
      "learning_rate": 8.233333333333333e-07,
      "loss": 2.1829,
      "step": 267
    },
    {
      "epoch": 0.00044666666666666666,
      "grad_norm": 3.4893667697906494,
      "learning_rate": 8.266666666666668e-07,
      "loss": 2.098,
      "step": 268
    },
    {
      "epoch": 0.00044833333333333335,
      "grad_norm": 3.209953546524048,
      "learning_rate": 8.300000000000001e-07,
      "loss": 2.2729,
      "step": 269
    },
    {
      "epoch": 0.00045,
      "grad_norm": 3.07936429977417,
      "learning_rate": 8.333333333333333e-07,
      "loss": 2.0246,
      "step": 270
    },
    {
      "epoch": 0.0004516666666666667,
      "grad_norm": 3.111945152282715,
      "learning_rate": 8.366666666666668e-07,
      "loss": 2.2108,
      "step": 271
    },
    {
      "epoch": 0.0004533333333333333,
      "grad_norm": 3.123722791671753,
      "learning_rate": 8.400000000000001e-07,
      "loss": 2.0955,
      "step": 272
    },
    {
      "epoch": 0.000455,
      "grad_norm": 3.0876524448394775,
      "learning_rate": 8.433333333333333e-07,
      "loss": 2.1233,
      "step": 273
    },
    {
      "epoch": 0.0004566666666666667,
      "grad_norm": 3.2899770736694336,
      "learning_rate": 8.466666666666668e-07,
      "loss": 2.1504,
      "step": 274
    },
    {
      "epoch": 0.0004583333333333333,
      "grad_norm": 6.372313499450684,
      "learning_rate": 8.500000000000001e-07,
      "loss": 2.1461,
      "step": 275
    },
    {
      "epoch": 0.00046,
      "grad_norm": 3.063141345977783,
      "learning_rate": 8.533333333333334e-07,
      "loss": 2.0825,
      "step": 276
    },
    {
      "epoch": 0.00046166666666666665,
      "grad_norm": 3.140927314758301,
      "learning_rate": 8.566666666666668e-07,
      "loss": 2.0402,
      "step": 277
    },
    {
      "epoch": 0.00046333333333333334,
      "grad_norm": 3.188732147216797,
      "learning_rate": 8.6e-07,
      "loss": 2.0558,
      "step": 278
    },
    {
      "epoch": 0.000465,
      "grad_norm": 3.2330658435821533,
      "learning_rate": 8.633333333333334e-07,
      "loss": 2.0618,
      "step": 279
    },
    {
      "epoch": 0.00046666666666666666,
      "grad_norm": 3.317746162414551,
      "learning_rate": 8.666666666666668e-07,
      "loss": 2.2162,
      "step": 280
    },
    {
      "epoch": 0.00046833333333333335,
      "grad_norm": 3.777326822280884,
      "learning_rate": 8.7e-07,
      "loss": 2.2119,
      "step": 281
    },
    {
      "epoch": 0.00047,
      "grad_norm": 3.2923359870910645,
      "learning_rate": 8.733333333333334e-07,
      "loss": 2.1205,
      "step": 282
    },
    {
      "epoch": 0.0004716666666666667,
      "grad_norm": 3.3800153732299805,
      "learning_rate": 8.766666666666668e-07,
      "loss": 2.1384,
      "step": 283
    },
    {
      "epoch": 0.0004733333333333333,
      "grad_norm": 3.2020230293273926,
      "learning_rate": 8.8e-07,
      "loss": 2.1507,
      "step": 284
    },
    {
      "epoch": 0.000475,
      "grad_norm": 3.2575464248657227,
      "learning_rate": 8.833333333333334e-07,
      "loss": 2.108,
      "step": 285
    },
    {
      "epoch": 0.0004766666666666667,
      "grad_norm": 3.2247605323791504,
      "learning_rate": 8.866666666666668e-07,
      "loss": 2.1076,
      "step": 286
    },
    {
      "epoch": 0.0004783333333333333,
      "grad_norm": 3.1405210494995117,
      "learning_rate": 8.900000000000001e-07,
      "loss": 2.0873,
      "step": 287
    },
    {
      "epoch": 0.00048,
      "grad_norm": 5.397204399108887,
      "learning_rate": 8.933333333333334e-07,
      "loss": 2.0722,
      "step": 288
    },
    {
      "epoch": 0.00048166666666666665,
      "grad_norm": 3.38765287399292,
      "learning_rate": 8.966666666666668e-07,
      "loss": 2.0396,
      "step": 289
    },
    {
      "epoch": 0.00048333333333333334,
      "grad_norm": 3.197033405303955,
      "learning_rate": 9.000000000000001e-07,
      "loss": 2.0878,
      "step": 290
    },
    {
      "epoch": 0.000485,
      "grad_norm": 3.0978188514709473,
      "learning_rate": 9.033333333333334e-07,
      "loss": 2.1521,
      "step": 291
    },
    {
      "epoch": 0.00048666666666666666,
      "grad_norm": 3.2440788745880127,
      "learning_rate": 9.066666666666668e-07,
      "loss": 2.1284,
      "step": 292
    },
    {
      "epoch": 0.0004883333333333333,
      "grad_norm": 3.042325496673584,
      "learning_rate": 9.100000000000001e-07,
      "loss": 2.2062,
      "step": 293
    },
    {
      "epoch": 0.00049,
      "grad_norm": 3.287097454071045,
      "learning_rate": 9.133333333333334e-07,
      "loss": 2.1366,
      "step": 294
    },
    {
      "epoch": 0.0004916666666666666,
      "grad_norm": 3.27827525138855,
      "learning_rate": 9.166666666666666e-07,
      "loss": 2.22,
      "step": 295
    },
    {
      "epoch": 0.0004933333333333334,
      "grad_norm": 3.078437089920044,
      "learning_rate": 9.200000000000001e-07,
      "loss": 2.2166,
      "step": 296
    },
    {
      "epoch": 0.000495,
      "grad_norm": 3.629634380340576,
      "learning_rate": 9.233333333333334e-07,
      "loss": 2.1604,
      "step": 297
    },
    {
      "epoch": 0.0004966666666666666,
      "grad_norm": 3.2396600246429443,
      "learning_rate": 9.266666666666667e-07,
      "loss": 2.0673,
      "step": 298
    },
    {
      "epoch": 0.0004983333333333334,
      "grad_norm": 3.2524356842041016,
      "learning_rate": 9.300000000000001e-07,
      "loss": 2.1061,
      "step": 299
    },
    {
      "epoch": 0.0005,
      "grad_norm": 3.169781446456909,
      "learning_rate": 9.333333333333334e-07,
      "loss": 2.1564,
      "step": 300
    },
    {
      "epoch": 0.0005016666666666666,
      "grad_norm": 3.368748664855957,
      "learning_rate": 9.366666666666667e-07,
      "loss": 1.9912,
      "step": 301
    },
    {
      "epoch": 0.0005033333333333333,
      "grad_norm": 3.4090116024017334,
      "learning_rate": 9.400000000000001e-07,
      "loss": 2.0915,
      "step": 302
    },
    {
      "epoch": 0.000505,
      "grad_norm": 3.099224090576172,
      "learning_rate": 9.433333333333334e-07,
      "loss": 2.2312,
      "step": 303
    },
    {
      "epoch": 0.0005066666666666667,
      "grad_norm": 3.088646173477173,
      "learning_rate": 9.466666666666667e-07,
      "loss": 2.1258,
      "step": 304
    },
    {
      "epoch": 0.0005083333333333333,
      "grad_norm": 3.273979425430298,
      "learning_rate": 9.500000000000001e-07,
      "loss": 2.1176,
      "step": 305
    },
    {
      "epoch": 0.00051,
      "grad_norm": 3.1814725399017334,
      "learning_rate": 9.533333333333335e-07,
      "loss": 2.1553,
      "step": 306
    },
    {
      "epoch": 0.0005116666666666667,
      "grad_norm": 3.3420462608337402,
      "learning_rate": 9.566666666666667e-07,
      "loss": 2.1744,
      "step": 307
    },
    {
      "epoch": 0.0005133333333333333,
      "grad_norm": 3.495847225189209,
      "learning_rate": 9.600000000000001e-07,
      "loss": 2.1853,
      "step": 308
    },
    {
      "epoch": 0.000515,
      "grad_norm": 2.9659178256988525,
      "learning_rate": 9.633333333333336e-07,
      "loss": 2.1189,
      "step": 309
    },
    {
      "epoch": 0.0005166666666666667,
      "grad_norm": 3.3725574016571045,
      "learning_rate": 9.666666666666668e-07,
      "loss": 2.1128,
      "step": 310
    },
    {
      "epoch": 0.0005183333333333333,
      "grad_norm": 3.1213128566741943,
      "learning_rate": 9.7e-07,
      "loss": 2.1435,
      "step": 311
    },
    {
      "epoch": 0.00052,
      "grad_norm": 2.943495750427246,
      "learning_rate": 9.733333333333333e-07,
      "loss": 1.9851,
      "step": 312
    },
    {
      "epoch": 0.0005216666666666667,
      "grad_norm": 3.2803168296813965,
      "learning_rate": 9.766666666666667e-07,
      "loss": 2.0642,
      "step": 313
    },
    {
      "epoch": 0.0005233333333333333,
      "grad_norm": 3.0953006744384766,
      "learning_rate": 9.800000000000001e-07,
      "loss": 2.1016,
      "step": 314
    },
    {
      "epoch": 0.000525,
      "grad_norm": 3.220428228378296,
      "learning_rate": 9.833333333333334e-07,
      "loss": 2.1195,
      "step": 315
    },
    {
      "epoch": 0.0005266666666666667,
      "grad_norm": 3.0882437229156494,
      "learning_rate": 9.866666666666668e-07,
      "loss": 2.1715,
      "step": 316
    },
    {
      "epoch": 0.0005283333333333333,
      "grad_norm": 3.0524590015411377,
      "learning_rate": 9.9e-07,
      "loss": 2.0372,
      "step": 317
    },
    {
      "epoch": 0.00053,
      "grad_norm": 3.19360089302063,
      "learning_rate": 9.933333333333333e-07,
      "loss": 2.2427,
      "step": 318
    },
    {
      "epoch": 0.0005316666666666666,
      "grad_norm": 3.157996654510498,
      "learning_rate": 9.966666666666667e-07,
      "loss": 2.2457,
      "step": 319
    },
    {
      "epoch": 0.0005333333333333334,
      "grad_norm": 3.2513234615325928,
      "learning_rate": 1.0000000000000002e-06,
      "loss": 2.0293,
      "step": 320
    },
    {
      "epoch": 0.000535,
      "grad_norm": 3.13602352142334,
      "learning_rate": 1.0033333333333334e-06,
      "loss": 2.1761,
      "step": 321
    },
    {
      "epoch": 0.0005366666666666666,
      "grad_norm": 3.026317596435547,
      "learning_rate": 1.0066666666666668e-06,
      "loss": 2.1054,
      "step": 322
    },
    {
      "epoch": 0.0005383333333333334,
      "grad_norm": 3.2522692680358887,
      "learning_rate": 1.01e-06,
      "loss": 2.0893,
      "step": 323
    },
    {
      "epoch": 0.00054,
      "grad_norm": 3.085266590118408,
      "learning_rate": 1.0133333333333333e-06,
      "loss": 2.0694,
      "step": 324
    },
    {
      "epoch": 0.0005416666666666666,
      "grad_norm": 3.527421236038208,
      "learning_rate": 1.0166666666666667e-06,
      "loss": 2.0373,
      "step": 325
    },
    {
      "epoch": 0.0005433333333333334,
      "grad_norm": 3.2236950397491455,
      "learning_rate": 1.02e-06,
      "loss": 2.0555,
      "step": 326
    },
    {
      "epoch": 0.000545,
      "grad_norm": 3.1231276988983154,
      "learning_rate": 1.0233333333333334e-06,
      "loss": 2.1644,
      "step": 327
    },
    {
      "epoch": 0.0005466666666666667,
      "grad_norm": 3.0133984088897705,
      "learning_rate": 1.0266666666666669e-06,
      "loss": 2.0006,
      "step": 328
    },
    {
      "epoch": 0.0005483333333333333,
      "grad_norm": 3.1371545791625977,
      "learning_rate": 1.03e-06,
      "loss": 2.0797,
      "step": 329
    },
    {
      "epoch": 0.00055,
      "grad_norm": 3.4753000736236572,
      "learning_rate": 1.0333333333333333e-06,
      "loss": 2.1752,
      "step": 330
    },
    {
      "epoch": 0.0005516666666666667,
      "grad_norm": 3.3248958587646484,
      "learning_rate": 1.0366666666666668e-06,
      "loss": 2.0578,
      "step": 331
    },
    {
      "epoch": 0.0005533333333333333,
      "grad_norm": 3.1399126052856445,
      "learning_rate": 1.04e-06,
      "loss": 2.0951,
      "step": 332
    },
    {
      "epoch": 0.000555,
      "grad_norm": 3.1425304412841797,
      "learning_rate": 1.0433333333333334e-06,
      "loss": 2.1022,
      "step": 333
    },
    {
      "epoch": 0.0005566666666666667,
      "grad_norm": 4.202147006988525,
      "learning_rate": 1.0466666666666669e-06,
      "loss": 2.0898,
      "step": 334
    },
    {
      "epoch": 0.0005583333333333333,
      "grad_norm": 3.042522668838501,
      "learning_rate": 1.0500000000000001e-06,
      "loss": 1.9571,
      "step": 335
    },
    {
      "epoch": 0.00056,
      "grad_norm": 3.1967079639434814,
      "learning_rate": 1.0533333333333333e-06,
      "loss": 2.0789,
      "step": 336
    },
    {
      "epoch": 0.0005616666666666667,
      "grad_norm": 3.0267269611358643,
      "learning_rate": 1.0566666666666668e-06,
      "loss": 2.1026,
      "step": 337
    },
    {
      "epoch": 0.0005633333333333333,
      "grad_norm": 3.104099988937378,
      "learning_rate": 1.06e-06,
      "loss": 2.0506,
      "step": 338
    },
    {
      "epoch": 0.000565,
      "grad_norm": 3.0755844116210938,
      "learning_rate": 1.0633333333333335e-06,
      "loss": 1.9534,
      "step": 339
    },
    {
      "epoch": 0.0005666666666666667,
      "grad_norm": 3.048356056213379,
      "learning_rate": 1.066666666666667e-06,
      "loss": 1.9551,
      "step": 340
    },
    {
      "epoch": 0.0005683333333333333,
      "grad_norm": 3.0609471797943115,
      "learning_rate": 1.0700000000000001e-06,
      "loss": 2.1138,
      "step": 341
    },
    {
      "epoch": 0.00057,
      "grad_norm": 3.297032594680786,
      "learning_rate": 1.0733333333333334e-06,
      "loss": 2.162,
      "step": 342
    },
    {
      "epoch": 0.0005716666666666667,
      "grad_norm": 2.977266550064087,
      "learning_rate": 1.0766666666666666e-06,
      "loss": 2.117,
      "step": 343
    },
    {
      "epoch": 0.0005733333333333334,
      "grad_norm": 3.383563756942749,
      "learning_rate": 1.08e-06,
      "loss": 2.0804,
      "step": 344
    },
    {
      "epoch": 0.000575,
      "grad_norm": 2.980771780014038,
      "learning_rate": 1.0833333333333335e-06,
      "loss": 2.1314,
      "step": 345
    },
    {
      "epoch": 0.0005766666666666666,
      "grad_norm": 3.090808629989624,
      "learning_rate": 1.0866666666666667e-06,
      "loss": 2.083,
      "step": 346
    },
    {
      "epoch": 0.0005783333333333334,
      "grad_norm": 3.6555492877960205,
      "learning_rate": 1.0900000000000002e-06,
      "loss": 2.0662,
      "step": 347
    },
    {
      "epoch": 0.00058,
      "grad_norm": 3.2855544090270996,
      "learning_rate": 1.0933333333333334e-06,
      "loss": 2.0836,
      "step": 348
    },
    {
      "epoch": 0.0005816666666666666,
      "grad_norm": 3.004192352294922,
      "learning_rate": 1.0966666666666666e-06,
      "loss": 2.2174,
      "step": 349
    },
    {
      "epoch": 0.0005833333333333334,
      "grad_norm": 3.065011501312256,
      "learning_rate": 1.1e-06,
      "loss": 2.0726,
      "step": 350
    },
    {
      "epoch": 0.000585,
      "grad_norm": 3.3403453826904297,
      "learning_rate": 1.1033333333333335e-06,
      "loss": 2.1427,
      "step": 351
    },
    {
      "epoch": 0.0005866666666666667,
      "grad_norm": 3.2258799076080322,
      "learning_rate": 1.1066666666666667e-06,
      "loss": 2.1307,
      "step": 352
    },
    {
      "epoch": 0.0005883333333333333,
      "grad_norm": 3.5266306400299072,
      "learning_rate": 1.1100000000000002e-06,
      "loss": 2.0342,
      "step": 353
    },
    {
      "epoch": 0.00059,
      "grad_norm": 6.845758438110352,
      "learning_rate": 1.1133333333333334e-06,
      "loss": 2.1573,
      "step": 354
    },
    {
      "epoch": 0.0005916666666666667,
      "grad_norm": 3.0761420726776123,
      "learning_rate": 1.1166666666666666e-06,
      "loss": 2.2008,
      "step": 355
    },
    {
      "epoch": 0.0005933333333333333,
      "grad_norm": 3.1183454990386963,
      "learning_rate": 1.12e-06,
      "loss": 2.2803,
      "step": 356
    },
    {
      "epoch": 0.000595,
      "grad_norm": 3.6824119091033936,
      "learning_rate": 1.1233333333333333e-06,
      "loss": 2.1219,
      "step": 357
    },
    {
      "epoch": 0.0005966666666666667,
      "grad_norm": 3.3759958744049072,
      "learning_rate": 1.1266666666666667e-06,
      "loss": 2.151,
      "step": 358
    },
    {
      "epoch": 0.0005983333333333333,
      "grad_norm": 3.459049701690674,
      "learning_rate": 1.1300000000000002e-06,
      "loss": 2.1539,
      "step": 359
    },
    {
      "epoch": 0.0006,
      "grad_norm": 3.574355363845825,
      "learning_rate": 1.1333333333333334e-06,
      "loss": 2.1117,
      "step": 360
    },
    {
      "epoch": 0.0006016666666666667,
      "grad_norm": 4.486545562744141,
      "learning_rate": 1.1366666666666667e-06,
      "loss": 2.1427,
      "step": 361
    },
    {
      "epoch": 0.0006033333333333333,
      "grad_norm": 4.181900501251221,
      "learning_rate": 1.14e-06,
      "loss": 1.9816,
      "step": 362
    },
    {
      "epoch": 0.000605,
      "grad_norm": 3.054154634475708,
      "learning_rate": 1.1433333333333333e-06,
      "loss": 2.069,
      "step": 363
    },
    {
      "epoch": 0.0006066666666666667,
      "grad_norm": 3.355377435684204,
      "learning_rate": 1.1466666666666668e-06,
      "loss": 2.0908,
      "step": 364
    },
    {
      "epoch": 0.0006083333333333333,
      "grad_norm": 3.3575656414031982,
      "learning_rate": 1.1500000000000002e-06,
      "loss": 2.1139,
      "step": 365
    },
    {
      "epoch": 0.00061,
      "grad_norm": 3.2048044204711914,
      "learning_rate": 1.1533333333333334e-06,
      "loss": 2.1517,
      "step": 366
    },
    {
      "epoch": 0.0006116666666666667,
      "grad_norm": 3.052704095840454,
      "learning_rate": 1.1566666666666667e-06,
      "loss": 2.0225,
      "step": 367
    },
    {
      "epoch": 0.0006133333333333334,
      "grad_norm": 3.7268402576446533,
      "learning_rate": 1.1600000000000001e-06,
      "loss": 2.0033,
      "step": 368
    },
    {
      "epoch": 0.000615,
      "grad_norm": 2.909616231918335,
      "learning_rate": 1.1633333333333333e-06,
      "loss": 2.0579,
      "step": 369
    },
    {
      "epoch": 0.0006166666666666666,
      "grad_norm": 4.15250825881958,
      "learning_rate": 1.1666666666666668e-06,
      "loss": 2.1509,
      "step": 370
    },
    {
      "epoch": 0.0006183333333333334,
      "grad_norm": 3.311877489089966,
      "learning_rate": 1.1700000000000002e-06,
      "loss": 2.1261,
      "step": 371
    },
    {
      "epoch": 0.00062,
      "grad_norm": 3.200026512145996,
      "learning_rate": 1.1733333333333335e-06,
      "loss": 2.1211,
      "step": 372
    },
    {
      "epoch": 0.0006216666666666666,
      "grad_norm": 2.9511806964874268,
      "learning_rate": 1.1766666666666667e-06,
      "loss": 1.9925,
      "step": 373
    },
    {
      "epoch": 0.0006233333333333334,
      "grad_norm": 3.2732794284820557,
      "learning_rate": 1.1800000000000001e-06,
      "loss": 2.1027,
      "step": 374
    },
    {
      "epoch": 0.000625,
      "grad_norm": 2.9997642040252686,
      "learning_rate": 1.1833333333333334e-06,
      "loss": 1.9089,
      "step": 375
    },
    {
      "epoch": 0.0006266666666666666,
      "grad_norm": 2.972043037414551,
      "learning_rate": 1.1866666666666668e-06,
      "loss": 2.0633,
      "step": 376
    },
    {
      "epoch": 0.0006283333333333333,
      "grad_norm": 3.3142552375793457,
      "learning_rate": 1.19e-06,
      "loss": 2.1032,
      "step": 377
    },
    {
      "epoch": 0.00063,
      "grad_norm": 3.4417457580566406,
      "learning_rate": 1.1933333333333335e-06,
      "loss": 1.9931,
      "step": 378
    },
    {
      "epoch": 0.0006316666666666667,
      "grad_norm": 3.2262935638427734,
      "learning_rate": 1.1966666666666667e-06,
      "loss": 2.0915,
      "step": 379
    },
    {
      "epoch": 0.0006333333333333333,
      "grad_norm": 3.233604669570923,
      "learning_rate": 1.2000000000000002e-06,
      "loss": 2.0751,
      "step": 380
    },
    {
      "epoch": 0.000635,
      "grad_norm": 4.453147888183594,
      "learning_rate": 1.2033333333333334e-06,
      "loss": 2.0632,
      "step": 381
    },
    {
      "epoch": 0.0006366666666666667,
      "grad_norm": 4.333759784698486,
      "learning_rate": 1.2066666666666668e-06,
      "loss": 2.1916,
      "step": 382
    },
    {
      "epoch": 0.0006383333333333333,
      "grad_norm": 3.892063617706299,
      "learning_rate": 1.21e-06,
      "loss": 2.058,
      "step": 383
    },
    {
      "epoch": 0.00064,
      "grad_norm": 3.3160343170166016,
      "learning_rate": 1.2133333333333335e-06,
      "loss": 2.0067,
      "step": 384
    },
    {
      "epoch": 0.0006416666666666667,
      "grad_norm": 3.1733570098876953,
      "learning_rate": 1.2166666666666667e-06,
      "loss": 2.0511,
      "step": 385
    },
    {
      "epoch": 0.0006433333333333333,
      "grad_norm": 3.2658493518829346,
      "learning_rate": 1.2200000000000002e-06,
      "loss": 2.0527,
      "step": 386
    },
    {
      "epoch": 0.000645,
      "grad_norm": 3.415750741958618,
      "learning_rate": 1.2233333333333334e-06,
      "loss": 2.0664,
      "step": 387
    },
    {
      "epoch": 0.0006466666666666667,
      "grad_norm": 3.09763503074646,
      "learning_rate": 1.2266666666666666e-06,
      "loss": 2.1217,
      "step": 388
    },
    {
      "epoch": 0.0006483333333333333,
      "grad_norm": 2.92543888092041,
      "learning_rate": 1.23e-06,
      "loss": 1.9835,
      "step": 389
    },
    {
      "epoch": 0.00065,
      "grad_norm": 3.0225307941436768,
      "learning_rate": 1.2333333333333335e-06,
      "loss": 2.1039,
      "step": 390
    },
    {
      "epoch": 0.0006516666666666667,
      "grad_norm": 3.148082971572876,
      "learning_rate": 1.2366666666666668e-06,
      "loss": 2.0001,
      "step": 391
    },
    {
      "epoch": 0.0006533333333333333,
      "grad_norm": 3.5371854305267334,
      "learning_rate": 1.2400000000000002e-06,
      "loss": 2.1663,
      "step": 392
    },
    {
      "epoch": 0.000655,
      "grad_norm": 3.1027767658233643,
      "learning_rate": 1.2433333333333334e-06,
      "loss": 2.2081,
      "step": 393
    },
    {
      "epoch": 0.0006566666666666666,
      "grad_norm": 2.957149028778076,
      "learning_rate": 1.2466666666666667e-06,
      "loss": 2.1225,
      "step": 394
    },
    {
      "epoch": 0.0006583333333333334,
      "grad_norm": 3.119264841079712,
      "learning_rate": 1.25e-06,
      "loss": 2.0036,
      "step": 395
    },
    {
      "epoch": 0.00066,
      "grad_norm": 3.0711944103240967,
      "learning_rate": 1.2533333333333333e-06,
      "loss": 2.0238,
      "step": 396
    },
    {
      "epoch": 0.0006616666666666666,
      "grad_norm": 3.1323201656341553,
      "learning_rate": 1.2566666666666668e-06,
      "loss": 2.0959,
      "step": 397
    },
    {
      "epoch": 0.0006633333333333334,
      "grad_norm": 3.1366240978240967,
      "learning_rate": 1.26e-06,
      "loss": 2.129,
      "step": 398
    },
    {
      "epoch": 0.000665,
      "grad_norm": 3.0861570835113525,
      "learning_rate": 1.2633333333333334e-06,
      "loss": 2.1214,
      "step": 399
    },
    {
      "epoch": 0.0006666666666666666,
      "grad_norm": 3.1445868015289307,
      "learning_rate": 1.2666666666666669e-06,
      "loss": 2.0578,
      "step": 400
    },
    {
      "epoch": 0.0006683333333333333,
      "grad_norm": 3.529768705368042,
      "learning_rate": 1.2700000000000001e-06,
      "loss": 2.0918,
      "step": 401
    },
    {
      "epoch": 0.00067,
      "grad_norm": 3.0644869804382324,
      "learning_rate": 1.2733333333333334e-06,
      "loss": 2.1639,
      "step": 402
    },
    {
      "epoch": 0.0006716666666666667,
      "grad_norm": 3.5861663818359375,
      "learning_rate": 1.2766666666666668e-06,
      "loss": 2.0451,
      "step": 403
    },
    {
      "epoch": 0.0006733333333333333,
      "grad_norm": 3.2170448303222656,
      "learning_rate": 1.28e-06,
      "loss": 2.0079,
      "step": 404
    },
    {
      "epoch": 0.000675,
      "grad_norm": 3.1890745162963867,
      "learning_rate": 1.2833333333333335e-06,
      "loss": 2.1053,
      "step": 405
    },
    {
      "epoch": 0.0006766666666666667,
      "grad_norm": 2.981407642364502,
      "learning_rate": 1.286666666666667e-06,
      "loss": 2.1,
      "step": 406
    },
    {
      "epoch": 0.0006783333333333333,
      "grad_norm": 3.076420545578003,
      "learning_rate": 1.2900000000000001e-06,
      "loss": 2.1209,
      "step": 407
    },
    {
      "epoch": 0.00068,
      "grad_norm": 2.9472014904022217,
      "learning_rate": 1.2933333333333334e-06,
      "loss": 2.0664,
      "step": 408
    },
    {
      "epoch": 0.0006816666666666667,
      "grad_norm": 3.4543654918670654,
      "learning_rate": 1.2966666666666668e-06,
      "loss": 2.1388,
      "step": 409
    },
    {
      "epoch": 0.0006833333333333333,
      "grad_norm": 3.0362350940704346,
      "learning_rate": 1.3e-06,
      "loss": 2.1396,
      "step": 410
    },
    {
      "epoch": 0.000685,
      "grad_norm": 3.005315065383911,
      "learning_rate": 1.3033333333333335e-06,
      "loss": 2.1469,
      "step": 411
    },
    {
      "epoch": 0.0006866666666666667,
      "grad_norm": 3.2348954677581787,
      "learning_rate": 1.3066666666666667e-06,
      "loss": 2.2059,
      "step": 412
    },
    {
      "epoch": 0.0006883333333333333,
      "grad_norm": 3.6602141857147217,
      "learning_rate": 1.3100000000000002e-06,
      "loss": 2.0746,
      "step": 413
    },
    {
      "epoch": 0.00069,
      "grad_norm": 3.0489773750305176,
      "learning_rate": 1.3133333333333334e-06,
      "loss": 1.9912,
      "step": 414
    },
    {
      "epoch": 0.0006916666666666667,
      "grad_norm": 3.1159327030181885,
      "learning_rate": 1.3166666666666666e-06,
      "loss": 2.1002,
      "step": 415
    },
    {
      "epoch": 0.0006933333333333333,
      "grad_norm": 3.384310245513916,
      "learning_rate": 1.32e-06,
      "loss": 2.0823,
      "step": 416
    },
    {
      "epoch": 0.000695,
      "grad_norm": 6.993360996246338,
      "learning_rate": 1.3233333333333335e-06,
      "loss": 2.2482,
      "step": 417
    },
    {
      "epoch": 0.0006966666666666666,
      "grad_norm": 3.1112260818481445,
      "learning_rate": 1.3266666666666667e-06,
      "loss": 2.0681,
      "step": 418
    },
    {
      "epoch": 0.0006983333333333334,
      "grad_norm": 2.9899094104766846,
      "learning_rate": 1.3300000000000002e-06,
      "loss": 2.1424,
      "step": 419
    },
    {
      "epoch": 0.0007,
      "grad_norm": 6.753556728363037,
      "learning_rate": 1.3333333333333334e-06,
      "loss": 2.2618,
      "step": 420
    },
    {
      "epoch": 0.0007016666666666666,
      "grad_norm": 3.3377163410186768,
      "learning_rate": 1.3366666666666666e-06,
      "loss": 2.1061,
      "step": 421
    },
    {
      "epoch": 0.0007033333333333334,
      "grad_norm": 3.068416118621826,
      "learning_rate": 1.34e-06,
      "loss": 2.0014,
      "step": 422
    },
    {
      "epoch": 0.000705,
      "grad_norm": 3.087041139602661,
      "learning_rate": 1.3433333333333335e-06,
      "loss": 2.0538,
      "step": 423
    },
    {
      "epoch": 0.0007066666666666666,
      "grad_norm": 3.174715280532837,
      "learning_rate": 1.3466666666666668e-06,
      "loss": 1.9777,
      "step": 424
    },
    {
      "epoch": 0.0007083333333333334,
      "grad_norm": 2.921217203140259,
      "learning_rate": 1.3500000000000002e-06,
      "loss": 2.1634,
      "step": 425
    },
    {
      "epoch": 0.00071,
      "grad_norm": 3.3955302238464355,
      "learning_rate": 1.3533333333333334e-06,
      "loss": 2.1683,
      "step": 426
    },
    {
      "epoch": 0.0007116666666666667,
      "grad_norm": 3.7344541549682617,
      "learning_rate": 1.3566666666666667e-06,
      "loss": 1.9476,
      "step": 427
    },
    {
      "epoch": 0.0007133333333333333,
      "grad_norm": 2.935331344604492,
      "learning_rate": 1.3600000000000001e-06,
      "loss": 2.0508,
      "step": 428
    },
    {
      "epoch": 0.000715,
      "grad_norm": 3.15144944190979,
      "learning_rate": 1.3633333333333336e-06,
      "loss": 2.1036,
      "step": 429
    },
    {
      "epoch": 0.0007166666666666667,
      "grad_norm": 3.1873817443847656,
      "learning_rate": 1.3666666666666668e-06,
      "loss": 1.9989,
      "step": 430
    },
    {
      "epoch": 0.0007183333333333333,
      "grad_norm": 2.981795310974121,
      "learning_rate": 1.3700000000000002e-06,
      "loss": 2.0078,
      "step": 431
    },
    {
      "epoch": 0.00072,
      "grad_norm": 3.0691819190979004,
      "learning_rate": 1.3733333333333335e-06,
      "loss": 2.0261,
      "step": 432
    },
    {
      "epoch": 0.0007216666666666667,
      "grad_norm": 2.994145631790161,
      "learning_rate": 1.3766666666666667e-06,
      "loss": 1.9749,
      "step": 433
    },
    {
      "epoch": 0.0007233333333333333,
      "grad_norm": 3.0162203311920166,
      "learning_rate": 1.3800000000000001e-06,
      "loss": 2.0878,
      "step": 434
    },
    {
      "epoch": 0.000725,
      "grad_norm": 3.082517385482788,
      "learning_rate": 1.3833333333333336e-06,
      "loss": 2.0585,
      "step": 435
    },
    {
      "epoch": 0.0007266666666666667,
      "grad_norm": 3.357473611831665,
      "learning_rate": 1.3866666666666668e-06,
      "loss": 2.0263,
      "step": 436
    },
    {
      "epoch": 0.0007283333333333333,
      "grad_norm": 2.9599032402038574,
      "learning_rate": 1.3900000000000002e-06,
      "loss": 2.0875,
      "step": 437
    },
    {
      "epoch": 0.00073,
      "grad_norm": 3.0526652336120605,
      "learning_rate": 1.3933333333333335e-06,
      "loss": 2.018,
      "step": 438
    },
    {
      "epoch": 0.0007316666666666667,
      "grad_norm": 3.3904829025268555,
      "learning_rate": 1.3966666666666667e-06,
      "loss": 2.0153,
      "step": 439
    },
    {
      "epoch": 0.0007333333333333333,
      "grad_norm": 2.9618401527404785,
      "learning_rate": 1.4000000000000001e-06,
      "loss": 1.9143,
      "step": 440
    },
    {
      "epoch": 0.000735,
      "grad_norm": 3.0333075523376465,
      "learning_rate": 1.4033333333333336e-06,
      "loss": 2.0168,
      "step": 441
    },
    {
      "epoch": 0.0007366666666666667,
      "grad_norm": 3.1153576374053955,
      "learning_rate": 1.4066666666666668e-06,
      "loss": 2.0463,
      "step": 442
    },
    {
      "epoch": 0.0007383333333333334,
      "grad_norm": 3.061289072036743,
      "learning_rate": 1.41e-06,
      "loss": 1.9106,
      "step": 443
    },
    {
      "epoch": 0.00074,
      "grad_norm": 2.98833966255188,
      "learning_rate": 1.4133333333333335e-06,
      "loss": 2.028,
      "step": 444
    },
    {
      "epoch": 0.0007416666666666666,
      "grad_norm": 3.1004245281219482,
      "learning_rate": 1.4166666666666667e-06,
      "loss": 2.1077,
      "step": 445
    },
    {
      "epoch": 0.0007433333333333334,
      "grad_norm": 2.9504644870758057,
      "learning_rate": 1.42e-06,
      "loss": 2.199,
      "step": 446
    },
    {
      "epoch": 0.000745,
      "grad_norm": 2.890138626098633,
      "learning_rate": 1.4233333333333336e-06,
      "loss": 1.8713,
      "step": 447
    },
    {
      "epoch": 0.0007466666666666666,
      "grad_norm": 3.2355129718780518,
      "learning_rate": 1.4266666666666668e-06,
      "loss": 2.1415,
      "step": 448
    },
    {
      "epoch": 0.0007483333333333334,
      "grad_norm": 2.9345617294311523,
      "learning_rate": 1.43e-06,
      "loss": 2.0444,
      "step": 449
    },
    {
      "epoch": 0.00075,
      "grad_norm": 2.9778242111206055,
      "learning_rate": 1.4333333333333335e-06,
      "loss": 2.0602,
      "step": 450
    },
    {
      "epoch": 0.0007516666666666667,
      "grad_norm": 3.073500633239746,
      "learning_rate": 1.4366666666666667e-06,
      "loss": 2.0799,
      "step": 451
    },
    {
      "epoch": 0.0007533333333333333,
      "grad_norm": 3.1258225440979004,
      "learning_rate": 1.44e-06,
      "loss": 2.1483,
      "step": 452
    },
    {
      "epoch": 0.000755,
      "grad_norm": 3.0003910064697266,
      "learning_rate": 1.4433333333333336e-06,
      "loss": 1.9415,
      "step": 453
    },
    {
      "epoch": 0.0007566666666666667,
      "grad_norm": 3.1799213886260986,
      "learning_rate": 1.4466666666666669e-06,
      "loss": 2.2347,
      "step": 454
    },
    {
      "epoch": 0.0007583333333333333,
      "grad_norm": 3.069901466369629,
      "learning_rate": 1.45e-06,
      "loss": 2.0372,
      "step": 455
    },
    {
      "epoch": 0.00076,
      "grad_norm": 3.0936784744262695,
      "learning_rate": 1.4533333333333335e-06,
      "loss": 2.2145,
      "step": 456
    },
    {
      "epoch": 0.0007616666666666667,
      "grad_norm": 3.1323015689849854,
      "learning_rate": 1.4566666666666668e-06,
      "loss": 2.1725,
      "step": 457
    },
    {
      "epoch": 0.0007633333333333333,
      "grad_norm": 3.3784339427948,
      "learning_rate": 1.46e-06,
      "loss": 2.1369,
      "step": 458
    },
    {
      "epoch": 0.000765,
      "grad_norm": 3.057457447052002,
      "learning_rate": 1.4633333333333337e-06,
      "loss": 2.1594,
      "step": 459
    },
    {
      "epoch": 0.0007666666666666667,
      "grad_norm": 3.088060140609741,
      "learning_rate": 1.4666666666666669e-06,
      "loss": 2.1421,
      "step": 460
    },
    {
      "epoch": 0.0007683333333333333,
      "grad_norm": 3.018022060394287,
      "learning_rate": 1.4700000000000001e-06,
      "loss": 2.2129,
      "step": 461
    },
    {
      "epoch": 0.00077,
      "grad_norm": 2.8726181983947754,
      "learning_rate": 1.4733333333333336e-06,
      "loss": 2.1215,
      "step": 462
    },
    {
      "epoch": 0.0007716666666666667,
      "grad_norm": 3.0665526390075684,
      "learning_rate": 1.4766666666666668e-06,
      "loss": 2.0691,
      "step": 463
    },
    {
      "epoch": 0.0007733333333333333,
      "grad_norm": 3.1768739223480225,
      "learning_rate": 1.48e-06,
      "loss": 2.1448,
      "step": 464
    },
    {
      "epoch": 0.000775,
      "grad_norm": 3.1708168983459473,
      "learning_rate": 1.4833333333333337e-06,
      "loss": 2.1892,
      "step": 465
    },
    {
      "epoch": 0.0007766666666666667,
      "grad_norm": 3.0146002769470215,
      "learning_rate": 1.486666666666667e-06,
      "loss": 2.1359,
      "step": 466
    },
    {
      "epoch": 0.0007783333333333334,
      "grad_norm": 3.218726634979248,
      "learning_rate": 1.4900000000000001e-06,
      "loss": 2.193,
      "step": 467
    },
    {
      "epoch": 0.00078,
      "grad_norm": 3.0395448207855225,
      "learning_rate": 1.4933333333333336e-06,
      "loss": 2.0423,
      "step": 468
    },
    {
      "epoch": 0.0007816666666666666,
      "grad_norm": 3.1446125507354736,
      "learning_rate": 1.4966666666666668e-06,
      "loss": 2.1511,
      "step": 469
    },
    {
      "epoch": 0.0007833333333333334,
      "grad_norm": 3.177905321121216,
      "learning_rate": 1.5e-06,
      "loss": 2.0419,
      "step": 470
    },
    {
      "epoch": 0.000785,
      "grad_norm": 3.184515953063965,
      "learning_rate": 1.5033333333333337e-06,
      "loss": 2.1174,
      "step": 471
    },
    {
      "epoch": 0.0007866666666666666,
      "grad_norm": 3.0239059925079346,
      "learning_rate": 1.506666666666667e-06,
      "loss": 2.2066,
      "step": 472
    },
    {
      "epoch": 0.0007883333333333334,
      "grad_norm": 3.151502847671509,
      "learning_rate": 1.5100000000000002e-06,
      "loss": 2.1977,
      "step": 473
    },
    {
      "epoch": 0.00079,
      "grad_norm": 3.0147933959960938,
      "learning_rate": 1.5133333333333334e-06,
      "loss": 2.1126,
      "step": 474
    },
    {
      "epoch": 0.0007916666666666666,
      "grad_norm": 3.0945208072662354,
      "learning_rate": 1.5166666666666668e-06,
      "loss": 2.1825,
      "step": 475
    },
    {
      "epoch": 0.0007933333333333333,
      "grad_norm": 2.889014482498169,
      "learning_rate": 1.52e-06,
      "loss": 2.1055,
      "step": 476
    },
    {
      "epoch": 0.000795,
      "grad_norm": 3.6552951335906982,
      "learning_rate": 1.5233333333333333e-06,
      "loss": 2.0761,
      "step": 477
    },
    {
      "epoch": 0.0007966666666666667,
      "grad_norm": 3.083796739578247,
      "learning_rate": 1.526666666666667e-06,
      "loss": 2.2066,
      "step": 478
    },
    {
      "epoch": 0.0007983333333333333,
      "grad_norm": 3.024827718734741,
      "learning_rate": 1.5300000000000002e-06,
      "loss": 2.2679,
      "step": 479
    },
    {
      "epoch": 0.0008,
      "grad_norm": 3.2144687175750732,
      "learning_rate": 1.5333333333333334e-06,
      "loss": 2.1402,
      "step": 480
    },
    {
      "epoch": 0.0008016666666666667,
      "grad_norm": 3.062905788421631,
      "learning_rate": 1.5366666666666668e-06,
      "loss": 2.1054,
      "step": 481
    },
    {
      "epoch": 0.0008033333333333333,
      "grad_norm": 2.9657816886901855,
      "learning_rate": 1.54e-06,
      "loss": 2.0612,
      "step": 482
    },
    {
      "epoch": 0.000805,
      "grad_norm": 3.015446662902832,
      "learning_rate": 1.5433333333333333e-06,
      "loss": 2.079,
      "step": 483
    },
    {
      "epoch": 0.0008066666666666667,
      "grad_norm": 2.9226467609405518,
      "learning_rate": 1.546666666666667e-06,
      "loss": 2.0814,
      "step": 484
    },
    {
      "epoch": 0.0008083333333333333,
      "grad_norm": 2.997105836868286,
      "learning_rate": 1.5500000000000002e-06,
      "loss": 2.1873,
      "step": 485
    },
    {
      "epoch": 0.00081,
      "grad_norm": 3.288480758666992,
      "learning_rate": 1.5533333333333334e-06,
      "loss": 2.1218,
      "step": 486
    },
    {
      "epoch": 0.0008116666666666667,
      "grad_norm": 2.962231397628784,
      "learning_rate": 1.5566666666666669e-06,
      "loss": 2.0722,
      "step": 487
    },
    {
      "epoch": 0.0008133333333333333,
      "grad_norm": 3.3065149784088135,
      "learning_rate": 1.56e-06,
      "loss": 2.1894,
      "step": 488
    },
    {
      "epoch": 0.000815,
      "grad_norm": 2.950596809387207,
      "learning_rate": 1.5633333333333333e-06,
      "loss": 1.9639,
      "step": 489
    },
    {
      "epoch": 0.0008166666666666667,
      "grad_norm": 3.056478977203369,
      "learning_rate": 1.566666666666667e-06,
      "loss": 2.034,
      "step": 490
    },
    {
      "epoch": 0.0008183333333333333,
      "grad_norm": 3.0567219257354736,
      "learning_rate": 1.5700000000000002e-06,
      "loss": 2.2073,
      "step": 491
    },
    {
      "epoch": 0.00082,
      "grad_norm": 3.1119556427001953,
      "learning_rate": 1.5733333333333334e-06,
      "loss": 2.1672,
      "step": 492
    },
    {
      "epoch": 0.0008216666666666666,
      "grad_norm": 2.944267511367798,
      "learning_rate": 1.5766666666666669e-06,
      "loss": 2.1833,
      "step": 493
    },
    {
      "epoch": 0.0008233333333333334,
      "grad_norm": 3.7544236183166504,
      "learning_rate": 1.5800000000000001e-06,
      "loss": 1.9886,
      "step": 494
    },
    {
      "epoch": 0.000825,
      "grad_norm": 3.362889289855957,
      "learning_rate": 1.5833333333333333e-06,
      "loss": 2.241,
      "step": 495
    },
    {
      "epoch": 0.0008266666666666666,
      "grad_norm": 3.603600025177002,
      "learning_rate": 1.586666666666667e-06,
      "loss": 2.2213,
      "step": 496
    },
    {
      "epoch": 0.0008283333333333334,
      "grad_norm": 3.4200901985168457,
      "learning_rate": 1.5900000000000002e-06,
      "loss": 2.3869,
      "step": 497
    },
    {
      "epoch": 0.00083,
      "grad_norm": 3.2415525913238525,
      "learning_rate": 1.5933333333333335e-06,
      "loss": 2.1895,
      "step": 498
    },
    {
      "epoch": 0.0008316666666666666,
      "grad_norm": 3.1305370330810547,
      "learning_rate": 1.596666666666667e-06,
      "loss": 2.3401,
      "step": 499
    },
    {
      "epoch": 0.0008333333333333334,
      "grad_norm": 3.1526055335998535,
      "learning_rate": 1.6000000000000001e-06,
      "loss": 2.0596,
      "step": 500
    },
    {
      "epoch": 0.000835,
      "grad_norm": 3.0749642848968506,
      "learning_rate": 1.6033333333333334e-06,
      "loss": 2.0795,
      "step": 501
    },
    {
      "epoch": 0.0008366666666666667,
      "grad_norm": 3.268287181854248,
      "learning_rate": 1.606666666666667e-06,
      "loss": 2.1807,
      "step": 502
    },
    {
      "epoch": 0.0008383333333333333,
      "grad_norm": 2.90162992477417,
      "learning_rate": 1.6100000000000003e-06,
      "loss": 2.207,
      "step": 503
    },
    {
      "epoch": 0.00084,
      "grad_norm": 3.1829845905303955,
      "learning_rate": 1.6133333333333335e-06,
      "loss": 2.1188,
      "step": 504
    },
    {
      "epoch": 0.0008416666666666667,
      "grad_norm": 3.1586086750030518,
      "learning_rate": 1.6166666666666667e-06,
      "loss": 2.2097,
      "step": 505
    },
    {
      "epoch": 0.0008433333333333333,
      "grad_norm": 3.0839006900787354,
      "learning_rate": 1.6200000000000002e-06,
      "loss": 2.1135,
      "step": 506
    },
    {
      "epoch": 0.000845,
      "grad_norm": 2.806763172149658,
      "learning_rate": 1.6233333333333334e-06,
      "loss": 2.0287,
      "step": 507
    },
    {
      "epoch": 0.0008466666666666667,
      "grad_norm": 2.939347267150879,
      "learning_rate": 1.6266666666666666e-06,
      "loss": 2.1094,
      "step": 508
    },
    {
      "epoch": 0.0008483333333333333,
      "grad_norm": 3.2101004123687744,
      "learning_rate": 1.6300000000000003e-06,
      "loss": 2.1442,
      "step": 509
    },
    {
      "epoch": 0.00085,
      "grad_norm": 2.9745376110076904,
      "learning_rate": 1.6333333333333335e-06,
      "loss": 2.0932,
      "step": 510
    },
    {
      "epoch": 0.0008516666666666667,
      "grad_norm": 3.2698047161102295,
      "learning_rate": 1.6366666666666667e-06,
      "loss": 1.9902,
      "step": 511
    },
    {
      "epoch": 0.0008533333333333333,
      "grad_norm": 2.8760411739349365,
      "learning_rate": 1.6400000000000002e-06,
      "loss": 2.1387,
      "step": 512
    },
    {
      "epoch": 0.000855,
      "grad_norm": 2.988776445388794,
      "learning_rate": 1.6433333333333334e-06,
      "loss": 2.0408,
      "step": 513
    },
    {
      "epoch": 0.0008566666666666667,
      "grad_norm": 3.0298213958740234,
      "learning_rate": 1.6466666666666666e-06,
      "loss": 2.0587,
      "step": 514
    },
    {
      "epoch": 0.0008583333333333333,
      "grad_norm": 3.05649733543396,
      "learning_rate": 1.6500000000000003e-06,
      "loss": 2.1628,
      "step": 515
    },
    {
      "epoch": 0.00086,
      "grad_norm": 3.118551731109619,
      "learning_rate": 1.6533333333333335e-06,
      "loss": 2.4155,
      "step": 516
    },
    {
      "epoch": 0.0008616666666666666,
      "grad_norm": 3.505662202835083,
      "learning_rate": 1.6566666666666668e-06,
      "loss": 2.1356,
      "step": 517
    },
    {
      "epoch": 0.0008633333333333334,
      "grad_norm": 2.8704044818878174,
      "learning_rate": 1.6600000000000002e-06,
      "loss": 2.0591,
      "step": 518
    },
    {
      "epoch": 0.000865,
      "grad_norm": 3.0619611740112305,
      "learning_rate": 1.6633333333333334e-06,
      "loss": 2.1422,
      "step": 519
    },
    {
      "epoch": 0.0008666666666666666,
      "grad_norm": 2.8903427124023438,
      "learning_rate": 1.6666666666666667e-06,
      "loss": 2.1705,
      "step": 520
    },
    {
      "epoch": 0.0008683333333333334,
      "grad_norm": 2.974766731262207,
      "learning_rate": 1.6700000000000003e-06,
      "loss": 1.946,
      "step": 521
    },
    {
      "epoch": 0.00087,
      "grad_norm": 3.0169270038604736,
      "learning_rate": 1.6733333333333335e-06,
      "loss": 2.0596,
      "step": 522
    },
    {
      "epoch": 0.0008716666666666666,
      "grad_norm": 3.804443597793579,
      "learning_rate": 1.6766666666666668e-06,
      "loss": 2.125,
      "step": 523
    },
    {
      "epoch": 0.0008733333333333334,
      "grad_norm": 3.014327049255371,
      "learning_rate": 1.6800000000000002e-06,
      "loss": 2.125,
      "step": 524
    },
    {
      "epoch": 0.000875,
      "grad_norm": 3.724053144454956,
      "learning_rate": 1.6833333333333335e-06,
      "loss": 2.1057,
      "step": 525
    },
    {
      "epoch": 0.0008766666666666667,
      "grad_norm": 2.9248266220092773,
      "learning_rate": 1.6866666666666667e-06,
      "loss": 2.1829,
      "step": 526
    },
    {
      "epoch": 0.0008783333333333333,
      "grad_norm": 2.970034122467041,
      "learning_rate": 1.6900000000000003e-06,
      "loss": 2.1362,
      "step": 527
    },
    {
      "epoch": 0.00088,
      "grad_norm": 3.3908987045288086,
      "learning_rate": 1.6933333333333336e-06,
      "loss": 2.0589,
      "step": 528
    },
    {
      "epoch": 0.0008816666666666667,
      "grad_norm": 3.09134840965271,
      "learning_rate": 1.6966666666666668e-06,
      "loss": 2.0497,
      "step": 529
    },
    {
      "epoch": 0.0008833333333333333,
      "grad_norm": 3.0161824226379395,
      "learning_rate": 1.7000000000000002e-06,
      "loss": 2.1295,
      "step": 530
    },
    {
      "epoch": 0.000885,
      "grad_norm": 2.9061970710754395,
      "learning_rate": 1.7033333333333335e-06,
      "loss": 2.0287,
      "step": 531
    },
    {
      "epoch": 0.0008866666666666667,
      "grad_norm": 2.9390053749084473,
      "learning_rate": 1.7066666666666667e-06,
      "loss": 2.1598,
      "step": 532
    },
    {
      "epoch": 0.0008883333333333333,
      "grad_norm": 3.0578017234802246,
      "learning_rate": 1.7100000000000004e-06,
      "loss": 2.1021,
      "step": 533
    },
    {
      "epoch": 0.00089,
      "grad_norm": 3.2277684211730957,
      "learning_rate": 1.7133333333333336e-06,
      "loss": 2.0392,
      "step": 534
    },
    {
      "epoch": 0.0008916666666666667,
      "grad_norm": 2.9011127948760986,
      "learning_rate": 1.7166666666666668e-06,
      "loss": 1.8591,
      "step": 535
    },
    {
      "epoch": 0.0008933333333333333,
      "grad_norm": 3.1626055240631104,
      "learning_rate": 1.72e-06,
      "loss": 2.0296,
      "step": 536
    },
    {
      "epoch": 0.000895,
      "grad_norm": 2.9499261379241943,
      "learning_rate": 1.7233333333333335e-06,
      "loss": 2.0034,
      "step": 537
    },
    {
      "epoch": 0.0008966666666666667,
      "grad_norm": 2.762267827987671,
      "learning_rate": 1.7266666666666667e-06,
      "loss": 1.9891,
      "step": 538
    },
    {
      "epoch": 0.0008983333333333333,
      "grad_norm": 2.809492349624634,
      "learning_rate": 1.73e-06,
      "loss": 2.0915,
      "step": 539
    },
    {
      "epoch": 0.0009,
      "grad_norm": 3.1063058376312256,
      "learning_rate": 1.7333333333333336e-06,
      "loss": 2.099,
      "step": 540
    },
    {
      "epoch": 0.0009016666666666667,
      "grad_norm": 2.7967820167541504,
      "learning_rate": 1.7366666666666668e-06,
      "loss": 2.11,
      "step": 541
    },
    {
      "epoch": 0.0009033333333333334,
      "grad_norm": 4.422077178955078,
      "learning_rate": 1.74e-06,
      "loss": 1.9869,
      "step": 542
    },
    {
      "epoch": 0.000905,
      "grad_norm": 3.1708552837371826,
      "learning_rate": 1.7433333333333335e-06,
      "loss": 2.1026,
      "step": 543
    },
    {
      "epoch": 0.0009066666666666666,
      "grad_norm": 2.8672409057617188,
      "learning_rate": 1.7466666666666667e-06,
      "loss": 2.0407,
      "step": 544
    },
    {
      "epoch": 0.0009083333333333334,
      "grad_norm": 3.220848321914673,
      "learning_rate": 1.75e-06,
      "loss": 1.9469,
      "step": 545
    },
    {
      "epoch": 0.00091,
      "grad_norm": 2.8681082725524902,
      "learning_rate": 1.7533333333333336e-06,
      "loss": 1.9946,
      "step": 546
    },
    {
      "epoch": 0.0009116666666666666,
      "grad_norm": 2.996058464050293,
      "learning_rate": 1.7566666666666669e-06,
      "loss": 2.0849,
      "step": 547
    },
    {
      "epoch": 0.0009133333333333334,
      "grad_norm": 3.361339807510376,
      "learning_rate": 1.76e-06,
      "loss": 1.8824,
      "step": 548
    },
    {
      "epoch": 0.000915,
      "grad_norm": 3.2036192417144775,
      "learning_rate": 1.7633333333333335e-06,
      "loss": 2.0662,
      "step": 549
    },
    {
      "epoch": 0.0009166666666666666,
      "grad_norm": 3.148712158203125,
      "learning_rate": 1.7666666666666668e-06,
      "loss": 2.1816,
      "step": 550
    },
    {
      "epoch": 0.0009183333333333333,
      "grad_norm": 3.1149656772613525,
      "learning_rate": 1.77e-06,
      "loss": 2.0605,
      "step": 551
    },
    {
      "epoch": 0.00092,
      "grad_norm": 3.2098724842071533,
      "learning_rate": 1.7733333333333336e-06,
      "loss": 2.1299,
      "step": 552
    },
    {
      "epoch": 0.0009216666666666667,
      "grad_norm": 3.353177547454834,
      "learning_rate": 1.7766666666666669e-06,
      "loss": 2.077,
      "step": 553
    },
    {
      "epoch": 0.0009233333333333333,
      "grad_norm": 3.131775379180908,
      "learning_rate": 1.7800000000000001e-06,
      "loss": 2.0902,
      "step": 554
    },
    {
      "epoch": 0.000925,
      "grad_norm": 3.189337730407715,
      "learning_rate": 1.7833333333333336e-06,
      "loss": 2.0022,
      "step": 555
    },
    {
      "epoch": 0.0009266666666666667,
      "grad_norm": 3.1959826946258545,
      "learning_rate": 1.7866666666666668e-06,
      "loss": 1.9945,
      "step": 556
    },
    {
      "epoch": 0.0009283333333333333,
      "grad_norm": 3.195066213607788,
      "learning_rate": 1.79e-06,
      "loss": 2.1973,
      "step": 557
    },
    {
      "epoch": 0.00093,
      "grad_norm": 4.145176887512207,
      "learning_rate": 1.7933333333333337e-06,
      "loss": 1.976,
      "step": 558
    },
    {
      "epoch": 0.0009316666666666667,
      "grad_norm": 2.9547083377838135,
      "learning_rate": 1.796666666666667e-06,
      "loss": 2.0158,
      "step": 559
    },
    {
      "epoch": 0.0009333333333333333,
      "grad_norm": 2.984375476837158,
      "learning_rate": 1.8000000000000001e-06,
      "loss": 2.1285,
      "step": 560
    },
    {
      "epoch": 0.000935,
      "grad_norm": 3.352145195007324,
      "learning_rate": 1.8033333333333336e-06,
      "loss": 1.9498,
      "step": 561
    },
    {
      "epoch": 0.0009366666666666667,
      "grad_norm": 3.1860620975494385,
      "learning_rate": 1.8066666666666668e-06,
      "loss": 2.0462,
      "step": 562
    },
    {
      "epoch": 0.0009383333333333333,
      "grad_norm": 2.948072671890259,
      "learning_rate": 1.81e-06,
      "loss": 2.0209,
      "step": 563
    },
    {
      "epoch": 0.00094,
      "grad_norm": 2.932551145553589,
      "learning_rate": 1.8133333333333337e-06,
      "loss": 2.08,
      "step": 564
    },
    {
      "epoch": 0.0009416666666666667,
      "grad_norm": 3.0127339363098145,
      "learning_rate": 1.816666666666667e-06,
      "loss": 1.9687,
      "step": 565
    },
    {
      "epoch": 0.0009433333333333334,
      "grad_norm": 2.8971869945526123,
      "learning_rate": 1.8200000000000002e-06,
      "loss": 1.9048,
      "step": 566
    },
    {
      "epoch": 0.000945,
      "grad_norm": 3.124345541000366,
      "learning_rate": 1.8233333333333334e-06,
      "loss": 1.968,
      "step": 567
    },
    {
      "epoch": 0.0009466666666666666,
      "grad_norm": 2.917759656906128,
      "learning_rate": 1.8266666666666668e-06,
      "loss": 1.9209,
      "step": 568
    },
    {
      "epoch": 0.0009483333333333334,
      "grad_norm": 2.934384346008301,
      "learning_rate": 1.83e-06,
      "loss": 1.9601,
      "step": 569
    },
    {
      "epoch": 0.00095,
      "grad_norm": 2.9470131397247314,
      "learning_rate": 1.8333333333333333e-06,
      "loss": 1.9994,
      "step": 570
    },
    {
      "epoch": 0.0009516666666666666,
      "grad_norm": 3.4861018657684326,
      "learning_rate": 1.836666666666667e-06,
      "loss": 2.0158,
      "step": 571
    },
    {
      "epoch": 0.0009533333333333334,
      "grad_norm": 2.999687433242798,
      "learning_rate": 1.8400000000000002e-06,
      "loss": 1.9696,
      "step": 572
    },
    {
      "epoch": 0.000955,
      "grad_norm": 3.478466510772705,
      "learning_rate": 1.8433333333333334e-06,
      "loss": 1.9656,
      "step": 573
    },
    {
      "epoch": 0.0009566666666666666,
      "grad_norm": 3.029700756072998,
      "learning_rate": 1.8466666666666668e-06,
      "loss": 2.1042,
      "step": 574
    },
    {
      "epoch": 0.0009583333333333333,
      "grad_norm": 2.9268064498901367,
      "learning_rate": 1.85e-06,
      "loss": 2.0929,
      "step": 575
    },
    {
      "epoch": 0.00096,
      "grad_norm": 2.854912042617798,
      "learning_rate": 1.8533333333333333e-06,
      "loss": 2.0264,
      "step": 576
    },
    {
      "epoch": 0.0009616666666666667,
      "grad_norm": 2.9484946727752686,
      "learning_rate": 1.856666666666667e-06,
      "loss": 1.9988,
      "step": 577
    },
    {
      "epoch": 0.0009633333333333333,
      "grad_norm": 2.9092769622802734,
      "learning_rate": 1.8600000000000002e-06,
      "loss": 1.8705,
      "step": 578
    },
    {
      "epoch": 0.000965,
      "grad_norm": 2.883150339126587,
      "learning_rate": 1.8633333333333334e-06,
      "loss": 2.0494,
      "step": 579
    },
    {
      "epoch": 0.0009666666666666667,
      "grad_norm": 2.975543737411499,
      "learning_rate": 1.8666666666666669e-06,
      "loss": 2.0721,
      "step": 580
    },
    {
      "epoch": 0.0009683333333333333,
      "grad_norm": 3.182509183883667,
      "learning_rate": 1.87e-06,
      "loss": 1.9844,
      "step": 581
    },
    {
      "epoch": 0.00097,
      "grad_norm": 3.025315046310425,
      "learning_rate": 1.8733333333333333e-06,
      "loss": 1.8533,
      "step": 582
    },
    {
      "epoch": 0.0009716666666666667,
      "grad_norm": 3.401674509048462,
      "learning_rate": 1.876666666666667e-06,
      "loss": 2.0618,
      "step": 583
    },
    {
      "epoch": 0.0009733333333333333,
      "grad_norm": 3.1559054851531982,
      "learning_rate": 1.8800000000000002e-06,
      "loss": 2.0306,
      "step": 584
    },
    {
      "epoch": 0.000975,
      "grad_norm": 3.0140044689178467,
      "learning_rate": 1.8833333333333334e-06,
      "loss": 2.0104,
      "step": 585
    },
    {
      "epoch": 0.0009766666666666667,
      "grad_norm": 3.0494086742401123,
      "learning_rate": 1.8866666666666669e-06,
      "loss": 2.0305,
      "step": 586
    },
    {
      "epoch": 0.0009783333333333332,
      "grad_norm": 2.8735053539276123,
      "learning_rate": 1.8900000000000001e-06,
      "loss": 1.993,
      "step": 587
    },
    {
      "epoch": 0.00098,
      "grad_norm": 2.868962049484253,
      "learning_rate": 1.8933333333333333e-06,
      "loss": 2.1032,
      "step": 588
    },
    {
      "epoch": 0.0009816666666666667,
      "grad_norm": 2.8613109588623047,
      "learning_rate": 1.896666666666667e-06,
      "loss": 1.9098,
      "step": 589
    },
    {
      "epoch": 0.0009833333333333332,
      "grad_norm": 2.944169521331787,
      "learning_rate": 1.9000000000000002e-06,
      "loss": 2.1043,
      "step": 590
    },
    {
      "epoch": 0.000985,
      "grad_norm": 3.110170364379883,
      "learning_rate": 1.9033333333333335e-06,
      "loss": 2.0874,
      "step": 591
    },
    {
      "epoch": 0.0009866666666666667,
      "grad_norm": 2.779520273208618,
      "learning_rate": 1.906666666666667e-06,
      "loss": 1.9979,
      "step": 592
    },
    {
      "epoch": 0.0009883333333333333,
      "grad_norm": 3.1050734519958496,
      "learning_rate": 1.9100000000000003e-06,
      "loss": 2.033,
      "step": 593
    },
    {
      "epoch": 0.00099,
      "grad_norm": 2.891162872314453,
      "learning_rate": 1.9133333333333334e-06,
      "loss": 1.9688,
      "step": 594
    },
    {
      "epoch": 0.0009916666666666667,
      "grad_norm": 3.0165205001831055,
      "learning_rate": 1.916666666666667e-06,
      "loss": 2.156,
      "step": 595
    },
    {
      "epoch": 0.0009933333333333333,
      "grad_norm": 3.170091152191162,
      "learning_rate": 1.9200000000000003e-06,
      "loss": 1.9151,
      "step": 596
    },
    {
      "epoch": 0.000995,
      "grad_norm": 2.9460649490356445,
      "learning_rate": 1.9233333333333333e-06,
      "loss": 2.0559,
      "step": 597
    },
    {
      "epoch": 0.0009966666666666668,
      "grad_norm": 2.9425268173217773,
      "learning_rate": 1.926666666666667e-06,
      "loss": 1.9533,
      "step": 598
    },
    {
      "epoch": 0.0009983333333333333,
      "grad_norm": 3.0804879665374756,
      "learning_rate": 1.93e-06,
      "loss": 2.1043,
      "step": 599
    },
    {
      "epoch": 0.001,
      "grad_norm": 2.7903027534484863,
      "learning_rate": 1.9333333333333336e-06,
      "loss": 1.953,
      "step": 600
    },
    {
      "epoch": 0.0010016666666666668,
      "grad_norm": 3.0354011058807373,
      "learning_rate": 1.9366666666666666e-06,
      "loss": 2.1102,
      "step": 601
    },
    {
      "epoch": 0.0010033333333333333,
      "grad_norm": 2.780740261077881,
      "learning_rate": 1.94e-06,
      "loss": 1.9628,
      "step": 602
    },
    {
      "epoch": 0.001005,
      "grad_norm": 2.9153685569763184,
      "learning_rate": 1.9433333333333335e-06,
      "loss": 2.1479,
      "step": 603
    },
    {
      "epoch": 0.0010066666666666666,
      "grad_norm": 2.8477325439453125,
      "learning_rate": 1.9466666666666665e-06,
      "loss": 1.9947,
      "step": 604
    },
    {
      "epoch": 0.0010083333333333333,
      "grad_norm": 2.8510899543762207,
      "learning_rate": 1.9500000000000004e-06,
      "loss": 1.9434,
      "step": 605
    },
    {
      "epoch": 0.00101,
      "grad_norm": 4.142907619476318,
      "learning_rate": 1.9533333333333334e-06,
      "loss": 2.0735,
      "step": 606
    },
    {
      "epoch": 0.0010116666666666666,
      "grad_norm": 3.1060807704925537,
      "learning_rate": 1.956666666666667e-06,
      "loss": 2.1873,
      "step": 607
    },
    {
      "epoch": 0.0010133333333333333,
      "grad_norm": 3.0889787673950195,
      "learning_rate": 1.9600000000000003e-06,
      "loss": 1.9795,
      "step": 608
    },
    {
      "epoch": 0.001015,
      "grad_norm": 2.9301180839538574,
      "learning_rate": 1.9633333333333333e-06,
      "loss": 2.028,
      "step": 609
    },
    {
      "epoch": 0.0010166666666666666,
      "grad_norm": 2.9513988494873047,
      "learning_rate": 1.9666666666666668e-06,
      "loss": 2.0872,
      "step": 610
    },
    {
      "epoch": 0.0010183333333333333,
      "grad_norm": 3.0332820415496826,
      "learning_rate": 1.97e-06,
      "loss": 2.0581,
      "step": 611
    },
    {
      "epoch": 0.00102,
      "grad_norm": 3.0124313831329346,
      "learning_rate": 1.9733333333333336e-06,
      "loss": 2.0943,
      "step": 612
    },
    {
      "epoch": 0.0010216666666666666,
      "grad_norm": 3.2894115447998047,
      "learning_rate": 1.9766666666666667e-06,
      "loss": 2.0566,
      "step": 613
    },
    {
      "epoch": 0.0010233333333333333,
      "grad_norm": 3.0255985260009766,
      "learning_rate": 1.98e-06,
      "loss": 1.9693,
      "step": 614
    },
    {
      "epoch": 0.001025,
      "grad_norm": 3.0752780437469482,
      "learning_rate": 1.9833333333333335e-06,
      "loss": 2.1767,
      "step": 615
    },
    {
      "epoch": 0.0010266666666666666,
      "grad_norm": 2.9517765045166016,
      "learning_rate": 1.9866666666666666e-06,
      "loss": 1.969,
      "step": 616
    },
    {
      "epoch": 0.0010283333333333334,
      "grad_norm": 2.8853342533111572,
      "learning_rate": 1.9900000000000004e-06,
      "loss": 2.0023,
      "step": 617
    },
    {
      "epoch": 0.00103,
      "grad_norm": 2.969191551208496,
      "learning_rate": 1.9933333333333334e-06,
      "loss": 2.1921,
      "step": 618
    },
    {
      "epoch": 0.0010316666666666666,
      "grad_norm": 2.8339498043060303,
      "learning_rate": 1.996666666666667e-06,
      "loss": 1.9567,
      "step": 619
    },
    {
      "epoch": 0.0010333333333333334,
      "grad_norm": 2.785412073135376,
      "learning_rate": 2.0000000000000003e-06,
      "loss": 2.134,
      "step": 620
    },
    {
      "epoch": 0.001035,
      "grad_norm": 2.989891767501831,
      "learning_rate": 2.0033333333333334e-06,
      "loss": 2.1139,
      "step": 621
    },
    {
      "epoch": 0.0010366666666666666,
      "grad_norm": 3.1893022060394287,
      "learning_rate": 2.006666666666667e-06,
      "loss": 2.1683,
      "step": 622
    },
    {
      "epoch": 0.0010383333333333334,
      "grad_norm": 2.930558204650879,
      "learning_rate": 2.0100000000000002e-06,
      "loss": 2.0771,
      "step": 623
    },
    {
      "epoch": 0.00104,
      "grad_norm": 3.005530834197998,
      "learning_rate": 2.0133333333333337e-06,
      "loss": 1.9503,
      "step": 624
    },
    {
      "epoch": 0.0010416666666666667,
      "grad_norm": 2.9853901863098145,
      "learning_rate": 2.0166666666666667e-06,
      "loss": 2.0429,
      "step": 625
    },
    {
      "epoch": 0.0010433333333333334,
      "grad_norm": 2.885009765625,
      "learning_rate": 2.02e-06,
      "loss": 1.9842,
      "step": 626
    },
    {
      "epoch": 0.001045,
      "grad_norm": 3.0174789428710938,
      "learning_rate": 2.0233333333333336e-06,
      "loss": 2.2316,
      "step": 627
    },
    {
      "epoch": 0.0010466666666666667,
      "grad_norm": 5.186417579650879,
      "learning_rate": 2.0266666666666666e-06,
      "loss": 2.2327,
      "step": 628
    },
    {
      "epoch": 0.0010483333333333334,
      "grad_norm": 3.600945234298706,
      "learning_rate": 2.0300000000000005e-06,
      "loss": 2.0163,
      "step": 629
    },
    {
      "epoch": 0.00105,
      "grad_norm": 3.096076250076294,
      "learning_rate": 2.0333333333333335e-06,
      "loss": 2.0189,
      "step": 630
    },
    {
      "epoch": 0.0010516666666666667,
      "grad_norm": 3.3078882694244385,
      "learning_rate": 2.036666666666667e-06,
      "loss": 2.1637,
      "step": 631
    },
    {
      "epoch": 0.0010533333333333334,
      "grad_norm": 3.050220012664795,
      "learning_rate": 2.04e-06,
      "loss": 2.1374,
      "step": 632
    },
    {
      "epoch": 0.001055,
      "grad_norm": 3.155205011367798,
      "learning_rate": 2.0433333333333334e-06,
      "loss": 2.2374,
      "step": 633
    },
    {
      "epoch": 0.0010566666666666667,
      "grad_norm": 2.9858317375183105,
      "learning_rate": 2.046666666666667e-06,
      "loss": 1.9921,
      "step": 634
    },
    {
      "epoch": 0.0010583333333333334,
      "grad_norm": 3.102912187576294,
      "learning_rate": 2.05e-06,
      "loss": 1.9933,
      "step": 635
    },
    {
      "epoch": 0.00106,
      "grad_norm": 2.966418743133545,
      "learning_rate": 2.0533333333333337e-06,
      "loss": 2.1398,
      "step": 636
    },
    {
      "epoch": 0.0010616666666666667,
      "grad_norm": 2.7611544132232666,
      "learning_rate": 2.0566666666666667e-06,
      "loss": 2.114,
      "step": 637
    },
    {
      "epoch": 0.0010633333333333332,
      "grad_norm": 2.8914520740509033,
      "learning_rate": 2.06e-06,
      "loss": 2.0698,
      "step": 638
    },
    {
      "epoch": 0.001065,
      "grad_norm": 3.1511566638946533,
      "learning_rate": 2.0633333333333336e-06,
      "loss": 2.05,
      "step": 639
    },
    {
      "epoch": 0.0010666666666666667,
      "grad_norm": 3.131481647491455,
      "learning_rate": 2.0666666666666666e-06,
      "loss": 1.9889,
      "step": 640
    },
    {
      "epoch": 0.0010683333333333332,
      "grad_norm": 3.1943159103393555,
      "learning_rate": 2.07e-06,
      "loss": 2.1256,
      "step": 641
    },
    {
      "epoch": 0.00107,
      "grad_norm": 2.9335527420043945,
      "learning_rate": 2.0733333333333335e-06,
      "loss": 2.0235,
      "step": 642
    },
    {
      "epoch": 0.0010716666666666667,
      "grad_norm": 3.6335887908935547,
      "learning_rate": 2.076666666666667e-06,
      "loss": 2.1227,
      "step": 643
    },
    {
      "epoch": 0.0010733333333333333,
      "grad_norm": 3.0031895637512207,
      "learning_rate": 2.08e-06,
      "loss": 2.0121,
      "step": 644
    },
    {
      "epoch": 0.001075,
      "grad_norm": 3.2111124992370605,
      "learning_rate": 2.0833333333333334e-06,
      "loss": 2.2899,
      "step": 645
    },
    {
      "epoch": 0.0010766666666666667,
      "grad_norm": 2.99580717086792,
      "learning_rate": 2.086666666666667e-06,
      "loss": 2.0029,
      "step": 646
    },
    {
      "epoch": 0.0010783333333333333,
      "grad_norm": 2.9442291259765625,
      "learning_rate": 2.09e-06,
      "loss": 1.9704,
      "step": 647
    },
    {
      "epoch": 0.00108,
      "grad_norm": 3.2895209789276123,
      "learning_rate": 2.0933333333333338e-06,
      "loss": 1.9911,
      "step": 648
    },
    {
      "epoch": 0.0010816666666666668,
      "grad_norm": 2.8795440196990967,
      "learning_rate": 2.0966666666666668e-06,
      "loss": 2.0017,
      "step": 649
    },
    {
      "epoch": 0.0010833333333333333,
      "grad_norm": 3.300694704055786,
      "learning_rate": 2.1000000000000002e-06,
      "loss": 2.0959,
      "step": 650
    },
    {
      "epoch": 0.001085,
      "grad_norm": 3.178489923477173,
      "learning_rate": 2.1033333333333337e-06,
      "loss": 2.042,
      "step": 651
    },
    {
      "epoch": 0.0010866666666666668,
      "grad_norm": 2.951963424682617,
      "learning_rate": 2.1066666666666667e-06,
      "loss": 2.0726,
      "step": 652
    },
    {
      "epoch": 0.0010883333333333333,
      "grad_norm": 3.2126660346984863,
      "learning_rate": 2.11e-06,
      "loss": 2.099,
      "step": 653
    },
    {
      "epoch": 0.00109,
      "grad_norm": 7.586007118225098,
      "learning_rate": 2.1133333333333336e-06,
      "loss": 1.9831,
      "step": 654
    },
    {
      "epoch": 0.0010916666666666666,
      "grad_norm": 3.077272891998291,
      "learning_rate": 2.116666666666667e-06,
      "loss": 2.0469,
      "step": 655
    },
    {
      "epoch": 0.0010933333333333333,
      "grad_norm": 2.8319180011749268,
      "learning_rate": 2.12e-06,
      "loss": 2.002,
      "step": 656
    },
    {
      "epoch": 0.001095,
      "grad_norm": 3.0420117378234863,
      "learning_rate": 2.1233333333333335e-06,
      "loss": 2.0314,
      "step": 657
    },
    {
      "epoch": 0.0010966666666666666,
      "grad_norm": 2.9382786750793457,
      "learning_rate": 2.126666666666667e-06,
      "loss": 2.0023,
      "step": 658
    },
    {
      "epoch": 0.0010983333333333333,
      "grad_norm": 2.8977789878845215,
      "learning_rate": 2.13e-06,
      "loss": 2.0014,
      "step": 659
    },
    {
      "epoch": 0.0011,
      "grad_norm": 2.8668296337127686,
      "learning_rate": 2.133333333333334e-06,
      "loss": 2.0249,
      "step": 660
    },
    {
      "epoch": 0.0011016666666666666,
      "grad_norm": 2.8215107917785645,
      "learning_rate": 2.136666666666667e-06,
      "loss": 2.0555,
      "step": 661
    },
    {
      "epoch": 0.0011033333333333333,
      "grad_norm": 2.9225828647613525,
      "learning_rate": 2.1400000000000003e-06,
      "loss": 1.9751,
      "step": 662
    },
    {
      "epoch": 0.001105,
      "grad_norm": 3.0640857219696045,
      "learning_rate": 2.1433333333333333e-06,
      "loss": 2.047,
      "step": 663
    },
    {
      "epoch": 0.0011066666666666666,
      "grad_norm": 3.079216957092285,
      "learning_rate": 2.1466666666666667e-06,
      "loss": 2.1188,
      "step": 664
    },
    {
      "epoch": 0.0011083333333333333,
      "grad_norm": 2.896282434463501,
      "learning_rate": 2.15e-06,
      "loss": 1.9907,
      "step": 665
    },
    {
      "epoch": 0.00111,
      "grad_norm": 2.9137215614318848,
      "learning_rate": 2.153333333333333e-06,
      "loss": 1.9204,
      "step": 666
    },
    {
      "epoch": 0.0011116666666666666,
      "grad_norm": 3.1582558155059814,
      "learning_rate": 2.156666666666667e-06,
      "loss": 2.0545,
      "step": 667
    },
    {
      "epoch": 0.0011133333333333334,
      "grad_norm": 2.828439712524414,
      "learning_rate": 2.16e-06,
      "loss": 1.9294,
      "step": 668
    },
    {
      "epoch": 0.001115,
      "grad_norm": 2.94047212600708,
      "learning_rate": 2.1633333333333335e-06,
      "loss": 2.0092,
      "step": 669
    },
    {
      "epoch": 0.0011166666666666666,
      "grad_norm": 2.879800796508789,
      "learning_rate": 2.166666666666667e-06,
      "loss": 1.9664,
      "step": 670
    },
    {
      "epoch": 0.0011183333333333334,
      "grad_norm": 2.78792142868042,
      "learning_rate": 2.17e-06,
      "loss": 2.0323,
      "step": 671
    },
    {
      "epoch": 0.00112,
      "grad_norm": 3.0277035236358643,
      "learning_rate": 2.1733333333333334e-06,
      "loss": 2.0582,
      "step": 672
    },
    {
      "epoch": 0.0011216666666666666,
      "grad_norm": 3.4682905673980713,
      "learning_rate": 2.176666666666667e-06,
      "loss": 2.1434,
      "step": 673
    },
    {
      "epoch": 0.0011233333333333334,
      "grad_norm": 2.9326791763305664,
      "learning_rate": 2.1800000000000003e-06,
      "loss": 2.0308,
      "step": 674
    },
    {
      "epoch": 0.001125,
      "grad_norm": 3.07175350189209,
      "learning_rate": 2.1833333333333333e-06,
      "loss": 2.0218,
      "step": 675
    },
    {
      "epoch": 0.0011266666666666667,
      "grad_norm": 3.1850152015686035,
      "learning_rate": 2.1866666666666668e-06,
      "loss": 2.077,
      "step": 676
    },
    {
      "epoch": 0.0011283333333333334,
      "grad_norm": 3.0035929679870605,
      "learning_rate": 2.19e-06,
      "loss": 2.0797,
      "step": 677
    },
    {
      "epoch": 0.00113,
      "grad_norm": 2.9616212844848633,
      "learning_rate": 2.1933333333333332e-06,
      "loss": 2.006,
      "step": 678
    },
    {
      "epoch": 0.0011316666666666667,
      "grad_norm": 3.1405458450317383,
      "learning_rate": 2.196666666666667e-06,
      "loss": 1.9561,
      "step": 679
    },
    {
      "epoch": 0.0011333333333333334,
      "grad_norm": 2.8053300380706787,
      "learning_rate": 2.2e-06,
      "loss": 1.9399,
      "step": 680
    },
    {
      "epoch": 0.001135,
      "grad_norm": 2.887857675552368,
      "learning_rate": 2.2033333333333336e-06,
      "loss": 2.0288,
      "step": 681
    },
    {
      "epoch": 0.0011366666666666667,
      "grad_norm": 3.0526816844940186,
      "learning_rate": 2.206666666666667e-06,
      "loss": 2.0339,
      "step": 682
    },
    {
      "epoch": 0.0011383333333333334,
      "grad_norm": 3.013507843017578,
      "learning_rate": 2.21e-06,
      "loss": 2.1042,
      "step": 683
    },
    {
      "epoch": 0.00114,
      "grad_norm": 3.021667003631592,
      "learning_rate": 2.2133333333333335e-06,
      "loss": 1.9856,
      "step": 684
    },
    {
      "epoch": 0.0011416666666666667,
      "grad_norm": 2.966308832168579,
      "learning_rate": 2.216666666666667e-06,
      "loss": 1.986,
      "step": 685
    },
    {
      "epoch": 0.0011433333333333334,
      "grad_norm": 2.9173710346221924,
      "learning_rate": 2.2200000000000003e-06,
      "loss": 2.0801,
      "step": 686
    },
    {
      "epoch": 0.001145,
      "grad_norm": 2.9710097312927246,
      "learning_rate": 2.2233333333333334e-06,
      "loss": 2.0956,
      "step": 687
    },
    {
      "epoch": 0.0011466666666666667,
      "grad_norm": 3.0034661293029785,
      "learning_rate": 2.226666666666667e-06,
      "loss": 2.0026,
      "step": 688
    },
    {
      "epoch": 0.0011483333333333332,
      "grad_norm": 3.235819101333618,
      "learning_rate": 2.2300000000000002e-06,
      "loss": 2.0588,
      "step": 689
    },
    {
      "epoch": 0.00115,
      "grad_norm": 2.902103900909424,
      "learning_rate": 2.2333333333333333e-06,
      "loss": 2.0612,
      "step": 690
    },
    {
      "epoch": 0.0011516666666666667,
      "grad_norm": 2.8754327297210693,
      "learning_rate": 2.236666666666667e-06,
      "loss": 1.9827,
      "step": 691
    },
    {
      "epoch": 0.0011533333333333333,
      "grad_norm": 2.822036027908325,
      "learning_rate": 2.24e-06,
      "loss": 1.9264,
      "step": 692
    },
    {
      "epoch": 0.001155,
      "grad_norm": 3.0355143547058105,
      "learning_rate": 2.2433333333333336e-06,
      "loss": 2.2201,
      "step": 693
    },
    {
      "epoch": 0.0011566666666666667,
      "grad_norm": 2.9613728523254395,
      "learning_rate": 2.2466666666666666e-06,
      "loss": 1.9233,
      "step": 694
    },
    {
      "epoch": 0.0011583333333333333,
      "grad_norm": 2.9153847694396973,
      "learning_rate": 2.25e-06,
      "loss": 2.0794,
      "step": 695
    },
    {
      "epoch": 0.00116,
      "grad_norm": 3.1259660720825195,
      "learning_rate": 2.2533333333333335e-06,
      "loss": 1.9837,
      "step": 696
    },
    {
      "epoch": 0.0011616666666666668,
      "grad_norm": 2.831825017929077,
      "learning_rate": 2.2566666666666665e-06,
      "loss": 1.8861,
      "step": 697
    },
    {
      "epoch": 0.0011633333333333333,
      "grad_norm": 3.032320976257324,
      "learning_rate": 2.2600000000000004e-06,
      "loss": 2.1148,
      "step": 698
    },
    {
      "epoch": 0.001165,
      "grad_norm": 3.02683162689209,
      "learning_rate": 2.2633333333333334e-06,
      "loss": 1.9501,
      "step": 699
    },
    {
      "epoch": 0.0011666666666666668,
      "grad_norm": 2.955742835998535,
      "learning_rate": 2.266666666666667e-06,
      "loss": 1.9911,
      "step": 700
    },
    {
      "epoch": 0.0011683333333333333,
      "grad_norm": 2.960106372833252,
      "learning_rate": 2.2700000000000003e-06,
      "loss": 2.0274,
      "step": 701
    },
    {
      "epoch": 0.00117,
      "grad_norm": 2.9592854976654053,
      "learning_rate": 2.2733333333333333e-06,
      "loss": 2.0419,
      "step": 702
    },
    {
      "epoch": 0.0011716666666666666,
      "grad_norm": 2.975123167037964,
      "learning_rate": 2.2766666666666668e-06,
      "loss": 2.0427,
      "step": 703
    },
    {
      "epoch": 0.0011733333333333333,
      "grad_norm": 2.813431739807129,
      "learning_rate": 2.28e-06,
      "loss": 2.1276,
      "step": 704
    },
    {
      "epoch": 0.001175,
      "grad_norm": 2.9183595180511475,
      "learning_rate": 2.2833333333333336e-06,
      "loss": 1.9752,
      "step": 705
    },
    {
      "epoch": 0.0011766666666666666,
      "grad_norm": 2.835247278213501,
      "learning_rate": 2.2866666666666667e-06,
      "loss": 1.9352,
      "step": 706
    },
    {
      "epoch": 0.0011783333333333333,
      "grad_norm": 2.989673614501953,
      "learning_rate": 2.29e-06,
      "loss": 1.9239,
      "step": 707
    },
    {
      "epoch": 0.00118,
      "grad_norm": 3.069746255874634,
      "learning_rate": 2.2933333333333335e-06,
      "loss": 2.151,
      "step": 708
    },
    {
      "epoch": 0.0011816666666666666,
      "grad_norm": 3.009549140930176,
      "learning_rate": 2.2966666666666666e-06,
      "loss": 2.1614,
      "step": 709
    },
    {
      "epoch": 0.0011833333333333333,
      "grad_norm": 2.907083749771118,
      "learning_rate": 2.3000000000000004e-06,
      "loss": 1.9547,
      "step": 710
    },
    {
      "epoch": 0.001185,
      "grad_norm": 2.8920907974243164,
      "learning_rate": 2.3033333333333334e-06,
      "loss": 2.1286,
      "step": 711
    },
    {
      "epoch": 0.0011866666666666666,
      "grad_norm": 2.7920546531677246,
      "learning_rate": 2.306666666666667e-06,
      "loss": 1.9654,
      "step": 712
    },
    {
      "epoch": 0.0011883333333333333,
      "grad_norm": 3.1589112281799316,
      "learning_rate": 2.3100000000000003e-06,
      "loss": 2.0053,
      "step": 713
    },
    {
      "epoch": 0.00119,
      "grad_norm": 2.8764116764068604,
      "learning_rate": 2.3133333333333333e-06,
      "loss": 1.8595,
      "step": 714
    },
    {
      "epoch": 0.0011916666666666666,
      "grad_norm": 2.8194756507873535,
      "learning_rate": 2.316666666666667e-06,
      "loss": 2.0395,
      "step": 715
    },
    {
      "epoch": 0.0011933333333333334,
      "grad_norm": 2.8935418128967285,
      "learning_rate": 2.3200000000000002e-06,
      "loss": 1.9887,
      "step": 716
    },
    {
      "epoch": 0.001195,
      "grad_norm": 2.873474597930908,
      "learning_rate": 2.3233333333333337e-06,
      "loss": 1.9835,
      "step": 717
    },
    {
      "epoch": 0.0011966666666666666,
      "grad_norm": 2.927548408508301,
      "learning_rate": 2.3266666666666667e-06,
      "loss": 1.94,
      "step": 718
    },
    {
      "epoch": 0.0011983333333333334,
      "grad_norm": 2.771190643310547,
      "learning_rate": 2.33e-06,
      "loss": 2.0543,
      "step": 719
    },
    {
      "epoch": 0.0012,
      "grad_norm": 3.0294532775878906,
      "learning_rate": 2.3333333333333336e-06,
      "loss": 1.9161,
      "step": 720
    },
    {
      "epoch": 0.0012016666666666666,
      "grad_norm": 2.805928945541382,
      "learning_rate": 2.3366666666666666e-06,
      "loss": 2.153,
      "step": 721
    },
    {
      "epoch": 0.0012033333333333334,
      "grad_norm": 2.7588236331939697,
      "learning_rate": 2.3400000000000005e-06,
      "loss": 2.0625,
      "step": 722
    },
    {
      "epoch": 0.001205,
      "grad_norm": 2.9604837894439697,
      "learning_rate": 2.3433333333333335e-06,
      "loss": 2.0096,
      "step": 723
    },
    {
      "epoch": 0.0012066666666666667,
      "grad_norm": 2.869335174560547,
      "learning_rate": 2.346666666666667e-06,
      "loss": 2.0315,
      "step": 724
    },
    {
      "epoch": 0.0012083333333333334,
      "grad_norm": 2.8425655364990234,
      "learning_rate": 2.35e-06,
      "loss": 2.1147,
      "step": 725
    },
    {
      "epoch": 0.00121,
      "grad_norm": 2.7796523571014404,
      "learning_rate": 2.3533333333333334e-06,
      "loss": 2.1216,
      "step": 726
    },
    {
      "epoch": 0.0012116666666666667,
      "grad_norm": 2.7894508838653564,
      "learning_rate": 2.356666666666667e-06,
      "loss": 2.0896,
      "step": 727
    },
    {
      "epoch": 0.0012133333333333334,
      "grad_norm": 3.106841564178467,
      "learning_rate": 2.3600000000000003e-06,
      "loss": 2.0146,
      "step": 728
    },
    {
      "epoch": 0.001215,
      "grad_norm": 2.886416435241699,
      "learning_rate": 2.3633333333333337e-06,
      "loss": 2.0309,
      "step": 729
    },
    {
      "epoch": 0.0012166666666666667,
      "grad_norm": 3.0904064178466797,
      "learning_rate": 2.3666666666666667e-06,
      "loss": 2.0125,
      "step": 730
    },
    {
      "epoch": 0.0012183333333333334,
      "grad_norm": 3.0886943340301514,
      "learning_rate": 2.37e-06,
      "loss": 1.9985,
      "step": 731
    },
    {
      "epoch": 0.00122,
      "grad_norm": 3.154017448425293,
      "learning_rate": 2.3733333333333336e-06,
      "loss": 1.977,
      "step": 732
    },
    {
      "epoch": 0.0012216666666666667,
      "grad_norm": 2.952772378921509,
      "learning_rate": 2.3766666666666666e-06,
      "loss": 2.1081,
      "step": 733
    },
    {
      "epoch": 0.0012233333333333334,
      "grad_norm": 2.7944629192352295,
      "learning_rate": 2.38e-06,
      "loss": 1.9799,
      "step": 734
    },
    {
      "epoch": 0.001225,
      "grad_norm": 2.7242634296417236,
      "learning_rate": 2.3833333333333335e-06,
      "loss": 2.0981,
      "step": 735
    },
    {
      "epoch": 0.0012266666666666667,
      "grad_norm": 2.9620447158813477,
      "learning_rate": 2.386666666666667e-06,
      "loss": 2.0859,
      "step": 736
    },
    {
      "epoch": 0.0012283333333333332,
      "grad_norm": 2.7997846603393555,
      "learning_rate": 2.39e-06,
      "loss": 2.1286,
      "step": 737
    },
    {
      "epoch": 0.00123,
      "grad_norm": 3.327910900115967,
      "learning_rate": 2.3933333333333334e-06,
      "loss": 2.0022,
      "step": 738
    },
    {
      "epoch": 0.0012316666666666667,
      "grad_norm": 2.9622912406921387,
      "learning_rate": 2.396666666666667e-06,
      "loss": 1.94,
      "step": 739
    },
    {
      "epoch": 0.0012333333333333332,
      "grad_norm": 3.0207889080047607,
      "learning_rate": 2.4000000000000003e-06,
      "loss": 1.998,
      "step": 740
    },
    {
      "epoch": 0.001235,
      "grad_norm": 2.7773218154907227,
      "learning_rate": 2.4033333333333338e-06,
      "loss": 1.8201,
      "step": 741
    },
    {
      "epoch": 0.0012366666666666667,
      "grad_norm": 3.1266841888427734,
      "learning_rate": 2.4066666666666668e-06,
      "loss": 2.0023,
      "step": 742
    },
    {
      "epoch": 0.0012383333333333333,
      "grad_norm": 3.041872978210449,
      "learning_rate": 2.4100000000000002e-06,
      "loss": 2.0801,
      "step": 743
    },
    {
      "epoch": 0.00124,
      "grad_norm": 2.87001371383667,
      "learning_rate": 2.4133333333333337e-06,
      "loss": 1.9011,
      "step": 744
    },
    {
      "epoch": 0.0012416666666666667,
      "grad_norm": 3.521411418914795,
      "learning_rate": 2.4166666666666667e-06,
      "loss": 2.061,
      "step": 745
    },
    {
      "epoch": 0.0012433333333333333,
      "grad_norm": 2.904728651046753,
      "learning_rate": 2.42e-06,
      "loss": 2.0517,
      "step": 746
    },
    {
      "epoch": 0.001245,
      "grad_norm": 2.8000540733337402,
      "learning_rate": 2.4233333333333336e-06,
      "loss": 2.0247,
      "step": 747
    },
    {
      "epoch": 0.0012466666666666668,
      "grad_norm": 2.9888298511505127,
      "learning_rate": 2.426666666666667e-06,
      "loss": 2.183,
      "step": 748
    },
    {
      "epoch": 0.0012483333333333333,
      "grad_norm": 2.8712823390960693,
      "learning_rate": 2.43e-06,
      "loss": 2.0083,
      "step": 749
    },
    {
      "epoch": 0.00125,
      "grad_norm": 3.608820676803589,
      "learning_rate": 2.4333333333333335e-06,
      "loss": 1.8393,
      "step": 750
    },
    {
      "epoch": 0.0012516666666666668,
      "grad_norm": 2.911017894744873,
      "learning_rate": 2.436666666666667e-06,
      "loss": 1.9739,
      "step": 751
    },
    {
      "epoch": 0.0012533333333333333,
      "grad_norm": 2.977471351623535,
      "learning_rate": 2.4400000000000004e-06,
      "loss": 1.8489,
      "step": 752
    },
    {
      "epoch": 0.001255,
      "grad_norm": 3.454075813293457,
      "learning_rate": 2.443333333333334e-06,
      "loss": 1.9529,
      "step": 753
    },
    {
      "epoch": 0.0012566666666666666,
      "grad_norm": 3.0258901119232178,
      "learning_rate": 2.446666666666667e-06,
      "loss": 1.9781,
      "step": 754
    },
    {
      "epoch": 0.0012583333333333333,
      "grad_norm": 3.378610372543335,
      "learning_rate": 2.4500000000000003e-06,
      "loss": 1.9361,
      "step": 755
    },
    {
      "epoch": 0.00126,
      "grad_norm": 3.2463014125823975,
      "learning_rate": 2.4533333333333333e-06,
      "loss": 2.1316,
      "step": 756
    },
    {
      "epoch": 0.0012616666666666666,
      "grad_norm": 3.3470098972320557,
      "learning_rate": 2.4566666666666667e-06,
      "loss": 2.0773,
      "step": 757
    },
    {
      "epoch": 0.0012633333333333333,
      "grad_norm": 3.1930902004241943,
      "learning_rate": 2.46e-06,
      "loss": 2.0589,
      "step": 758
    },
    {
      "epoch": 0.001265,
      "grad_norm": 3.035923957824707,
      "learning_rate": 2.4633333333333336e-06,
      "loss": 2.0208,
      "step": 759
    },
    {
      "epoch": 0.0012666666666666666,
      "grad_norm": 3.1041502952575684,
      "learning_rate": 2.466666666666667e-06,
      "loss": 1.9891,
      "step": 760
    },
    {
      "epoch": 0.0012683333333333333,
      "grad_norm": 3.0523746013641357,
      "learning_rate": 2.47e-06,
      "loss": 2.0569,
      "step": 761
    },
    {
      "epoch": 0.00127,
      "grad_norm": 3.419525384902954,
      "learning_rate": 2.4733333333333335e-06,
      "loss": 2.0998,
      "step": 762
    },
    {
      "epoch": 0.0012716666666666666,
      "grad_norm": 3.1478214263916016,
      "learning_rate": 2.476666666666667e-06,
      "loss": 1.9902,
      "step": 763
    },
    {
      "epoch": 0.0012733333333333333,
      "grad_norm": 3.1183416843414307,
      "learning_rate": 2.4800000000000004e-06,
      "loss": 2.0479,
      "step": 764
    },
    {
      "epoch": 0.001275,
      "grad_norm": 3.099059820175171,
      "learning_rate": 2.4833333333333334e-06,
      "loss": 2.0511,
      "step": 765
    },
    {
      "epoch": 0.0012766666666666666,
      "grad_norm": 2.907895088195801,
      "learning_rate": 2.486666666666667e-06,
      "loss": 1.9218,
      "step": 766
    },
    {
      "epoch": 0.0012783333333333334,
      "grad_norm": 2.9673404693603516,
      "learning_rate": 2.4900000000000003e-06,
      "loss": 2.084,
      "step": 767
    },
    {
      "epoch": 0.00128,
      "grad_norm": 2.909695625305176,
      "learning_rate": 2.4933333333333333e-06,
      "loss": 2.0836,
      "step": 768
    },
    {
      "epoch": 0.0012816666666666666,
      "grad_norm": 2.8349452018737793,
      "learning_rate": 2.4966666666666668e-06,
      "loss": 1.9625,
      "step": 769
    },
    {
      "epoch": 0.0012833333333333334,
      "grad_norm": 2.9338600635528564,
      "learning_rate": 2.5e-06,
      "loss": 2.2175,
      "step": 770
    },
    {
      "epoch": 0.001285,
      "grad_norm": 2.9634997844696045,
      "learning_rate": 2.5033333333333336e-06,
      "loss": 1.9548,
      "step": 771
    },
    {
      "epoch": 0.0012866666666666666,
      "grad_norm": 2.8495404720306396,
      "learning_rate": 2.5066666666666667e-06,
      "loss": 1.9481,
      "step": 772
    },
    {
      "epoch": 0.0012883333333333334,
      "grad_norm": 2.991684675216675,
      "learning_rate": 2.51e-06,
      "loss": 2.2293,
      "step": 773
    },
    {
      "epoch": 0.00129,
      "grad_norm": 2.8066961765289307,
      "learning_rate": 2.5133333333333336e-06,
      "loss": 2.0599,
      "step": 774
    },
    {
      "epoch": 0.0012916666666666667,
      "grad_norm": 2.917623996734619,
      "learning_rate": 2.5166666666666666e-06,
      "loss": 1.9261,
      "step": 775
    },
    {
      "epoch": 0.0012933333333333334,
      "grad_norm": 2.8490476608276367,
      "learning_rate": 2.52e-06,
      "loss": 2.0909,
      "step": 776
    },
    {
      "epoch": 0.001295,
      "grad_norm": 2.9414608478546143,
      "learning_rate": 2.523333333333334e-06,
      "loss": 1.9951,
      "step": 777
    },
    {
      "epoch": 0.0012966666666666667,
      "grad_norm": 2.9612109661102295,
      "learning_rate": 2.526666666666667e-06,
      "loss": 1.9951,
      "step": 778
    },
    {
      "epoch": 0.0012983333333333334,
      "grad_norm": 3.0486466884613037,
      "learning_rate": 2.5300000000000003e-06,
      "loss": 2.0864,
      "step": 779
    },
    {
      "epoch": 0.0013,
      "grad_norm": 2.9238195419311523,
      "learning_rate": 2.5333333333333338e-06,
      "loss": 2.0276,
      "step": 780
    },
    {
      "epoch": 0.0013016666666666667,
      "grad_norm": 3.2482829093933105,
      "learning_rate": 2.536666666666667e-06,
      "loss": 2.0762,
      "step": 781
    },
    {
      "epoch": 0.0013033333333333334,
      "grad_norm": 2.941908121109009,
      "learning_rate": 2.5400000000000002e-06,
      "loss": 1.9776,
      "step": 782
    },
    {
      "epoch": 0.001305,
      "grad_norm": 3.087960958480835,
      "learning_rate": 2.5433333333333337e-06,
      "loss": 2.0164,
      "step": 783
    },
    {
      "epoch": 0.0013066666666666667,
      "grad_norm": 3.0058860778808594,
      "learning_rate": 2.5466666666666667e-06,
      "loss": 2.0513,
      "step": 784
    },
    {
      "epoch": 0.0013083333333333334,
      "grad_norm": 3.0386157035827637,
      "learning_rate": 2.55e-06,
      "loss": 2.0456,
      "step": 785
    },
    {
      "epoch": 0.00131,
      "grad_norm": 3.3904361724853516,
      "learning_rate": 2.5533333333333336e-06,
      "loss": 2.0218,
      "step": 786
    },
    {
      "epoch": 0.0013116666666666667,
      "grad_norm": 3.0055363178253174,
      "learning_rate": 2.5566666666666666e-06,
      "loss": 2.0676,
      "step": 787
    },
    {
      "epoch": 0.0013133333333333332,
      "grad_norm": 3.009661912918091,
      "learning_rate": 2.56e-06,
      "loss": 2.026,
      "step": 788
    },
    {
      "epoch": 0.001315,
      "grad_norm": 3.011610507965088,
      "learning_rate": 2.563333333333334e-06,
      "loss": 2.0777,
      "step": 789
    },
    {
      "epoch": 0.0013166666666666667,
      "grad_norm": 2.9502689838409424,
      "learning_rate": 2.566666666666667e-06,
      "loss": 1.9205,
      "step": 790
    },
    {
      "epoch": 0.0013183333333333332,
      "grad_norm": 2.7833189964294434,
      "learning_rate": 2.5700000000000004e-06,
      "loss": 2.0076,
      "step": 791
    },
    {
      "epoch": 0.00132,
      "grad_norm": 3.110036849975586,
      "learning_rate": 2.573333333333334e-06,
      "loss": 1.9324,
      "step": 792
    },
    {
      "epoch": 0.0013216666666666667,
      "grad_norm": 3.3138535022735596,
      "learning_rate": 2.576666666666667e-06,
      "loss": 2.1654,
      "step": 793
    },
    {
      "epoch": 0.0013233333333333333,
      "grad_norm": 2.8645339012145996,
      "learning_rate": 2.5800000000000003e-06,
      "loss": 1.9449,
      "step": 794
    },
    {
      "epoch": 0.001325,
      "grad_norm": 3.053340196609497,
      "learning_rate": 2.5833333333333337e-06,
      "loss": 1.9323,
      "step": 795
    },
    {
      "epoch": 0.0013266666666666667,
      "grad_norm": 3.6560041904449463,
      "learning_rate": 2.5866666666666667e-06,
      "loss": 1.9905,
      "step": 796
    },
    {
      "epoch": 0.0013283333333333333,
      "grad_norm": 2.9593939781188965,
      "learning_rate": 2.59e-06,
      "loss": 2.0967,
      "step": 797
    },
    {
      "epoch": 0.00133,
      "grad_norm": 2.7707414627075195,
      "learning_rate": 2.5933333333333336e-06,
      "loss": 1.9674,
      "step": 798
    },
    {
      "epoch": 0.0013316666666666668,
      "grad_norm": 3.007948875427246,
      "learning_rate": 2.5966666666666667e-06,
      "loss": 2.0417,
      "step": 799
    },
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 2.911418914794922,
      "learning_rate": 2.6e-06,
      "loss": 2.047,
      "step": 800
    },
    {
      "epoch": 0.001335,
      "grad_norm": 3.012493133544922,
      "learning_rate": 2.603333333333334e-06,
      "loss": 1.845,
      "step": 801
    },
    {
      "epoch": 0.0013366666666666666,
      "grad_norm": 3.4584250450134277,
      "learning_rate": 2.606666666666667e-06,
      "loss": 1.9638,
      "step": 802
    },
    {
      "epoch": 0.0013383333333333333,
      "grad_norm": 3.224229335784912,
      "learning_rate": 2.6100000000000004e-06,
      "loss": 2.041,
      "step": 803
    },
    {
      "epoch": 0.00134,
      "grad_norm": 2.9026217460632324,
      "learning_rate": 2.6133333333333334e-06,
      "loss": 1.9967,
      "step": 804
    },
    {
      "epoch": 0.0013416666666666666,
      "grad_norm": 3.2172441482543945,
      "learning_rate": 2.616666666666667e-06,
      "loss": 2.0045,
      "step": 805
    },
    {
      "epoch": 0.0013433333333333333,
      "grad_norm": 2.9627270698547363,
      "learning_rate": 2.6200000000000003e-06,
      "loss": 1.859,
      "step": 806
    },
    {
      "epoch": 0.001345,
      "grad_norm": 3.489713430404663,
      "learning_rate": 2.6233333333333333e-06,
      "loss": 2.0848,
      "step": 807
    },
    {
      "epoch": 0.0013466666666666666,
      "grad_norm": 3.159247636795044,
      "learning_rate": 2.6266666666666668e-06,
      "loss": 2.03,
      "step": 808
    },
    {
      "epoch": 0.0013483333333333333,
      "grad_norm": 2.854205369949341,
      "learning_rate": 2.6300000000000002e-06,
      "loss": 1.9002,
      "step": 809
    },
    {
      "epoch": 0.00135,
      "grad_norm": 2.9839353561401367,
      "learning_rate": 2.6333333333333332e-06,
      "loss": 1.9838,
      "step": 810
    },
    {
      "epoch": 0.0013516666666666666,
      "grad_norm": 2.79896879196167,
      "learning_rate": 2.6366666666666667e-06,
      "loss": 1.9985,
      "step": 811
    },
    {
      "epoch": 0.0013533333333333333,
      "grad_norm": 3.102221965789795,
      "learning_rate": 2.64e-06,
      "loss": 2.1049,
      "step": 812
    },
    {
      "epoch": 0.001355,
      "grad_norm": 3.2273011207580566,
      "learning_rate": 2.643333333333333e-06,
      "loss": 1.9515,
      "step": 813
    },
    {
      "epoch": 0.0013566666666666666,
      "grad_norm": 4.955294609069824,
      "learning_rate": 2.646666666666667e-06,
      "loss": 2.0598,
      "step": 814
    },
    {
      "epoch": 0.0013583333333333334,
      "grad_norm": 5.626392364501953,
      "learning_rate": 2.6500000000000005e-06,
      "loss": 1.9537,
      "step": 815
    },
    {
      "epoch": 0.00136,
      "grad_norm": 3.010823965072632,
      "learning_rate": 2.6533333333333335e-06,
      "loss": 2.0785,
      "step": 816
    },
    {
      "epoch": 0.0013616666666666666,
      "grad_norm": 2.840118885040283,
      "learning_rate": 2.656666666666667e-06,
      "loss": 1.9126,
      "step": 817
    },
    {
      "epoch": 0.0013633333333333334,
      "grad_norm": 2.8705220222473145,
      "learning_rate": 2.6600000000000004e-06,
      "loss": 1.979,
      "step": 818
    },
    {
      "epoch": 0.001365,
      "grad_norm": 3.0074565410614014,
      "learning_rate": 2.6633333333333334e-06,
      "loss": 1.9193,
      "step": 819
    },
    {
      "epoch": 0.0013666666666666666,
      "grad_norm": 2.8947842121124268,
      "learning_rate": 2.666666666666667e-06,
      "loss": 1.9699,
      "step": 820
    },
    {
      "epoch": 0.0013683333333333334,
      "grad_norm": 6.86051082611084,
      "learning_rate": 2.6700000000000003e-06,
      "loss": 2.0299,
      "step": 821
    },
    {
      "epoch": 0.00137,
      "grad_norm": 2.9235401153564453,
      "learning_rate": 2.6733333333333333e-06,
      "loss": 2.0066,
      "step": 822
    },
    {
      "epoch": 0.0013716666666666667,
      "grad_norm": 2.917056083679199,
      "learning_rate": 2.6766666666666667e-06,
      "loss": 2.0011,
      "step": 823
    },
    {
      "epoch": 0.0013733333333333334,
      "grad_norm": 3.155909538269043,
      "learning_rate": 2.68e-06,
      "loss": 2.0079,
      "step": 824
    },
    {
      "epoch": 0.001375,
      "grad_norm": 3.0630574226379395,
      "learning_rate": 2.683333333333333e-06,
      "loss": 1.9827,
      "step": 825
    },
    {
      "epoch": 0.0013766666666666667,
      "grad_norm": 2.8978374004364014,
      "learning_rate": 2.686666666666667e-06,
      "loss": 2.0972,
      "step": 826
    },
    {
      "epoch": 0.0013783333333333334,
      "grad_norm": 7.676032066345215,
      "learning_rate": 2.6900000000000005e-06,
      "loss": 1.9058,
      "step": 827
    },
    {
      "epoch": 0.00138,
      "grad_norm": 2.945241689682007,
      "learning_rate": 2.6933333333333335e-06,
      "loss": 2.041,
      "step": 828
    },
    {
      "epoch": 0.0013816666666666667,
      "grad_norm": 3.0076096057891846,
      "learning_rate": 2.696666666666667e-06,
      "loss": 2.1183,
      "step": 829
    },
    {
      "epoch": 0.0013833333333333334,
      "grad_norm": 3.3058950901031494,
      "learning_rate": 2.7000000000000004e-06,
      "loss": 1.9944,
      "step": 830
    },
    {
      "epoch": 0.001385,
      "grad_norm": 2.972989320755005,
      "learning_rate": 2.7033333333333334e-06,
      "loss": 1.9491,
      "step": 831
    },
    {
      "epoch": 0.0013866666666666667,
      "grad_norm": 2.910646677017212,
      "learning_rate": 2.706666666666667e-06,
      "loss": 2.0127,
      "step": 832
    },
    {
      "epoch": 0.0013883333333333334,
      "grad_norm": 2.796172857284546,
      "learning_rate": 2.7100000000000003e-06,
      "loss": 1.8767,
      "step": 833
    },
    {
      "epoch": 0.00139,
      "grad_norm": 3.0577080249786377,
      "learning_rate": 2.7133333333333333e-06,
      "loss": 2.0032,
      "step": 834
    },
    {
      "epoch": 0.0013916666666666667,
      "grad_norm": 2.8890769481658936,
      "learning_rate": 2.7166666666666668e-06,
      "loss": 1.9528,
      "step": 835
    },
    {
      "epoch": 0.0013933333333333332,
      "grad_norm": 2.936324119567871,
      "learning_rate": 2.7200000000000002e-06,
      "loss": 1.7913,
      "step": 836
    },
    {
      "epoch": 0.001395,
      "grad_norm": 3.07076358795166,
      "learning_rate": 2.7233333333333332e-06,
      "loss": 1.8808,
      "step": 837
    },
    {
      "epoch": 0.0013966666666666667,
      "grad_norm": 2.9241867065429688,
      "learning_rate": 2.726666666666667e-06,
      "loss": 1.9314,
      "step": 838
    },
    {
      "epoch": 0.0013983333333333332,
      "grad_norm": 5.387648582458496,
      "learning_rate": 2.7300000000000005e-06,
      "loss": 1.9193,
      "step": 839
    },
    {
      "epoch": 0.0014,
      "grad_norm": 2.951251983642578,
      "learning_rate": 2.7333333333333336e-06,
      "loss": 1.8336,
      "step": 840
    },
    {
      "epoch": 0.0014016666666666667,
      "grad_norm": 2.911771774291992,
      "learning_rate": 2.736666666666667e-06,
      "loss": 2.0669,
      "step": 841
    },
    {
      "epoch": 0.0014033333333333333,
      "grad_norm": 3.0386745929718018,
      "learning_rate": 2.7400000000000004e-06,
      "loss": 1.9227,
      "step": 842
    },
    {
      "epoch": 0.001405,
      "grad_norm": 2.875530958175659,
      "learning_rate": 2.7433333333333335e-06,
      "loss": 1.9154,
      "step": 843
    },
    {
      "epoch": 0.0014066666666666667,
      "grad_norm": 3.263737201690674,
      "learning_rate": 2.746666666666667e-06,
      "loss": 2.0345,
      "step": 844
    },
    {
      "epoch": 0.0014083333333333333,
      "grad_norm": 2.9249019622802734,
      "learning_rate": 2.7500000000000004e-06,
      "loss": 2.1231,
      "step": 845
    },
    {
      "epoch": 0.00141,
      "grad_norm": 2.946699619293213,
      "learning_rate": 2.7533333333333334e-06,
      "loss": 1.9634,
      "step": 846
    },
    {
      "epoch": 0.0014116666666666668,
      "grad_norm": 3.134603500366211,
      "learning_rate": 2.756666666666667e-06,
      "loss": 1.9896,
      "step": 847
    },
    {
      "epoch": 0.0014133333333333333,
      "grad_norm": 2.889458417892456,
      "learning_rate": 2.7600000000000003e-06,
      "loss": 1.969,
      "step": 848
    },
    {
      "epoch": 0.001415,
      "grad_norm": 3.3606772422790527,
      "learning_rate": 2.7633333333333333e-06,
      "loss": 1.8907,
      "step": 849
    },
    {
      "epoch": 0.0014166666666666668,
      "grad_norm": 2.8723199367523193,
      "learning_rate": 2.766666666666667e-06,
      "loss": 2.0246,
      "step": 850
    },
    {
      "epoch": 0.0014183333333333333,
      "grad_norm": 3.040283679962158,
      "learning_rate": 2.7700000000000006e-06,
      "loss": 2.102,
      "step": 851
    },
    {
      "epoch": 0.00142,
      "grad_norm": 3.0723752975463867,
      "learning_rate": 2.7733333333333336e-06,
      "loss": 2.0377,
      "step": 852
    },
    {
      "epoch": 0.0014216666666666666,
      "grad_norm": 2.9659576416015625,
      "learning_rate": 2.776666666666667e-06,
      "loss": 1.9573,
      "step": 853
    },
    {
      "epoch": 0.0014233333333333333,
      "grad_norm": 2.949150323867798,
      "learning_rate": 2.7800000000000005e-06,
      "loss": 1.9395,
      "step": 854
    },
    {
      "epoch": 0.001425,
      "grad_norm": 3.0286669731140137,
      "learning_rate": 2.7833333333333335e-06,
      "loss": 1.9991,
      "step": 855
    },
    {
      "epoch": 0.0014266666666666666,
      "grad_norm": 2.8480310440063477,
      "learning_rate": 2.786666666666667e-06,
      "loss": 2.0065,
      "step": 856
    },
    {
      "epoch": 0.0014283333333333333,
      "grad_norm": 2.74359130859375,
      "learning_rate": 2.7900000000000004e-06,
      "loss": 1.9171,
      "step": 857
    },
    {
      "epoch": 0.00143,
      "grad_norm": 3.0050039291381836,
      "learning_rate": 2.7933333333333334e-06,
      "loss": 1.9979,
      "step": 858
    },
    {
      "epoch": 0.0014316666666666666,
      "grad_norm": 3.386336088180542,
      "learning_rate": 2.796666666666667e-06,
      "loss": 2.0357,
      "step": 859
    },
    {
      "epoch": 0.0014333333333333333,
      "grad_norm": 2.8545570373535156,
      "learning_rate": 2.8000000000000003e-06,
      "loss": 1.9836,
      "step": 860
    },
    {
      "epoch": 0.001435,
      "grad_norm": 2.868513345718384,
      "learning_rate": 2.8033333333333333e-06,
      "loss": 2.0053,
      "step": 861
    },
    {
      "epoch": 0.0014366666666666666,
      "grad_norm": 2.8819637298583984,
      "learning_rate": 2.806666666666667e-06,
      "loss": 1.9574,
      "step": 862
    },
    {
      "epoch": 0.0014383333333333333,
      "grad_norm": 2.7384119033813477,
      "learning_rate": 2.8100000000000006e-06,
      "loss": 1.8895,
      "step": 863
    },
    {
      "epoch": 0.00144,
      "grad_norm": 3.0767669677734375,
      "learning_rate": 2.8133333333333336e-06,
      "loss": 2.0642,
      "step": 864
    },
    {
      "epoch": 0.0014416666666666666,
      "grad_norm": 3.0105040073394775,
      "learning_rate": 2.816666666666667e-06,
      "loss": 1.8898,
      "step": 865
    },
    {
      "epoch": 0.0014433333333333334,
      "grad_norm": 2.884263038635254,
      "learning_rate": 2.82e-06,
      "loss": 2.0159,
      "step": 866
    },
    {
      "epoch": 0.001445,
      "grad_norm": 3.417438268661499,
      "learning_rate": 2.8233333333333335e-06,
      "loss": 2.0376,
      "step": 867
    },
    {
      "epoch": 0.0014466666666666666,
      "grad_norm": 3.1291728019714355,
      "learning_rate": 2.826666666666667e-06,
      "loss": 2.0078,
      "step": 868
    },
    {
      "epoch": 0.0014483333333333334,
      "grad_norm": 3.386827230453491,
      "learning_rate": 2.83e-06,
      "loss": 2.0108,
      "step": 869
    },
    {
      "epoch": 0.00145,
      "grad_norm": 3.202369213104248,
      "learning_rate": 2.8333333333333335e-06,
      "loss": 1.9987,
      "step": 870
    },
    {
      "epoch": 0.0014516666666666666,
      "grad_norm": 2.7673158645629883,
      "learning_rate": 2.836666666666667e-06,
      "loss": 2.079,
      "step": 871
    },
    {
      "epoch": 0.0014533333333333334,
      "grad_norm": 2.94022798538208,
      "learning_rate": 2.84e-06,
      "loss": 1.9832,
      "step": 872
    },
    {
      "epoch": 0.001455,
      "grad_norm": 2.752987861633301,
      "learning_rate": 2.8433333333333334e-06,
      "loss": 2.0865,
      "step": 873
    },
    {
      "epoch": 0.0014566666666666667,
      "grad_norm": 2.763369560241699,
      "learning_rate": 2.8466666666666672e-06,
      "loss": 1.8896,
      "step": 874
    },
    {
      "epoch": 0.0014583333333333334,
      "grad_norm": 3.022353410720825,
      "learning_rate": 2.85e-06,
      "loss": 2.1046,
      "step": 875
    },
    {
      "epoch": 0.00146,
      "grad_norm": 2.690885305404663,
      "learning_rate": 2.8533333333333337e-06,
      "loss": 1.9312,
      "step": 876
    },
    {
      "epoch": 0.0014616666666666667,
      "grad_norm": 3.101386308670044,
      "learning_rate": 2.856666666666667e-06,
      "loss": 2.0906,
      "step": 877
    },
    {
      "epoch": 0.0014633333333333334,
      "grad_norm": 3.313401937484741,
      "learning_rate": 2.86e-06,
      "loss": 1.9932,
      "step": 878
    },
    {
      "epoch": 0.001465,
      "grad_norm": 3.0291748046875,
      "learning_rate": 2.8633333333333336e-06,
      "loss": 1.9926,
      "step": 879
    },
    {
      "epoch": 0.0014666666666666667,
      "grad_norm": 2.940582752227783,
      "learning_rate": 2.866666666666667e-06,
      "loss": 1.965,
      "step": 880
    },
    {
      "epoch": 0.0014683333333333334,
      "grad_norm": 2.8939156532287598,
      "learning_rate": 2.87e-06,
      "loss": 1.903,
      "step": 881
    },
    {
      "epoch": 0.00147,
      "grad_norm": 2.96720027923584,
      "learning_rate": 2.8733333333333335e-06,
      "loss": 1.9358,
      "step": 882
    },
    {
      "epoch": 0.0014716666666666667,
      "grad_norm": 2.9789154529571533,
      "learning_rate": 2.876666666666667e-06,
      "loss": 2.0514,
      "step": 883
    },
    {
      "epoch": 0.0014733333333333334,
      "grad_norm": 3.581073522567749,
      "learning_rate": 2.88e-06,
      "loss": 2.0243,
      "step": 884
    },
    {
      "epoch": 0.001475,
      "grad_norm": 2.8177759647369385,
      "learning_rate": 2.8833333333333334e-06,
      "loss": 1.9324,
      "step": 885
    },
    {
      "epoch": 0.0014766666666666667,
      "grad_norm": 2.7954142093658447,
      "learning_rate": 2.8866666666666673e-06,
      "loss": 1.892,
      "step": 886
    },
    {
      "epoch": 0.0014783333333333332,
      "grad_norm": 2.812466859817505,
      "learning_rate": 2.89e-06,
      "loss": 1.9712,
      "step": 887
    },
    {
      "epoch": 0.00148,
      "grad_norm": 3.422417640686035,
      "learning_rate": 2.8933333333333337e-06,
      "loss": 2.0965,
      "step": 888
    },
    {
      "epoch": 0.0014816666666666667,
      "grad_norm": 2.7870593070983887,
      "learning_rate": 2.896666666666667e-06,
      "loss": 1.939,
      "step": 889
    },
    {
      "epoch": 0.0014833333333333332,
      "grad_norm": 2.8405392169952393,
      "learning_rate": 2.9e-06,
      "loss": 2.033,
      "step": 890
    },
    {
      "epoch": 0.001485,
      "grad_norm": 2.960677146911621,
      "learning_rate": 2.9033333333333336e-06,
      "loss": 1.9721,
      "step": 891
    },
    {
      "epoch": 0.0014866666666666667,
      "grad_norm": 2.994246006011963,
      "learning_rate": 2.906666666666667e-06,
      "loss": 2.0952,
      "step": 892
    },
    {
      "epoch": 0.0014883333333333333,
      "grad_norm": 3.1180856227874756,
      "learning_rate": 2.91e-06,
      "loss": 2.0592,
      "step": 893
    },
    {
      "epoch": 0.00149,
      "grad_norm": 2.708937168121338,
      "learning_rate": 2.9133333333333335e-06,
      "loss": 1.8884,
      "step": 894
    },
    {
      "epoch": 0.0014916666666666667,
      "grad_norm": 2.8559534549713135,
      "learning_rate": 2.916666666666667e-06,
      "loss": 2.0151,
      "step": 895
    },
    {
      "epoch": 0.0014933333333333333,
      "grad_norm": 2.8837175369262695,
      "learning_rate": 2.92e-06,
      "loss": 2.0534,
      "step": 896
    },
    {
      "epoch": 0.001495,
      "grad_norm": 2.8773295879364014,
      "learning_rate": 2.9233333333333334e-06,
      "loss": 2.0196,
      "step": 897
    },
    {
      "epoch": 0.0014966666666666668,
      "grad_norm": 3.376197099685669,
      "learning_rate": 2.9266666666666673e-06,
      "loss": 2.0616,
      "step": 898
    },
    {
      "epoch": 0.0014983333333333333,
      "grad_norm": 2.8181071281433105,
      "learning_rate": 2.93e-06,
      "loss": 1.9652,
      "step": 899
    },
    {
      "epoch": 0.0015,
      "grad_norm": 2.9600417613983154,
      "learning_rate": 2.9333333333333338e-06,
      "loss": 1.9122,
      "step": 900
    },
    {
      "epoch": 0.0015016666666666668,
      "grad_norm": 3.187312602996826,
      "learning_rate": 2.936666666666667e-06,
      "loss": 1.8569,
      "step": 901
    },
    {
      "epoch": 0.0015033333333333333,
      "grad_norm": 2.8197901248931885,
      "learning_rate": 2.9400000000000002e-06,
      "loss": 1.9785,
      "step": 902
    },
    {
      "epoch": 0.001505,
      "grad_norm": 2.8785712718963623,
      "learning_rate": 2.9433333333333337e-06,
      "loss": 1.9676,
      "step": 903
    },
    {
      "epoch": 0.0015066666666666666,
      "grad_norm": 2.859163284301758,
      "learning_rate": 2.946666666666667e-06,
      "loss": 2.0037,
      "step": 904
    },
    {
      "epoch": 0.0015083333333333333,
      "grad_norm": 3.0487678050994873,
      "learning_rate": 2.95e-06,
      "loss": 2.0271,
      "step": 905
    },
    {
      "epoch": 0.00151,
      "grad_norm": 3.459689140319824,
      "learning_rate": 2.9533333333333336e-06,
      "loss": 1.9717,
      "step": 906
    },
    {
      "epoch": 0.0015116666666666666,
      "grad_norm": 3.0015602111816406,
      "learning_rate": 2.956666666666667e-06,
      "loss": 2.0351,
      "step": 907
    },
    {
      "epoch": 0.0015133333333333333,
      "grad_norm": 3.079131841659546,
      "learning_rate": 2.96e-06,
      "loss": 2.0734,
      "step": 908
    },
    {
      "epoch": 0.001515,
      "grad_norm": 2.8799149990081787,
      "learning_rate": 2.9633333333333335e-06,
      "loss": 1.9021,
      "step": 909
    },
    {
      "epoch": 0.0015166666666666666,
      "grad_norm": 2.889831304550171,
      "learning_rate": 2.9666666666666673e-06,
      "loss": 2.0396,
      "step": 910
    },
    {
      "epoch": 0.0015183333333333333,
      "grad_norm": 2.851121425628662,
      "learning_rate": 2.97e-06,
      "loss": 1.9458,
      "step": 911
    },
    {
      "epoch": 0.00152,
      "grad_norm": 2.72841739654541,
      "learning_rate": 2.973333333333334e-06,
      "loss": 2.031,
      "step": 912
    },
    {
      "epoch": 0.0015216666666666666,
      "grad_norm": 3.040160894393921,
      "learning_rate": 2.9766666666666672e-06,
      "loss": 2.0503,
      "step": 913
    },
    {
      "epoch": 0.0015233333333333334,
      "grad_norm": 3.039910078048706,
      "learning_rate": 2.9800000000000003e-06,
      "loss": 2.0336,
      "step": 914
    },
    {
      "epoch": 0.001525,
      "grad_norm": 3.0020911693573,
      "learning_rate": 2.9833333333333337e-06,
      "loss": 2.1183,
      "step": 915
    },
    {
      "epoch": 0.0015266666666666666,
      "grad_norm": 2.795396566390991,
      "learning_rate": 2.986666666666667e-06,
      "loss": 2.0203,
      "step": 916
    },
    {
      "epoch": 0.0015283333333333334,
      "grad_norm": 2.841153383255005,
      "learning_rate": 2.99e-06,
      "loss": 2.0603,
      "step": 917
    },
    {
      "epoch": 0.00153,
      "grad_norm": 2.900064706802368,
      "learning_rate": 2.9933333333333336e-06,
      "loss": 2.096,
      "step": 918
    },
    {
      "epoch": 0.0015316666666666666,
      "grad_norm": 3.0362019538879395,
      "learning_rate": 2.996666666666667e-06,
      "loss": 2.0906,
      "step": 919
    },
    {
      "epoch": 0.0015333333333333334,
      "grad_norm": 2.7817044258117676,
      "learning_rate": 3e-06,
      "loss": 2.0832,
      "step": 920
    },
    {
      "epoch": 0.001535,
      "grad_norm": 2.7966394424438477,
      "learning_rate": 3.0033333333333335e-06,
      "loss": 2.0201,
      "step": 921
    },
    {
      "epoch": 0.0015366666666666666,
      "grad_norm": 3.032822370529175,
      "learning_rate": 3.0066666666666674e-06,
      "loss": 2.0227,
      "step": 922
    },
    {
      "epoch": 0.0015383333333333334,
      "grad_norm": 3.041513204574585,
      "learning_rate": 3.01e-06,
      "loss": 2.0519,
      "step": 923
    },
    {
      "epoch": 0.00154,
      "grad_norm": 2.796504259109497,
      "learning_rate": 3.013333333333334e-06,
      "loss": 1.8491,
      "step": 924
    },
    {
      "epoch": 0.0015416666666666667,
      "grad_norm": 2.962095260620117,
      "learning_rate": 3.0166666666666673e-06,
      "loss": 1.89,
      "step": 925
    },
    {
      "epoch": 0.0015433333333333334,
      "grad_norm": 2.809433698654175,
      "learning_rate": 3.0200000000000003e-06,
      "loss": 2.0014,
      "step": 926
    },
    {
      "epoch": 0.001545,
      "grad_norm": 2.9582300186157227,
      "learning_rate": 3.0233333333333338e-06,
      "loss": 1.9089,
      "step": 927
    },
    {
      "epoch": 0.0015466666666666667,
      "grad_norm": 3.0262327194213867,
      "learning_rate": 3.0266666666666668e-06,
      "loss": 2.0928,
      "step": 928
    },
    {
      "epoch": 0.0015483333333333334,
      "grad_norm": 3.064039707183838,
      "learning_rate": 3.0300000000000002e-06,
      "loss": 1.9914,
      "step": 929
    },
    {
      "epoch": 0.00155,
      "grad_norm": 2.9443256855010986,
      "learning_rate": 3.0333333333333337e-06,
      "loss": 1.9379,
      "step": 930
    },
    {
      "epoch": 0.0015516666666666667,
      "grad_norm": 2.9280548095703125,
      "learning_rate": 3.0366666666666667e-06,
      "loss": 1.9474,
      "step": 931
    },
    {
      "epoch": 0.0015533333333333334,
      "grad_norm": 3.11698055267334,
      "learning_rate": 3.04e-06,
      "loss": 1.8495,
      "step": 932
    },
    {
      "epoch": 0.001555,
      "grad_norm": 2.9365756511688232,
      "learning_rate": 3.0433333333333336e-06,
      "loss": 1.9074,
      "step": 933
    },
    {
      "epoch": 0.0015566666666666667,
      "grad_norm": 2.9069740772247314,
      "learning_rate": 3.0466666666666666e-06,
      "loss": 2.0846,
      "step": 934
    },
    {
      "epoch": 0.0015583333333333332,
      "grad_norm": 3.0103631019592285,
      "learning_rate": 3.05e-06,
      "loss": 1.9157,
      "step": 935
    },
    {
      "epoch": 0.00156,
      "grad_norm": 2.8537633419036865,
      "learning_rate": 3.053333333333334e-06,
      "loss": 1.9672,
      "step": 936
    },
    {
      "epoch": 0.0015616666666666667,
      "grad_norm": 2.8558788299560547,
      "learning_rate": 3.0566666666666665e-06,
      "loss": 2.1092,
      "step": 937
    },
    {
      "epoch": 0.0015633333333333332,
      "grad_norm": 3.028850793838501,
      "learning_rate": 3.0600000000000003e-06,
      "loss": 1.9884,
      "step": 938
    },
    {
      "epoch": 0.001565,
      "grad_norm": 2.7391397953033447,
      "learning_rate": 3.063333333333334e-06,
      "loss": 1.8874,
      "step": 939
    },
    {
      "epoch": 0.0015666666666666667,
      "grad_norm": 2.907325029373169,
      "learning_rate": 3.066666666666667e-06,
      "loss": 1.9137,
      "step": 940
    },
    {
      "epoch": 0.0015683333333333333,
      "grad_norm": 2.843153715133667,
      "learning_rate": 3.0700000000000003e-06,
      "loss": 1.8408,
      "step": 941
    },
    {
      "epoch": 0.00157,
      "grad_norm": 2.9644389152526855,
      "learning_rate": 3.0733333333333337e-06,
      "loss": 2.003,
      "step": 942
    },
    {
      "epoch": 0.0015716666666666667,
      "grad_norm": 2.810934543609619,
      "learning_rate": 3.0766666666666667e-06,
      "loss": 2.0329,
      "step": 943
    },
    {
      "epoch": 0.0015733333333333333,
      "grad_norm": 2.683971405029297,
      "learning_rate": 3.08e-06,
      "loss": 1.9847,
      "step": 944
    },
    {
      "epoch": 0.001575,
      "grad_norm": 3.336164951324463,
      "learning_rate": 3.0833333333333336e-06,
      "loss": 1.9439,
      "step": 945
    },
    {
      "epoch": 0.0015766666666666668,
      "grad_norm": 2.8272242546081543,
      "learning_rate": 3.0866666666666666e-06,
      "loss": 1.9831,
      "step": 946
    },
    {
      "epoch": 0.0015783333333333333,
      "grad_norm": 2.896207571029663,
      "learning_rate": 3.09e-06,
      "loss": 1.9302,
      "step": 947
    },
    {
      "epoch": 0.00158,
      "grad_norm": 2.675600051879883,
      "learning_rate": 3.093333333333334e-06,
      "loss": 1.9368,
      "step": 948
    },
    {
      "epoch": 0.0015816666666666668,
      "grad_norm": 3.1660842895507812,
      "learning_rate": 3.0966666666666665e-06,
      "loss": 1.9132,
      "step": 949
    },
    {
      "epoch": 0.0015833333333333333,
      "grad_norm": 2.8278090953826904,
      "learning_rate": 3.1000000000000004e-06,
      "loss": 1.9336,
      "step": 950
    },
    {
      "epoch": 0.001585,
      "grad_norm": 2.885601758956909,
      "learning_rate": 3.103333333333334e-06,
      "loss": 1.9192,
      "step": 951
    },
    {
      "epoch": 0.0015866666666666666,
      "grad_norm": 2.776642322540283,
      "learning_rate": 3.106666666666667e-06,
      "loss": 1.9784,
      "step": 952
    },
    {
      "epoch": 0.0015883333333333333,
      "grad_norm": 2.625570774078369,
      "learning_rate": 3.1100000000000003e-06,
      "loss": 1.9783,
      "step": 953
    },
    {
      "epoch": 0.00159,
      "grad_norm": 3.0046145915985107,
      "learning_rate": 3.1133333333333337e-06,
      "loss": 1.9172,
      "step": 954
    },
    {
      "epoch": 0.0015916666666666666,
      "grad_norm": 2.930088758468628,
      "learning_rate": 3.1166666666666668e-06,
      "loss": 1.8647,
      "step": 955
    },
    {
      "epoch": 0.0015933333333333333,
      "grad_norm": 2.876138687133789,
      "learning_rate": 3.12e-06,
      "loss": 2.0876,
      "step": 956
    },
    {
      "epoch": 0.001595,
      "grad_norm": 2.945122480392456,
      "learning_rate": 3.1233333333333336e-06,
      "loss": 1.9166,
      "step": 957
    },
    {
      "epoch": 0.0015966666666666666,
      "grad_norm": 3.031282901763916,
      "learning_rate": 3.1266666666666667e-06,
      "loss": 2.091,
      "step": 958
    },
    {
      "epoch": 0.0015983333333333333,
      "grad_norm": 3.0772576332092285,
      "learning_rate": 3.13e-06,
      "loss": 1.8991,
      "step": 959
    },
    {
      "epoch": 0.0016,
      "grad_norm": 2.8746182918548584,
      "learning_rate": 3.133333333333334e-06,
      "loss": 1.8308,
      "step": 960
    },
    {
      "epoch": 0.0016016666666666666,
      "grad_norm": 2.8475215435028076,
      "learning_rate": 3.1366666666666666e-06,
      "loss": 1.9948,
      "step": 961
    },
    {
      "epoch": 0.0016033333333333333,
      "grad_norm": 2.854795217514038,
      "learning_rate": 3.1400000000000004e-06,
      "loss": 2.0628,
      "step": 962
    },
    {
      "epoch": 0.001605,
      "grad_norm": 2.804110050201416,
      "learning_rate": 3.143333333333334e-06,
      "loss": 2.0173,
      "step": 963
    },
    {
      "epoch": 0.0016066666666666666,
      "grad_norm": 2.877166509628296,
      "learning_rate": 3.146666666666667e-06,
      "loss": 2.0071,
      "step": 964
    },
    {
      "epoch": 0.0016083333333333334,
      "grad_norm": 2.9275424480438232,
      "learning_rate": 3.1500000000000003e-06,
      "loss": 1.9167,
      "step": 965
    },
    {
      "epoch": 0.00161,
      "grad_norm": 3.0385239124298096,
      "learning_rate": 3.1533333333333338e-06,
      "loss": 1.9406,
      "step": 966
    },
    {
      "epoch": 0.0016116666666666666,
      "grad_norm": 2.9624366760253906,
      "learning_rate": 3.156666666666667e-06,
      "loss": 1.9943,
      "step": 967
    },
    {
      "epoch": 0.0016133333333333334,
      "grad_norm": 2.7960364818573,
      "learning_rate": 3.1600000000000002e-06,
      "loss": 1.9036,
      "step": 968
    },
    {
      "epoch": 0.001615,
      "grad_norm": 3.4676804542541504,
      "learning_rate": 3.1633333333333337e-06,
      "loss": 2.0273,
      "step": 969
    },
    {
      "epoch": 0.0016166666666666666,
      "grad_norm": 3.966280698776245,
      "learning_rate": 3.1666666666666667e-06,
      "loss": 2.0493,
      "step": 970
    },
    {
      "epoch": 0.0016183333333333334,
      "grad_norm": 2.922531843185425,
      "learning_rate": 3.17e-06,
      "loss": 2.0381,
      "step": 971
    },
    {
      "epoch": 0.00162,
      "grad_norm": 2.6968190670013428,
      "learning_rate": 3.173333333333334e-06,
      "loss": 2.0099,
      "step": 972
    },
    {
      "epoch": 0.0016216666666666667,
      "grad_norm": 2.9502956867218018,
      "learning_rate": 3.1766666666666666e-06,
      "loss": 1.9651,
      "step": 973
    },
    {
      "epoch": 0.0016233333333333334,
      "grad_norm": 2.853517532348633,
      "learning_rate": 3.1800000000000005e-06,
      "loss": 2.0487,
      "step": 974
    },
    {
      "epoch": 0.001625,
      "grad_norm": 3.230037212371826,
      "learning_rate": 3.183333333333334e-06,
      "loss": 1.9714,
      "step": 975
    },
    {
      "epoch": 0.0016266666666666667,
      "grad_norm": 2.7902626991271973,
      "learning_rate": 3.186666666666667e-06,
      "loss": 2.0218,
      "step": 976
    },
    {
      "epoch": 0.0016283333333333334,
      "grad_norm": 2.826801300048828,
      "learning_rate": 3.1900000000000004e-06,
      "loss": 1.9742,
      "step": 977
    },
    {
      "epoch": 0.00163,
      "grad_norm": 2.950003147125244,
      "learning_rate": 3.193333333333334e-06,
      "loss": 2.0027,
      "step": 978
    },
    {
      "epoch": 0.0016316666666666667,
      "grad_norm": 3.0710690021514893,
      "learning_rate": 3.196666666666667e-06,
      "loss": 2.1034,
      "step": 979
    },
    {
      "epoch": 0.0016333333333333334,
      "grad_norm": 2.846409559249878,
      "learning_rate": 3.2000000000000003e-06,
      "loss": 1.8768,
      "step": 980
    },
    {
      "epoch": 0.001635,
      "grad_norm": 3.466526508331299,
      "learning_rate": 3.2033333333333337e-06,
      "loss": 2.0549,
      "step": 981
    },
    {
      "epoch": 0.0016366666666666667,
      "grad_norm": 2.988283395767212,
      "learning_rate": 3.2066666666666667e-06,
      "loss": 1.9544,
      "step": 982
    },
    {
      "epoch": 0.0016383333333333334,
      "grad_norm": 2.9964511394500732,
      "learning_rate": 3.21e-06,
      "loss": 2.0899,
      "step": 983
    },
    {
      "epoch": 0.00164,
      "grad_norm": 2.957524061203003,
      "learning_rate": 3.213333333333334e-06,
      "loss": 2.0331,
      "step": 984
    },
    {
      "epoch": 0.0016416666666666667,
      "grad_norm": 3.9063210487365723,
      "learning_rate": 3.2166666666666666e-06,
      "loss": 1.934,
      "step": 985
    },
    {
      "epoch": 0.0016433333333333332,
      "grad_norm": 2.8305435180664062,
      "learning_rate": 3.2200000000000005e-06,
      "loss": 1.9829,
      "step": 986
    },
    {
      "epoch": 0.001645,
      "grad_norm": 2.874227285385132,
      "learning_rate": 3.223333333333334e-06,
      "loss": 2.0688,
      "step": 987
    },
    {
      "epoch": 0.0016466666666666667,
      "grad_norm": 2.8256919384002686,
      "learning_rate": 3.226666666666667e-06,
      "loss": 2.1165,
      "step": 988
    },
    {
      "epoch": 0.0016483333333333332,
      "grad_norm": 3.11497163772583,
      "learning_rate": 3.2300000000000004e-06,
      "loss": 2.0668,
      "step": 989
    },
    {
      "epoch": 0.00165,
      "grad_norm": 2.9123761653900146,
      "learning_rate": 3.2333333333333334e-06,
      "loss": 1.9704,
      "step": 990
    },
    {
      "epoch": 0.0016516666666666667,
      "grad_norm": 2.6795730590820312,
      "learning_rate": 3.236666666666667e-06,
      "loss": 1.9515,
      "step": 991
    },
    {
      "epoch": 0.0016533333333333333,
      "grad_norm": 2.845775842666626,
      "learning_rate": 3.2400000000000003e-06,
      "loss": 1.9684,
      "step": 992
    },
    {
      "epoch": 0.001655,
      "grad_norm": 3.904249906539917,
      "learning_rate": 3.2433333333333333e-06,
      "loss": 1.9723,
      "step": 993
    },
    {
      "epoch": 0.0016566666666666667,
      "grad_norm": 3.1227405071258545,
      "learning_rate": 3.2466666666666668e-06,
      "loss": 2.0534,
      "step": 994
    },
    {
      "epoch": 0.0016583333333333333,
      "grad_norm": 3.5138590335845947,
      "learning_rate": 3.2500000000000002e-06,
      "loss": 2.0874,
      "step": 995
    },
    {
      "epoch": 0.00166,
      "grad_norm": 3.0764224529266357,
      "learning_rate": 3.2533333333333332e-06,
      "loss": 1.9002,
      "step": 996
    },
    {
      "epoch": 0.0016616666666666668,
      "grad_norm": 2.9532346725463867,
      "learning_rate": 3.2566666666666667e-06,
      "loss": 2.0818,
      "step": 997
    },
    {
      "epoch": 0.0016633333333333333,
      "grad_norm": 2.83060622215271,
      "learning_rate": 3.2600000000000006e-06,
      "loss": 1.9973,
      "step": 998
    },
    {
      "epoch": 0.001665,
      "grad_norm": 2.7777183055877686,
      "learning_rate": 3.263333333333333e-06,
      "loss": 2.0759,
      "step": 999
    },
    {
      "epoch": 0.0016666666666666668,
      "grad_norm": 3.2671866416931152,
      "learning_rate": 3.266666666666667e-06,
      "loss": 2.0153,
      "step": 1000
    },
    {
      "epoch": 0.0016683333333333333,
      "grad_norm": 2.950990915298462,
      "learning_rate": 3.2700000000000005e-06,
      "loss": 2.0261,
      "step": 1001
    },
    {
      "epoch": 0.00167,
      "grad_norm": 2.874758243560791,
      "learning_rate": 3.2733333333333335e-06,
      "loss": 2.0885,
      "step": 1002
    },
    {
      "epoch": 0.0016716666666666666,
      "grad_norm": 2.761659622192383,
      "learning_rate": 3.276666666666667e-06,
      "loss": 2.0777,
      "step": 1003
    },
    {
      "epoch": 0.0016733333333333333,
      "grad_norm": 3.1700661182403564,
      "learning_rate": 3.2800000000000004e-06,
      "loss": 2.0192,
      "step": 1004
    },
    {
      "epoch": 0.001675,
      "grad_norm": 2.7573368549346924,
      "learning_rate": 3.2833333333333334e-06,
      "loss": 1.985,
      "step": 1005
    },
    {
      "epoch": 0.0016766666666666666,
      "grad_norm": 2.843548059463501,
      "learning_rate": 3.286666666666667e-06,
      "loss": 1.9159,
      "step": 1006
    },
    {
      "epoch": 0.0016783333333333333,
      "grad_norm": 2.8627309799194336,
      "learning_rate": 3.2900000000000003e-06,
      "loss": 2.0103,
      "step": 1007
    },
    {
      "epoch": 0.00168,
      "grad_norm": 2.816441774368286,
      "learning_rate": 3.2933333333333333e-06,
      "loss": 1.8952,
      "step": 1008
    },
    {
      "epoch": 0.0016816666666666666,
      "grad_norm": 2.8108487129211426,
      "learning_rate": 3.2966666666666667e-06,
      "loss": 1.8913,
      "step": 1009
    },
    {
      "epoch": 0.0016833333333333333,
      "grad_norm": 2.848811149597168,
      "learning_rate": 3.3000000000000006e-06,
      "loss": 1.9616,
      "step": 1010
    },
    {
      "epoch": 0.001685,
      "grad_norm": 3.5317556858062744,
      "learning_rate": 3.303333333333333e-06,
      "loss": 1.9194,
      "step": 1011
    },
    {
      "epoch": 0.0016866666666666666,
      "grad_norm": 2.7625372409820557,
      "learning_rate": 3.306666666666667e-06,
      "loss": 1.9399,
      "step": 1012
    },
    {
      "epoch": 0.0016883333333333334,
      "grad_norm": 2.8256208896636963,
      "learning_rate": 3.3100000000000005e-06,
      "loss": 1.9489,
      "step": 1013
    },
    {
      "epoch": 0.00169,
      "grad_norm": 2.6993045806884766,
      "learning_rate": 3.3133333333333335e-06,
      "loss": 1.9547,
      "step": 1014
    },
    {
      "epoch": 0.0016916666666666666,
      "grad_norm": 2.9655051231384277,
      "learning_rate": 3.316666666666667e-06,
      "loss": 1.9846,
      "step": 1015
    },
    {
      "epoch": 0.0016933333333333334,
      "grad_norm": 2.7344882488250732,
      "learning_rate": 3.3200000000000004e-06,
      "loss": 1.9088,
      "step": 1016
    },
    {
      "epoch": 0.001695,
      "grad_norm": 2.7466979026794434,
      "learning_rate": 3.3233333333333334e-06,
      "loss": 1.9968,
      "step": 1017
    },
    {
      "epoch": 0.0016966666666666666,
      "grad_norm": 2.7063751220703125,
      "learning_rate": 3.326666666666667e-06,
      "loss": 1.8239,
      "step": 1018
    },
    {
      "epoch": 0.0016983333333333334,
      "grad_norm": 2.7506284713745117,
      "learning_rate": 3.3300000000000003e-06,
      "loss": 2.0002,
      "step": 1019
    },
    {
      "epoch": 0.0017,
      "grad_norm": 2.9195010662078857,
      "learning_rate": 3.3333333333333333e-06,
      "loss": 2.0258,
      "step": 1020
    },
    {
      "epoch": 0.0017016666666666666,
      "grad_norm": 2.797797679901123,
      "learning_rate": 3.3366666666666668e-06,
      "loss": 1.8611,
      "step": 1021
    },
    {
      "epoch": 0.0017033333333333334,
      "grad_norm": 2.7068066596984863,
      "learning_rate": 3.3400000000000006e-06,
      "loss": 1.9926,
      "step": 1022
    },
    {
      "epoch": 0.001705,
      "grad_norm": 2.763401985168457,
      "learning_rate": 3.3433333333333332e-06,
      "loss": 1.9543,
      "step": 1023
    },
    {
      "epoch": 0.0017066666666666667,
      "grad_norm": 2.7785067558288574,
      "learning_rate": 3.346666666666667e-06,
      "loss": 1.9337,
      "step": 1024
    },
    {
      "epoch": 0.0017083333333333334,
      "grad_norm": 2.7035109996795654,
      "learning_rate": 3.3500000000000005e-06,
      "loss": 1.8879,
      "step": 1025
    },
    {
      "epoch": 0.00171,
      "grad_norm": 2.8172783851623535,
      "learning_rate": 3.3533333333333336e-06,
      "loss": 1.9418,
      "step": 1026
    },
    {
      "epoch": 0.0017116666666666667,
      "grad_norm": 2.940986156463623,
      "learning_rate": 3.356666666666667e-06,
      "loss": 1.8931,
      "step": 1027
    },
    {
      "epoch": 0.0017133333333333334,
      "grad_norm": 2.830005407333374,
      "learning_rate": 3.3600000000000004e-06,
      "loss": 1.9549,
      "step": 1028
    },
    {
      "epoch": 0.001715,
      "grad_norm": 2.8097167015075684,
      "learning_rate": 3.3633333333333335e-06,
      "loss": 1.923,
      "step": 1029
    },
    {
      "epoch": 0.0017166666666666667,
      "grad_norm": 2.767580986022949,
      "learning_rate": 3.366666666666667e-06,
      "loss": 1.8704,
      "step": 1030
    },
    {
      "epoch": 0.0017183333333333334,
      "grad_norm": 2.681907892227173,
      "learning_rate": 3.3700000000000003e-06,
      "loss": 2.0397,
      "step": 1031
    },
    {
      "epoch": 0.00172,
      "grad_norm": 2.73520827293396,
      "learning_rate": 3.3733333333333334e-06,
      "loss": 1.9898,
      "step": 1032
    },
    {
      "epoch": 0.0017216666666666667,
      "grad_norm": 2.8202147483825684,
      "learning_rate": 3.376666666666667e-06,
      "loss": 2.049,
      "step": 1033
    },
    {
      "epoch": 0.0017233333333333332,
      "grad_norm": 3.5341885089874268,
      "learning_rate": 3.3800000000000007e-06,
      "loss": 2.1311,
      "step": 1034
    },
    {
      "epoch": 0.001725,
      "grad_norm": 2.8285489082336426,
      "learning_rate": 3.3833333333333333e-06,
      "loss": 2.0014,
      "step": 1035
    },
    {
      "epoch": 0.0017266666666666667,
      "grad_norm": 3.4174304008483887,
      "learning_rate": 3.386666666666667e-06,
      "loss": 1.9082,
      "step": 1036
    },
    {
      "epoch": 0.0017283333333333332,
      "grad_norm": 2.596111297607422,
      "learning_rate": 3.3900000000000006e-06,
      "loss": 1.8822,
      "step": 1037
    },
    {
      "epoch": 0.00173,
      "grad_norm": 2.866255760192871,
      "learning_rate": 3.3933333333333336e-06,
      "loss": 1.9739,
      "step": 1038
    },
    {
      "epoch": 0.0017316666666666667,
      "grad_norm": 2.910287857055664,
      "learning_rate": 3.396666666666667e-06,
      "loss": 2.0148,
      "step": 1039
    },
    {
      "epoch": 0.0017333333333333333,
      "grad_norm": 2.689708709716797,
      "learning_rate": 3.4000000000000005e-06,
      "loss": 2.0931,
      "step": 1040
    },
    {
      "epoch": 0.001735,
      "grad_norm": 2.71451473236084,
      "learning_rate": 3.4033333333333335e-06,
      "loss": 2.0384,
      "step": 1041
    },
    {
      "epoch": 0.0017366666666666667,
      "grad_norm": 3.341397523880005,
      "learning_rate": 3.406666666666667e-06,
      "loss": 2.0065,
      "step": 1042
    },
    {
      "epoch": 0.0017383333333333333,
      "grad_norm": 2.726682662963867,
      "learning_rate": 3.4100000000000004e-06,
      "loss": 1.9172,
      "step": 1043
    },
    {
      "epoch": 0.00174,
      "grad_norm": 2.775686502456665,
      "learning_rate": 3.4133333333333334e-06,
      "loss": 1.9912,
      "step": 1044
    },
    {
      "epoch": 0.0017416666666666668,
      "grad_norm": 2.7958667278289795,
      "learning_rate": 3.416666666666667e-06,
      "loss": 2.0031,
      "step": 1045
    },
    {
      "epoch": 0.0017433333333333333,
      "grad_norm": 2.8355023860931396,
      "learning_rate": 3.4200000000000007e-06,
      "loss": 2.0006,
      "step": 1046
    },
    {
      "epoch": 0.001745,
      "grad_norm": 2.9859201908111572,
      "learning_rate": 3.4233333333333333e-06,
      "loss": 1.9438,
      "step": 1047
    },
    {
      "epoch": 0.0017466666666666668,
      "grad_norm": 2.8721673488616943,
      "learning_rate": 3.426666666666667e-06,
      "loss": 1.8789,
      "step": 1048
    },
    {
      "epoch": 0.0017483333333333333,
      "grad_norm": 2.8073487281799316,
      "learning_rate": 3.4300000000000006e-06,
      "loss": 1.9651,
      "step": 1049
    },
    {
      "epoch": 0.00175,
      "grad_norm": 2.8753161430358887,
      "learning_rate": 3.4333333333333336e-06,
      "loss": 2.0038,
      "step": 1050
    },
    {
      "epoch": 0.0017516666666666666,
      "grad_norm": 2.96671724319458,
      "learning_rate": 3.436666666666667e-06,
      "loss": 1.8802,
      "step": 1051
    },
    {
      "epoch": 0.0017533333333333333,
      "grad_norm": 3.0523691177368164,
      "learning_rate": 3.44e-06,
      "loss": 1.9524,
      "step": 1052
    },
    {
      "epoch": 0.001755,
      "grad_norm": 2.9864869117736816,
      "learning_rate": 3.4433333333333335e-06,
      "loss": 2.0414,
      "step": 1053
    },
    {
      "epoch": 0.0017566666666666666,
      "grad_norm": 2.8033716678619385,
      "learning_rate": 3.446666666666667e-06,
      "loss": 1.9432,
      "step": 1054
    },
    {
      "epoch": 0.0017583333333333333,
      "grad_norm": 2.8458194732666016,
      "learning_rate": 3.45e-06,
      "loss": 1.9969,
      "step": 1055
    },
    {
      "epoch": 0.00176,
      "grad_norm": 3.0464396476745605,
      "learning_rate": 3.4533333333333334e-06,
      "loss": 2.0994,
      "step": 1056
    },
    {
      "epoch": 0.0017616666666666666,
      "grad_norm": 3.043379306793213,
      "learning_rate": 3.456666666666667e-06,
      "loss": 1.9002,
      "step": 1057
    },
    {
      "epoch": 0.0017633333333333333,
      "grad_norm": 3.094460964202881,
      "learning_rate": 3.46e-06,
      "loss": 1.8577,
      "step": 1058
    },
    {
      "epoch": 0.001765,
      "grad_norm": 2.8372724056243896,
      "learning_rate": 3.4633333333333333e-06,
      "loss": 1.9878,
      "step": 1059
    },
    {
      "epoch": 0.0017666666666666666,
      "grad_norm": 2.846412420272827,
      "learning_rate": 3.4666666666666672e-06,
      "loss": 1.7336,
      "step": 1060
    },
    {
      "epoch": 0.0017683333333333333,
      "grad_norm": 2.7410004138946533,
      "learning_rate": 3.4700000000000002e-06,
      "loss": 1.8796,
      "step": 1061
    },
    {
      "epoch": 0.00177,
      "grad_norm": 2.8912086486816406,
      "learning_rate": 3.4733333333333337e-06,
      "loss": 1.8761,
      "step": 1062
    },
    {
      "epoch": 0.0017716666666666666,
      "grad_norm": 2.950458288192749,
      "learning_rate": 3.476666666666667e-06,
      "loss": 1.9879,
      "step": 1063
    },
    {
      "epoch": 0.0017733333333333334,
      "grad_norm": 2.9427990913391113,
      "learning_rate": 3.48e-06,
      "loss": 1.8624,
      "step": 1064
    },
    {
      "epoch": 0.001775,
      "grad_norm": 2.8314335346221924,
      "learning_rate": 3.4833333333333336e-06,
      "loss": 1.8553,
      "step": 1065
    },
    {
      "epoch": 0.0017766666666666666,
      "grad_norm": 2.6815619468688965,
      "learning_rate": 3.486666666666667e-06,
      "loss": 1.9044,
      "step": 1066
    },
    {
      "epoch": 0.0017783333333333334,
      "grad_norm": 2.735787868499756,
      "learning_rate": 3.49e-06,
      "loss": 2.0212,
      "step": 1067
    },
    {
      "epoch": 0.00178,
      "grad_norm": 2.6625802516937256,
      "learning_rate": 3.4933333333333335e-06,
      "loss": 1.8966,
      "step": 1068
    },
    {
      "epoch": 0.0017816666666666666,
      "grad_norm": 3.1099703311920166,
      "learning_rate": 3.496666666666667e-06,
      "loss": 1.9232,
      "step": 1069
    },
    {
      "epoch": 0.0017833333333333334,
      "grad_norm": 2.76094126701355,
      "learning_rate": 3.5e-06,
      "loss": 1.9633,
      "step": 1070
    },
    {
      "epoch": 0.001785,
      "grad_norm": 7.600282669067383,
      "learning_rate": 3.5033333333333334e-06,
      "loss": 2.009,
      "step": 1071
    },
    {
      "epoch": 0.0017866666666666667,
      "grad_norm": 2.819941282272339,
      "learning_rate": 3.5066666666666673e-06,
      "loss": 1.8964,
      "step": 1072
    },
    {
      "epoch": 0.0017883333333333334,
      "grad_norm": 2.633850336074829,
      "learning_rate": 3.5100000000000003e-06,
      "loss": 1.905,
      "step": 1073
    },
    {
      "epoch": 0.00179,
      "grad_norm": 2.861999034881592,
      "learning_rate": 3.5133333333333337e-06,
      "loss": 1.9475,
      "step": 1074
    },
    {
      "epoch": 0.0017916666666666667,
      "grad_norm": 3.0425565242767334,
      "learning_rate": 3.516666666666667e-06,
      "loss": 2.0198,
      "step": 1075
    },
    {
      "epoch": 0.0017933333333333334,
      "grad_norm": 2.815159559249878,
      "learning_rate": 3.52e-06,
      "loss": 1.8367,
      "step": 1076
    },
    {
      "epoch": 0.001795,
      "grad_norm": 2.6991539001464844,
      "learning_rate": 3.5233333333333336e-06,
      "loss": 1.835,
      "step": 1077
    },
    {
      "epoch": 0.0017966666666666667,
      "grad_norm": 2.7380452156066895,
      "learning_rate": 3.526666666666667e-06,
      "loss": 1.8413,
      "step": 1078
    },
    {
      "epoch": 0.0017983333333333334,
      "grad_norm": 2.5540473461151123,
      "learning_rate": 3.53e-06,
      "loss": 1.891,
      "step": 1079
    },
    {
      "epoch": 0.0018,
      "grad_norm": 2.9005236625671387,
      "learning_rate": 3.5333333333333335e-06,
      "loss": 1.9554,
      "step": 1080
    },
    {
      "epoch": 0.0018016666666666667,
      "grad_norm": 2.799286127090454,
      "learning_rate": 3.536666666666667e-06,
      "loss": 1.9275,
      "step": 1081
    },
    {
      "epoch": 0.0018033333333333334,
      "grad_norm": 2.892948865890503,
      "learning_rate": 3.54e-06,
      "loss": 1.9224,
      "step": 1082
    },
    {
      "epoch": 0.001805,
      "grad_norm": 2.755016326904297,
      "learning_rate": 3.5433333333333334e-06,
      "loss": 2.0055,
      "step": 1083
    },
    {
      "epoch": 0.0018066666666666667,
      "grad_norm": 2.932884931564331,
      "learning_rate": 3.5466666666666673e-06,
      "loss": 1.8953,
      "step": 1084
    },
    {
      "epoch": 0.0018083333333333332,
      "grad_norm": 2.851372480392456,
      "learning_rate": 3.5500000000000003e-06,
      "loss": 1.9279,
      "step": 1085
    },
    {
      "epoch": 0.00181,
      "grad_norm": 2.756870746612549,
      "learning_rate": 3.5533333333333338e-06,
      "loss": 1.8501,
      "step": 1086
    },
    {
      "epoch": 0.0018116666666666667,
      "grad_norm": 2.624037504196167,
      "learning_rate": 3.556666666666667e-06,
      "loss": 1.9304,
      "step": 1087
    },
    {
      "epoch": 0.0018133333333333332,
      "grad_norm": 2.732565402984619,
      "learning_rate": 3.5600000000000002e-06,
      "loss": 1.8584,
      "step": 1088
    },
    {
      "epoch": 0.001815,
      "grad_norm": 2.742140769958496,
      "learning_rate": 3.5633333333333337e-06,
      "loss": 1.9007,
      "step": 1089
    },
    {
      "epoch": 0.0018166666666666667,
      "grad_norm": 2.597696542739868,
      "learning_rate": 3.566666666666667e-06,
      "loss": 1.8905,
      "step": 1090
    },
    {
      "epoch": 0.0018183333333333333,
      "grad_norm": 2.735902786254883,
      "learning_rate": 3.57e-06,
      "loss": 1.8126,
      "step": 1091
    },
    {
      "epoch": 0.00182,
      "grad_norm": 2.6769773960113525,
      "learning_rate": 3.5733333333333336e-06,
      "loss": 1.7669,
      "step": 1092
    },
    {
      "epoch": 0.0018216666666666667,
      "grad_norm": 2.8742713928222656,
      "learning_rate": 3.576666666666667e-06,
      "loss": 1.8024,
      "step": 1093
    },
    {
      "epoch": 0.0018233333333333333,
      "grad_norm": 2.8831446170806885,
      "learning_rate": 3.58e-06,
      "loss": 1.9235,
      "step": 1094
    },
    {
      "epoch": 0.001825,
      "grad_norm": 2.827024221420288,
      "learning_rate": 3.5833333333333335e-06,
      "loss": 1.9682,
      "step": 1095
    },
    {
      "epoch": 0.0018266666666666668,
      "grad_norm": 2.6329281330108643,
      "learning_rate": 3.5866666666666673e-06,
      "loss": 1.8882,
      "step": 1096
    },
    {
      "epoch": 0.0018283333333333333,
      "grad_norm": 2.8069536685943604,
      "learning_rate": 3.5900000000000004e-06,
      "loss": 2.0296,
      "step": 1097
    },
    {
      "epoch": 0.00183,
      "grad_norm": 2.765347480773926,
      "learning_rate": 3.593333333333334e-06,
      "loss": 2.0116,
      "step": 1098
    },
    {
      "epoch": 0.0018316666666666668,
      "grad_norm": 2.6696226596832275,
      "learning_rate": 3.5966666666666672e-06,
      "loss": 1.8632,
      "step": 1099
    },
    {
      "epoch": 0.0018333333333333333,
      "grad_norm": 3.003791570663452,
      "learning_rate": 3.6000000000000003e-06,
      "loss": 1.8794,
      "step": 1100
    },
    {
      "epoch": 0.001835,
      "grad_norm": 2.8896572589874268,
      "learning_rate": 3.6033333333333337e-06,
      "loss": 1.7892,
      "step": 1101
    },
    {
      "epoch": 0.0018366666666666666,
      "grad_norm": 2.883234977722168,
      "learning_rate": 3.606666666666667e-06,
      "loss": 1.9674,
      "step": 1102
    },
    {
      "epoch": 0.0018383333333333333,
      "grad_norm": 3.0101919174194336,
      "learning_rate": 3.61e-06,
      "loss": 1.9723,
      "step": 1103
    },
    {
      "epoch": 0.00184,
      "grad_norm": 2.7307071685791016,
      "learning_rate": 3.6133333333333336e-06,
      "loss": 1.8722,
      "step": 1104
    },
    {
      "epoch": 0.0018416666666666666,
      "grad_norm": 2.7288291454315186,
      "learning_rate": 3.616666666666667e-06,
      "loss": 1.9526,
      "step": 1105
    },
    {
      "epoch": 0.0018433333333333333,
      "grad_norm": 2.547273874282837,
      "learning_rate": 3.62e-06,
      "loss": 1.8801,
      "step": 1106
    },
    {
      "epoch": 0.001845,
      "grad_norm": 2.9245924949645996,
      "learning_rate": 3.6233333333333335e-06,
      "loss": 1.878,
      "step": 1107
    },
    {
      "epoch": 0.0018466666666666666,
      "grad_norm": 3.0620501041412354,
      "learning_rate": 3.6266666666666674e-06,
      "loss": 2.0284,
      "step": 1108
    },
    {
      "epoch": 0.0018483333333333333,
      "grad_norm": 2.899728298187256,
      "learning_rate": 3.6300000000000004e-06,
      "loss": 1.8193,
      "step": 1109
    },
    {
      "epoch": 0.00185,
      "grad_norm": 2.840041160583496,
      "learning_rate": 3.633333333333334e-06,
      "loss": 1.8365,
      "step": 1110
    },
    {
      "epoch": 0.0018516666666666666,
      "grad_norm": 2.8945224285125732,
      "learning_rate": 3.6366666666666673e-06,
      "loss": 1.9578,
      "step": 1111
    },
    {
      "epoch": 0.0018533333333333334,
      "grad_norm": 2.8279669284820557,
      "learning_rate": 3.6400000000000003e-06,
      "loss": 1.8512,
      "step": 1112
    },
    {
      "epoch": 0.001855,
      "grad_norm": 2.6943633556365967,
      "learning_rate": 3.6433333333333337e-06,
      "loss": 2.0069,
      "step": 1113
    },
    {
      "epoch": 0.0018566666666666666,
      "grad_norm": 2.805492639541626,
      "learning_rate": 3.6466666666666668e-06,
      "loss": 1.9434,
      "step": 1114
    },
    {
      "epoch": 0.0018583333333333334,
      "grad_norm": 2.701253652572632,
      "learning_rate": 3.65e-06,
      "loss": 1.9127,
      "step": 1115
    },
    {
      "epoch": 0.00186,
      "grad_norm": 3.453721761703491,
      "learning_rate": 3.6533333333333336e-06,
      "loss": 1.9298,
      "step": 1116
    },
    {
      "epoch": 0.0018616666666666666,
      "grad_norm": 2.6510164737701416,
      "learning_rate": 3.6566666666666667e-06,
      "loss": 1.9269,
      "step": 1117
    },
    {
      "epoch": 0.0018633333333333334,
      "grad_norm": 2.897221326828003,
      "learning_rate": 3.66e-06,
      "loss": 1.8345,
      "step": 1118
    },
    {
      "epoch": 0.001865,
      "grad_norm": 2.6887824535369873,
      "learning_rate": 3.6633333333333336e-06,
      "loss": 1.9633,
      "step": 1119
    },
    {
      "epoch": 0.0018666666666666666,
      "grad_norm": 2.675675392150879,
      "learning_rate": 3.6666666666666666e-06,
      "loss": 1.9871,
      "step": 1120
    },
    {
      "epoch": 0.0018683333333333334,
      "grad_norm": 2.81320858001709,
      "learning_rate": 3.6700000000000004e-06,
      "loss": 1.9526,
      "step": 1121
    },
    {
      "epoch": 0.00187,
      "grad_norm": 2.571763038635254,
      "learning_rate": 3.673333333333334e-06,
      "loss": 1.91,
      "step": 1122
    },
    {
      "epoch": 0.0018716666666666667,
      "grad_norm": 2.7378244400024414,
      "learning_rate": 3.676666666666667e-06,
      "loss": 1.9762,
      "step": 1123
    },
    {
      "epoch": 0.0018733333333333334,
      "grad_norm": 2.9093189239501953,
      "learning_rate": 3.6800000000000003e-06,
      "loss": 1.9688,
      "step": 1124
    },
    {
      "epoch": 0.001875,
      "grad_norm": 2.711019992828369,
      "learning_rate": 3.6833333333333338e-06,
      "loss": 1.9613,
      "step": 1125
    },
    {
      "epoch": 0.0018766666666666667,
      "grad_norm": 2.8308346271514893,
      "learning_rate": 3.686666666666667e-06,
      "loss": 1.9322,
      "step": 1126
    },
    {
      "epoch": 0.0018783333333333334,
      "grad_norm": 2.8676764965057373,
      "learning_rate": 3.6900000000000002e-06,
      "loss": 2.0416,
      "step": 1127
    },
    {
      "epoch": 0.00188,
      "grad_norm": 2.8926453590393066,
      "learning_rate": 3.6933333333333337e-06,
      "loss": 1.7745,
      "step": 1128
    },
    {
      "epoch": 0.0018816666666666667,
      "grad_norm": 2.8915839195251465,
      "learning_rate": 3.6966666666666667e-06,
      "loss": 1.9852,
      "step": 1129
    },
    {
      "epoch": 0.0018833333333333334,
      "grad_norm": 2.7398319244384766,
      "learning_rate": 3.7e-06,
      "loss": 1.9473,
      "step": 1130
    },
    {
      "epoch": 0.001885,
      "grad_norm": 3.035996913909912,
      "learning_rate": 3.7033333333333336e-06,
      "loss": 1.8689,
      "step": 1131
    },
    {
      "epoch": 0.0018866666666666667,
      "grad_norm": 2.950716257095337,
      "learning_rate": 3.7066666666666666e-06,
      "loss": 2.049,
      "step": 1132
    },
    {
      "epoch": 0.0018883333333333332,
      "grad_norm": 2.8607535362243652,
      "learning_rate": 3.7100000000000005e-06,
      "loss": 2.0542,
      "step": 1133
    },
    {
      "epoch": 0.00189,
      "grad_norm": 3.614077091217041,
      "learning_rate": 3.713333333333334e-06,
      "loss": 1.8291,
      "step": 1134
    },
    {
      "epoch": 0.0018916666666666667,
      "grad_norm": 3.097750186920166,
      "learning_rate": 3.716666666666667e-06,
      "loss": 1.9014,
      "step": 1135
    },
    {
      "epoch": 0.0018933333333333332,
      "grad_norm": 2.782991886138916,
      "learning_rate": 3.7200000000000004e-06,
      "loss": 1.9185,
      "step": 1136
    },
    {
      "epoch": 0.001895,
      "grad_norm": 2.7236692905426025,
      "learning_rate": 3.723333333333334e-06,
      "loss": 1.8654,
      "step": 1137
    },
    {
      "epoch": 0.0018966666666666667,
      "grad_norm": 2.759812593460083,
      "learning_rate": 3.726666666666667e-06,
      "loss": 2.0438,
      "step": 1138
    },
    {
      "epoch": 0.0018983333333333333,
      "grad_norm": 2.906541347503662,
      "learning_rate": 3.7300000000000003e-06,
      "loss": 1.9919,
      "step": 1139
    },
    {
      "epoch": 0.0019,
      "grad_norm": 2.831007480621338,
      "learning_rate": 3.7333333333333337e-06,
      "loss": 1.9632,
      "step": 1140
    },
    {
      "epoch": 0.0019016666666666667,
      "grad_norm": 3.945594549179077,
      "learning_rate": 3.7366666666666667e-06,
      "loss": 1.8751,
      "step": 1141
    },
    {
      "epoch": 0.0019033333333333333,
      "grad_norm": 2.8270609378814697,
      "learning_rate": 3.74e-06,
      "loss": 2.0429,
      "step": 1142
    },
    {
      "epoch": 0.001905,
      "grad_norm": 2.907269239425659,
      "learning_rate": 3.7433333333333336e-06,
      "loss": 1.8778,
      "step": 1143
    },
    {
      "epoch": 0.0019066666666666668,
      "grad_norm": 2.7047812938690186,
      "learning_rate": 3.7466666666666667e-06,
      "loss": 1.8798,
      "step": 1144
    },
    {
      "epoch": 0.0019083333333333333,
      "grad_norm": 2.789165496826172,
      "learning_rate": 3.7500000000000005e-06,
      "loss": 1.9632,
      "step": 1145
    },
    {
      "epoch": 0.00191,
      "grad_norm": 3.0547094345092773,
      "learning_rate": 3.753333333333334e-06,
      "loss": 2.0198,
      "step": 1146
    },
    {
      "epoch": 0.0019116666666666668,
      "grad_norm": 2.698904037475586,
      "learning_rate": 3.756666666666667e-06,
      "loss": 2.0221,
      "step": 1147
    },
    {
      "epoch": 0.0019133333333333333,
      "grad_norm": 3.0189056396484375,
      "learning_rate": 3.7600000000000004e-06,
      "loss": 2.0504,
      "step": 1148
    },
    {
      "epoch": 0.001915,
      "grad_norm": 2.780104875564575,
      "learning_rate": 3.763333333333334e-06,
      "loss": 2.0417,
      "step": 1149
    },
    {
      "epoch": 0.0019166666666666666,
      "grad_norm": 2.8173623085021973,
      "learning_rate": 3.766666666666667e-06,
      "loss": 2.0478,
      "step": 1150
    },
    {
      "epoch": 0.0019183333333333333,
      "grad_norm": 2.729279041290283,
      "learning_rate": 3.7700000000000003e-06,
      "loss": 1.9419,
      "step": 1151
    },
    {
      "epoch": 0.00192,
      "grad_norm": 2.6916515827178955,
      "learning_rate": 3.7733333333333338e-06,
      "loss": 1.9086,
      "step": 1152
    },
    {
      "epoch": 0.0019216666666666666,
      "grad_norm": 2.701936721801758,
      "learning_rate": 3.776666666666667e-06,
      "loss": 1.9522,
      "step": 1153
    },
    {
      "epoch": 0.0019233333333333333,
      "grad_norm": 2.877830743789673,
      "learning_rate": 3.7800000000000002e-06,
      "loss": 1.8873,
      "step": 1154
    },
    {
      "epoch": 0.001925,
      "grad_norm": 2.7329864501953125,
      "learning_rate": 3.7833333333333337e-06,
      "loss": 1.8671,
      "step": 1155
    },
    {
      "epoch": 0.0019266666666666666,
      "grad_norm": 2.8817458152770996,
      "learning_rate": 3.7866666666666667e-06,
      "loss": 1.9889,
      "step": 1156
    },
    {
      "epoch": 0.0019283333333333333,
      "grad_norm": 2.903771162033081,
      "learning_rate": 3.79e-06,
      "loss": 2.1207,
      "step": 1157
    },
    {
      "epoch": 0.00193,
      "grad_norm": 2.816847324371338,
      "learning_rate": 3.793333333333334e-06,
      "loss": 1.9402,
      "step": 1158
    },
    {
      "epoch": 0.0019316666666666666,
      "grad_norm": 2.796762466430664,
      "learning_rate": 3.796666666666667e-06,
      "loss": 1.9094,
      "step": 1159
    },
    {
      "epoch": 0.0019333333333333333,
      "grad_norm": 2.878267765045166,
      "learning_rate": 3.8000000000000005e-06,
      "loss": 1.9726,
      "step": 1160
    },
    {
      "epoch": 0.001935,
      "grad_norm": 2.8738808631896973,
      "learning_rate": 3.803333333333334e-06,
      "loss": 2.1074,
      "step": 1161
    },
    {
      "epoch": 0.0019366666666666666,
      "grad_norm": 3.286391019821167,
      "learning_rate": 3.806666666666667e-06,
      "loss": 1.8483,
      "step": 1162
    },
    {
      "epoch": 0.0019383333333333334,
      "grad_norm": 3.079378128051758,
      "learning_rate": 3.8100000000000004e-06,
      "loss": 2.0362,
      "step": 1163
    },
    {
      "epoch": 0.00194,
      "grad_norm": 3.2935750484466553,
      "learning_rate": 3.813333333333334e-06,
      "loss": 2.04,
      "step": 1164
    },
    {
      "epoch": 0.0019416666666666666,
      "grad_norm": 2.9921324253082275,
      "learning_rate": 3.816666666666667e-06,
      "loss": 2.051,
      "step": 1165
    },
    {
      "epoch": 0.0019433333333333334,
      "grad_norm": 3.341043710708618,
      "learning_rate": 3.820000000000001e-06,
      "loss": 1.8628,
      "step": 1166
    },
    {
      "epoch": 0.001945,
      "grad_norm": 3.0636510848999023,
      "learning_rate": 3.823333333333334e-06,
      "loss": 2.0174,
      "step": 1167
    },
    {
      "epoch": 0.0019466666666666666,
      "grad_norm": 2.9038963317871094,
      "learning_rate": 3.826666666666667e-06,
      "loss": 1.9645,
      "step": 1168
    },
    {
      "epoch": 0.0019483333333333334,
      "grad_norm": 2.8471169471740723,
      "learning_rate": 3.830000000000001e-06,
      "loss": 1.89,
      "step": 1169
    },
    {
      "epoch": 0.00195,
      "grad_norm": 3.165975332260132,
      "learning_rate": 3.833333333333334e-06,
      "loss": 2.009,
      "step": 1170
    },
    {
      "epoch": 0.0019516666666666667,
      "grad_norm": 2.841042995452881,
      "learning_rate": 3.836666666666667e-06,
      "loss": 2.0495,
      "step": 1171
    },
    {
      "epoch": 0.0019533333333333334,
      "grad_norm": 2.918367385864258,
      "learning_rate": 3.8400000000000005e-06,
      "loss": 1.9574,
      "step": 1172
    },
    {
      "epoch": 0.001955,
      "grad_norm": 2.9508473873138428,
      "learning_rate": 3.8433333333333335e-06,
      "loss": 2.0178,
      "step": 1173
    },
    {
      "epoch": 0.0019566666666666665,
      "grad_norm": 2.752769947052002,
      "learning_rate": 3.8466666666666665e-06,
      "loss": 1.9942,
      "step": 1174
    },
    {
      "epoch": 0.001958333333333333,
      "grad_norm": 2.9519357681274414,
      "learning_rate": 3.85e-06,
      "loss": 1.8477,
      "step": 1175
    },
    {
      "epoch": 0.00196,
      "grad_norm": 2.941819667816162,
      "learning_rate": 3.853333333333334e-06,
      "loss": 1.8919,
      "step": 1176
    },
    {
      "epoch": 0.0019616666666666667,
      "grad_norm": 3.000345468521118,
      "learning_rate": 3.856666666666667e-06,
      "loss": 1.9558,
      "step": 1177
    },
    {
      "epoch": 0.0019633333333333334,
      "grad_norm": 2.8310601711273193,
      "learning_rate": 3.86e-06,
      "loss": 2.0522,
      "step": 1178
    },
    {
      "epoch": 0.001965,
      "grad_norm": 3.2840492725372314,
      "learning_rate": 3.863333333333333e-06,
      "loss": 2.1036,
      "step": 1179
    },
    {
      "epoch": 0.0019666666666666665,
      "grad_norm": 3.071732759475708,
      "learning_rate": 3.866666666666667e-06,
      "loss": 1.9714,
      "step": 1180
    },
    {
      "epoch": 0.0019683333333333332,
      "grad_norm": 2.9710021018981934,
      "learning_rate": 3.87e-06,
      "loss": 1.9885,
      "step": 1181
    },
    {
      "epoch": 0.00197,
      "grad_norm": 3.60768461227417,
      "learning_rate": 3.873333333333333e-06,
      "loss": 2.0563,
      "step": 1182
    },
    {
      "epoch": 0.0019716666666666667,
      "grad_norm": 3.0424723625183105,
      "learning_rate": 3.876666666666667e-06,
      "loss": 1.8013,
      "step": 1183
    },
    {
      "epoch": 0.0019733333333333334,
      "grad_norm": 2.698702335357666,
      "learning_rate": 3.88e-06,
      "loss": 2.0193,
      "step": 1184
    },
    {
      "epoch": 0.001975,
      "grad_norm": 3.1223366260528564,
      "learning_rate": 3.883333333333333e-06,
      "loss": 2.0666,
      "step": 1185
    },
    {
      "epoch": 0.0019766666666666665,
      "grad_norm": 3.342217445373535,
      "learning_rate": 3.886666666666667e-06,
      "loss": 1.8529,
      "step": 1186
    },
    {
      "epoch": 0.0019783333333333332,
      "grad_norm": 2.7835123538970947,
      "learning_rate": 3.89e-06,
      "loss": 2.0076,
      "step": 1187
    },
    {
      "epoch": 0.00198,
      "grad_norm": 2.8067543506622314,
      "learning_rate": 3.893333333333333e-06,
      "loss": 1.9482,
      "step": 1188
    },
    {
      "epoch": 0.0019816666666666667,
      "grad_norm": 2.979504108428955,
      "learning_rate": 3.896666666666667e-06,
      "loss": 2.0498,
      "step": 1189
    },
    {
      "epoch": 0.0019833333333333335,
      "grad_norm": 2.8945839405059814,
      "learning_rate": 3.900000000000001e-06,
      "loss": 2.1674,
      "step": 1190
    },
    {
      "epoch": 0.001985,
      "grad_norm": 3.6419568061828613,
      "learning_rate": 3.903333333333334e-06,
      "loss": 2.0933,
      "step": 1191
    },
    {
      "epoch": 0.0019866666666666665,
      "grad_norm": 3.576848030090332,
      "learning_rate": 3.906666666666667e-06,
      "loss": 1.8541,
      "step": 1192
    },
    {
      "epoch": 0.0019883333333333333,
      "grad_norm": 2.87787127494812,
      "learning_rate": 3.910000000000001e-06,
      "loss": 2.097,
      "step": 1193
    },
    {
      "epoch": 0.00199,
      "grad_norm": 2.873523712158203,
      "learning_rate": 3.913333333333334e-06,
      "loss": 2.0757,
      "step": 1194
    },
    {
      "epoch": 0.0019916666666666668,
      "grad_norm": 2.883396625518799,
      "learning_rate": 3.916666666666667e-06,
      "loss": 2.0775,
      "step": 1195
    },
    {
      "epoch": 0.0019933333333333335,
      "grad_norm": 2.8053369522094727,
      "learning_rate": 3.920000000000001e-06,
      "loss": 2.125,
      "step": 1196
    },
    {
      "epoch": 0.001995,
      "grad_norm": 3.04209303855896,
      "learning_rate": 3.923333333333334e-06,
      "loss": 2.0691,
      "step": 1197
    },
    {
      "epoch": 0.0019966666666666666,
      "grad_norm": 2.9010446071624756,
      "learning_rate": 3.926666666666667e-06,
      "loss": 1.8862,
      "step": 1198
    },
    {
      "epoch": 0.0019983333333333333,
      "grad_norm": 3.1224873065948486,
      "learning_rate": 3.9300000000000005e-06,
      "loss": 2.0558,
      "step": 1199
    },
    {
      "epoch": 0.002,
      "grad_norm": 3.043149948120117,
      "learning_rate": 3.9333333333333335e-06,
      "loss": 1.9824,
      "step": 1200
    },
    {
      "epoch": 0.002001666666666667,
      "grad_norm": 2.775148868560791,
      "learning_rate": 3.936666666666667e-06,
      "loss": 2.0072,
      "step": 1201
    },
    {
      "epoch": 0.0020033333333333335,
      "grad_norm": 2.7643775939941406,
      "learning_rate": 3.94e-06,
      "loss": 2.0483,
      "step": 1202
    },
    {
      "epoch": 0.002005,
      "grad_norm": 2.774306058883667,
      "learning_rate": 3.943333333333333e-06,
      "loss": 1.9761,
      "step": 1203
    },
    {
      "epoch": 0.0020066666666666666,
      "grad_norm": 2.7008554935455322,
      "learning_rate": 3.946666666666667e-06,
      "loss": 1.9647,
      "step": 1204
    },
    {
      "epoch": 0.0020083333333333333,
      "grad_norm": 2.9125466346740723,
      "learning_rate": 3.95e-06,
      "loss": 1.9544,
      "step": 1205
    },
    {
      "epoch": 0.00201,
      "grad_norm": 2.9910190105438232,
      "learning_rate": 3.953333333333333e-06,
      "loss": 2.0372,
      "step": 1206
    },
    {
      "epoch": 0.002011666666666667,
      "grad_norm": 2.8119778633117676,
      "learning_rate": 3.956666666666667e-06,
      "loss": 2.0784,
      "step": 1207
    },
    {
      "epoch": 0.002013333333333333,
      "grad_norm": 2.879706621170044,
      "learning_rate": 3.96e-06,
      "loss": 1.9946,
      "step": 1208
    },
    {
      "epoch": 0.002015,
      "grad_norm": 2.7874927520751953,
      "learning_rate": 3.963333333333333e-06,
      "loss": 1.9349,
      "step": 1209
    },
    {
      "epoch": 0.0020166666666666666,
      "grad_norm": 2.860551118850708,
      "learning_rate": 3.966666666666667e-06,
      "loss": 2.0587,
      "step": 1210
    },
    {
      "epoch": 0.0020183333333333334,
      "grad_norm": 2.8461713790893555,
      "learning_rate": 3.97e-06,
      "loss": 2.0764,
      "step": 1211
    },
    {
      "epoch": 0.00202,
      "grad_norm": 3.03568434715271,
      "learning_rate": 3.973333333333333e-06,
      "loss": 1.9977,
      "step": 1212
    },
    {
      "epoch": 0.002021666666666667,
      "grad_norm": 3.265930414199829,
      "learning_rate": 3.976666666666667e-06,
      "loss": 2.0786,
      "step": 1213
    },
    {
      "epoch": 0.002023333333333333,
      "grad_norm": 2.9256510734558105,
      "learning_rate": 3.980000000000001e-06,
      "loss": 2.0111,
      "step": 1214
    },
    {
      "epoch": 0.002025,
      "grad_norm": 2.7677998542785645,
      "learning_rate": 3.983333333333334e-06,
      "loss": 2.0559,
      "step": 1215
    },
    {
      "epoch": 0.0020266666666666666,
      "grad_norm": 2.730694532394409,
      "learning_rate": 3.986666666666667e-06,
      "loss": 1.809,
      "step": 1216
    },
    {
      "epoch": 0.0020283333333333334,
      "grad_norm": 2.8358798027038574,
      "learning_rate": 3.990000000000001e-06,
      "loss": 1.8508,
      "step": 1217
    },
    {
      "epoch": 0.00203,
      "grad_norm": 2.706677198410034,
      "learning_rate": 3.993333333333334e-06,
      "loss": 2.0825,
      "step": 1218
    },
    {
      "epoch": 0.002031666666666667,
      "grad_norm": 2.7229466438293457,
      "learning_rate": 3.996666666666667e-06,
      "loss": 1.9616,
      "step": 1219
    },
    {
      "epoch": 0.002033333333333333,
      "grad_norm": 2.774017810821533,
      "learning_rate": 4.000000000000001e-06,
      "loss": 2.0236,
      "step": 1220
    },
    {
      "epoch": 0.002035,
      "grad_norm": 2.7179014682769775,
      "learning_rate": 4.003333333333334e-06,
      "loss": 2.0458,
      "step": 1221
    },
    {
      "epoch": 0.0020366666666666667,
      "grad_norm": 2.795060157775879,
      "learning_rate": 4.006666666666667e-06,
      "loss": 2.0135,
      "step": 1222
    },
    {
      "epoch": 0.0020383333333333334,
      "grad_norm": 3.061434745788574,
      "learning_rate": 4.0100000000000006e-06,
      "loss": 2.0078,
      "step": 1223
    },
    {
      "epoch": 0.00204,
      "grad_norm": 2.894117832183838,
      "learning_rate": 4.013333333333334e-06,
      "loss": 2.0677,
      "step": 1224
    },
    {
      "epoch": 0.0020416666666666665,
      "grad_norm": 2.7125701904296875,
      "learning_rate": 4.0166666666666675e-06,
      "loss": 2.0151,
      "step": 1225
    },
    {
      "epoch": 0.002043333333333333,
      "grad_norm": 2.732142925262451,
      "learning_rate": 4.0200000000000005e-06,
      "loss": 1.9378,
      "step": 1226
    },
    {
      "epoch": 0.002045,
      "grad_norm": 2.834258556365967,
      "learning_rate": 4.0233333333333335e-06,
      "loss": 1.9558,
      "step": 1227
    },
    {
      "epoch": 0.0020466666666666667,
      "grad_norm": 2.704028606414795,
      "learning_rate": 4.026666666666667e-06,
      "loss": 1.8908,
      "step": 1228
    },
    {
      "epoch": 0.0020483333333333334,
      "grad_norm": 3.0928897857666016,
      "learning_rate": 4.03e-06,
      "loss": 1.79,
      "step": 1229
    },
    {
      "epoch": 0.00205,
      "grad_norm": 2.8683249950408936,
      "learning_rate": 4.033333333333333e-06,
      "loss": 2.0728,
      "step": 1230
    },
    {
      "epoch": 0.0020516666666666665,
      "grad_norm": 2.852313995361328,
      "learning_rate": 4.036666666666667e-06,
      "loss": 2.097,
      "step": 1231
    },
    {
      "epoch": 0.0020533333333333332,
      "grad_norm": 2.72663950920105,
      "learning_rate": 4.04e-06,
      "loss": 2.1577,
      "step": 1232
    },
    {
      "epoch": 0.002055,
      "grad_norm": 2.903913736343384,
      "learning_rate": 4.043333333333333e-06,
      "loss": 2.1038,
      "step": 1233
    },
    {
      "epoch": 0.0020566666666666667,
      "grad_norm": 2.7456867694854736,
      "learning_rate": 4.046666666666667e-06,
      "loss": 2.0543,
      "step": 1234
    },
    {
      "epoch": 0.0020583333333333335,
      "grad_norm": 2.883211612701416,
      "learning_rate": 4.05e-06,
      "loss": 1.7701,
      "step": 1235
    },
    {
      "epoch": 0.00206,
      "grad_norm": 2.7429256439208984,
      "learning_rate": 4.053333333333333e-06,
      "loss": 2.0855,
      "step": 1236
    },
    {
      "epoch": 0.0020616666666666665,
      "grad_norm": 2.6753346920013428,
      "learning_rate": 4.056666666666667e-06,
      "loss": 1.963,
      "step": 1237
    },
    {
      "epoch": 0.0020633333333333333,
      "grad_norm": 2.6201369762420654,
      "learning_rate": 4.060000000000001e-06,
      "loss": 1.9204,
      "step": 1238
    },
    {
      "epoch": 0.002065,
      "grad_norm": 2.7044005393981934,
      "learning_rate": 4.063333333333334e-06,
      "loss": 2.0759,
      "step": 1239
    },
    {
      "epoch": 0.0020666666666666667,
      "grad_norm": 2.823805332183838,
      "learning_rate": 4.066666666666667e-06,
      "loss": 2.027,
      "step": 1240
    },
    {
      "epoch": 0.0020683333333333335,
      "grad_norm": 2.8373494148254395,
      "learning_rate": 4.07e-06,
      "loss": 2.019,
      "step": 1241
    },
    {
      "epoch": 0.00207,
      "grad_norm": 2.8618416786193848,
      "learning_rate": 4.073333333333334e-06,
      "loss": 2.1299,
      "step": 1242
    },
    {
      "epoch": 0.0020716666666666665,
      "grad_norm": 2.707385301589966,
      "learning_rate": 4.076666666666667e-06,
      "loss": 1.9625,
      "step": 1243
    },
    {
      "epoch": 0.0020733333333333333,
      "grad_norm": 3.0313363075256348,
      "learning_rate": 4.08e-06,
      "loss": 1.9337,
      "step": 1244
    },
    {
      "epoch": 0.002075,
      "grad_norm": 2.8329532146453857,
      "learning_rate": 4.083333333333334e-06,
      "loss": 1.8604,
      "step": 1245
    },
    {
      "epoch": 0.0020766666666666668,
      "grad_norm": 2.7370054721832275,
      "learning_rate": 4.086666666666667e-06,
      "loss": 1.9884,
      "step": 1246
    },
    {
      "epoch": 0.0020783333333333335,
      "grad_norm": 2.85050892829895,
      "learning_rate": 4.09e-06,
      "loss": 2.0815,
      "step": 1247
    },
    {
      "epoch": 0.00208,
      "grad_norm": 2.70906138420105,
      "learning_rate": 4.093333333333334e-06,
      "loss": 1.9757,
      "step": 1248
    },
    {
      "epoch": 0.0020816666666666666,
      "grad_norm": 2.8579814434051514,
      "learning_rate": 4.0966666666666675e-06,
      "loss": 2.039,
      "step": 1249
    },
    {
      "epoch": 0.0020833333333333333,
      "grad_norm": 2.9174039363861084,
      "learning_rate": 4.1e-06,
      "loss": 2.2061,
      "step": 1250
    },
    {
      "epoch": 0.002085,
      "grad_norm": 2.652785539627075,
      "learning_rate": 4.1033333333333336e-06,
      "loss": 1.9434,
      "step": 1251
    },
    {
      "epoch": 0.002086666666666667,
      "grad_norm": 2.8083364963531494,
      "learning_rate": 4.1066666666666674e-06,
      "loss": 2.0118,
      "step": 1252
    },
    {
      "epoch": 0.0020883333333333335,
      "grad_norm": 2.810615301132202,
      "learning_rate": 4.1100000000000005e-06,
      "loss": 2.0315,
      "step": 1253
    },
    {
      "epoch": 0.00209,
      "grad_norm": 4.450257301330566,
      "learning_rate": 4.1133333333333335e-06,
      "loss": 1.9293,
      "step": 1254
    },
    {
      "epoch": 0.0020916666666666666,
      "grad_norm": 2.7632200717926025,
      "learning_rate": 4.116666666666667e-06,
      "loss": 2.1986,
      "step": 1255
    },
    {
      "epoch": 0.0020933333333333333,
      "grad_norm": 2.8786962032318115,
      "learning_rate": 4.12e-06,
      "loss": 2.1336,
      "step": 1256
    },
    {
      "epoch": 0.002095,
      "grad_norm": 2.7089552879333496,
      "learning_rate": 4.123333333333333e-06,
      "loss": 2.0825,
      "step": 1257
    },
    {
      "epoch": 0.002096666666666667,
      "grad_norm": 2.7670722007751465,
      "learning_rate": 4.126666666666667e-06,
      "loss": 1.9359,
      "step": 1258
    },
    {
      "epoch": 0.002098333333333333,
      "grad_norm": 2.7719874382019043,
      "learning_rate": 4.13e-06,
      "loss": 1.9166,
      "step": 1259
    },
    {
      "epoch": 0.0021,
      "grad_norm": 2.8548333644866943,
      "learning_rate": 4.133333333333333e-06,
      "loss": 2.0894,
      "step": 1260
    },
    {
      "epoch": 0.0021016666666666666,
      "grad_norm": 2.7329537868499756,
      "learning_rate": 4.136666666666667e-06,
      "loss": 2.057,
      "step": 1261
    },
    {
      "epoch": 0.0021033333333333334,
      "grad_norm": 3.1607353687286377,
      "learning_rate": 4.14e-06,
      "loss": 1.8636,
      "step": 1262
    },
    {
      "epoch": 0.002105,
      "grad_norm": 5.4026570320129395,
      "learning_rate": 4.143333333333334e-06,
      "loss": 2.0338,
      "step": 1263
    },
    {
      "epoch": 0.002106666666666667,
      "grad_norm": 2.7915329933166504,
      "learning_rate": 4.146666666666667e-06,
      "loss": 1.8208,
      "step": 1264
    },
    {
      "epoch": 0.002108333333333333,
      "grad_norm": 2.7630460262298584,
      "learning_rate": 4.15e-06,
      "loss": 2.033,
      "step": 1265
    },
    {
      "epoch": 0.00211,
      "grad_norm": 2.6660308837890625,
      "learning_rate": 4.153333333333334e-06,
      "loss": 1.9457,
      "step": 1266
    },
    {
      "epoch": 0.0021116666666666666,
      "grad_norm": 2.6780948638916016,
      "learning_rate": 4.156666666666667e-06,
      "loss": 1.9837,
      "step": 1267
    },
    {
      "epoch": 0.0021133333333333334,
      "grad_norm": 2.8016602993011475,
      "learning_rate": 4.16e-06,
      "loss": 1.8522,
      "step": 1268
    },
    {
      "epoch": 0.002115,
      "grad_norm": 2.7259883880615234,
      "learning_rate": 4.163333333333334e-06,
      "loss": 2.1802,
      "step": 1269
    },
    {
      "epoch": 0.002116666666666667,
      "grad_norm": 2.73294997215271,
      "learning_rate": 4.166666666666667e-06,
      "loss": 2.0832,
      "step": 1270
    },
    {
      "epoch": 0.002118333333333333,
      "grad_norm": 2.7158992290496826,
      "learning_rate": 4.17e-06,
      "loss": 2.0718,
      "step": 1271
    },
    {
      "epoch": 0.00212,
      "grad_norm": 2.7137022018432617,
      "learning_rate": 4.173333333333334e-06,
      "loss": 1.8759,
      "step": 1272
    },
    {
      "epoch": 0.0021216666666666667,
      "grad_norm": 2.807360887527466,
      "learning_rate": 4.176666666666668e-06,
      "loss": 1.8339,
      "step": 1273
    },
    {
      "epoch": 0.0021233333333333334,
      "grad_norm": 2.6788933277130127,
      "learning_rate": 4.18e-06,
      "loss": 1.9388,
      "step": 1274
    },
    {
      "epoch": 0.002125,
      "grad_norm": 2.7335422039031982,
      "learning_rate": 4.183333333333334e-06,
      "loss": 2.0179,
      "step": 1275
    },
    {
      "epoch": 0.0021266666666666665,
      "grad_norm": 2.758385181427002,
      "learning_rate": 4.1866666666666675e-06,
      "loss": 2.0128,
      "step": 1276
    },
    {
      "epoch": 0.002128333333333333,
      "grad_norm": 2.638244867324829,
      "learning_rate": 4.1900000000000005e-06,
      "loss": 1.9321,
      "step": 1277
    },
    {
      "epoch": 0.00213,
      "grad_norm": 2.692143440246582,
      "learning_rate": 4.1933333333333336e-06,
      "loss": 2.1339,
      "step": 1278
    },
    {
      "epoch": 0.0021316666666666667,
      "grad_norm": 2.6278114318847656,
      "learning_rate": 4.1966666666666674e-06,
      "loss": 1.9649,
      "step": 1279
    },
    {
      "epoch": 0.0021333333333333334,
      "grad_norm": 2.725433826446533,
      "learning_rate": 4.2000000000000004e-06,
      "loss": 2.0933,
      "step": 1280
    },
    {
      "epoch": 0.002135,
      "grad_norm": 2.785309314727783,
      "learning_rate": 4.2033333333333335e-06,
      "loss": 2.1063,
      "step": 1281
    },
    {
      "epoch": 0.0021366666666666665,
      "grad_norm": 2.807798385620117,
      "learning_rate": 4.206666666666667e-06,
      "loss": 1.977,
      "step": 1282
    },
    {
      "epoch": 0.0021383333333333332,
      "grad_norm": 2.675384283065796,
      "learning_rate": 4.21e-06,
      "loss": 1.9021,
      "step": 1283
    },
    {
      "epoch": 0.00214,
      "grad_norm": 2.742523193359375,
      "learning_rate": 4.213333333333333e-06,
      "loss": 1.841,
      "step": 1284
    },
    {
      "epoch": 0.0021416666666666667,
      "grad_norm": 2.738846778869629,
      "learning_rate": 4.216666666666667e-06,
      "loss": 1.9666,
      "step": 1285
    },
    {
      "epoch": 0.0021433333333333335,
      "grad_norm": 2.9303293228149414,
      "learning_rate": 4.22e-06,
      "loss": 1.766,
      "step": 1286
    },
    {
      "epoch": 0.002145,
      "grad_norm": 2.7705047130584717,
      "learning_rate": 4.223333333333334e-06,
      "loss": 1.8591,
      "step": 1287
    },
    {
      "epoch": 0.0021466666666666665,
      "grad_norm": 2.753591299057007,
      "learning_rate": 4.226666666666667e-06,
      "loss": 2.0182,
      "step": 1288
    },
    {
      "epoch": 0.0021483333333333333,
      "grad_norm": 3.1867527961730957,
      "learning_rate": 4.23e-06,
      "loss": 1.8479,
      "step": 1289
    },
    {
      "epoch": 0.00215,
      "grad_norm": 2.7049777507781982,
      "learning_rate": 4.233333333333334e-06,
      "loss": 1.928,
      "step": 1290
    },
    {
      "epoch": 0.0021516666666666667,
      "grad_norm": 2.834771156311035,
      "learning_rate": 4.236666666666667e-06,
      "loss": 1.9722,
      "step": 1291
    },
    {
      "epoch": 0.0021533333333333335,
      "grad_norm": 3.012347459793091,
      "learning_rate": 4.24e-06,
      "loss": 1.9502,
      "step": 1292
    },
    {
      "epoch": 0.002155,
      "grad_norm": 2.6742055416107178,
      "learning_rate": 4.243333333333334e-06,
      "loss": 1.9006,
      "step": 1293
    },
    {
      "epoch": 0.0021566666666666665,
      "grad_norm": 3.3533928394317627,
      "learning_rate": 4.246666666666667e-06,
      "loss": 2.0173,
      "step": 1294
    },
    {
      "epoch": 0.0021583333333333333,
      "grad_norm": 2.657277822494507,
      "learning_rate": 4.25e-06,
      "loss": 1.9719,
      "step": 1295
    },
    {
      "epoch": 0.00216,
      "grad_norm": 2.661724805831909,
      "learning_rate": 4.253333333333334e-06,
      "loss": 2.0618,
      "step": 1296
    },
    {
      "epoch": 0.0021616666666666668,
      "grad_norm": 2.6678459644317627,
      "learning_rate": 4.256666666666668e-06,
      "loss": 1.9905,
      "step": 1297
    },
    {
      "epoch": 0.0021633333333333335,
      "grad_norm": 2.8434619903564453,
      "learning_rate": 4.26e-06,
      "loss": 1.9754,
      "step": 1298
    },
    {
      "epoch": 0.002165,
      "grad_norm": 2.8310673236846924,
      "learning_rate": 4.263333333333334e-06,
      "loss": 2.0236,
      "step": 1299
    },
    {
      "epoch": 0.0021666666666666666,
      "grad_norm": 2.666205644607544,
      "learning_rate": 4.266666666666668e-06,
      "loss": 2.0323,
      "step": 1300
    },
    {
      "epoch": 0.0021683333333333333,
      "grad_norm": 2.7907555103302,
      "learning_rate": 4.270000000000001e-06,
      "loss": 1.8833,
      "step": 1301
    },
    {
      "epoch": 0.00217,
      "grad_norm": 2.931593179702759,
      "learning_rate": 4.273333333333334e-06,
      "loss": 2.0871,
      "step": 1302
    },
    {
      "epoch": 0.002171666666666667,
      "grad_norm": 2.8630175590515137,
      "learning_rate": 4.276666666666667e-06,
      "loss": 2.0498,
      "step": 1303
    },
    {
      "epoch": 0.0021733333333333335,
      "grad_norm": 2.6962785720825195,
      "learning_rate": 4.2800000000000005e-06,
      "loss": 2.0861,
      "step": 1304
    },
    {
      "epoch": 0.002175,
      "grad_norm": 2.5770857334136963,
      "learning_rate": 4.2833333333333335e-06,
      "loss": 2.0189,
      "step": 1305
    },
    {
      "epoch": 0.0021766666666666666,
      "grad_norm": 3.1905100345611572,
      "learning_rate": 4.2866666666666666e-06,
      "loss": 1.978,
      "step": 1306
    },
    {
      "epoch": 0.0021783333333333333,
      "grad_norm": 2.7294867038726807,
      "learning_rate": 4.2900000000000004e-06,
      "loss": 1.9773,
      "step": 1307
    },
    {
      "epoch": 0.00218,
      "grad_norm": 2.808800458908081,
      "learning_rate": 4.2933333333333334e-06,
      "loss": 1.8587,
      "step": 1308
    },
    {
      "epoch": 0.002181666666666667,
      "grad_norm": 2.77519154548645,
      "learning_rate": 4.2966666666666665e-06,
      "loss": 1.8399,
      "step": 1309
    },
    {
      "epoch": 0.002183333333333333,
      "grad_norm": 2.570042371749878,
      "learning_rate": 4.3e-06,
      "loss": 1.8647,
      "step": 1310
    },
    {
      "epoch": 0.002185,
      "grad_norm": 3.0123724937438965,
      "learning_rate": 4.303333333333334e-06,
      "loss": 2.0109,
      "step": 1311
    },
    {
      "epoch": 0.0021866666666666666,
      "grad_norm": 3.0704121589660645,
      "learning_rate": 4.306666666666666e-06,
      "loss": 1.8171,
      "step": 1312
    },
    {
      "epoch": 0.0021883333333333334,
      "grad_norm": 2.7851500511169434,
      "learning_rate": 4.31e-06,
      "loss": 1.9461,
      "step": 1313
    },
    {
      "epoch": 0.00219,
      "grad_norm": 2.741086483001709,
      "learning_rate": 4.313333333333334e-06,
      "loss": 2.0162,
      "step": 1314
    },
    {
      "epoch": 0.002191666666666667,
      "grad_norm": 4.105684280395508,
      "learning_rate": 4.316666666666667e-06,
      "loss": 1.8035,
      "step": 1315
    },
    {
      "epoch": 0.002193333333333333,
      "grad_norm": 2.8449506759643555,
      "learning_rate": 4.32e-06,
      "loss": 2.0359,
      "step": 1316
    },
    {
      "epoch": 0.002195,
      "grad_norm": 2.7071845531463623,
      "learning_rate": 4.323333333333334e-06,
      "loss": 2.004,
      "step": 1317
    },
    {
      "epoch": 0.0021966666666666666,
      "grad_norm": 2.6095476150512695,
      "learning_rate": 4.326666666666667e-06,
      "loss": 1.945,
      "step": 1318
    },
    {
      "epoch": 0.0021983333333333334,
      "grad_norm": 2.6519570350646973,
      "learning_rate": 4.33e-06,
      "loss": 1.8723,
      "step": 1319
    },
    {
      "epoch": 0.0022,
      "grad_norm": 2.764451742172241,
      "learning_rate": 4.333333333333334e-06,
      "loss": 1.9148,
      "step": 1320
    },
    {
      "epoch": 0.002201666666666667,
      "grad_norm": 3.2448787689208984,
      "learning_rate": 4.336666666666667e-06,
      "loss": 2.0971,
      "step": 1321
    },
    {
      "epoch": 0.002203333333333333,
      "grad_norm": 2.7423574924468994,
      "learning_rate": 4.34e-06,
      "loss": 1.8099,
      "step": 1322
    },
    {
      "epoch": 0.002205,
      "grad_norm": 2.811424732208252,
      "learning_rate": 4.343333333333334e-06,
      "loss": 1.9151,
      "step": 1323
    },
    {
      "epoch": 0.0022066666666666667,
      "grad_norm": 2.880251407623291,
      "learning_rate": 4.346666666666667e-06,
      "loss": 1.7971,
      "step": 1324
    },
    {
      "epoch": 0.0022083333333333334,
      "grad_norm": 2.655397891998291,
      "learning_rate": 4.350000000000001e-06,
      "loss": 1.9846,
      "step": 1325
    },
    {
      "epoch": 0.00221,
      "grad_norm": 2.8073229789733887,
      "learning_rate": 4.353333333333334e-06,
      "loss": 1.9087,
      "step": 1326
    },
    {
      "epoch": 0.0022116666666666665,
      "grad_norm": 3.16011381149292,
      "learning_rate": 4.356666666666667e-06,
      "loss": 1.9511,
      "step": 1327
    },
    {
      "epoch": 0.002213333333333333,
      "grad_norm": 2.9031543731689453,
      "learning_rate": 4.360000000000001e-06,
      "loss": 1.9887,
      "step": 1328
    },
    {
      "epoch": 0.002215,
      "grad_norm": 2.7916901111602783,
      "learning_rate": 4.363333333333334e-06,
      "loss": 1.9753,
      "step": 1329
    },
    {
      "epoch": 0.0022166666666666667,
      "grad_norm": 2.9058303833007812,
      "learning_rate": 4.366666666666667e-06,
      "loss": 1.958,
      "step": 1330
    },
    {
      "epoch": 0.0022183333333333334,
      "grad_norm": 2.809252977371216,
      "learning_rate": 4.3700000000000005e-06,
      "loss": 1.9571,
      "step": 1331
    },
    {
      "epoch": 0.00222,
      "grad_norm": 2.75571870803833,
      "learning_rate": 4.3733333333333335e-06,
      "loss": 2.089,
      "step": 1332
    },
    {
      "epoch": 0.0022216666666666665,
      "grad_norm": 3.693495750427246,
      "learning_rate": 4.3766666666666665e-06,
      "loss": 2.0283,
      "step": 1333
    },
    {
      "epoch": 0.0022233333333333332,
      "grad_norm": 2.738710403442383,
      "learning_rate": 4.38e-06,
      "loss": 1.9807,
      "step": 1334
    },
    {
      "epoch": 0.002225,
      "grad_norm": 2.7726244926452637,
      "learning_rate": 4.383333333333334e-06,
      "loss": 2.0326,
      "step": 1335
    },
    {
      "epoch": 0.0022266666666666667,
      "grad_norm": 2.8473777770996094,
      "learning_rate": 4.3866666666666665e-06,
      "loss": 2.0419,
      "step": 1336
    },
    {
      "epoch": 0.0022283333333333335,
      "grad_norm": 2.6534695625305176,
      "learning_rate": 4.39e-06,
      "loss": 1.8363,
      "step": 1337
    },
    {
      "epoch": 0.00223,
      "grad_norm": 2.7540295124053955,
      "learning_rate": 4.393333333333334e-06,
      "loss": 2.0976,
      "step": 1338
    },
    {
      "epoch": 0.0022316666666666665,
      "grad_norm": 2.5992724895477295,
      "learning_rate": 4.396666666666667e-06,
      "loss": 1.8903,
      "step": 1339
    },
    {
      "epoch": 0.0022333333333333333,
      "grad_norm": 2.7302398681640625,
      "learning_rate": 4.4e-06,
      "loss": 1.9418,
      "step": 1340
    },
    {
      "epoch": 0.002235,
      "grad_norm": 2.846484661102295,
      "learning_rate": 4.403333333333334e-06,
      "loss": 1.8906,
      "step": 1341
    },
    {
      "epoch": 0.0022366666666666668,
      "grad_norm": 3.101412296295166,
      "learning_rate": 4.406666666666667e-06,
      "loss": 1.9453,
      "step": 1342
    },
    {
      "epoch": 0.0022383333333333335,
      "grad_norm": 5.567641258239746,
      "learning_rate": 4.41e-06,
      "loss": 1.7736,
      "step": 1343
    },
    {
      "epoch": 0.00224,
      "grad_norm": 2.9745032787323,
      "learning_rate": 4.413333333333334e-06,
      "loss": 1.8651,
      "step": 1344
    },
    {
      "epoch": 0.0022416666666666665,
      "grad_norm": 2.852118492126465,
      "learning_rate": 4.416666666666667e-06,
      "loss": 2.1212,
      "step": 1345
    },
    {
      "epoch": 0.0022433333333333333,
      "grad_norm": 2.7266757488250732,
      "learning_rate": 4.42e-06,
      "loss": 2.1051,
      "step": 1346
    },
    {
      "epoch": 0.002245,
      "grad_norm": 2.8463656902313232,
      "learning_rate": 4.423333333333334e-06,
      "loss": 2.0577,
      "step": 1347
    },
    {
      "epoch": 0.0022466666666666668,
      "grad_norm": 2.9763426780700684,
      "learning_rate": 4.426666666666667e-06,
      "loss": 1.9811,
      "step": 1348
    },
    {
      "epoch": 0.0022483333333333335,
      "grad_norm": 2.7231874465942383,
      "learning_rate": 4.430000000000001e-06,
      "loss": 2.0541,
      "step": 1349
    },
    {
      "epoch": 0.00225,
      "grad_norm": 2.706967830657959,
      "learning_rate": 4.433333333333334e-06,
      "loss": 1.9411,
      "step": 1350
    },
    {
      "epoch": 0.0022516666666666666,
      "grad_norm": 2.7161312103271484,
      "learning_rate": 4.436666666666667e-06,
      "loss": 2.0964,
      "step": 1351
    },
    {
      "epoch": 0.0022533333333333333,
      "grad_norm": 2.5571672916412354,
      "learning_rate": 4.440000000000001e-06,
      "loss": 2.0488,
      "step": 1352
    },
    {
      "epoch": 0.002255,
      "grad_norm": 2.8438775539398193,
      "learning_rate": 4.443333333333334e-06,
      "loss": 2.0197,
      "step": 1353
    },
    {
      "epoch": 0.002256666666666667,
      "grad_norm": 3.129127025604248,
      "learning_rate": 4.446666666666667e-06,
      "loss": 2.0295,
      "step": 1354
    },
    {
      "epoch": 0.0022583333333333335,
      "grad_norm": 2.414397954940796,
      "learning_rate": 4.450000000000001e-06,
      "loss": 1.7239,
      "step": 1355
    },
    {
      "epoch": 0.00226,
      "grad_norm": 2.780752658843994,
      "learning_rate": 4.453333333333334e-06,
      "loss": 1.8523,
      "step": 1356
    },
    {
      "epoch": 0.0022616666666666666,
      "grad_norm": 2.623138427734375,
      "learning_rate": 4.456666666666667e-06,
      "loss": 1.9641,
      "step": 1357
    },
    {
      "epoch": 0.0022633333333333333,
      "grad_norm": 2.6000046730041504,
      "learning_rate": 4.4600000000000005e-06,
      "loss": 1.9035,
      "step": 1358
    },
    {
      "epoch": 0.002265,
      "grad_norm": 2.8134090900421143,
      "learning_rate": 4.463333333333334e-06,
      "loss": 1.9848,
      "step": 1359
    },
    {
      "epoch": 0.002266666666666667,
      "grad_norm": 2.6238670349121094,
      "learning_rate": 4.4666666666666665e-06,
      "loss": 1.8645,
      "step": 1360
    },
    {
      "epoch": 0.002268333333333333,
      "grad_norm": 2.5550899505615234,
      "learning_rate": 4.47e-06,
      "loss": 1.8787,
      "step": 1361
    },
    {
      "epoch": 0.00227,
      "grad_norm": 2.642803192138672,
      "learning_rate": 4.473333333333334e-06,
      "loss": 2.0786,
      "step": 1362
    },
    {
      "epoch": 0.0022716666666666666,
      "grad_norm": 2.980293035507202,
      "learning_rate": 4.476666666666667e-06,
      "loss": 2.0439,
      "step": 1363
    },
    {
      "epoch": 0.0022733333333333334,
      "grad_norm": 2.53783917427063,
      "learning_rate": 4.48e-06,
      "loss": 1.9548,
      "step": 1364
    },
    {
      "epoch": 0.002275,
      "grad_norm": 3.5390219688415527,
      "learning_rate": 4.483333333333333e-06,
      "loss": 2.0118,
      "step": 1365
    },
    {
      "epoch": 0.002276666666666667,
      "grad_norm": 2.730380058288574,
      "learning_rate": 4.486666666666667e-06,
      "loss": 1.8552,
      "step": 1366
    },
    {
      "epoch": 0.002278333333333333,
      "grad_norm": 2.804596185684204,
      "learning_rate": 4.49e-06,
      "loss": 1.9806,
      "step": 1367
    },
    {
      "epoch": 0.00228,
      "grad_norm": 2.7890217304229736,
      "learning_rate": 4.493333333333333e-06,
      "loss": 2.0215,
      "step": 1368
    },
    {
      "epoch": 0.0022816666666666667,
      "grad_norm": 2.7904162406921387,
      "learning_rate": 4.496666666666667e-06,
      "loss": 2.0704,
      "step": 1369
    },
    {
      "epoch": 0.0022833333333333334,
      "grad_norm": 2.7605743408203125,
      "learning_rate": 4.5e-06,
      "loss": 1.9326,
      "step": 1370
    },
    {
      "epoch": 0.002285,
      "grad_norm": 13.003105163574219,
      "learning_rate": 4.503333333333333e-06,
      "loss": 1.9991,
      "step": 1371
    },
    {
      "epoch": 0.002286666666666667,
      "grad_norm": 2.7098846435546875,
      "learning_rate": 4.506666666666667e-06,
      "loss": 1.976,
      "step": 1372
    },
    {
      "epoch": 0.002288333333333333,
      "grad_norm": 2.625391960144043,
      "learning_rate": 4.510000000000001e-06,
      "loss": 1.9587,
      "step": 1373
    },
    {
      "epoch": 0.00229,
      "grad_norm": 2.6279759407043457,
      "learning_rate": 4.513333333333333e-06,
      "loss": 1.9607,
      "step": 1374
    },
    {
      "epoch": 0.0022916666666666667,
      "grad_norm": 2.8362057209014893,
      "learning_rate": 4.516666666666667e-06,
      "loss": 1.9248,
      "step": 1375
    },
    {
      "epoch": 0.0022933333333333334,
      "grad_norm": 2.5985660552978516,
      "learning_rate": 4.520000000000001e-06,
      "loss": 1.8631,
      "step": 1376
    },
    {
      "epoch": 0.002295,
      "grad_norm": 3.0199575424194336,
      "learning_rate": 4.523333333333334e-06,
      "loss": 2.0109,
      "step": 1377
    },
    {
      "epoch": 0.0022966666666666665,
      "grad_norm": 2.724977970123291,
      "learning_rate": 4.526666666666667e-06,
      "loss": 1.8707,
      "step": 1378
    },
    {
      "epoch": 0.0022983333333333332,
      "grad_norm": 2.878757953643799,
      "learning_rate": 4.530000000000001e-06,
      "loss": 1.9691,
      "step": 1379
    },
    {
      "epoch": 0.0023,
      "grad_norm": 2.997760772705078,
      "learning_rate": 4.533333333333334e-06,
      "loss": 2.0004,
      "step": 1380
    },
    {
      "epoch": 0.0023016666666666667,
      "grad_norm": 2.6083860397338867,
      "learning_rate": 4.536666666666667e-06,
      "loss": 1.9774,
      "step": 1381
    },
    {
      "epoch": 0.0023033333333333334,
      "grad_norm": 2.8983123302459717,
      "learning_rate": 4.540000000000001e-06,
      "loss": 2.0562,
      "step": 1382
    },
    {
      "epoch": 0.002305,
      "grad_norm": 2.828526020050049,
      "learning_rate": 4.543333333333334e-06,
      "loss": 1.9866,
      "step": 1383
    },
    {
      "epoch": 0.0023066666666666665,
      "grad_norm": 2.6407036781311035,
      "learning_rate": 4.546666666666667e-06,
      "loss": 2.0824,
      "step": 1384
    },
    {
      "epoch": 0.0023083333333333332,
      "grad_norm": 2.686027765274048,
      "learning_rate": 4.5500000000000005e-06,
      "loss": 1.8597,
      "step": 1385
    },
    {
      "epoch": 0.00231,
      "grad_norm": 2.513115406036377,
      "learning_rate": 4.5533333333333335e-06,
      "loss": 2.0033,
      "step": 1386
    },
    {
      "epoch": 0.0023116666666666667,
      "grad_norm": 2.8978986740112305,
      "learning_rate": 4.556666666666667e-06,
      "loss": 2.0969,
      "step": 1387
    },
    {
      "epoch": 0.0023133333333333335,
      "grad_norm": 3.3938357830047607,
      "learning_rate": 4.56e-06,
      "loss": 1.9791,
      "step": 1388
    },
    {
      "epoch": 0.002315,
      "grad_norm": 2.708244562149048,
      "learning_rate": 4.563333333333333e-06,
      "loss": 2.1294,
      "step": 1389
    },
    {
      "epoch": 0.0023166666666666665,
      "grad_norm": 2.6818225383758545,
      "learning_rate": 4.566666666666667e-06,
      "loss": 2.2812,
      "step": 1390
    },
    {
      "epoch": 0.0023183333333333333,
      "grad_norm": 2.968759536743164,
      "learning_rate": 4.57e-06,
      "loss": 1.8508,
      "step": 1391
    },
    {
      "epoch": 0.00232,
      "grad_norm": 2.762847900390625,
      "learning_rate": 4.573333333333333e-06,
      "loss": 2.1223,
      "step": 1392
    },
    {
      "epoch": 0.0023216666666666668,
      "grad_norm": 2.6407358646392822,
      "learning_rate": 4.576666666666667e-06,
      "loss": 2.0413,
      "step": 1393
    },
    {
      "epoch": 0.0023233333333333335,
      "grad_norm": 2.800642490386963,
      "learning_rate": 4.58e-06,
      "loss": 1.9072,
      "step": 1394
    },
    {
      "epoch": 0.002325,
      "grad_norm": 2.633399724960327,
      "learning_rate": 4.583333333333333e-06,
      "loss": 1.9003,
      "step": 1395
    },
    {
      "epoch": 0.0023266666666666666,
      "grad_norm": 2.7544186115264893,
      "learning_rate": 4.586666666666667e-06,
      "loss": 2.0369,
      "step": 1396
    },
    {
      "epoch": 0.0023283333333333333,
      "grad_norm": 2.607907295227051,
      "learning_rate": 4.590000000000001e-06,
      "loss": 2.0016,
      "step": 1397
    },
    {
      "epoch": 0.00233,
      "grad_norm": 2.8067405223846436,
      "learning_rate": 4.593333333333333e-06,
      "loss": 1.9301,
      "step": 1398
    },
    {
      "epoch": 0.0023316666666666668,
      "grad_norm": 2.7865068912506104,
      "learning_rate": 4.596666666666667e-06,
      "loss": 2.0692,
      "step": 1399
    },
    {
      "epoch": 0.0023333333333333335,
      "grad_norm": 2.6580121517181396,
      "learning_rate": 4.600000000000001e-06,
      "loss": 1.9789,
      "step": 1400
    },
    {
      "epoch": 0.002335,
      "grad_norm": 2.758185625076294,
      "learning_rate": 4.603333333333334e-06,
      "loss": 1.9296,
      "step": 1401
    },
    {
      "epoch": 0.0023366666666666666,
      "grad_norm": 2.9003779888153076,
      "learning_rate": 4.606666666666667e-06,
      "loss": 1.9762,
      "step": 1402
    },
    {
      "epoch": 0.0023383333333333333,
      "grad_norm": 2.7580299377441406,
      "learning_rate": 4.610000000000001e-06,
      "loss": 1.9431,
      "step": 1403
    },
    {
      "epoch": 0.00234,
      "grad_norm": 2.591505527496338,
      "learning_rate": 4.613333333333334e-06,
      "loss": 1.9176,
      "step": 1404
    },
    {
      "epoch": 0.002341666666666667,
      "grad_norm": 2.744927406311035,
      "learning_rate": 4.616666666666667e-06,
      "loss": 1.9322,
      "step": 1405
    },
    {
      "epoch": 0.002343333333333333,
      "grad_norm": 2.6719071865081787,
      "learning_rate": 4.620000000000001e-06,
      "loss": 1.9965,
      "step": 1406
    },
    {
      "epoch": 0.002345,
      "grad_norm": 3.1262879371643066,
      "learning_rate": 4.623333333333334e-06,
      "loss": 2.0263,
      "step": 1407
    },
    {
      "epoch": 0.0023466666666666666,
      "grad_norm": 3.131927967071533,
      "learning_rate": 4.626666666666667e-06,
      "loss": 1.9568,
      "step": 1408
    },
    {
      "epoch": 0.0023483333333333333,
      "grad_norm": 2.8953840732574463,
      "learning_rate": 4.6300000000000006e-06,
      "loss": 2.0705,
      "step": 1409
    },
    {
      "epoch": 0.00235,
      "grad_norm": 3.087705612182617,
      "learning_rate": 4.633333333333334e-06,
      "loss": 1.9666,
      "step": 1410
    },
    {
      "epoch": 0.002351666666666667,
      "grad_norm": 2.750610828399658,
      "learning_rate": 4.6366666666666674e-06,
      "loss": 2.0068,
      "step": 1411
    },
    {
      "epoch": 0.002353333333333333,
      "grad_norm": 2.8331804275512695,
      "learning_rate": 4.6400000000000005e-06,
      "loss": 1.9566,
      "step": 1412
    },
    {
      "epoch": 0.002355,
      "grad_norm": 2.627734899520874,
      "learning_rate": 4.6433333333333335e-06,
      "loss": 2.0634,
      "step": 1413
    },
    {
      "epoch": 0.0023566666666666666,
      "grad_norm": 4.999906539916992,
      "learning_rate": 4.646666666666667e-06,
      "loss": 1.9079,
      "step": 1414
    },
    {
      "epoch": 0.0023583333333333334,
      "grad_norm": 3.0301308631896973,
      "learning_rate": 4.65e-06,
      "loss": 1.9155,
      "step": 1415
    },
    {
      "epoch": 0.00236,
      "grad_norm": 2.889045000076294,
      "learning_rate": 4.653333333333333e-06,
      "loss": 2.0106,
      "step": 1416
    },
    {
      "epoch": 0.002361666666666667,
      "grad_norm": 2.8422393798828125,
      "learning_rate": 4.656666666666667e-06,
      "loss": 1.8912,
      "step": 1417
    },
    {
      "epoch": 0.002363333333333333,
      "grad_norm": 2.729870319366455,
      "learning_rate": 4.66e-06,
      "loss": 1.9145,
      "step": 1418
    },
    {
      "epoch": 0.002365,
      "grad_norm": 2.6569833755493164,
      "learning_rate": 4.663333333333333e-06,
      "loss": 1.999,
      "step": 1419
    },
    {
      "epoch": 0.0023666666666666667,
      "grad_norm": 3.063232183456421,
      "learning_rate": 4.666666666666667e-06,
      "loss": 2.1149,
      "step": 1420
    },
    {
      "epoch": 0.0023683333333333334,
      "grad_norm": 2.929823875427246,
      "learning_rate": 4.670000000000001e-06,
      "loss": 2.107,
      "step": 1421
    },
    {
      "epoch": 0.00237,
      "grad_norm": 2.6170220375061035,
      "learning_rate": 4.673333333333333e-06,
      "loss": 1.8935,
      "step": 1422
    },
    {
      "epoch": 0.0023716666666666665,
      "grad_norm": 2.4460463523864746,
      "learning_rate": 4.676666666666667e-06,
      "loss": 1.8545,
      "step": 1423
    },
    {
      "epoch": 0.002373333333333333,
      "grad_norm": 3.051887035369873,
      "learning_rate": 4.680000000000001e-06,
      "loss": 1.8856,
      "step": 1424
    },
    {
      "epoch": 0.002375,
      "grad_norm": 2.840348243713379,
      "learning_rate": 4.683333333333334e-06,
      "loss": 1.8641,
      "step": 1425
    },
    {
      "epoch": 0.0023766666666666667,
      "grad_norm": 2.6926817893981934,
      "learning_rate": 4.686666666666667e-06,
      "loss": 1.8414,
      "step": 1426
    },
    {
      "epoch": 0.0023783333333333334,
      "grad_norm": 2.7686944007873535,
      "learning_rate": 4.69e-06,
      "loss": 2.005,
      "step": 1427
    },
    {
      "epoch": 0.00238,
      "grad_norm": 2.671936273574829,
      "learning_rate": 4.693333333333334e-06,
      "loss": 2.0369,
      "step": 1428
    },
    {
      "epoch": 0.0023816666666666665,
      "grad_norm": 2.6739516258239746,
      "learning_rate": 4.696666666666667e-06,
      "loss": 1.9198,
      "step": 1429
    },
    {
      "epoch": 0.0023833333333333332,
      "grad_norm": 3.0986108779907227,
      "learning_rate": 4.7e-06,
      "loss": 1.9735,
      "step": 1430
    },
    {
      "epoch": 0.002385,
      "grad_norm": 2.756962537765503,
      "learning_rate": 4.703333333333334e-06,
      "loss": 2.0844,
      "step": 1431
    },
    {
      "epoch": 0.0023866666666666667,
      "grad_norm": 2.800154447555542,
      "learning_rate": 4.706666666666667e-06,
      "loss": 1.8326,
      "step": 1432
    },
    {
      "epoch": 0.0023883333333333335,
      "grad_norm": 2.73964262008667,
      "learning_rate": 4.71e-06,
      "loss": 1.9686,
      "step": 1433
    },
    {
      "epoch": 0.00239,
      "grad_norm": 2.7161428928375244,
      "learning_rate": 4.713333333333334e-06,
      "loss": 2.1302,
      "step": 1434
    },
    {
      "epoch": 0.0023916666666666665,
      "grad_norm": 2.5296967029571533,
      "learning_rate": 4.7166666666666675e-06,
      "loss": 1.9095,
      "step": 1435
    },
    {
      "epoch": 0.0023933333333333333,
      "grad_norm": 2.7298336029052734,
      "learning_rate": 4.7200000000000005e-06,
      "loss": 1.9102,
      "step": 1436
    },
    {
      "epoch": 0.002395,
      "grad_norm": 2.6899893283843994,
      "learning_rate": 4.7233333333333336e-06,
      "loss": 1.9359,
      "step": 1437
    },
    {
      "epoch": 0.0023966666666666667,
      "grad_norm": 3.0163869857788086,
      "learning_rate": 4.7266666666666674e-06,
      "loss": 1.9396,
      "step": 1438
    },
    {
      "epoch": 0.0023983333333333335,
      "grad_norm": 2.8957412242889404,
      "learning_rate": 4.7300000000000005e-06,
      "loss": 1.8465,
      "step": 1439
    },
    {
      "epoch": 0.0024,
      "grad_norm": 2.7788445949554443,
      "learning_rate": 4.7333333333333335e-06,
      "loss": 1.9894,
      "step": 1440
    },
    {
      "epoch": 0.0024016666666666665,
      "grad_norm": 2.661902666091919,
      "learning_rate": 4.736666666666667e-06,
      "loss": 2.1013,
      "step": 1441
    },
    {
      "epoch": 0.0024033333333333333,
      "grad_norm": 2.606628179550171,
      "learning_rate": 4.74e-06,
      "loss": 1.9032,
      "step": 1442
    },
    {
      "epoch": 0.002405,
      "grad_norm": 2.6249167919158936,
      "learning_rate": 4.743333333333333e-06,
      "loss": 1.8546,
      "step": 1443
    },
    {
      "epoch": 0.0024066666666666668,
      "grad_norm": 2.8786678314208984,
      "learning_rate": 4.746666666666667e-06,
      "loss": 2.0862,
      "step": 1444
    },
    {
      "epoch": 0.0024083333333333335,
      "grad_norm": 3.1128599643707275,
      "learning_rate": 4.75e-06,
      "loss": 1.9896,
      "step": 1445
    },
    {
      "epoch": 0.00241,
      "grad_norm": 2.7791709899902344,
      "learning_rate": 4.753333333333333e-06,
      "loss": 1.8429,
      "step": 1446
    },
    {
      "epoch": 0.0024116666666666666,
      "grad_norm": 2.842130422592163,
      "learning_rate": 4.756666666666667e-06,
      "loss": 1.8824,
      "step": 1447
    },
    {
      "epoch": 0.0024133333333333333,
      "grad_norm": 2.8961708545684814,
      "learning_rate": 4.76e-06,
      "loss": 1.8755,
      "step": 1448
    },
    {
      "epoch": 0.002415,
      "grad_norm": 2.681220531463623,
      "learning_rate": 4.763333333333334e-06,
      "loss": 2.0369,
      "step": 1449
    },
    {
      "epoch": 0.002416666666666667,
      "grad_norm": 2.720029830932617,
      "learning_rate": 4.766666666666667e-06,
      "loss": 1.9136,
      "step": 1450
    },
    {
      "epoch": 0.0024183333333333335,
      "grad_norm": 2.681262493133545,
      "learning_rate": 4.77e-06,
      "loss": 1.8619,
      "step": 1451
    },
    {
      "epoch": 0.00242,
      "grad_norm": 2.970475673675537,
      "learning_rate": 4.773333333333334e-06,
      "loss": 1.9263,
      "step": 1452
    },
    {
      "epoch": 0.0024216666666666666,
      "grad_norm": 3.8811099529266357,
      "learning_rate": 4.776666666666667e-06,
      "loss": 1.7493,
      "step": 1453
    },
    {
      "epoch": 0.0024233333333333333,
      "grad_norm": 2.927678108215332,
      "learning_rate": 4.78e-06,
      "loss": 1.9072,
      "step": 1454
    },
    {
      "epoch": 0.002425,
      "grad_norm": 2.741818904876709,
      "learning_rate": 4.783333333333334e-06,
      "loss": 2.0802,
      "step": 1455
    },
    {
      "epoch": 0.002426666666666667,
      "grad_norm": 2.6513845920562744,
      "learning_rate": 4.786666666666667e-06,
      "loss": 1.8466,
      "step": 1456
    },
    {
      "epoch": 0.002428333333333333,
      "grad_norm": 3.4966518878936768,
      "learning_rate": 4.79e-06,
      "loss": 2.0624,
      "step": 1457
    },
    {
      "epoch": 0.00243,
      "grad_norm": 2.716996192932129,
      "learning_rate": 4.793333333333334e-06,
      "loss": 2.049,
      "step": 1458
    },
    {
      "epoch": 0.0024316666666666666,
      "grad_norm": 2.7379190921783447,
      "learning_rate": 4.796666666666668e-06,
      "loss": 2.0011,
      "step": 1459
    },
    {
      "epoch": 0.0024333333333333334,
      "grad_norm": 2.7387850284576416,
      "learning_rate": 4.800000000000001e-06,
      "loss": 1.8308,
      "step": 1460
    },
    {
      "epoch": 0.002435,
      "grad_norm": 2.5393478870391846,
      "learning_rate": 4.803333333333334e-06,
      "loss": 1.7292,
      "step": 1461
    },
    {
      "epoch": 0.002436666666666667,
      "grad_norm": 2.498936414718628,
      "learning_rate": 4.8066666666666675e-06,
      "loss": 1.925,
      "step": 1462
    },
    {
      "epoch": 0.002438333333333333,
      "grad_norm": 2.414720296859741,
      "learning_rate": 4.8100000000000005e-06,
      "loss": 1.9328,
      "step": 1463
    },
    {
      "epoch": 0.00244,
      "grad_norm": 2.6234707832336426,
      "learning_rate": 4.8133333333333336e-06,
      "loss": 1.9746,
      "step": 1464
    },
    {
      "epoch": 0.0024416666666666666,
      "grad_norm": 2.947143793106079,
      "learning_rate": 4.816666666666667e-06,
      "loss": 1.95,
      "step": 1465
    },
    {
      "epoch": 0.0024433333333333334,
      "grad_norm": 2.5911288261413574,
      "learning_rate": 4.8200000000000004e-06,
      "loss": 1.8088,
      "step": 1466
    },
    {
      "epoch": 0.002445,
      "grad_norm": 2.6352882385253906,
      "learning_rate": 4.8233333333333335e-06,
      "loss": 1.9931,
      "step": 1467
    },
    {
      "epoch": 0.002446666666666667,
      "grad_norm": 2.880263566970825,
      "learning_rate": 4.826666666666667e-06,
      "loss": 1.939,
      "step": 1468
    },
    {
      "epoch": 0.002448333333333333,
      "grad_norm": 2.897249937057495,
      "learning_rate": 4.83e-06,
      "loss": 1.8834,
      "step": 1469
    },
    {
      "epoch": 0.00245,
      "grad_norm": 2.935192823410034,
      "learning_rate": 4.833333333333333e-06,
      "loss": 1.9738,
      "step": 1470
    },
    {
      "epoch": 0.0024516666666666667,
      "grad_norm": 2.650961399078369,
      "learning_rate": 4.836666666666667e-06,
      "loss": 1.8397,
      "step": 1471
    },
    {
      "epoch": 0.0024533333333333334,
      "grad_norm": 4.132313251495361,
      "learning_rate": 4.84e-06,
      "loss": 1.9648,
      "step": 1472
    },
    {
      "epoch": 0.002455,
      "grad_norm": 2.586446762084961,
      "learning_rate": 4.843333333333334e-06,
      "loss": 2.0318,
      "step": 1473
    },
    {
      "epoch": 0.0024566666666666665,
      "grad_norm": 2.8540029525756836,
      "learning_rate": 4.846666666666667e-06,
      "loss": 1.8873,
      "step": 1474
    },
    {
      "epoch": 0.002458333333333333,
      "grad_norm": 2.674093246459961,
      "learning_rate": 4.85e-06,
      "loss": 1.966,
      "step": 1475
    },
    {
      "epoch": 0.00246,
      "grad_norm": 2.796215057373047,
      "learning_rate": 4.853333333333334e-06,
      "loss": 1.8085,
      "step": 1476
    },
    {
      "epoch": 0.0024616666666666667,
      "grad_norm": 2.6952097415924072,
      "learning_rate": 4.856666666666667e-06,
      "loss": 1.8513,
      "step": 1477
    },
    {
      "epoch": 0.0024633333333333334,
      "grad_norm": 2.71126651763916,
      "learning_rate": 4.86e-06,
      "loss": 1.7949,
      "step": 1478
    },
    {
      "epoch": 0.002465,
      "grad_norm": 2.6269304752349854,
      "learning_rate": 4.863333333333334e-06,
      "loss": 2.0158,
      "step": 1479
    },
    {
      "epoch": 0.0024666666666666665,
      "grad_norm": 2.903500556945801,
      "learning_rate": 4.866666666666667e-06,
      "loss": 1.9879,
      "step": 1480
    },
    {
      "epoch": 0.0024683333333333332,
      "grad_norm": 2.94636607170105,
      "learning_rate": 4.87e-06,
      "loss": 1.8757,
      "step": 1481
    },
    {
      "epoch": 0.00247,
      "grad_norm": 2.8165123462677,
      "learning_rate": 4.873333333333334e-06,
      "loss": 2.0193,
      "step": 1482
    },
    {
      "epoch": 0.0024716666666666667,
      "grad_norm": 2.707956552505493,
      "learning_rate": 4.876666666666668e-06,
      "loss": 1.8873,
      "step": 1483
    },
    {
      "epoch": 0.0024733333333333335,
      "grad_norm": 2.9406898021698,
      "learning_rate": 4.880000000000001e-06,
      "loss": 2.0418,
      "step": 1484
    },
    {
      "epoch": 0.002475,
      "grad_norm": 3.477111577987671,
      "learning_rate": 4.883333333333334e-06,
      "loss": 1.8706,
      "step": 1485
    },
    {
      "epoch": 0.0024766666666666665,
      "grad_norm": 3.3024494647979736,
      "learning_rate": 4.886666666666668e-06,
      "loss": 1.9174,
      "step": 1486
    },
    {
      "epoch": 0.0024783333333333333,
      "grad_norm": 2.813363552093506,
      "learning_rate": 4.890000000000001e-06,
      "loss": 1.978,
      "step": 1487
    },
    {
      "epoch": 0.00248,
      "grad_norm": 3.2554047107696533,
      "learning_rate": 4.893333333333334e-06,
      "loss": 1.9209,
      "step": 1488
    },
    {
      "epoch": 0.0024816666666666667,
      "grad_norm": 2.7444212436676025,
      "learning_rate": 4.896666666666667e-06,
      "loss": 1.9641,
      "step": 1489
    },
    {
      "epoch": 0.0024833333333333335,
      "grad_norm": 2.7298824787139893,
      "learning_rate": 4.9000000000000005e-06,
      "loss": 2.0379,
      "step": 1490
    },
    {
      "epoch": 0.002485,
      "grad_norm": 2.668596029281616,
      "learning_rate": 4.9033333333333335e-06,
      "loss": 1.9048,
      "step": 1491
    },
    {
      "epoch": 0.0024866666666666665,
      "grad_norm": 2.656435966491699,
      "learning_rate": 4.9066666666666666e-06,
      "loss": 2.0187,
      "step": 1492
    },
    {
      "epoch": 0.0024883333333333333,
      "grad_norm": 2.69852352142334,
      "learning_rate": 4.9100000000000004e-06,
      "loss": 2.0035,
      "step": 1493
    },
    {
      "epoch": 0.00249,
      "grad_norm": 2.745065450668335,
      "learning_rate": 4.9133333333333334e-06,
      "loss": 1.8263,
      "step": 1494
    },
    {
      "epoch": 0.0024916666666666668,
      "grad_norm": 2.8791799545288086,
      "learning_rate": 4.9166666666666665e-06,
      "loss": 2.0328,
      "step": 1495
    },
    {
      "epoch": 0.0024933333333333335,
      "grad_norm": 2.6357967853546143,
      "learning_rate": 4.92e-06,
      "loss": 1.9303,
      "step": 1496
    },
    {
      "epoch": 0.002495,
      "grad_norm": 2.6895251274108887,
      "learning_rate": 4.923333333333334e-06,
      "loss": 1.9703,
      "step": 1497
    },
    {
      "epoch": 0.0024966666666666666,
      "grad_norm": 2.65608286857605,
      "learning_rate": 4.926666666666667e-06,
      "loss": 1.9298,
      "step": 1498
    },
    {
      "epoch": 0.0024983333333333333,
      "grad_norm": 2.47116756439209,
      "learning_rate": 4.93e-06,
      "loss": 1.884,
      "step": 1499
    },
    {
      "epoch": 0.0025,
      "grad_norm": 2.654677152633667,
      "learning_rate": 4.933333333333334e-06,
      "loss": 1.9755,
      "step": 1500
    },
    {
      "epoch": 0.002501666666666667,
      "grad_norm": 2.75053334236145,
      "learning_rate": 4.936666666666667e-06,
      "loss": 1.7628,
      "step": 1501
    },
    {
      "epoch": 0.0025033333333333335,
      "grad_norm": 2.7263364791870117,
      "learning_rate": 4.94e-06,
      "loss": 1.9719,
      "step": 1502
    },
    {
      "epoch": 0.002505,
      "grad_norm": 2.6922478675842285,
      "learning_rate": 4.943333333333334e-06,
      "loss": 1.8901,
      "step": 1503
    },
    {
      "epoch": 0.0025066666666666666,
      "grad_norm": 2.6055281162261963,
      "learning_rate": 4.946666666666667e-06,
      "loss": 1.9469,
      "step": 1504
    },
    {
      "epoch": 0.0025083333333333333,
      "grad_norm": 8.916696548461914,
      "learning_rate": 4.95e-06,
      "loss": 2.0042,
      "step": 1505
    },
    {
      "epoch": 0.00251,
      "grad_norm": 2.889374017715454,
      "learning_rate": 4.953333333333334e-06,
      "loss": 1.9914,
      "step": 1506
    },
    {
      "epoch": 0.002511666666666667,
      "grad_norm": 2.5235745906829834,
      "learning_rate": 4.956666666666667e-06,
      "loss": 1.8893,
      "step": 1507
    },
    {
      "epoch": 0.002513333333333333,
      "grad_norm": 3.1566200256347656,
      "learning_rate": 4.960000000000001e-06,
      "loss": 1.9199,
      "step": 1508
    },
    {
      "epoch": 0.002515,
      "grad_norm": 2.7102057933807373,
      "learning_rate": 4.963333333333334e-06,
      "loss": 1.8713,
      "step": 1509
    },
    {
      "epoch": 0.0025166666666666666,
      "grad_norm": 2.6951050758361816,
      "learning_rate": 4.966666666666667e-06,
      "loss": 2.0312,
      "step": 1510
    },
    {
      "epoch": 0.0025183333333333334,
      "grad_norm": 2.642364263534546,
      "learning_rate": 4.970000000000001e-06,
      "loss": 2.0219,
      "step": 1511
    },
    {
      "epoch": 0.00252,
      "grad_norm": 2.6340091228485107,
      "learning_rate": 4.973333333333334e-06,
      "loss": 1.917,
      "step": 1512
    },
    {
      "epoch": 0.002521666666666667,
      "grad_norm": 2.979069709777832,
      "learning_rate": 4.976666666666667e-06,
      "loss": 2.0318,
      "step": 1513
    },
    {
      "epoch": 0.002523333333333333,
      "grad_norm": 2.6248531341552734,
      "learning_rate": 4.980000000000001e-06,
      "loss": 2.0312,
      "step": 1514
    },
    {
      "epoch": 0.002525,
      "grad_norm": 2.800910711288452,
      "learning_rate": 4.983333333333334e-06,
      "loss": 2.017,
      "step": 1515
    },
    {
      "epoch": 0.0025266666666666666,
      "grad_norm": 2.7575526237487793,
      "learning_rate": 4.986666666666667e-06,
      "loss": 2.0234,
      "step": 1516
    },
    {
      "epoch": 0.0025283333333333334,
      "grad_norm": 2.6241705417633057,
      "learning_rate": 4.9900000000000005e-06,
      "loss": 1.9515,
      "step": 1517
    },
    {
      "epoch": 0.00253,
      "grad_norm": 3.0074870586395264,
      "learning_rate": 4.9933333333333335e-06,
      "loss": 2.0203,
      "step": 1518
    },
    {
      "epoch": 0.002531666666666667,
      "grad_norm": 2.734010934829712,
      "learning_rate": 4.9966666666666665e-06,
      "loss": 2.0612,
      "step": 1519
    },
    {
      "epoch": 0.002533333333333333,
      "grad_norm": 2.5915517807006836,
      "learning_rate": 5e-06,
      "loss": 2.1594,
      "step": 1520
    },
    {
      "epoch": 0.002535,
      "grad_norm": 2.7493715286254883,
      "learning_rate": 5.0033333333333334e-06,
      "loss": 2.0213,
      "step": 1521
    },
    {
      "epoch": 0.0025366666666666667,
      "grad_norm": 2.913949489593506,
      "learning_rate": 5.006666666666667e-06,
      "loss": 2.011,
      "step": 1522
    },
    {
      "epoch": 0.0025383333333333334,
      "grad_norm": 2.586867332458496,
      "learning_rate": 5.01e-06,
      "loss": 2.0681,
      "step": 1523
    },
    {
      "epoch": 0.00254,
      "grad_norm": 2.525822877883911,
      "learning_rate": 5.013333333333333e-06,
      "loss": 1.8903,
      "step": 1524
    },
    {
      "epoch": 0.0025416666666666665,
      "grad_norm": 2.6820085048675537,
      "learning_rate": 5.016666666666667e-06,
      "loss": 1.8392,
      "step": 1525
    },
    {
      "epoch": 0.002543333333333333,
      "grad_norm": 3.0547122955322266,
      "learning_rate": 5.02e-06,
      "loss": 1.9712,
      "step": 1526
    },
    {
      "epoch": 0.002545,
      "grad_norm": 2.9113783836364746,
      "learning_rate": 5.023333333333333e-06,
      "loss": 1.9464,
      "step": 1527
    },
    {
      "epoch": 0.0025466666666666667,
      "grad_norm": 2.894235610961914,
      "learning_rate": 5.026666666666667e-06,
      "loss": 2.0154,
      "step": 1528
    },
    {
      "epoch": 0.0025483333333333334,
      "grad_norm": 2.601912498474121,
      "learning_rate": 5.03e-06,
      "loss": 1.9864,
      "step": 1529
    },
    {
      "epoch": 0.00255,
      "grad_norm": 3.00833797454834,
      "learning_rate": 5.033333333333333e-06,
      "loss": 1.857,
      "step": 1530
    },
    {
      "epoch": 0.0025516666666666665,
      "grad_norm": 2.773998737335205,
      "learning_rate": 5.036666666666668e-06,
      "loss": 1.963,
      "step": 1531
    },
    {
      "epoch": 0.0025533333333333332,
      "grad_norm": 2.6508193016052246,
      "learning_rate": 5.04e-06,
      "loss": 1.942,
      "step": 1532
    },
    {
      "epoch": 0.002555,
      "grad_norm": 2.7526278495788574,
      "learning_rate": 5.043333333333333e-06,
      "loss": 1.9066,
      "step": 1533
    },
    {
      "epoch": 0.0025566666666666667,
      "grad_norm": 2.7095353603363037,
      "learning_rate": 5.046666666666668e-06,
      "loss": 2.0103,
      "step": 1534
    },
    {
      "epoch": 0.0025583333333333335,
      "grad_norm": 2.881823778152466,
      "learning_rate": 5.050000000000001e-06,
      "loss": 1.8169,
      "step": 1535
    },
    {
      "epoch": 0.00256,
      "grad_norm": 2.7517127990722656,
      "learning_rate": 5.053333333333334e-06,
      "loss": 1.8943,
      "step": 1536
    },
    {
      "epoch": 0.0025616666666666665,
      "grad_norm": 3.745626449584961,
      "learning_rate": 5.056666666666668e-06,
      "loss": 2.1209,
      "step": 1537
    },
    {
      "epoch": 0.0025633333333333333,
      "grad_norm": 2.8106422424316406,
      "learning_rate": 5.060000000000001e-06,
      "loss": 1.8747,
      "step": 1538
    },
    {
      "epoch": 0.002565,
      "grad_norm": 3.217256546020508,
      "learning_rate": 5.063333333333334e-06,
      "loss": 1.952,
      "step": 1539
    },
    {
      "epoch": 0.0025666666666666667,
      "grad_norm": 2.8008365631103516,
      "learning_rate": 5.0666666666666676e-06,
      "loss": 1.9008,
      "step": 1540
    },
    {
      "epoch": 0.0025683333333333335,
      "grad_norm": 2.8232343196868896,
      "learning_rate": 5.070000000000001e-06,
      "loss": 1.8943,
      "step": 1541
    },
    {
      "epoch": 0.00257,
      "grad_norm": 2.7925865650177,
      "learning_rate": 5.073333333333334e-06,
      "loss": 2.0469,
      "step": 1542
    },
    {
      "epoch": 0.0025716666666666665,
      "grad_norm": 2.9493682384490967,
      "learning_rate": 5.0766666666666675e-06,
      "loss": 2.033,
      "step": 1543
    },
    {
      "epoch": 0.0025733333333333333,
      "grad_norm": 2.573319435119629,
      "learning_rate": 5.0800000000000005e-06,
      "loss": 1.9272,
      "step": 1544
    },
    {
      "epoch": 0.002575,
      "grad_norm": 2.5979881286621094,
      "learning_rate": 5.0833333333333335e-06,
      "loss": 1.9502,
      "step": 1545
    },
    {
      "epoch": 0.0025766666666666668,
      "grad_norm": 2.950296640396118,
      "learning_rate": 5.086666666666667e-06,
      "loss": 1.8517,
      "step": 1546
    },
    {
      "epoch": 0.0025783333333333335,
      "grad_norm": 3.8319694995880127,
      "learning_rate": 5.09e-06,
      "loss": 1.9497,
      "step": 1547
    },
    {
      "epoch": 0.00258,
      "grad_norm": 2.7587740421295166,
      "learning_rate": 5.093333333333333e-06,
      "loss": 1.9842,
      "step": 1548
    },
    {
      "epoch": 0.0025816666666666666,
      "grad_norm": 2.700200080871582,
      "learning_rate": 5.096666666666667e-06,
      "loss": 1.9781,
      "step": 1549
    },
    {
      "epoch": 0.0025833333333333333,
      "grad_norm": 2.8876500129699707,
      "learning_rate": 5.1e-06,
      "loss": 1.8476,
      "step": 1550
    },
    {
      "epoch": 0.002585,
      "grad_norm": 2.7246525287628174,
      "learning_rate": 5.103333333333333e-06,
      "loss": 1.9156,
      "step": 1551
    },
    {
      "epoch": 0.002586666666666667,
      "grad_norm": 2.876325845718384,
      "learning_rate": 5.106666666666667e-06,
      "loss": 1.8374,
      "step": 1552
    },
    {
      "epoch": 0.0025883333333333335,
      "grad_norm": 2.8690600395202637,
      "learning_rate": 5.11e-06,
      "loss": 1.9066,
      "step": 1553
    },
    {
      "epoch": 0.00259,
      "grad_norm": 3.0023417472839355,
      "learning_rate": 5.113333333333333e-06,
      "loss": 1.9355,
      "step": 1554
    },
    {
      "epoch": 0.0025916666666666666,
      "grad_norm": 2.589186191558838,
      "learning_rate": 5.116666666666668e-06,
      "loss": 1.9415,
      "step": 1555
    },
    {
      "epoch": 0.0025933333333333333,
      "grad_norm": 2.5850608348846436,
      "learning_rate": 5.12e-06,
      "loss": 1.8876,
      "step": 1556
    },
    {
      "epoch": 0.002595,
      "grad_norm": 2.768087148666382,
      "learning_rate": 5.123333333333333e-06,
      "loss": 2.0299,
      "step": 1557
    },
    {
      "epoch": 0.002596666666666667,
      "grad_norm": 2.7315673828125,
      "learning_rate": 5.126666666666668e-06,
      "loss": 1.8836,
      "step": 1558
    },
    {
      "epoch": 0.002598333333333333,
      "grad_norm": 2.83103346824646,
      "learning_rate": 5.130000000000001e-06,
      "loss": 2.0253,
      "step": 1559
    },
    {
      "epoch": 0.0026,
      "grad_norm": 2.7898924350738525,
      "learning_rate": 5.133333333333334e-06,
      "loss": 1.9051,
      "step": 1560
    },
    {
      "epoch": 0.0026016666666666666,
      "grad_norm": 2.6380159854888916,
      "learning_rate": 5.136666666666668e-06,
      "loss": 1.8654,
      "step": 1561
    },
    {
      "epoch": 0.0026033333333333334,
      "grad_norm": 2.5978095531463623,
      "learning_rate": 5.140000000000001e-06,
      "loss": 1.751,
      "step": 1562
    },
    {
      "epoch": 0.002605,
      "grad_norm": 2.918623685836792,
      "learning_rate": 5.143333333333334e-06,
      "loss": 1.8194,
      "step": 1563
    },
    {
      "epoch": 0.002606666666666667,
      "grad_norm": 2.6255719661712646,
      "learning_rate": 5.146666666666668e-06,
      "loss": 1.9569,
      "step": 1564
    },
    {
      "epoch": 0.002608333333333333,
      "grad_norm": 2.8467249870300293,
      "learning_rate": 5.150000000000001e-06,
      "loss": 2.0031,
      "step": 1565
    },
    {
      "epoch": 0.00261,
      "grad_norm": 3.246300220489502,
      "learning_rate": 5.153333333333334e-06,
      "loss": 1.9786,
      "step": 1566
    },
    {
      "epoch": 0.0026116666666666667,
      "grad_norm": 2.6652214527130127,
      "learning_rate": 5.1566666666666676e-06,
      "loss": 1.8423,
      "step": 1567
    },
    {
      "epoch": 0.0026133333333333334,
      "grad_norm": 2.876830577850342,
      "learning_rate": 5.1600000000000006e-06,
      "loss": 1.892,
      "step": 1568
    },
    {
      "epoch": 0.002615,
      "grad_norm": 2.6224865913391113,
      "learning_rate": 5.163333333333334e-06,
      "loss": 1.8314,
      "step": 1569
    },
    {
      "epoch": 0.002616666666666667,
      "grad_norm": 2.6508572101593018,
      "learning_rate": 5.1666666666666675e-06,
      "loss": 1.8285,
      "step": 1570
    },
    {
      "epoch": 0.002618333333333333,
      "grad_norm": 2.9220938682556152,
      "learning_rate": 5.1700000000000005e-06,
      "loss": 1.7565,
      "step": 1571
    },
    {
      "epoch": 0.00262,
      "grad_norm": 2.6391844749450684,
      "learning_rate": 5.1733333333333335e-06,
      "loss": 1.84,
      "step": 1572
    },
    {
      "epoch": 0.0026216666666666667,
      "grad_norm": 2.6992368698120117,
      "learning_rate": 5.176666666666667e-06,
      "loss": 1.6097,
      "step": 1573
    },
    {
      "epoch": 0.0026233333333333334,
      "grad_norm": 2.6378443241119385,
      "learning_rate": 5.18e-06,
      "loss": 1.9847,
      "step": 1574
    },
    {
      "epoch": 0.002625,
      "grad_norm": 2.4845290184020996,
      "learning_rate": 5.183333333333333e-06,
      "loss": 1.8821,
      "step": 1575
    },
    {
      "epoch": 0.0026266666666666665,
      "grad_norm": 2.5692179203033447,
      "learning_rate": 5.186666666666667e-06,
      "loss": 1.8214,
      "step": 1576
    },
    {
      "epoch": 0.002628333333333333,
      "grad_norm": 2.5991318225860596,
      "learning_rate": 5.19e-06,
      "loss": 1.9167,
      "step": 1577
    },
    {
      "epoch": 0.00263,
      "grad_norm": 2.8236947059631348,
      "learning_rate": 5.193333333333333e-06,
      "loss": 1.9185,
      "step": 1578
    },
    {
      "epoch": 0.0026316666666666667,
      "grad_norm": 3.5650384426116943,
      "learning_rate": 5.196666666666668e-06,
      "loss": 1.8174,
      "step": 1579
    },
    {
      "epoch": 0.0026333333333333334,
      "grad_norm": 2.5639030933380127,
      "learning_rate": 5.2e-06,
      "loss": 1.8191,
      "step": 1580
    },
    {
      "epoch": 0.002635,
      "grad_norm": 3.0775723457336426,
      "learning_rate": 5.203333333333333e-06,
      "loss": 1.9824,
      "step": 1581
    },
    {
      "epoch": 0.0026366666666666665,
      "grad_norm": 2.607231378555298,
      "learning_rate": 5.206666666666668e-06,
      "loss": 2.054,
      "step": 1582
    },
    {
      "epoch": 0.0026383333333333332,
      "grad_norm": 2.7935304641723633,
      "learning_rate": 5.210000000000001e-06,
      "loss": 1.8336,
      "step": 1583
    },
    {
      "epoch": 0.00264,
      "grad_norm": 2.7460806369781494,
      "learning_rate": 5.213333333333334e-06,
      "loss": 1.9632,
      "step": 1584
    },
    {
      "epoch": 0.0026416666666666667,
      "grad_norm": 2.8697667121887207,
      "learning_rate": 5.216666666666666e-06,
      "loss": 1.9734,
      "step": 1585
    },
    {
      "epoch": 0.0026433333333333335,
      "grad_norm": 2.931922435760498,
      "learning_rate": 5.220000000000001e-06,
      "loss": 2.035,
      "step": 1586
    },
    {
      "epoch": 0.002645,
      "grad_norm": 2.6510233879089355,
      "learning_rate": 5.223333333333334e-06,
      "loss": 1.9593,
      "step": 1587
    },
    {
      "epoch": 0.0026466666666666665,
      "grad_norm": 2.6590144634246826,
      "learning_rate": 5.226666666666667e-06,
      "loss": 1.7381,
      "step": 1588
    },
    {
      "epoch": 0.0026483333333333333,
      "grad_norm": 2.6475279331207275,
      "learning_rate": 5.230000000000001e-06,
      "loss": 1.9308,
      "step": 1589
    },
    {
      "epoch": 0.00265,
      "grad_norm": 2.9884417057037354,
      "learning_rate": 5.233333333333334e-06,
      "loss": 1.9054,
      "step": 1590
    },
    {
      "epoch": 0.0026516666666666668,
      "grad_norm": 2.5909340381622314,
      "learning_rate": 5.236666666666667e-06,
      "loss": 2.0787,
      "step": 1591
    },
    {
      "epoch": 0.0026533333333333335,
      "grad_norm": 3.1137571334838867,
      "learning_rate": 5.240000000000001e-06,
      "loss": 1.9168,
      "step": 1592
    },
    {
      "epoch": 0.002655,
      "grad_norm": 2.65507173538208,
      "learning_rate": 5.243333333333334e-06,
      "loss": 1.9654,
      "step": 1593
    },
    {
      "epoch": 0.0026566666666666666,
      "grad_norm": 2.784935474395752,
      "learning_rate": 5.246666666666667e-06,
      "loss": 1.9638,
      "step": 1594
    },
    {
      "epoch": 0.0026583333333333333,
      "grad_norm": 2.8503925800323486,
      "learning_rate": 5.2500000000000006e-06,
      "loss": 1.991,
      "step": 1595
    },
    {
      "epoch": 0.00266,
      "grad_norm": 2.6687982082366943,
      "learning_rate": 5.2533333333333336e-06,
      "loss": 1.996,
      "step": 1596
    },
    {
      "epoch": 0.0026616666666666668,
      "grad_norm": 2.791121006011963,
      "learning_rate": 5.256666666666667e-06,
      "loss": 1.9754,
      "step": 1597
    },
    {
      "epoch": 0.0026633333333333335,
      "grad_norm": 2.767336368560791,
      "learning_rate": 5.2600000000000005e-06,
      "loss": 1.937,
      "step": 1598
    },
    {
      "epoch": 0.002665,
      "grad_norm": 2.650362730026245,
      "learning_rate": 5.2633333333333335e-06,
      "loss": 1.9106,
      "step": 1599
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 2.7866334915161133,
      "learning_rate": 5.2666666666666665e-06,
      "loss": 1.8716,
      "step": 1600
    },
    {
      "epoch": 0.0026683333333333333,
      "grad_norm": 2.736973285675049,
      "learning_rate": 5.27e-06,
      "loss": 2.0028,
      "step": 1601
    },
    {
      "epoch": 0.00267,
      "grad_norm": 2.735342025756836,
      "learning_rate": 5.273333333333333e-06,
      "loss": 2.0183,
      "step": 1602
    },
    {
      "epoch": 0.002671666666666667,
      "grad_norm": 2.5726640224456787,
      "learning_rate": 5.276666666666666e-06,
      "loss": 1.9021,
      "step": 1603
    },
    {
      "epoch": 0.002673333333333333,
      "grad_norm": 3.142462730407715,
      "learning_rate": 5.28e-06,
      "loss": 2.0266,
      "step": 1604
    },
    {
      "epoch": 0.002675,
      "grad_norm": 2.597730875015259,
      "learning_rate": 5.283333333333333e-06,
      "loss": 1.9552,
      "step": 1605
    },
    {
      "epoch": 0.0026766666666666666,
      "grad_norm": 2.8014822006225586,
      "learning_rate": 5.286666666666666e-06,
      "loss": 2.0326,
      "step": 1606
    },
    {
      "epoch": 0.0026783333333333333,
      "grad_norm": 2.8105247020721436,
      "learning_rate": 5.290000000000001e-06,
      "loss": 1.9383,
      "step": 1607
    },
    {
      "epoch": 0.00268,
      "grad_norm": 2.629920244216919,
      "learning_rate": 5.293333333333334e-06,
      "loss": 2.0013,
      "step": 1608
    },
    {
      "epoch": 0.002681666666666667,
      "grad_norm": 3.0039517879486084,
      "learning_rate": 5.296666666666666e-06,
      "loss": 2.0839,
      "step": 1609
    },
    {
      "epoch": 0.002683333333333333,
      "grad_norm": 2.6645431518554688,
      "learning_rate": 5.300000000000001e-06,
      "loss": 1.9034,
      "step": 1610
    },
    {
      "epoch": 0.002685,
      "grad_norm": 2.881425142288208,
      "learning_rate": 5.303333333333334e-06,
      "loss": 1.8781,
      "step": 1611
    },
    {
      "epoch": 0.0026866666666666666,
      "grad_norm": 2.753124952316284,
      "learning_rate": 5.306666666666667e-06,
      "loss": 1.9842,
      "step": 1612
    },
    {
      "epoch": 0.0026883333333333334,
      "grad_norm": 2.5504214763641357,
      "learning_rate": 5.310000000000001e-06,
      "loss": 2.0261,
      "step": 1613
    },
    {
      "epoch": 0.00269,
      "grad_norm": 2.758699417114258,
      "learning_rate": 5.313333333333334e-06,
      "loss": 2.0119,
      "step": 1614
    },
    {
      "epoch": 0.002691666666666667,
      "grad_norm": 3.035665988922119,
      "learning_rate": 5.316666666666667e-06,
      "loss": 2.0258,
      "step": 1615
    },
    {
      "epoch": 0.002693333333333333,
      "grad_norm": 2.743590831756592,
      "learning_rate": 5.320000000000001e-06,
      "loss": 2.0366,
      "step": 1616
    },
    {
      "epoch": 0.002695,
      "grad_norm": 2.7312192916870117,
      "learning_rate": 5.323333333333334e-06,
      "loss": 1.9347,
      "step": 1617
    },
    {
      "epoch": 0.0026966666666666667,
      "grad_norm": 2.561598062515259,
      "learning_rate": 5.326666666666667e-06,
      "loss": 1.9029,
      "step": 1618
    },
    {
      "epoch": 0.0026983333333333334,
      "grad_norm": 2.770042896270752,
      "learning_rate": 5.330000000000001e-06,
      "loss": 1.825,
      "step": 1619
    },
    {
      "epoch": 0.0027,
      "grad_norm": 2.6547787189483643,
      "learning_rate": 5.333333333333334e-06,
      "loss": 2.021,
      "step": 1620
    },
    {
      "epoch": 0.0027016666666666665,
      "grad_norm": 2.7331626415252686,
      "learning_rate": 5.336666666666667e-06,
      "loss": 1.9219,
      "step": 1621
    },
    {
      "epoch": 0.002703333333333333,
      "grad_norm": 2.8203532695770264,
      "learning_rate": 5.3400000000000005e-06,
      "loss": 1.8224,
      "step": 1622
    },
    {
      "epoch": 0.002705,
      "grad_norm": 2.6961541175842285,
      "learning_rate": 5.3433333333333336e-06,
      "loss": 1.8446,
      "step": 1623
    },
    {
      "epoch": 0.0027066666666666667,
      "grad_norm": 2.649447441101074,
      "learning_rate": 5.346666666666667e-06,
      "loss": 1.8658,
      "step": 1624
    },
    {
      "epoch": 0.0027083333333333334,
      "grad_norm": 2.677262544631958,
      "learning_rate": 5.3500000000000004e-06,
      "loss": 1.835,
      "step": 1625
    },
    {
      "epoch": 0.00271,
      "grad_norm": 3.0657262802124023,
      "learning_rate": 5.3533333333333335e-06,
      "loss": 1.9963,
      "step": 1626
    },
    {
      "epoch": 0.0027116666666666665,
      "grad_norm": 2.958606719970703,
      "learning_rate": 5.3566666666666665e-06,
      "loss": 2.0026,
      "step": 1627
    },
    {
      "epoch": 0.0027133333333333332,
      "grad_norm": 2.7451653480529785,
      "learning_rate": 5.36e-06,
      "loss": 1.832,
      "step": 1628
    },
    {
      "epoch": 0.002715,
      "grad_norm": 2.587538957595825,
      "learning_rate": 5.363333333333333e-06,
      "loss": 1.8369,
      "step": 1629
    },
    {
      "epoch": 0.0027166666666666667,
      "grad_norm": 2.5276269912719727,
      "learning_rate": 5.366666666666666e-06,
      "loss": 1.841,
      "step": 1630
    },
    {
      "epoch": 0.0027183333333333335,
      "grad_norm": 2.661306142807007,
      "learning_rate": 5.370000000000001e-06,
      "loss": 1.935,
      "step": 1631
    },
    {
      "epoch": 0.00272,
      "grad_norm": 2.7556300163269043,
      "learning_rate": 5.373333333333334e-06,
      "loss": 1.8714,
      "step": 1632
    },
    {
      "epoch": 0.0027216666666666665,
      "grad_norm": 2.6598401069641113,
      "learning_rate": 5.376666666666666e-06,
      "loss": 1.9322,
      "step": 1633
    },
    {
      "epoch": 0.0027233333333333332,
      "grad_norm": 2.6947433948516846,
      "learning_rate": 5.380000000000001e-06,
      "loss": 1.9752,
      "step": 1634
    },
    {
      "epoch": 0.002725,
      "grad_norm": 2.9651079177856445,
      "learning_rate": 5.383333333333334e-06,
      "loss": 1.9733,
      "step": 1635
    },
    {
      "epoch": 0.0027266666666666667,
      "grad_norm": 3.0176427364349365,
      "learning_rate": 5.386666666666667e-06,
      "loss": 1.9532,
      "step": 1636
    },
    {
      "epoch": 0.0027283333333333335,
      "grad_norm": 2.451624870300293,
      "learning_rate": 5.390000000000001e-06,
      "loss": 1.7428,
      "step": 1637
    },
    {
      "epoch": 0.00273,
      "grad_norm": 2.718656063079834,
      "learning_rate": 5.393333333333334e-06,
      "loss": 1.8819,
      "step": 1638
    },
    {
      "epoch": 0.0027316666666666665,
      "grad_norm": 2.626826047897339,
      "learning_rate": 5.396666666666667e-06,
      "loss": 2.0002,
      "step": 1639
    },
    {
      "epoch": 0.0027333333333333333,
      "grad_norm": 4.445894718170166,
      "learning_rate": 5.400000000000001e-06,
      "loss": 1.8467,
      "step": 1640
    },
    {
      "epoch": 0.002735,
      "grad_norm": 2.6837258338928223,
      "learning_rate": 5.403333333333334e-06,
      "loss": 2.0548,
      "step": 1641
    },
    {
      "epoch": 0.0027366666666666668,
      "grad_norm": 2.7059693336486816,
      "learning_rate": 5.406666666666667e-06,
      "loss": 1.8413,
      "step": 1642
    },
    {
      "epoch": 0.0027383333333333335,
      "grad_norm": 2.820932149887085,
      "learning_rate": 5.410000000000001e-06,
      "loss": 1.8982,
      "step": 1643
    },
    {
      "epoch": 0.00274,
      "grad_norm": 2.7813849449157715,
      "learning_rate": 5.413333333333334e-06,
      "loss": 1.8907,
      "step": 1644
    },
    {
      "epoch": 0.0027416666666666666,
      "grad_norm": 2.791518211364746,
      "learning_rate": 5.416666666666667e-06,
      "loss": 1.8725,
      "step": 1645
    },
    {
      "epoch": 0.0027433333333333333,
      "grad_norm": 2.7549586296081543,
      "learning_rate": 5.420000000000001e-06,
      "loss": 1.8168,
      "step": 1646
    },
    {
      "epoch": 0.002745,
      "grad_norm": 2.679285764694214,
      "learning_rate": 5.423333333333334e-06,
      "loss": 1.8542,
      "step": 1647
    },
    {
      "epoch": 0.002746666666666667,
      "grad_norm": 2.5322108268737793,
      "learning_rate": 5.426666666666667e-06,
      "loss": 1.8168,
      "step": 1648
    },
    {
      "epoch": 0.0027483333333333335,
      "grad_norm": 2.6824848651885986,
      "learning_rate": 5.4300000000000005e-06,
      "loss": 1.8188,
      "step": 1649
    },
    {
      "epoch": 0.00275,
      "grad_norm": 2.694587469100952,
      "learning_rate": 5.4333333333333335e-06,
      "loss": 1.9898,
      "step": 1650
    },
    {
      "epoch": 0.0027516666666666666,
      "grad_norm": 2.657825469970703,
      "learning_rate": 5.4366666666666666e-06,
      "loss": 1.7817,
      "step": 1651
    },
    {
      "epoch": 0.0027533333333333333,
      "grad_norm": 2.680974245071411,
      "learning_rate": 5.4400000000000004e-06,
      "loss": 1.8735,
      "step": 1652
    },
    {
      "epoch": 0.002755,
      "grad_norm": 3.186861991882324,
      "learning_rate": 5.4433333333333335e-06,
      "loss": 2.01,
      "step": 1653
    },
    {
      "epoch": 0.002756666666666667,
      "grad_norm": 2.8320913314819336,
      "learning_rate": 5.4466666666666665e-06,
      "loss": 1.9665,
      "step": 1654
    },
    {
      "epoch": 0.002758333333333333,
      "grad_norm": 2.8178179264068604,
      "learning_rate": 5.450000000000001e-06,
      "loss": 1.7601,
      "step": 1655
    },
    {
      "epoch": 0.00276,
      "grad_norm": 2.6824400424957275,
      "learning_rate": 5.453333333333334e-06,
      "loss": 1.9579,
      "step": 1656
    },
    {
      "epoch": 0.0027616666666666666,
      "grad_norm": 3.623199224472046,
      "learning_rate": 5.456666666666666e-06,
      "loss": 1.8824,
      "step": 1657
    },
    {
      "epoch": 0.0027633333333333334,
      "grad_norm": 2.7089765071868896,
      "learning_rate": 5.460000000000001e-06,
      "loss": 1.9118,
      "step": 1658
    },
    {
      "epoch": 0.002765,
      "grad_norm": 2.6275486946105957,
      "learning_rate": 5.463333333333334e-06,
      "loss": 1.9493,
      "step": 1659
    },
    {
      "epoch": 0.002766666666666667,
      "grad_norm": 2.748171806335449,
      "learning_rate": 5.466666666666667e-06,
      "loss": 1.8872,
      "step": 1660
    },
    {
      "epoch": 0.002768333333333333,
      "grad_norm": 2.641620397567749,
      "learning_rate": 5.470000000000001e-06,
      "loss": 1.8657,
      "step": 1661
    },
    {
      "epoch": 0.00277,
      "grad_norm": 2.7289681434631348,
      "learning_rate": 5.473333333333334e-06,
      "loss": 2.035,
      "step": 1662
    },
    {
      "epoch": 0.0027716666666666666,
      "grad_norm": 2.713131904602051,
      "learning_rate": 5.476666666666667e-06,
      "loss": 2.0348,
      "step": 1663
    },
    {
      "epoch": 0.0027733333333333334,
      "grad_norm": 2.8514788150787354,
      "learning_rate": 5.480000000000001e-06,
      "loss": 1.9501,
      "step": 1664
    },
    {
      "epoch": 0.002775,
      "grad_norm": 2.820751190185547,
      "learning_rate": 5.483333333333334e-06,
      "loss": 1.9926,
      "step": 1665
    },
    {
      "epoch": 0.002776666666666667,
      "grad_norm": 2.7455687522888184,
      "learning_rate": 5.486666666666667e-06,
      "loss": 1.9153,
      "step": 1666
    },
    {
      "epoch": 0.002778333333333333,
      "grad_norm": 2.7687904834747314,
      "learning_rate": 5.490000000000001e-06,
      "loss": 1.9028,
      "step": 1667
    },
    {
      "epoch": 0.00278,
      "grad_norm": 2.800520896911621,
      "learning_rate": 5.493333333333334e-06,
      "loss": 1.9138,
      "step": 1668
    },
    {
      "epoch": 0.0027816666666666667,
      "grad_norm": 2.6107065677642822,
      "learning_rate": 5.496666666666667e-06,
      "loss": 1.9645,
      "step": 1669
    },
    {
      "epoch": 0.0027833333333333334,
      "grad_norm": 2.510739326477051,
      "learning_rate": 5.500000000000001e-06,
      "loss": 2.0096,
      "step": 1670
    },
    {
      "epoch": 0.002785,
      "grad_norm": 2.7722973823547363,
      "learning_rate": 5.503333333333334e-06,
      "loss": 1.8666,
      "step": 1671
    },
    {
      "epoch": 0.0027866666666666665,
      "grad_norm": 2.6859543323516846,
      "learning_rate": 5.506666666666667e-06,
      "loss": 1.9259,
      "step": 1672
    },
    {
      "epoch": 0.002788333333333333,
      "grad_norm": 2.5940704345703125,
      "learning_rate": 5.510000000000001e-06,
      "loss": 1.9028,
      "step": 1673
    },
    {
      "epoch": 0.00279,
      "grad_norm": 7.207005977630615,
      "learning_rate": 5.513333333333334e-06,
      "loss": 1.9383,
      "step": 1674
    },
    {
      "epoch": 0.0027916666666666667,
      "grad_norm": 2.461716890335083,
      "learning_rate": 5.516666666666667e-06,
      "loss": 1.9269,
      "step": 1675
    },
    {
      "epoch": 0.0027933333333333334,
      "grad_norm": 2.9378530979156494,
      "learning_rate": 5.5200000000000005e-06,
      "loss": 1.952,
      "step": 1676
    },
    {
      "epoch": 0.002795,
      "grad_norm": 2.7522637844085693,
      "learning_rate": 5.5233333333333335e-06,
      "loss": 1.8736,
      "step": 1677
    },
    {
      "epoch": 0.0027966666666666665,
      "grad_norm": 2.7573866844177246,
      "learning_rate": 5.5266666666666666e-06,
      "loss": 1.879,
      "step": 1678
    },
    {
      "epoch": 0.0027983333333333332,
      "grad_norm": 2.7928199768066406,
      "learning_rate": 5.530000000000001e-06,
      "loss": 1.9372,
      "step": 1679
    },
    {
      "epoch": 0.0028,
      "grad_norm": 2.9263668060302734,
      "learning_rate": 5.533333333333334e-06,
      "loss": 1.9766,
      "step": 1680
    },
    {
      "epoch": 0.0028016666666666667,
      "grad_norm": 2.7961490154266357,
      "learning_rate": 5.5366666666666665e-06,
      "loss": 2.001,
      "step": 1681
    },
    {
      "epoch": 0.0028033333333333335,
      "grad_norm": 2.749514102935791,
      "learning_rate": 5.540000000000001e-06,
      "loss": 1.8648,
      "step": 1682
    },
    {
      "epoch": 0.002805,
      "grad_norm": 2.6641995906829834,
      "learning_rate": 5.543333333333334e-06,
      "loss": 1.9738,
      "step": 1683
    },
    {
      "epoch": 0.0028066666666666665,
      "grad_norm": 2.543412446975708,
      "learning_rate": 5.546666666666667e-06,
      "loss": 1.9,
      "step": 1684
    },
    {
      "epoch": 0.0028083333333333333,
      "grad_norm": 2.9098825454711914,
      "learning_rate": 5.550000000000001e-06,
      "loss": 1.9353,
      "step": 1685
    },
    {
      "epoch": 0.00281,
      "grad_norm": 2.7767601013183594,
      "learning_rate": 5.553333333333334e-06,
      "loss": 2.0374,
      "step": 1686
    },
    {
      "epoch": 0.0028116666666666667,
      "grad_norm": 2.661999225616455,
      "learning_rate": 5.556666666666667e-06,
      "loss": 1.9517,
      "step": 1687
    },
    {
      "epoch": 0.0028133333333333335,
      "grad_norm": 2.8439102172851562,
      "learning_rate": 5.560000000000001e-06,
      "loss": 1.9189,
      "step": 1688
    },
    {
      "epoch": 0.002815,
      "grad_norm": 2.644232749938965,
      "learning_rate": 5.563333333333334e-06,
      "loss": 1.9201,
      "step": 1689
    },
    {
      "epoch": 0.0028166666666666665,
      "grad_norm": 2.936642646789551,
      "learning_rate": 5.566666666666667e-06,
      "loss": 2.0998,
      "step": 1690
    },
    {
      "epoch": 0.0028183333333333333,
      "grad_norm": 2.759725332260132,
      "learning_rate": 5.570000000000001e-06,
      "loss": 2.0237,
      "step": 1691
    },
    {
      "epoch": 0.00282,
      "grad_norm": 3.0656044483184814,
      "learning_rate": 5.573333333333334e-06,
      "loss": 1.9691,
      "step": 1692
    },
    {
      "epoch": 0.0028216666666666668,
      "grad_norm": 2.8930726051330566,
      "learning_rate": 5.576666666666667e-06,
      "loss": 2.0635,
      "step": 1693
    },
    {
      "epoch": 0.0028233333333333335,
      "grad_norm": 2.7291178703308105,
      "learning_rate": 5.580000000000001e-06,
      "loss": 1.9424,
      "step": 1694
    },
    {
      "epoch": 0.002825,
      "grad_norm": 4.379510402679443,
      "learning_rate": 5.583333333333334e-06,
      "loss": 1.965,
      "step": 1695
    },
    {
      "epoch": 0.0028266666666666666,
      "grad_norm": 2.598785877227783,
      "learning_rate": 5.586666666666667e-06,
      "loss": 1.8275,
      "step": 1696
    },
    {
      "epoch": 0.0028283333333333333,
      "grad_norm": 2.5643415451049805,
      "learning_rate": 5.590000000000001e-06,
      "loss": 1.9611,
      "step": 1697
    },
    {
      "epoch": 0.00283,
      "grad_norm": 2.7884528636932373,
      "learning_rate": 5.593333333333334e-06,
      "loss": 1.8425,
      "step": 1698
    },
    {
      "epoch": 0.002831666666666667,
      "grad_norm": 2.941124439239502,
      "learning_rate": 5.596666666666667e-06,
      "loss": 1.9628,
      "step": 1699
    },
    {
      "epoch": 0.0028333333333333335,
      "grad_norm": 2.779614210128784,
      "learning_rate": 5.600000000000001e-06,
      "loss": 1.9789,
      "step": 1700
    },
    {
      "epoch": 0.002835,
      "grad_norm": 2.5210113525390625,
      "learning_rate": 5.603333333333334e-06,
      "loss": 1.9314,
      "step": 1701
    },
    {
      "epoch": 0.0028366666666666666,
      "grad_norm": 2.851794481277466,
      "learning_rate": 5.606666666666667e-06,
      "loss": 2.0039,
      "step": 1702
    },
    {
      "epoch": 0.0028383333333333333,
      "grad_norm": 4.059412002563477,
      "learning_rate": 5.610000000000001e-06,
      "loss": 1.9404,
      "step": 1703
    },
    {
      "epoch": 0.00284,
      "grad_norm": 2.6185007095336914,
      "learning_rate": 5.613333333333334e-06,
      "loss": 1.8402,
      "step": 1704
    },
    {
      "epoch": 0.002841666666666667,
      "grad_norm": 2.7251415252685547,
      "learning_rate": 5.6166666666666665e-06,
      "loss": 1.9648,
      "step": 1705
    },
    {
      "epoch": 0.002843333333333333,
      "grad_norm": 2.628633499145508,
      "learning_rate": 5.620000000000001e-06,
      "loss": 1.7977,
      "step": 1706
    },
    {
      "epoch": 0.002845,
      "grad_norm": 2.7786760330200195,
      "learning_rate": 5.623333333333334e-06,
      "loss": 1.9279,
      "step": 1707
    },
    {
      "epoch": 0.0028466666666666666,
      "grad_norm": 8.414253234863281,
      "learning_rate": 5.626666666666667e-06,
      "loss": 1.8444,
      "step": 1708
    },
    {
      "epoch": 0.0028483333333333334,
      "grad_norm": 3.087611198425293,
      "learning_rate": 5.63e-06,
      "loss": 1.7177,
      "step": 1709
    },
    {
      "epoch": 0.00285,
      "grad_norm": 4.496127605438232,
      "learning_rate": 5.633333333333334e-06,
      "loss": 1.9494,
      "step": 1710
    },
    {
      "epoch": 0.002851666666666667,
      "grad_norm": 2.6857478618621826,
      "learning_rate": 5.636666666666667e-06,
      "loss": 1.9727,
      "step": 1711
    },
    {
      "epoch": 0.002853333333333333,
      "grad_norm": 2.651728391647339,
      "learning_rate": 5.64e-06,
      "loss": 2.001,
      "step": 1712
    },
    {
      "epoch": 0.002855,
      "grad_norm": 2.783419370651245,
      "learning_rate": 5.643333333333334e-06,
      "loss": 1.9852,
      "step": 1713
    },
    {
      "epoch": 0.0028566666666666666,
      "grad_norm": 2.57800555229187,
      "learning_rate": 5.646666666666667e-06,
      "loss": 1.8757,
      "step": 1714
    },
    {
      "epoch": 0.0028583333333333334,
      "grad_norm": 2.9505186080932617,
      "learning_rate": 5.65e-06,
      "loss": 1.7789,
      "step": 1715
    },
    {
      "epoch": 0.00286,
      "grad_norm": 2.7168824672698975,
      "learning_rate": 5.653333333333334e-06,
      "loss": 1.896,
      "step": 1716
    },
    {
      "epoch": 0.002861666666666667,
      "grad_norm": 2.72090744972229,
      "learning_rate": 5.656666666666667e-06,
      "loss": 2.0242,
      "step": 1717
    },
    {
      "epoch": 0.002863333333333333,
      "grad_norm": 2.7376205921173096,
      "learning_rate": 5.66e-06,
      "loss": 2.0361,
      "step": 1718
    },
    {
      "epoch": 0.002865,
      "grad_norm": 2.914006471633911,
      "learning_rate": 5.663333333333334e-06,
      "loss": 1.9468,
      "step": 1719
    },
    {
      "epoch": 0.0028666666666666667,
      "grad_norm": 2.6410067081451416,
      "learning_rate": 5.666666666666667e-06,
      "loss": 1.869,
      "step": 1720
    },
    {
      "epoch": 0.0028683333333333334,
      "grad_norm": 2.7950453758239746,
      "learning_rate": 5.67e-06,
      "loss": 1.8006,
      "step": 1721
    },
    {
      "epoch": 0.00287,
      "grad_norm": 2.6354238986968994,
      "learning_rate": 5.673333333333334e-06,
      "loss": 1.9591,
      "step": 1722
    },
    {
      "epoch": 0.0028716666666666665,
      "grad_norm": 2.5635523796081543,
      "learning_rate": 5.676666666666667e-06,
      "loss": 1.8163,
      "step": 1723
    },
    {
      "epoch": 0.002873333333333333,
      "grad_norm": 2.585875988006592,
      "learning_rate": 5.68e-06,
      "loss": 1.9552,
      "step": 1724
    },
    {
      "epoch": 0.002875,
      "grad_norm": 2.530283212661743,
      "learning_rate": 5.683333333333334e-06,
      "loss": 1.9047,
      "step": 1725
    },
    {
      "epoch": 0.0028766666666666667,
      "grad_norm": 2.519859552383423,
      "learning_rate": 5.686666666666667e-06,
      "loss": 1.8675,
      "step": 1726
    },
    {
      "epoch": 0.0028783333333333334,
      "grad_norm": 2.436990976333618,
      "learning_rate": 5.69e-06,
      "loss": 1.8764,
      "step": 1727
    },
    {
      "epoch": 0.00288,
      "grad_norm": 2.5037343502044678,
      "learning_rate": 5.6933333333333344e-06,
      "loss": 1.9777,
      "step": 1728
    },
    {
      "epoch": 0.0028816666666666665,
      "grad_norm": 2.463083505630493,
      "learning_rate": 5.696666666666667e-06,
      "loss": 2.0002,
      "step": 1729
    },
    {
      "epoch": 0.0028833333333333332,
      "grad_norm": 2.8306455612182617,
      "learning_rate": 5.7e-06,
      "loss": 1.996,
      "step": 1730
    },
    {
      "epoch": 0.002885,
      "grad_norm": 2.614222526550293,
      "learning_rate": 5.703333333333334e-06,
      "loss": 1.7757,
      "step": 1731
    },
    {
      "epoch": 0.0028866666666666667,
      "grad_norm": 2.622062921524048,
      "learning_rate": 5.706666666666667e-06,
      "loss": 1.8168,
      "step": 1732
    },
    {
      "epoch": 0.0028883333333333335,
      "grad_norm": 2.4739580154418945,
      "learning_rate": 5.71e-06,
      "loss": 1.929,
      "step": 1733
    },
    {
      "epoch": 0.00289,
      "grad_norm": 2.579819917678833,
      "learning_rate": 5.713333333333334e-06,
      "loss": 1.7695,
      "step": 1734
    },
    {
      "epoch": 0.0028916666666666665,
      "grad_norm": 2.8725948333740234,
      "learning_rate": 5.716666666666667e-06,
      "loss": 1.955,
      "step": 1735
    },
    {
      "epoch": 0.0028933333333333333,
      "grad_norm": 2.731212854385376,
      "learning_rate": 5.72e-06,
      "loss": 1.956,
      "step": 1736
    },
    {
      "epoch": 0.002895,
      "grad_norm": 3.0651557445526123,
      "learning_rate": 5.723333333333334e-06,
      "loss": 1.8786,
      "step": 1737
    },
    {
      "epoch": 0.0028966666666666667,
      "grad_norm": 2.6458258628845215,
      "learning_rate": 5.726666666666667e-06,
      "loss": 1.9109,
      "step": 1738
    },
    {
      "epoch": 0.0028983333333333335,
      "grad_norm": 2.601872682571411,
      "learning_rate": 5.73e-06,
      "loss": 1.7277,
      "step": 1739
    },
    {
      "epoch": 0.0029,
      "grad_norm": 2.741145372390747,
      "learning_rate": 5.733333333333334e-06,
      "loss": 1.8826,
      "step": 1740
    },
    {
      "epoch": 0.0029016666666666665,
      "grad_norm": 2.617478609085083,
      "learning_rate": 5.736666666666667e-06,
      "loss": 1.9576,
      "step": 1741
    },
    {
      "epoch": 0.0029033333333333333,
      "grad_norm": 2.7265312671661377,
      "learning_rate": 5.74e-06,
      "loss": 1.9824,
      "step": 1742
    },
    {
      "epoch": 0.002905,
      "grad_norm": 2.7398970127105713,
      "learning_rate": 5.743333333333334e-06,
      "loss": 1.9811,
      "step": 1743
    },
    {
      "epoch": 0.0029066666666666668,
      "grad_norm": 2.515437364578247,
      "learning_rate": 5.746666666666667e-06,
      "loss": 1.8941,
      "step": 1744
    },
    {
      "epoch": 0.0029083333333333335,
      "grad_norm": 2.5727803707122803,
      "learning_rate": 5.75e-06,
      "loss": 1.8749,
      "step": 1745
    },
    {
      "epoch": 0.00291,
      "grad_norm": 2.756457805633545,
      "learning_rate": 5.753333333333334e-06,
      "loss": 2.0411,
      "step": 1746
    },
    {
      "epoch": 0.0029116666666666666,
      "grad_norm": 2.7390003204345703,
      "learning_rate": 5.756666666666667e-06,
      "loss": 2.0005,
      "step": 1747
    },
    {
      "epoch": 0.0029133333333333333,
      "grad_norm": 2.572411060333252,
      "learning_rate": 5.76e-06,
      "loss": 1.9226,
      "step": 1748
    },
    {
      "epoch": 0.002915,
      "grad_norm": 2.6694159507751465,
      "learning_rate": 5.763333333333334e-06,
      "loss": 2.0027,
      "step": 1749
    },
    {
      "epoch": 0.002916666666666667,
      "grad_norm": 2.6655967235565186,
      "learning_rate": 5.766666666666667e-06,
      "loss": 2.0608,
      "step": 1750
    },
    {
      "epoch": 0.0029183333333333335,
      "grad_norm": 2.721714973449707,
      "learning_rate": 5.77e-06,
      "loss": 2.0097,
      "step": 1751
    },
    {
      "epoch": 0.00292,
      "grad_norm": 2.470810651779175,
      "learning_rate": 5.7733333333333345e-06,
      "loss": 1.8948,
      "step": 1752
    },
    {
      "epoch": 0.0029216666666666666,
      "grad_norm": 6.296585559844971,
      "learning_rate": 5.776666666666667e-06,
      "loss": 1.8924,
      "step": 1753
    },
    {
      "epoch": 0.0029233333333333333,
      "grad_norm": 2.7354931831359863,
      "learning_rate": 5.78e-06,
      "loss": 1.8811,
      "step": 1754
    },
    {
      "epoch": 0.002925,
      "grad_norm": 2.768374443054199,
      "learning_rate": 5.7833333333333344e-06,
      "loss": 1.7834,
      "step": 1755
    },
    {
      "epoch": 0.002926666666666667,
      "grad_norm": 2.7791101932525635,
      "learning_rate": 5.7866666666666674e-06,
      "loss": 1.813,
      "step": 1756
    },
    {
      "epoch": 0.002928333333333333,
      "grad_norm": 2.765158176422119,
      "learning_rate": 5.7900000000000005e-06,
      "loss": 2.0886,
      "step": 1757
    },
    {
      "epoch": 0.00293,
      "grad_norm": 2.8901240825653076,
      "learning_rate": 5.793333333333334e-06,
      "loss": 1.9474,
      "step": 1758
    },
    {
      "epoch": 0.0029316666666666666,
      "grad_norm": 2.5438950061798096,
      "learning_rate": 5.796666666666667e-06,
      "loss": 1.8547,
      "step": 1759
    },
    {
      "epoch": 0.0029333333333333334,
      "grad_norm": 2.9318103790283203,
      "learning_rate": 5.8e-06,
      "loss": 1.6839,
      "step": 1760
    },
    {
      "epoch": 0.002935,
      "grad_norm": 2.861576795578003,
      "learning_rate": 5.803333333333334e-06,
      "loss": 1.8844,
      "step": 1761
    },
    {
      "epoch": 0.002936666666666667,
      "grad_norm": 2.6733450889587402,
      "learning_rate": 5.806666666666667e-06,
      "loss": 1.8971,
      "step": 1762
    },
    {
      "epoch": 0.002938333333333333,
      "grad_norm": 2.6036839485168457,
      "learning_rate": 5.81e-06,
      "loss": 1.9164,
      "step": 1763
    },
    {
      "epoch": 0.00294,
      "grad_norm": 2.6345016956329346,
      "learning_rate": 5.813333333333334e-06,
      "loss": 1.8465,
      "step": 1764
    },
    {
      "epoch": 0.0029416666666666666,
      "grad_norm": 2.684509038925171,
      "learning_rate": 5.816666666666667e-06,
      "loss": 1.9324,
      "step": 1765
    },
    {
      "epoch": 0.0029433333333333334,
      "grad_norm": 3.151233196258545,
      "learning_rate": 5.82e-06,
      "loss": 1.914,
      "step": 1766
    },
    {
      "epoch": 0.002945,
      "grad_norm": 2.672400951385498,
      "learning_rate": 5.823333333333334e-06,
      "loss": 1.8391,
      "step": 1767
    },
    {
      "epoch": 0.002946666666666667,
      "grad_norm": 2.713538408279419,
      "learning_rate": 5.826666666666667e-06,
      "loss": 1.7265,
      "step": 1768
    },
    {
      "epoch": 0.002948333333333333,
      "grad_norm": 2.6704812049865723,
      "learning_rate": 5.83e-06,
      "loss": 1.6531,
      "step": 1769
    },
    {
      "epoch": 0.00295,
      "grad_norm": 2.6045687198638916,
      "learning_rate": 5.833333333333334e-06,
      "loss": 1.8927,
      "step": 1770
    },
    {
      "epoch": 0.0029516666666666667,
      "grad_norm": 2.844571113586426,
      "learning_rate": 5.836666666666667e-06,
      "loss": 2.0043,
      "step": 1771
    },
    {
      "epoch": 0.0029533333333333334,
      "grad_norm": 2.586268901824951,
      "learning_rate": 5.84e-06,
      "loss": 1.8019,
      "step": 1772
    },
    {
      "epoch": 0.002955,
      "grad_norm": 2.6478443145751953,
      "learning_rate": 5.843333333333334e-06,
      "loss": 1.8566,
      "step": 1773
    },
    {
      "epoch": 0.0029566666666666665,
      "grad_norm": 2.5943310260772705,
      "learning_rate": 5.846666666666667e-06,
      "loss": 1.8231,
      "step": 1774
    },
    {
      "epoch": 0.002958333333333333,
      "grad_norm": 2.968959331512451,
      "learning_rate": 5.85e-06,
      "loss": 1.8265,
      "step": 1775
    },
    {
      "epoch": 0.00296,
      "grad_norm": 2.642442226409912,
      "learning_rate": 5.853333333333335e-06,
      "loss": 1.8665,
      "step": 1776
    },
    {
      "epoch": 0.0029616666666666667,
      "grad_norm": 2.896012783050537,
      "learning_rate": 5.856666666666667e-06,
      "loss": 1.8773,
      "step": 1777
    },
    {
      "epoch": 0.0029633333333333334,
      "grad_norm": 2.7379257678985596,
      "learning_rate": 5.86e-06,
      "loss": 1.852,
      "step": 1778
    },
    {
      "epoch": 0.002965,
      "grad_norm": 2.637434720993042,
      "learning_rate": 5.8633333333333345e-06,
      "loss": 1.8306,
      "step": 1779
    },
    {
      "epoch": 0.0029666666666666665,
      "grad_norm": 2.507244348526001,
      "learning_rate": 5.8666666666666675e-06,
      "loss": 1.9582,
      "step": 1780
    },
    {
      "epoch": 0.0029683333333333332,
      "grad_norm": 2.540464162826538,
      "learning_rate": 5.8700000000000005e-06,
      "loss": 1.9123,
      "step": 1781
    },
    {
      "epoch": 0.00297,
      "grad_norm": 2.6947786808013916,
      "learning_rate": 5.873333333333334e-06,
      "loss": 1.8449,
      "step": 1782
    },
    {
      "epoch": 0.0029716666666666667,
      "grad_norm": 2.547328472137451,
      "learning_rate": 5.8766666666666674e-06,
      "loss": 1.8918,
      "step": 1783
    },
    {
      "epoch": 0.0029733333333333335,
      "grad_norm": 2.6616668701171875,
      "learning_rate": 5.8800000000000005e-06,
      "loss": 1.9437,
      "step": 1784
    },
    {
      "epoch": 0.002975,
      "grad_norm": 2.893404483795166,
      "learning_rate": 5.883333333333334e-06,
      "loss": 1.924,
      "step": 1785
    },
    {
      "epoch": 0.0029766666666666665,
      "grad_norm": 2.6022591590881348,
      "learning_rate": 5.886666666666667e-06,
      "loss": 1.7842,
      "step": 1786
    },
    {
      "epoch": 0.0029783333333333333,
      "grad_norm": 2.745469570159912,
      "learning_rate": 5.89e-06,
      "loss": 1.9513,
      "step": 1787
    },
    {
      "epoch": 0.00298,
      "grad_norm": 2.587759256362915,
      "learning_rate": 5.893333333333334e-06,
      "loss": 1.823,
      "step": 1788
    },
    {
      "epoch": 0.0029816666666666668,
      "grad_norm": 2.591722011566162,
      "learning_rate": 5.896666666666667e-06,
      "loss": 1.8928,
      "step": 1789
    },
    {
      "epoch": 0.0029833333333333335,
      "grad_norm": 2.5643019676208496,
      "learning_rate": 5.9e-06,
      "loss": 1.908,
      "step": 1790
    },
    {
      "epoch": 0.002985,
      "grad_norm": 3.6778576374053955,
      "learning_rate": 5.903333333333334e-06,
      "loss": 1.9502,
      "step": 1791
    },
    {
      "epoch": 0.0029866666666666665,
      "grad_norm": 2.530595064163208,
      "learning_rate": 5.906666666666667e-06,
      "loss": 1.9223,
      "step": 1792
    },
    {
      "epoch": 0.0029883333333333333,
      "grad_norm": 2.5940873622894287,
      "learning_rate": 5.91e-06,
      "loss": 1.908,
      "step": 1793
    },
    {
      "epoch": 0.00299,
      "grad_norm": 2.6335291862487793,
      "learning_rate": 5.913333333333334e-06,
      "loss": 1.9629,
      "step": 1794
    },
    {
      "epoch": 0.0029916666666666668,
      "grad_norm": 2.5496926307678223,
      "learning_rate": 5.916666666666667e-06,
      "loss": 1.8369,
      "step": 1795
    },
    {
      "epoch": 0.0029933333333333335,
      "grad_norm": 2.6709227561950684,
      "learning_rate": 5.92e-06,
      "loss": 1.8968,
      "step": 1796
    },
    {
      "epoch": 0.002995,
      "grad_norm": 2.679372787475586,
      "learning_rate": 5.923333333333334e-06,
      "loss": 1.8375,
      "step": 1797
    },
    {
      "epoch": 0.0029966666666666666,
      "grad_norm": 2.811699151992798,
      "learning_rate": 5.926666666666667e-06,
      "loss": 1.964,
      "step": 1798
    },
    {
      "epoch": 0.0029983333333333333,
      "grad_norm": 2.5993223190307617,
      "learning_rate": 5.93e-06,
      "loss": 1.8396,
      "step": 1799
    },
    {
      "epoch": 0.003,
      "grad_norm": 2.6071200370788574,
      "learning_rate": 5.933333333333335e-06,
      "loss": 2.0377,
      "step": 1800
    },
    {
      "epoch": 0.003001666666666667,
      "grad_norm": 2.515195846557617,
      "learning_rate": 5.936666666666667e-06,
      "loss": 1.8933,
      "step": 1801
    },
    {
      "epoch": 0.0030033333333333335,
      "grad_norm": 2.69734787940979,
      "learning_rate": 5.94e-06,
      "loss": 1.953,
      "step": 1802
    },
    {
      "epoch": 0.003005,
      "grad_norm": 2.6221158504486084,
      "learning_rate": 5.943333333333335e-06,
      "loss": 1.926,
      "step": 1803
    },
    {
      "epoch": 0.0030066666666666666,
      "grad_norm": 2.69494891166687,
      "learning_rate": 5.946666666666668e-06,
      "loss": 1.8839,
      "step": 1804
    },
    {
      "epoch": 0.0030083333333333333,
      "grad_norm": 2.7212393283843994,
      "learning_rate": 5.950000000000001e-06,
      "loss": 2.0093,
      "step": 1805
    },
    {
      "epoch": 0.00301,
      "grad_norm": 2.618284225463867,
      "learning_rate": 5.9533333333333345e-06,
      "loss": 1.9415,
      "step": 1806
    },
    {
      "epoch": 0.003011666666666667,
      "grad_norm": 2.5640599727630615,
      "learning_rate": 5.9566666666666675e-06,
      "loss": 1.9841,
      "step": 1807
    },
    {
      "epoch": 0.003013333333333333,
      "grad_norm": 2.5961225032806396,
      "learning_rate": 5.9600000000000005e-06,
      "loss": 2.0016,
      "step": 1808
    },
    {
      "epoch": 0.003015,
      "grad_norm": 2.759371042251587,
      "learning_rate": 5.963333333333334e-06,
      "loss": 1.969,
      "step": 1809
    },
    {
      "epoch": 0.0030166666666666666,
      "grad_norm": 3.0353589057922363,
      "learning_rate": 5.966666666666667e-06,
      "loss": 1.8862,
      "step": 1810
    },
    {
      "epoch": 0.0030183333333333334,
      "grad_norm": 3.137843370437622,
      "learning_rate": 5.9700000000000004e-06,
      "loss": 1.7984,
      "step": 1811
    },
    {
      "epoch": 0.00302,
      "grad_norm": 2.4709103107452393,
      "learning_rate": 5.973333333333334e-06,
      "loss": 1.7678,
      "step": 1812
    },
    {
      "epoch": 0.003021666666666667,
      "grad_norm": 2.9646849632263184,
      "learning_rate": 5.976666666666667e-06,
      "loss": 1.8982,
      "step": 1813
    },
    {
      "epoch": 0.003023333333333333,
      "grad_norm": 3.181907892227173,
      "learning_rate": 5.98e-06,
      "loss": 1.8712,
      "step": 1814
    },
    {
      "epoch": 0.003025,
      "grad_norm": 2.923891305923462,
      "learning_rate": 5.983333333333334e-06,
      "loss": 1.8805,
      "step": 1815
    },
    {
      "epoch": 0.0030266666666666667,
      "grad_norm": 2.5293984413146973,
      "learning_rate": 5.986666666666667e-06,
      "loss": 1.847,
      "step": 1816
    },
    {
      "epoch": 0.0030283333333333334,
      "grad_norm": 2.596738576889038,
      "learning_rate": 5.99e-06,
      "loss": 1.807,
      "step": 1817
    },
    {
      "epoch": 0.00303,
      "grad_norm": 2.941478729248047,
      "learning_rate": 5.993333333333334e-06,
      "loss": 1.844,
      "step": 1818
    },
    {
      "epoch": 0.0030316666666666665,
      "grad_norm": 2.9760098457336426,
      "learning_rate": 5.996666666666667e-06,
      "loss": 1.7695,
      "step": 1819
    },
    {
      "epoch": 0.003033333333333333,
      "grad_norm": 2.6629185676574707,
      "learning_rate": 6e-06,
      "loss": 1.8309,
      "step": 1820
    },
    {
      "epoch": 0.003035,
      "grad_norm": 2.5956180095672607,
      "learning_rate": 6.003333333333334e-06,
      "loss": 1.9156,
      "step": 1821
    },
    {
      "epoch": 0.0030366666666666667,
      "grad_norm": 2.39510440826416,
      "learning_rate": 6.006666666666667e-06,
      "loss": 1.781,
      "step": 1822
    },
    {
      "epoch": 0.0030383333333333334,
      "grad_norm": 2.6451144218444824,
      "learning_rate": 6.01e-06,
      "loss": 1.7994,
      "step": 1823
    },
    {
      "epoch": 0.00304,
      "grad_norm": 2.7456586360931396,
      "learning_rate": 6.013333333333335e-06,
      "loss": 1.933,
      "step": 1824
    },
    {
      "epoch": 0.0030416666666666665,
      "grad_norm": 2.7872660160064697,
      "learning_rate": 6.016666666666667e-06,
      "loss": 2.0709,
      "step": 1825
    },
    {
      "epoch": 0.0030433333333333332,
      "grad_norm": 4.491483688354492,
      "learning_rate": 6.02e-06,
      "loss": 1.9331,
      "step": 1826
    },
    {
      "epoch": 0.003045,
      "grad_norm": 2.5191597938537598,
      "learning_rate": 6.023333333333335e-06,
      "loss": 1.9155,
      "step": 1827
    },
    {
      "epoch": 0.0030466666666666667,
      "grad_norm": 2.489550828933716,
      "learning_rate": 6.026666666666668e-06,
      "loss": 1.8413,
      "step": 1828
    },
    {
      "epoch": 0.0030483333333333335,
      "grad_norm": 2.9828619956970215,
      "learning_rate": 6.030000000000001e-06,
      "loss": 1.9529,
      "step": 1829
    },
    {
      "epoch": 0.00305,
      "grad_norm": 2.7547380924224854,
      "learning_rate": 6.033333333333335e-06,
      "loss": 1.8583,
      "step": 1830
    },
    {
      "epoch": 0.0030516666666666665,
      "grad_norm": 2.6076200008392334,
      "learning_rate": 6.036666666666668e-06,
      "loss": 1.9759,
      "step": 1831
    },
    {
      "epoch": 0.0030533333333333332,
      "grad_norm": 2.793116331100464,
      "learning_rate": 6.040000000000001e-06,
      "loss": 1.8723,
      "step": 1832
    },
    {
      "epoch": 0.003055,
      "grad_norm": 2.540384292602539,
      "learning_rate": 6.043333333333334e-06,
      "loss": 1.8246,
      "step": 1833
    },
    {
      "epoch": 0.0030566666666666667,
      "grad_norm": 2.5013699531555176,
      "learning_rate": 6.0466666666666675e-06,
      "loss": 1.757,
      "step": 1834
    },
    {
      "epoch": 0.0030583333333333335,
      "grad_norm": 2.6485602855682373,
      "learning_rate": 6.0500000000000005e-06,
      "loss": 1.9125,
      "step": 1835
    },
    {
      "epoch": 0.00306,
      "grad_norm": 2.7807369232177734,
      "learning_rate": 6.0533333333333335e-06,
      "loss": 1.8981,
      "step": 1836
    },
    {
      "epoch": 0.0030616666666666665,
      "grad_norm": 2.6057634353637695,
      "learning_rate": 6.056666666666667e-06,
      "loss": 1.9142,
      "step": 1837
    },
    {
      "epoch": 0.0030633333333333333,
      "grad_norm": 2.5778968334198,
      "learning_rate": 6.0600000000000004e-06,
      "loss": 1.7046,
      "step": 1838
    },
    {
      "epoch": 0.003065,
      "grad_norm": 2.5570480823516846,
      "learning_rate": 6.0633333333333334e-06,
      "loss": 1.9503,
      "step": 1839
    },
    {
      "epoch": 0.0030666666666666668,
      "grad_norm": 3.1022491455078125,
      "learning_rate": 6.066666666666667e-06,
      "loss": 1.8195,
      "step": 1840
    },
    {
      "epoch": 0.0030683333333333335,
      "grad_norm": 2.587063789367676,
      "learning_rate": 6.07e-06,
      "loss": 1.9451,
      "step": 1841
    },
    {
      "epoch": 0.00307,
      "grad_norm": 2.5515952110290527,
      "learning_rate": 6.073333333333333e-06,
      "loss": 1.9842,
      "step": 1842
    },
    {
      "epoch": 0.0030716666666666666,
      "grad_norm": 2.6592917442321777,
      "learning_rate": 6.076666666666667e-06,
      "loss": 2.1499,
      "step": 1843
    },
    {
      "epoch": 0.0030733333333333333,
      "grad_norm": 2.6041932106018066,
      "learning_rate": 6.08e-06,
      "loss": 1.9336,
      "step": 1844
    },
    {
      "epoch": 0.003075,
      "grad_norm": 2.7027428150177,
      "learning_rate": 6.083333333333333e-06,
      "loss": 1.837,
      "step": 1845
    },
    {
      "epoch": 0.003076666666666667,
      "grad_norm": 2.9431076049804688,
      "learning_rate": 6.086666666666667e-06,
      "loss": 1.923,
      "step": 1846
    },
    {
      "epoch": 0.0030783333333333335,
      "grad_norm": 2.7195911407470703,
      "learning_rate": 6.09e-06,
      "loss": 2.0181,
      "step": 1847
    },
    {
      "epoch": 0.00308,
      "grad_norm": 2.656414747238159,
      "learning_rate": 6.093333333333333e-06,
      "loss": 1.934,
      "step": 1848
    },
    {
      "epoch": 0.0030816666666666666,
      "grad_norm": 2.6257641315460205,
      "learning_rate": 6.096666666666667e-06,
      "loss": 2.1426,
      "step": 1849
    },
    {
      "epoch": 0.0030833333333333333,
      "grad_norm": 2.561558723449707,
      "learning_rate": 6.1e-06,
      "loss": 2.0341,
      "step": 1850
    },
    {
      "epoch": 0.003085,
      "grad_norm": 2.6411871910095215,
      "learning_rate": 6.103333333333333e-06,
      "loss": 1.9275,
      "step": 1851
    },
    {
      "epoch": 0.003086666666666667,
      "grad_norm": 2.7845726013183594,
      "learning_rate": 6.106666666666668e-06,
      "loss": 1.9132,
      "step": 1852
    },
    {
      "epoch": 0.003088333333333333,
      "grad_norm": 2.8772361278533936,
      "learning_rate": 6.110000000000001e-06,
      "loss": 2.0197,
      "step": 1853
    },
    {
      "epoch": 0.00309,
      "grad_norm": 2.519885301589966,
      "learning_rate": 6.113333333333333e-06,
      "loss": 1.9248,
      "step": 1854
    },
    {
      "epoch": 0.0030916666666666666,
      "grad_norm": 2.8157083988189697,
      "learning_rate": 6.116666666666668e-06,
      "loss": 1.8984,
      "step": 1855
    },
    {
      "epoch": 0.0030933333333333334,
      "grad_norm": 2.735459804534912,
      "learning_rate": 6.120000000000001e-06,
      "loss": 2.0281,
      "step": 1856
    },
    {
      "epoch": 0.003095,
      "grad_norm": 2.6157054901123047,
      "learning_rate": 6.123333333333334e-06,
      "loss": 1.7738,
      "step": 1857
    },
    {
      "epoch": 0.003096666666666667,
      "grad_norm": 2.6502420902252197,
      "learning_rate": 6.126666666666668e-06,
      "loss": 2.0017,
      "step": 1858
    },
    {
      "epoch": 0.003098333333333333,
      "grad_norm": 2.54457688331604,
      "learning_rate": 6.130000000000001e-06,
      "loss": 2.0119,
      "step": 1859
    },
    {
      "epoch": 0.0031,
      "grad_norm": 4.83738374710083,
      "learning_rate": 6.133333333333334e-06,
      "loss": 1.9009,
      "step": 1860
    },
    {
      "epoch": 0.0031016666666666666,
      "grad_norm": 3.226719856262207,
      "learning_rate": 6.1366666666666675e-06,
      "loss": 1.8288,
      "step": 1861
    },
    {
      "epoch": 0.0031033333333333334,
      "grad_norm": 4.3873372077941895,
      "learning_rate": 6.1400000000000005e-06,
      "loss": 1.8563,
      "step": 1862
    },
    {
      "epoch": 0.003105,
      "grad_norm": 2.7483158111572266,
      "learning_rate": 6.1433333333333335e-06,
      "loss": 2.0025,
      "step": 1863
    },
    {
      "epoch": 0.003106666666666667,
      "grad_norm": 2.882625102996826,
      "learning_rate": 6.146666666666667e-06,
      "loss": 2.0724,
      "step": 1864
    },
    {
      "epoch": 0.003108333333333333,
      "grad_norm": 2.855531930923462,
      "learning_rate": 6.15e-06,
      "loss": 2.0545,
      "step": 1865
    },
    {
      "epoch": 0.00311,
      "grad_norm": 2.928757905960083,
      "learning_rate": 6.1533333333333334e-06,
      "loss": 2.0855,
      "step": 1866
    },
    {
      "epoch": 0.0031116666666666667,
      "grad_norm": 3.168440818786621,
      "learning_rate": 6.156666666666667e-06,
      "loss": 1.9556,
      "step": 1867
    },
    {
      "epoch": 0.0031133333333333334,
      "grad_norm": 2.76072096824646,
      "learning_rate": 6.16e-06,
      "loss": 1.9982,
      "step": 1868
    },
    {
      "epoch": 0.003115,
      "grad_norm": 2.715620994567871,
      "learning_rate": 6.163333333333333e-06,
      "loss": 1.869,
      "step": 1869
    },
    {
      "epoch": 0.0031166666666666665,
      "grad_norm": 2.556706190109253,
      "learning_rate": 6.166666666666667e-06,
      "loss": 1.8577,
      "step": 1870
    },
    {
      "epoch": 0.003118333333333333,
      "grad_norm": 2.682033061981201,
      "learning_rate": 6.17e-06,
      "loss": 1.8663,
      "step": 1871
    },
    {
      "epoch": 0.00312,
      "grad_norm": 2.695648431777954,
      "learning_rate": 6.173333333333333e-06,
      "loss": 1.9261,
      "step": 1872
    },
    {
      "epoch": 0.0031216666666666667,
      "grad_norm": 2.575025796890259,
      "learning_rate": 6.176666666666667e-06,
      "loss": 2.0187,
      "step": 1873
    },
    {
      "epoch": 0.0031233333333333334,
      "grad_norm": 2.8432531356811523,
      "learning_rate": 6.18e-06,
      "loss": 1.831,
      "step": 1874
    },
    {
      "epoch": 0.003125,
      "grad_norm": 2.844564914703369,
      "learning_rate": 6.183333333333333e-06,
      "loss": 2.0429,
      "step": 1875
    },
    {
      "epoch": 0.0031266666666666665,
      "grad_norm": 2.562869071960449,
      "learning_rate": 6.186666666666668e-06,
      "loss": 1.857,
      "step": 1876
    },
    {
      "epoch": 0.0031283333333333332,
      "grad_norm": 2.5391805171966553,
      "learning_rate": 6.190000000000001e-06,
      "loss": 1.9083,
      "step": 1877
    },
    {
      "epoch": 0.00313,
      "grad_norm": 2.6372501850128174,
      "learning_rate": 6.193333333333333e-06,
      "loss": 1.9336,
      "step": 1878
    },
    {
      "epoch": 0.0031316666666666667,
      "grad_norm": 3.561967134475708,
      "learning_rate": 6.196666666666668e-06,
      "loss": 1.9402,
      "step": 1879
    },
    {
      "epoch": 0.0031333333333333335,
      "grad_norm": 2.6283349990844727,
      "learning_rate": 6.200000000000001e-06,
      "loss": 1.9921,
      "step": 1880
    },
    {
      "epoch": 0.003135,
      "grad_norm": 2.4964241981506348,
      "learning_rate": 6.203333333333334e-06,
      "loss": 1.7756,
      "step": 1881
    },
    {
      "epoch": 0.0031366666666666665,
      "grad_norm": 2.9204607009887695,
      "learning_rate": 6.206666666666668e-06,
      "loss": 1.9669,
      "step": 1882
    },
    {
      "epoch": 0.0031383333333333333,
      "grad_norm": 2.681441307067871,
      "learning_rate": 6.210000000000001e-06,
      "loss": 2.0895,
      "step": 1883
    },
    {
      "epoch": 0.00314,
      "grad_norm": 3.933476686477661,
      "learning_rate": 6.213333333333334e-06,
      "loss": 2.0496,
      "step": 1884
    },
    {
      "epoch": 0.0031416666666666667,
      "grad_norm": 2.498821973800659,
      "learning_rate": 6.2166666666666676e-06,
      "loss": 1.9869,
      "step": 1885
    },
    {
      "epoch": 0.0031433333333333335,
      "grad_norm": 2.487323045730591,
      "learning_rate": 6.220000000000001e-06,
      "loss": 1.8495,
      "step": 1886
    },
    {
      "epoch": 0.003145,
      "grad_norm": 2.7248547077178955,
      "learning_rate": 6.223333333333334e-06,
      "loss": 2.1009,
      "step": 1887
    },
    {
      "epoch": 0.0031466666666666665,
      "grad_norm": 2.773348808288574,
      "learning_rate": 6.2266666666666675e-06,
      "loss": 1.9063,
      "step": 1888
    },
    {
      "epoch": 0.0031483333333333333,
      "grad_norm": 2.5017175674438477,
      "learning_rate": 6.2300000000000005e-06,
      "loss": 1.7829,
      "step": 1889
    },
    {
      "epoch": 0.00315,
      "grad_norm": 2.6928112506866455,
      "learning_rate": 6.2333333333333335e-06,
      "loss": 2.0193,
      "step": 1890
    },
    {
      "epoch": 0.0031516666666666668,
      "grad_norm": 2.5080697536468506,
      "learning_rate": 6.236666666666667e-06,
      "loss": 2.1111,
      "step": 1891
    },
    {
      "epoch": 0.0031533333333333335,
      "grad_norm": 2.8514750003814697,
      "learning_rate": 6.24e-06,
      "loss": 1.9602,
      "step": 1892
    },
    {
      "epoch": 0.003155,
      "grad_norm": 2.645582914352417,
      "learning_rate": 6.243333333333333e-06,
      "loss": 1.9636,
      "step": 1893
    },
    {
      "epoch": 0.0031566666666666666,
      "grad_norm": 2.922671318054199,
      "learning_rate": 6.246666666666667e-06,
      "loss": 2.1152,
      "step": 1894
    },
    {
      "epoch": 0.0031583333333333333,
      "grad_norm": 3.1750967502593994,
      "learning_rate": 6.25e-06,
      "loss": 1.9104,
      "step": 1895
    },
    {
      "epoch": 0.00316,
      "grad_norm": 2.5925137996673584,
      "learning_rate": 6.253333333333333e-06,
      "loss": 1.9321,
      "step": 1896
    },
    {
      "epoch": 0.003161666666666667,
      "grad_norm": 2.7455286979675293,
      "learning_rate": 6.256666666666667e-06,
      "loss": 2.0973,
      "step": 1897
    },
    {
      "epoch": 0.0031633333333333335,
      "grad_norm": 2.630875587463379,
      "learning_rate": 6.26e-06,
      "loss": 2.0144,
      "step": 1898
    },
    {
      "epoch": 0.003165,
      "grad_norm": 2.6782381534576416,
      "learning_rate": 6.263333333333333e-06,
      "loss": 1.8917,
      "step": 1899
    },
    {
      "epoch": 0.0031666666666666666,
      "grad_norm": 2.7014150619506836,
      "learning_rate": 6.266666666666668e-06,
      "loss": 2.0635,
      "step": 1900
    },
    {
      "epoch": 0.0031683333333333333,
      "grad_norm": 2.6632790565490723,
      "learning_rate": 6.27e-06,
      "loss": 2.1174,
      "step": 1901
    },
    {
      "epoch": 0.00317,
      "grad_norm": 2.803203821182251,
      "learning_rate": 6.273333333333333e-06,
      "loss": 1.9949,
      "step": 1902
    },
    {
      "epoch": 0.003171666666666667,
      "grad_norm": 2.6289055347442627,
      "learning_rate": 6.276666666666668e-06,
      "loss": 1.9878,
      "step": 1903
    },
    {
      "epoch": 0.003173333333333333,
      "grad_norm": 2.6902647018432617,
      "learning_rate": 6.280000000000001e-06,
      "loss": 2.0126,
      "step": 1904
    },
    {
      "epoch": 0.003175,
      "grad_norm": 3.112483501434326,
      "learning_rate": 6.283333333333334e-06,
      "loss": 1.9944,
      "step": 1905
    },
    {
      "epoch": 0.0031766666666666666,
      "grad_norm": 2.5973875522613525,
      "learning_rate": 6.286666666666668e-06,
      "loss": 2.048,
      "step": 1906
    },
    {
      "epoch": 0.0031783333333333334,
      "grad_norm": 2.733072280883789,
      "learning_rate": 6.290000000000001e-06,
      "loss": 2.1082,
      "step": 1907
    },
    {
      "epoch": 0.00318,
      "grad_norm": 3.3216702938079834,
      "learning_rate": 6.293333333333334e-06,
      "loss": 2.1619,
      "step": 1908
    },
    {
      "epoch": 0.003181666666666667,
      "grad_norm": 2.5952510833740234,
      "learning_rate": 6.296666666666668e-06,
      "loss": 1.8663,
      "step": 1909
    },
    {
      "epoch": 0.003183333333333333,
      "grad_norm": 2.6643855571746826,
      "learning_rate": 6.300000000000001e-06,
      "loss": 2.0311,
      "step": 1910
    },
    {
      "epoch": 0.003185,
      "grad_norm": 2.719273567199707,
      "learning_rate": 6.303333333333334e-06,
      "loss": 1.8403,
      "step": 1911
    },
    {
      "epoch": 0.0031866666666666666,
      "grad_norm": 2.803617477416992,
      "learning_rate": 6.3066666666666676e-06,
      "loss": 2.043,
      "step": 1912
    },
    {
      "epoch": 0.0031883333333333334,
      "grad_norm": 2.9723734855651855,
      "learning_rate": 6.3100000000000006e-06,
      "loss": 1.9298,
      "step": 1913
    },
    {
      "epoch": 0.00319,
      "grad_norm": 2.6458005905151367,
      "learning_rate": 6.313333333333334e-06,
      "loss": 1.9447,
      "step": 1914
    },
    {
      "epoch": 0.003191666666666667,
      "grad_norm": 2.735304594039917,
      "learning_rate": 6.3166666666666675e-06,
      "loss": 2.0243,
      "step": 1915
    },
    {
      "epoch": 0.003193333333333333,
      "grad_norm": 2.6206982135772705,
      "learning_rate": 6.3200000000000005e-06,
      "loss": 2.0011,
      "step": 1916
    },
    {
      "epoch": 0.003195,
      "grad_norm": 2.6222798824310303,
      "learning_rate": 6.3233333333333335e-06,
      "loss": 2.0405,
      "step": 1917
    },
    {
      "epoch": 0.0031966666666666667,
      "grad_norm": 2.83136248588562,
      "learning_rate": 6.326666666666667e-06,
      "loss": 2.0365,
      "step": 1918
    },
    {
      "epoch": 0.0031983333333333334,
      "grad_norm": 2.6210005283355713,
      "learning_rate": 6.33e-06,
      "loss": 2.1178,
      "step": 1919
    },
    {
      "epoch": 0.0032,
      "grad_norm": 2.5799782276153564,
      "learning_rate": 6.333333333333333e-06,
      "loss": 1.9533,
      "step": 1920
    },
    {
      "epoch": 0.0032016666666666665,
      "grad_norm": 2.5800209045410156,
      "learning_rate": 6.336666666666667e-06,
      "loss": 1.9083,
      "step": 1921
    },
    {
      "epoch": 0.003203333333333333,
      "grad_norm": 2.585197687149048,
      "learning_rate": 6.34e-06,
      "loss": 2.0189,
      "step": 1922
    },
    {
      "epoch": 0.003205,
      "grad_norm": 2.5826919078826904,
      "learning_rate": 6.343333333333333e-06,
      "loss": 2.1047,
      "step": 1923
    },
    {
      "epoch": 0.0032066666666666667,
      "grad_norm": 2.9074113368988037,
      "learning_rate": 6.346666666666668e-06,
      "loss": 2.074,
      "step": 1924
    },
    {
      "epoch": 0.0032083333333333334,
      "grad_norm": 2.462113618850708,
      "learning_rate": 6.35e-06,
      "loss": 1.8343,
      "step": 1925
    },
    {
      "epoch": 0.00321,
      "grad_norm": 2.800837516784668,
      "learning_rate": 6.353333333333333e-06,
      "loss": 1.9511,
      "step": 1926
    },
    {
      "epoch": 0.0032116666666666665,
      "grad_norm": 4.734890937805176,
      "learning_rate": 6.356666666666668e-06,
      "loss": 2.1122,
      "step": 1927
    },
    {
      "epoch": 0.0032133333333333332,
      "grad_norm": 2.6333272457122803,
      "learning_rate": 6.360000000000001e-06,
      "loss": 2.1041,
      "step": 1928
    },
    {
      "epoch": 0.003215,
      "grad_norm": 2.445206642150879,
      "learning_rate": 6.363333333333334e-06,
      "loss": 1.9956,
      "step": 1929
    },
    {
      "epoch": 0.0032166666666666667,
      "grad_norm": 2.550971746444702,
      "learning_rate": 6.366666666666668e-06,
      "loss": 2.0854,
      "step": 1930
    },
    {
      "epoch": 0.0032183333333333335,
      "grad_norm": 2.645343542098999,
      "learning_rate": 6.370000000000001e-06,
      "loss": 1.9656,
      "step": 1931
    },
    {
      "epoch": 0.00322,
      "grad_norm": 2.5638630390167236,
      "learning_rate": 6.373333333333334e-06,
      "loss": 1.8866,
      "step": 1932
    },
    {
      "epoch": 0.0032216666666666665,
      "grad_norm": 2.6183087825775146,
      "learning_rate": 6.376666666666668e-06,
      "loss": 2.0798,
      "step": 1933
    },
    {
      "epoch": 0.0032233333333333333,
      "grad_norm": 2.7042627334594727,
      "learning_rate": 6.380000000000001e-06,
      "loss": 2.0483,
      "step": 1934
    },
    {
      "epoch": 0.003225,
      "grad_norm": 2.5227158069610596,
      "learning_rate": 6.383333333333334e-06,
      "loss": 1.7913,
      "step": 1935
    },
    {
      "epoch": 0.0032266666666666667,
      "grad_norm": 2.6201841831207275,
      "learning_rate": 6.386666666666668e-06,
      "loss": 2.0209,
      "step": 1936
    },
    {
      "epoch": 0.0032283333333333335,
      "grad_norm": 2.5441834926605225,
      "learning_rate": 6.390000000000001e-06,
      "loss": 2.0156,
      "step": 1937
    },
    {
      "epoch": 0.00323,
      "grad_norm": 2.73187255859375,
      "learning_rate": 6.393333333333334e-06,
      "loss": 1.9012,
      "step": 1938
    },
    {
      "epoch": 0.0032316666666666665,
      "grad_norm": 2.807290554046631,
      "learning_rate": 6.3966666666666675e-06,
      "loss": 1.9003,
      "step": 1939
    },
    {
      "epoch": 0.0032333333333333333,
      "grad_norm": 2.6333959102630615,
      "learning_rate": 6.4000000000000006e-06,
      "loss": 2.096,
      "step": 1940
    },
    {
      "epoch": 0.003235,
      "grad_norm": 2.771493434906006,
      "learning_rate": 6.403333333333334e-06,
      "loss": 1.974,
      "step": 1941
    },
    {
      "epoch": 0.0032366666666666668,
      "grad_norm": 2.776153802871704,
      "learning_rate": 6.4066666666666674e-06,
      "loss": 1.8846,
      "step": 1942
    },
    {
      "epoch": 0.0032383333333333335,
      "grad_norm": 2.555986166000366,
      "learning_rate": 6.4100000000000005e-06,
      "loss": 2.1043,
      "step": 1943
    },
    {
      "epoch": 0.00324,
      "grad_norm": 2.480896234512329,
      "learning_rate": 6.4133333333333335e-06,
      "loss": 1.9419,
      "step": 1944
    },
    {
      "epoch": 0.0032416666666666666,
      "grad_norm": 2.5442721843719482,
      "learning_rate": 6.416666666666667e-06,
      "loss": 1.8136,
      "step": 1945
    },
    {
      "epoch": 0.0032433333333333333,
      "grad_norm": 2.55645489692688,
      "learning_rate": 6.42e-06,
      "loss": 1.9769,
      "step": 1946
    },
    {
      "epoch": 0.003245,
      "grad_norm": 2.5467586517333984,
      "learning_rate": 6.423333333333333e-06,
      "loss": 1.9162,
      "step": 1947
    },
    {
      "epoch": 0.003246666666666667,
      "grad_norm": 3.0639829635620117,
      "learning_rate": 6.426666666666668e-06,
      "loss": 1.8411,
      "step": 1948
    },
    {
      "epoch": 0.0032483333333333335,
      "grad_norm": 2.519726037979126,
      "learning_rate": 6.43e-06,
      "loss": 1.9658,
      "step": 1949
    },
    {
      "epoch": 0.00325,
      "grad_norm": 2.4209463596343994,
      "learning_rate": 6.433333333333333e-06,
      "loss": 1.9304,
      "step": 1950
    },
    {
      "epoch": 0.0032516666666666666,
      "grad_norm": 2.5230345726013184,
      "learning_rate": 6.436666666666668e-06,
      "loss": 2.0183,
      "step": 1951
    },
    {
      "epoch": 0.0032533333333333333,
      "grad_norm": 2.887563467025757,
      "learning_rate": 6.440000000000001e-06,
      "loss": 1.9004,
      "step": 1952
    },
    {
      "epoch": 0.003255,
      "grad_norm": 2.5492939949035645,
      "learning_rate": 6.443333333333334e-06,
      "loss": 2.0391,
      "step": 1953
    },
    {
      "epoch": 0.003256666666666667,
      "grad_norm": 2.648772716522217,
      "learning_rate": 6.446666666666668e-06,
      "loss": 1.8034,
      "step": 1954
    },
    {
      "epoch": 0.003258333333333333,
      "grad_norm": 2.6923394203186035,
      "learning_rate": 6.450000000000001e-06,
      "loss": 2.1405,
      "step": 1955
    },
    {
      "epoch": 0.00326,
      "grad_norm": 2.68288516998291,
      "learning_rate": 6.453333333333334e-06,
      "loss": 1.8586,
      "step": 1956
    },
    {
      "epoch": 0.0032616666666666666,
      "grad_norm": 2.9826858043670654,
      "learning_rate": 6.456666666666668e-06,
      "loss": 2.0816,
      "step": 1957
    },
    {
      "epoch": 0.0032633333333333334,
      "grad_norm": 2.662994623184204,
      "learning_rate": 6.460000000000001e-06,
      "loss": 2.0677,
      "step": 1958
    },
    {
      "epoch": 0.003265,
      "grad_norm": 2.5758209228515625,
      "learning_rate": 6.463333333333334e-06,
      "loss": 1.8745,
      "step": 1959
    },
    {
      "epoch": 0.003266666666666667,
      "grad_norm": 2.557624340057373,
      "learning_rate": 6.466666666666667e-06,
      "loss": 2.0215,
      "step": 1960
    },
    {
      "epoch": 0.003268333333333333,
      "grad_norm": 2.597637176513672,
      "learning_rate": 6.470000000000001e-06,
      "loss": 1.7811,
      "step": 1961
    },
    {
      "epoch": 0.00327,
      "grad_norm": 2.6295101642608643,
      "learning_rate": 6.473333333333334e-06,
      "loss": 2.0535,
      "step": 1962
    },
    {
      "epoch": 0.0032716666666666666,
      "grad_norm": 2.7802841663360596,
      "learning_rate": 6.476666666666667e-06,
      "loss": 1.9941,
      "step": 1963
    },
    {
      "epoch": 0.0032733333333333334,
      "grad_norm": 2.679778575897217,
      "learning_rate": 6.480000000000001e-06,
      "loss": 1.9827,
      "step": 1964
    },
    {
      "epoch": 0.003275,
      "grad_norm": 3.0791015625,
      "learning_rate": 6.483333333333334e-06,
      "loss": 1.8105,
      "step": 1965
    },
    {
      "epoch": 0.003276666666666667,
      "grad_norm": 2.5640156269073486,
      "learning_rate": 6.486666666666667e-06,
      "loss": 2.0196,
      "step": 1966
    },
    {
      "epoch": 0.003278333333333333,
      "grad_norm": 2.589974880218506,
      "learning_rate": 6.4900000000000005e-06,
      "loss": 1.8339,
      "step": 1967
    },
    {
      "epoch": 0.00328,
      "grad_norm": 2.5256481170654297,
      "learning_rate": 6.4933333333333336e-06,
      "loss": 1.9789,
      "step": 1968
    },
    {
      "epoch": 0.0032816666666666667,
      "grad_norm": 2.633486270904541,
      "learning_rate": 6.496666666666667e-06,
      "loss": 1.8998,
      "step": 1969
    },
    {
      "epoch": 0.0032833333333333334,
      "grad_norm": 2.4411232471466064,
      "learning_rate": 6.5000000000000004e-06,
      "loss": 1.887,
      "step": 1970
    },
    {
      "epoch": 0.003285,
      "grad_norm": 2.6414220333099365,
      "learning_rate": 6.5033333333333335e-06,
      "loss": 1.9738,
      "step": 1971
    },
    {
      "epoch": 0.0032866666666666665,
      "grad_norm": 2.5255026817321777,
      "learning_rate": 6.5066666666666665e-06,
      "loss": 1.9929,
      "step": 1972
    },
    {
      "epoch": 0.003288333333333333,
      "grad_norm": 2.5073771476745605,
      "learning_rate": 6.51e-06,
      "loss": 1.8635,
      "step": 1973
    },
    {
      "epoch": 0.00329,
      "grad_norm": 2.6744132041931152,
      "learning_rate": 6.513333333333333e-06,
      "loss": 1.9981,
      "step": 1974
    },
    {
      "epoch": 0.0032916666666666667,
      "grad_norm": 2.7949740886688232,
      "learning_rate": 6.516666666666666e-06,
      "loss": 1.9867,
      "step": 1975
    },
    {
      "epoch": 0.0032933333333333334,
      "grad_norm": 2.54030179977417,
      "learning_rate": 6.520000000000001e-06,
      "loss": 1.8936,
      "step": 1976
    },
    {
      "epoch": 0.003295,
      "grad_norm": 2.4381439685821533,
      "learning_rate": 6.523333333333334e-06,
      "loss": 1.9752,
      "step": 1977
    },
    {
      "epoch": 0.0032966666666666665,
      "grad_norm": 2.4508066177368164,
      "learning_rate": 6.526666666666666e-06,
      "loss": 1.9478,
      "step": 1978
    },
    {
      "epoch": 0.0032983333333333332,
      "grad_norm": 2.570549726486206,
      "learning_rate": 6.530000000000001e-06,
      "loss": 1.8849,
      "step": 1979
    },
    {
      "epoch": 0.0033,
      "grad_norm": 2.66228985786438,
      "learning_rate": 6.533333333333334e-06,
      "loss": 1.9082,
      "step": 1980
    },
    {
      "epoch": 0.0033016666666666667,
      "grad_norm": 2.7732150554656982,
      "learning_rate": 6.536666666666667e-06,
      "loss": 1.8907,
      "step": 1981
    },
    {
      "epoch": 0.0033033333333333335,
      "grad_norm": 2.6820225715637207,
      "learning_rate": 6.540000000000001e-06,
      "loss": 1.8723,
      "step": 1982
    },
    {
      "epoch": 0.003305,
      "grad_norm": 2.5770719051361084,
      "learning_rate": 6.543333333333334e-06,
      "loss": 1.982,
      "step": 1983
    },
    {
      "epoch": 0.0033066666666666665,
      "grad_norm": 2.677947521209717,
      "learning_rate": 6.546666666666667e-06,
      "loss": 1.9437,
      "step": 1984
    },
    {
      "epoch": 0.0033083333333333333,
      "grad_norm": 2.5291125774383545,
      "learning_rate": 6.550000000000001e-06,
      "loss": 2.0105,
      "step": 1985
    },
    {
      "epoch": 0.00331,
      "grad_norm": 2.532011032104492,
      "learning_rate": 6.553333333333334e-06,
      "loss": 1.9339,
      "step": 1986
    },
    {
      "epoch": 0.0033116666666666668,
      "grad_norm": 2.646610736846924,
      "learning_rate": 6.556666666666667e-06,
      "loss": 2.0606,
      "step": 1987
    },
    {
      "epoch": 0.0033133333333333335,
      "grad_norm": 2.6432511806488037,
      "learning_rate": 6.560000000000001e-06,
      "loss": 2.0069,
      "step": 1988
    },
    {
      "epoch": 0.003315,
      "grad_norm": 2.644611120223999,
      "learning_rate": 6.563333333333334e-06,
      "loss": 2.0109,
      "step": 1989
    },
    {
      "epoch": 0.0033166666666666665,
      "grad_norm": 3.1541318893432617,
      "learning_rate": 6.566666666666667e-06,
      "loss": 2.0553,
      "step": 1990
    },
    {
      "epoch": 0.0033183333333333333,
      "grad_norm": 2.676271438598633,
      "learning_rate": 6.570000000000001e-06,
      "loss": 1.8626,
      "step": 1991
    },
    {
      "epoch": 0.00332,
      "grad_norm": 2.538081169128418,
      "learning_rate": 6.573333333333334e-06,
      "loss": 1.7979,
      "step": 1992
    },
    {
      "epoch": 0.0033216666666666668,
      "grad_norm": 2.6973230838775635,
      "learning_rate": 6.576666666666667e-06,
      "loss": 1.896,
      "step": 1993
    },
    {
      "epoch": 0.0033233333333333335,
      "grad_norm": 3.0141232013702393,
      "learning_rate": 6.5800000000000005e-06,
      "loss": 1.791,
      "step": 1994
    },
    {
      "epoch": 0.003325,
      "grad_norm": 2.997720241546631,
      "learning_rate": 6.5833333333333335e-06,
      "loss": 2.0213,
      "step": 1995
    },
    {
      "epoch": 0.0033266666666666666,
      "grad_norm": 3.5956766605377197,
      "learning_rate": 6.5866666666666666e-06,
      "loss": 2.0117,
      "step": 1996
    },
    {
      "epoch": 0.0033283333333333333,
      "grad_norm": 2.551384210586548,
      "learning_rate": 6.5900000000000004e-06,
      "loss": 1.8945,
      "step": 1997
    },
    {
      "epoch": 0.00333,
      "grad_norm": 2.574463129043579,
      "learning_rate": 6.5933333333333335e-06,
      "loss": 1.9492,
      "step": 1998
    },
    {
      "epoch": 0.003331666666666667,
      "grad_norm": 2.3668887615203857,
      "learning_rate": 6.5966666666666665e-06,
      "loss": 1.8103,
      "step": 1999
    },
    {
      "epoch": 0.0033333333333333335,
      "grad_norm": 2.475119113922119,
      "learning_rate": 6.600000000000001e-06,
      "loss": 2.0541,
      "step": 2000
    }
  ],
  "logging_steps": 1.0,
  "max_steps": 600000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 9223372036854775807,
  "save_steps": 1000,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 3.27320934023168e+18,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}