{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.6116207951070336,
  "eval_steps": 1000,
  "global_step": 100,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0061162079510703364,
      "grad_norm": 8.660808563232422,
      "learning_rate": 0.0,
      "loss": 3.5673,
      "step": 1
    },
    {
      "epoch": 0.012232415902140673,
      "grad_norm": 7.207181930541992,
      "learning_rate": 8.613531161467861e-05,
      "loss": 3.7385,
      "step": 2
    },
    {
      "epoch": 0.01834862385321101,
      "grad_norm": 7.629356384277344,
      "learning_rate": 0.00013652123889719707,
      "loss": 3.9868,
      "step": 3
    },
    {
      "epoch": 0.024464831804281346,
      "grad_norm": 6.810473442077637,
      "learning_rate": 0.00017227062322935723,
      "loss": 3.3019,
      "step": 4
    },
    {
      "epoch": 0.03058103975535168,
      "grad_norm": 6.724853992462158,
      "learning_rate": 0.0002,
      "loss": 2.8308,
      "step": 5
    },
    {
      "epoch": 0.03669724770642202,
      "grad_norm": 9.132241249084473,
      "learning_rate": 0.0002,
      "loss": 3.3305,
      "step": 6
    },
    {
      "epoch": 0.04281345565749235,
      "grad_norm": 7.261807918548584,
      "learning_rate": 0.0001979166666666667,
      "loss": 2.4643,
      "step": 7
    },
    {
      "epoch": 0.04892966360856269,
      "grad_norm": 6.900296211242676,
      "learning_rate": 0.00019583333333333334,
      "loss": 3.4016,
      "step": 8
    },
    {
      "epoch": 0.05504587155963303,
      "grad_norm": 6.751162052154541,
      "learning_rate": 0.00019375000000000002,
      "loss": 2.5572,
      "step": 9
    },
    {
      "epoch": 0.06116207951070336,
      "grad_norm": 203.9573974609375,
      "learning_rate": 0.00019166666666666667,
      "loss": 3.0486,
      "step": 10
    },
    {
      "epoch": 0.0672782874617737,
      "grad_norm": 10.501636505126953,
      "learning_rate": 0.00018958333333333332,
      "loss": 3.0324,
      "step": 11
    },
    {
      "epoch": 0.07339449541284404,
      "grad_norm": 11.122443199157715,
      "learning_rate": 0.0001875,
      "loss": 1.9763,
      "step": 12
    },
    {
      "epoch": 0.07951070336391437,
      "grad_norm": 12.943284034729004,
      "learning_rate": 0.00018541666666666668,
      "loss": 2.694,
      "step": 13
    },
    {
      "epoch": 0.0856269113149847,
      "grad_norm": 11.015685081481934,
      "learning_rate": 0.00018333333333333334,
      "loss": 1.7901,
      "step": 14
    },
    {
      "epoch": 0.09174311926605505,
      "grad_norm": 6.8550286293029785,
      "learning_rate": 0.00018125000000000001,
      "loss": 2.3794,
      "step": 15
    },
    {
      "epoch": 0.09785932721712538,
      "grad_norm": 6.181105136871338,
      "learning_rate": 0.0001791666666666667,
      "loss": 1.872,
      "step": 16
    },
    {
      "epoch": 0.10397553516819572,
      "grad_norm": 9.568614959716797,
      "learning_rate": 0.00017708333333333335,
      "loss": 2.3598,
      "step": 17
    },
    {
      "epoch": 0.11009174311926606,
      "grad_norm": 7.587527275085449,
      "learning_rate": 0.000175,
      "loss": 2.0065,
      "step": 18
    },
    {
      "epoch": 0.1162079510703364,
      "grad_norm": 6.390735626220703,
      "learning_rate": 0.00017291666666666668,
      "loss": 2.4806,
      "step": 19
    },
    {
      "epoch": 0.12232415902140673,
      "grad_norm": 7.028254508972168,
      "learning_rate": 0.00017083333333333333,
      "loss": 2.0022,
      "step": 20
    },
    {
      "epoch": 0.12844036697247707,
      "grad_norm": 6.614259719848633,
      "learning_rate": 0.00016875,
      "loss": 3.0237,
      "step": 21
    },
    {
      "epoch": 0.1345565749235474,
      "grad_norm": 5.891978740692139,
      "learning_rate": 0.0001666666666666667,
      "loss": 2.5397,
      "step": 22
    },
    {
      "epoch": 0.14067278287461774,
      "grad_norm": 6.716469764709473,
      "learning_rate": 0.00016458333333333334,
      "loss": 2.5222,
      "step": 23
    },
    {
      "epoch": 0.14678899082568808,
      "grad_norm": 7.006270408630371,
      "learning_rate": 0.00016250000000000002,
      "loss": 2.0647,
      "step": 24
    },
    {
      "epoch": 0.1529051987767584,
      "grad_norm": 4.018204212188721,
      "learning_rate": 0.00016041666666666667,
      "loss": 1.6351,
      "step": 25
    },
    {
      "epoch": 0.15902140672782875,
      "grad_norm": 6.046674728393555,
      "learning_rate": 0.00015833333333333332,
      "loss": 2.2371,
      "step": 26
    },
    {
      "epoch": 0.1651376146788991,
      "grad_norm": 7.204468727111816,
      "learning_rate": 0.00015625,
      "loss": 1.8776,
      "step": 27
    },
    {
      "epoch": 0.1712538226299694,
      "grad_norm": 6.357034206390381,
      "learning_rate": 0.00015416666666666668,
      "loss": 2.6891,
      "step": 28
    },
    {
      "epoch": 0.17737003058103976,
      "grad_norm": 5.36763858795166,
      "learning_rate": 0.00015208333333333333,
      "loss": 2.6209,
      "step": 29
    },
    {
      "epoch": 0.1834862385321101,
      "grad_norm": 5.305397987365723,
      "learning_rate": 0.00015000000000000001,
      "loss": 2.6514,
      "step": 30
    },
    {
      "epoch": 0.18960244648318042,
      "grad_norm": 5.0404486656188965,
      "learning_rate": 0.0001479166666666667,
      "loss": 0.8163,
      "step": 31
    },
    {
      "epoch": 0.19571865443425077,
      "grad_norm": 8.426904678344727,
      "learning_rate": 0.00014583333333333335,
      "loss": 2.091,
      "step": 32
    },
    {
      "epoch": 0.2018348623853211,
      "grad_norm": 6.798487186431885,
      "learning_rate": 0.00014375,
      "loss": 2.8367,
      "step": 33
    },
    {
      "epoch": 0.20795107033639143,
      "grad_norm": 5.3157877922058105,
      "learning_rate": 0.00014166666666666668,
      "loss": 1.1625,
      "step": 34
    },
    {
      "epoch": 0.21406727828746178,
      "grad_norm": 2.3767905235290527,
      "learning_rate": 0.00013958333333333333,
      "loss": 0.2477,
      "step": 35
    },
    {
      "epoch": 0.22018348623853212,
      "grad_norm": 6.006268501281738,
      "learning_rate": 0.0001375,
      "loss": 2.4461,
      "step": 36
    },
    {
      "epoch": 0.22629969418960244,
      "grad_norm": 5.757986068725586,
      "learning_rate": 0.0001354166666666667,
      "loss": 2.4528,
      "step": 37
    },
    {
      "epoch": 0.2324159021406728,
      "grad_norm": 6.553782939910889,
      "learning_rate": 0.00013333333333333334,
      "loss": 2.1956,
      "step": 38
    },
    {
      "epoch": 0.23853211009174313,
      "grad_norm": 8.149529457092285,
      "learning_rate": 0.00013125000000000002,
      "loss": 2.7447,
      "step": 39
    },
    {
      "epoch": 0.24464831804281345,
      "grad_norm": 4.950877666473389,
      "learning_rate": 0.00012916666666666667,
      "loss": 1.0586,
      "step": 40
    },
    {
      "epoch": 0.25076452599388377,
      "grad_norm": 4.919243335723877,
      "learning_rate": 0.00012708333333333332,
      "loss": 2.4817,
      "step": 41
    },
    {
      "epoch": 0.25688073394495414,
      "grad_norm": 5.983517169952393,
      "learning_rate": 0.000125,
      "loss": 1.6353,
      "step": 42
    },
    {
      "epoch": 0.26299694189602446,
      "grad_norm": 5.014638900756836,
      "learning_rate": 0.00012291666666666668,
      "loss": 1.1878,
      "step": 43
    },
    {
      "epoch": 0.2691131498470948,
      "grad_norm": 5.887791633605957,
      "learning_rate": 0.00012083333333333333,
      "loss": 2.9079,
      "step": 44
    },
    {
      "epoch": 0.27522935779816515,
      "grad_norm": 6.899966716766357,
      "learning_rate": 0.00011875,
      "loss": 2.9588,
      "step": 45
    },
    {
      "epoch": 0.28134556574923547,
      "grad_norm": 5.717799663543701,
      "learning_rate": 0.00011666666666666668,
      "loss": 2.8656,
      "step": 46
    },
    {
      "epoch": 0.2874617737003058,
      "grad_norm": 3.8744447231292725,
      "learning_rate": 0.00011458333333333333,
      "loss": 0.7523,
      "step": 47
    },
    {
      "epoch": 0.29357798165137616,
      "grad_norm": 5.142226696014404,
      "learning_rate": 0.00011250000000000001,
      "loss": 1.5366,
      "step": 48
    },
    {
      "epoch": 0.2996941896024465,
      "grad_norm": 4.917407512664795,
      "learning_rate": 0.00011041666666666668,
      "loss": 2.3343,
      "step": 49
    },
    {
      "epoch": 0.3058103975535168,
      "grad_norm": 3.830994129180908,
      "learning_rate": 0.00010833333333333333,
      "loss": 1.843,
      "step": 50
    },
    {
      "epoch": 0.3119266055045872,
      "grad_norm": 6.078310966491699,
      "learning_rate": 0.00010625000000000001,
      "loss": 2.6343,
      "step": 51
    },
    {
      "epoch": 0.3180428134556575,
      "grad_norm": 4.997678279876709,
      "learning_rate": 0.00010416666666666667,
      "loss": 1.3599,
      "step": 52
    },
    {
      "epoch": 0.3241590214067278,
      "grad_norm": 3.9184954166412354,
      "learning_rate": 0.00010208333333333333,
      "loss": 1.1759,
      "step": 53
    },
    {
      "epoch": 0.3302752293577982,
      "grad_norm": 2.9978091716766357,
      "learning_rate": 0.0001,
      "loss": 1.1444,
      "step": 54
    },
    {
      "epoch": 0.3363914373088685,
      "grad_norm": 3.656428337097168,
      "learning_rate": 9.791666666666667e-05,
      "loss": 1.6992,
      "step": 55
    },
    {
      "epoch": 0.3425076452599388,
      "grad_norm": 4.245843410491943,
      "learning_rate": 9.583333333333334e-05,
      "loss": 1.3147,
      "step": 56
    },
    {
      "epoch": 0.3486238532110092,
      "grad_norm": 3.5236010551452637,
      "learning_rate": 9.375e-05,
      "loss": 1.4529,
      "step": 57
    },
    {
      "epoch": 0.3547400611620795,
      "grad_norm": 5.085486888885498,
      "learning_rate": 9.166666666666667e-05,
      "loss": 1.4496,
      "step": 58
    },
    {
      "epoch": 0.36085626911314983,
      "grad_norm": 3.34416127204895,
      "learning_rate": 8.958333333333335e-05,
      "loss": 1.5209,
      "step": 59
    },
    {
      "epoch": 0.3669724770642202,
      "grad_norm": 3.9783742427825928,
      "learning_rate": 8.75e-05,
      "loss": 1.6401,
      "step": 60
    },
    {
      "epoch": 0.3730886850152905,
      "grad_norm": 4.964531898498535,
      "learning_rate": 8.541666666666666e-05,
      "loss": 1.7851,
      "step": 61
    },
    {
      "epoch": 0.37920489296636084,
      "grad_norm": 4.7241997718811035,
      "learning_rate": 8.333333333333334e-05,
      "loss": 2.2016,
      "step": 62
    },
    {
      "epoch": 0.3853211009174312,
      "grad_norm": 5.319520950317383,
      "learning_rate": 8.125000000000001e-05,
      "loss": 2.3873,
      "step": 63
    },
    {
      "epoch": 0.39143730886850153,
      "grad_norm": 8.982603073120117,
      "learning_rate": 7.916666666666666e-05,
      "loss": 2.6303,
      "step": 64
    },
    {
      "epoch": 0.39755351681957185,
      "grad_norm": 1.1205874681472778,
      "learning_rate": 7.708333333333334e-05,
      "loss": 0.1282,
      "step": 65
    },
    {
      "epoch": 0.4036697247706422,
      "grad_norm": 3.1795151233673096,
      "learning_rate": 7.500000000000001e-05,
      "loss": 1.2387,
      "step": 66
    },
    {
      "epoch": 0.40978593272171254,
      "grad_norm": 6.89016056060791,
      "learning_rate": 7.291666666666667e-05,
      "loss": 2.3982,
      "step": 67
    },
    {
      "epoch": 0.41590214067278286,
      "grad_norm": 5.013582706451416,
      "learning_rate": 7.083333333333334e-05,
      "loss": 2.0834,
      "step": 68
    },
    {
      "epoch": 0.42201834862385323,
      "grad_norm": 4.096442222595215,
      "learning_rate": 6.875e-05,
      "loss": 1.6025,
      "step": 69
    },
    {
      "epoch": 0.42813455657492355,
      "grad_norm": 4.867453098297119,
      "learning_rate": 6.666666666666667e-05,
      "loss": 1.7167,
      "step": 70
    },
    {
      "epoch": 0.43425076452599387,
      "grad_norm": 3.749317169189453,
      "learning_rate": 6.458333333333334e-05,
      "loss": 1.1032,
      "step": 71
    },
    {
      "epoch": 0.44036697247706424,
      "grad_norm": 5.7217535972595215,
      "learning_rate": 6.25e-05,
      "loss": 2.2715,
      "step": 72
    },
    {
      "epoch": 0.44648318042813456,
      "grad_norm": 3.721311330795288,
      "learning_rate": 6.041666666666667e-05,
      "loss": 1.8696,
      "step": 73
    },
    {
      "epoch": 0.4525993883792049,
      "grad_norm": 5.838470935821533,
      "learning_rate": 5.833333333333334e-05,
      "loss": 2.6274,
      "step": 74
    },
    {
      "epoch": 0.45871559633027525,
      "grad_norm": 2.226341724395752,
      "learning_rate": 5.6250000000000005e-05,
      "loss": 0.6009,
      "step": 75
    },
    {
      "epoch": 0.4648318042813456,
      "grad_norm": 2.5226593017578125,
      "learning_rate": 5.4166666666666664e-05,
      "loss": 0.2884,
      "step": 76
    },
    {
      "epoch": 0.4709480122324159,
      "grad_norm": 4.07631778717041,
      "learning_rate": 5.208333333333334e-05,
      "loss": 2.2146,
      "step": 77
    },
    {
      "epoch": 0.47706422018348627,
      "grad_norm": 5.328915119171143,
      "learning_rate": 5e-05,
      "loss": 2.5741,
      "step": 78
    },
    {
      "epoch": 0.4831804281345566,
      "grad_norm": 4.454275131225586,
      "learning_rate": 4.791666666666667e-05,
      "loss": 2.5801,
      "step": 79
    },
    {
      "epoch": 0.4892966360856269,
      "grad_norm": 4.834322929382324,
      "learning_rate": 4.5833333333333334e-05,
      "loss": 2.4515,
      "step": 80
    },
    {
      "epoch": 0.4954128440366973,
      "grad_norm": 4.437044143676758,
      "learning_rate": 4.375e-05,
      "loss": 1.9943,
      "step": 81
    },
    {
      "epoch": 0.5015290519877675,
      "grad_norm": 4.516618728637695,
      "learning_rate": 4.166666666666667e-05,
      "loss": 2.3656,
      "step": 82
    },
    {
      "epoch": 0.5076452599388379,
      "grad_norm": 4.112553596496582,
      "learning_rate": 3.958333333333333e-05,
      "loss": 1.6772,
      "step": 83
    },
    {
      "epoch": 0.5137614678899083,
      "grad_norm": 3.116727590560913,
      "learning_rate": 3.7500000000000003e-05,
      "loss": 0.8636,
      "step": 84
    },
    {
      "epoch": 0.5198776758409785,
      "grad_norm": 5.432259559631348,
      "learning_rate": 3.541666666666667e-05,
      "loss": 2.3327,
      "step": 85
    },
    {
      "epoch": 0.5259938837920489,
      "grad_norm": 5.103914737701416,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 1.3778,
      "step": 86
    },
    {
      "epoch": 0.5321100917431193,
      "grad_norm": 3.614302158355713,
      "learning_rate": 3.125e-05,
      "loss": 1.4744,
      "step": 87
    },
    {
      "epoch": 0.5382262996941896,
      "grad_norm": 5.543083190917969,
      "learning_rate": 2.916666666666667e-05,
      "loss": 2.5973,
      "step": 88
    },
    {
      "epoch": 0.5443425076452599,
      "grad_norm": 2.4122681617736816,
      "learning_rate": 2.7083333333333332e-05,
      "loss": 0.7568,
      "step": 89
    },
    {
      "epoch": 0.5504587155963303,
      "grad_norm": 3.6105504035949707,
      "learning_rate": 2.5e-05,
      "loss": 1.5159,
      "step": 90
    },
    {
      "epoch": 0.5565749235474006,
      "grad_norm": 5.010311603546143,
      "learning_rate": 2.2916666666666667e-05,
      "loss": 2.6353,
      "step": 91
    },
    {
      "epoch": 0.5626911314984709,
      "grad_norm": 3.6909067630767822,
      "learning_rate": 2.0833333333333336e-05,
      "loss": 1.5439,
      "step": 92
    },
    {
      "epoch": 0.5688073394495413,
      "grad_norm": 6.5463385581970215,
      "learning_rate": 1.8750000000000002e-05,
      "loss": 3.0133,
      "step": 93
    },
    {
      "epoch": 0.5749235474006116,
      "grad_norm": 4.049159049987793,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 1.7854,
      "step": 94
    },
    {
      "epoch": 0.581039755351682,
      "grad_norm": 5.64749813079834,
      "learning_rate": 1.4583333333333335e-05,
      "loss": 2.849,
      "step": 95
    },
    {
      "epoch": 0.5871559633027523,
      "grad_norm": 4.905054092407227,
      "learning_rate": 1.25e-05,
      "loss": 2.1152,
      "step": 96
    },
    {
      "epoch": 0.5932721712538226,
      "grad_norm": 3.8201253414154053,
      "learning_rate": 1.0416666666666668e-05,
      "loss": 1.6202,
      "step": 97
    },
    {
      "epoch": 0.599388379204893,
      "grad_norm": 4.628500461578369,
      "learning_rate": 8.333333333333334e-06,
      "loss": 2.452,
      "step": 98
    },
    {
      "epoch": 0.6055045871559633,
      "grad_norm": 4.139845848083496,
      "learning_rate": 6.25e-06,
      "loss": 1.12,
      "step": 99
    },
    {
      "epoch": 0.6116207951070336,
      "grad_norm": 4.506109237670898,
      "learning_rate": 4.166666666666667e-06,
      "loss": 1.7944,
      "step": 100
    }
  ],
  "logging_steps": 1,
  "max_steps": 101,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 50,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 1052971141431296.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}