{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.6116207951070336,
  "eval_steps": 1000,
  "global_step": 100,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0061162079510703364,
      "grad_norm": 14.838244438171387,
      "learning_rate": 0.0,
      "loss": 3.3874,
      "step": 1
    },
    {
      "epoch": 0.012232415902140673,
      "grad_norm": 9.148641586303711,
      "learning_rate": 8.613531161467861e-05,
      "loss": 3.3261,
      "step": 2
    },
    {
      "epoch": 0.01834862385321101,
      "grad_norm": 11.121794700622559,
      "learning_rate": 0.00013652123889719707,
      "loss": 3.5395,
      "step": 3
    },
    {
      "epoch": 0.024464831804281346,
      "grad_norm": 15.398090362548828,
      "learning_rate": 0.00017227062322935723,
      "loss": 2.7237,
      "step": 4
    },
    {
      "epoch": 0.03058103975535168,
      "grad_norm": 12.812384605407715,
      "learning_rate": 0.0002,
      "loss": 2.5766,
      "step": 5
    },
    {
      "epoch": 0.03669724770642202,
      "grad_norm": 13.770212173461914,
      "learning_rate": 0.0002,
      "loss": 2.9812,
      "step": 6
    },
    {
      "epoch": 0.04281345565749235,
      "grad_norm": 9.31240177154541,
      "learning_rate": 0.0001979166666666667,
      "loss": 2.2007,
      "step": 7
    },
    {
      "epoch": 0.04892966360856269,
      "grad_norm": 8.453168869018555,
      "learning_rate": 0.00019583333333333334,
      "loss": 3.0672,
      "step": 8
    },
    {
      "epoch": 0.05504587155963303,
      "grad_norm": 6.629086971282959,
      "learning_rate": 0.00019375000000000002,
      "loss": 2.3837,
      "step": 9
    },
    {
      "epoch": 0.06116207951070336,
      "grad_norm": 8.609308242797852,
      "learning_rate": 0.00019166666666666667,
      "loss": 2.8275,
      "step": 10
    },
    {
      "epoch": 0.0672782874617737,
      "grad_norm": 8.45747184753418,
      "learning_rate": 0.00018958333333333332,
      "loss": 2.7901,
      "step": 11
    },
    {
      "epoch": 0.07339449541284404,
      "grad_norm": 7.778749942779541,
      "learning_rate": 0.0001875,
      "loss": 2.1263,
      "step": 12
    },
    {
      "epoch": 0.07951070336391437,
      "grad_norm": 9.23363208770752,
      "learning_rate": 0.00018541666666666668,
      "loss": 2.7385,
      "step": 13
    },
    {
      "epoch": 0.0856269113149847,
      "grad_norm": 10.394725799560547,
      "learning_rate": 0.00018333333333333334,
      "loss": 1.9376,
      "step": 14
    },
    {
      "epoch": 0.09174311926605505,
      "grad_norm": 8.084063529968262,
      "learning_rate": 0.00018125000000000001,
      "loss": 2.5122,
      "step": 15
    },
    {
      "epoch": 0.09785932721712538,
      "grad_norm": 7.217422008514404,
      "learning_rate": 0.0001791666666666667,
      "loss": 1.8823,
      "step": 16
    },
    {
      "epoch": 0.10397553516819572,
      "grad_norm": 10.879976272583008,
      "learning_rate": 0.00017708333333333335,
      "loss": 2.3302,
      "step": 17
    },
    {
      "epoch": 0.11009174311926606,
      "grad_norm": 9.06281566619873,
      "learning_rate": 0.000175,
      "loss": 2.0973,
      "step": 18
    },
    {
      "epoch": 0.1162079510703364,
      "grad_norm": 9.083320617675781,
      "learning_rate": 0.00017291666666666668,
      "loss": 2.5653,
      "step": 19
    },
    {
      "epoch": 0.12232415902140673,
      "grad_norm": 12.028092384338379,
      "learning_rate": 0.00017083333333333333,
      "loss": 2.1673,
      "step": 20
    },
    {
      "epoch": 0.12844036697247707,
      "grad_norm": 8.217774391174316,
      "learning_rate": 0.00016875,
      "loss": 2.9435,
      "step": 21
    },
    {
      "epoch": 0.1345565749235474,
      "grad_norm": 7.708691596984863,
      "learning_rate": 0.0001666666666666667,
      "loss": 2.5439,
      "step": 22
    },
    {
      "epoch": 0.14067278287461774,
      "grad_norm": 9.682010650634766,
      "learning_rate": 0.00016458333333333334,
      "loss": 2.5956,
      "step": 23
    },
    {
      "epoch": 0.14678899082568808,
      "grad_norm": 8.222599029541016,
      "learning_rate": 0.00016250000000000002,
      "loss": 1.9396,
      "step": 24
    },
    {
      "epoch": 0.1529051987767584,
      "grad_norm": 5.596776008605957,
      "learning_rate": 0.00016041666666666667,
      "loss": 1.6316,
      "step": 25
    },
    {
      "epoch": 0.15902140672782875,
      "grad_norm": 7.1853766441345215,
      "learning_rate": 0.00015833333333333332,
      "loss": 2.2344,
      "step": 26
    },
    {
      "epoch": 0.1651376146788991,
      "grad_norm": 8.985827445983887,
      "learning_rate": 0.00015625,
      "loss": 1.8781,
      "step": 27
    },
    {
      "epoch": 0.1712538226299694,
      "grad_norm": 7.93477201461792,
      "learning_rate": 0.00015416666666666668,
      "loss": 2.6036,
      "step": 28
    },
    {
      "epoch": 0.17737003058103976,
      "grad_norm": 6.477381229400635,
      "learning_rate": 0.00015208333333333333,
      "loss": 2.4767,
      "step": 29
    },
    {
      "epoch": 0.1834862385321101,
      "grad_norm": 6.518289566040039,
      "learning_rate": 0.00015000000000000001,
      "loss": 2.4941,
      "step": 30
    },
    {
      "epoch": 0.18960244648318042,
      "grad_norm": 5.40209436416626,
      "learning_rate": 0.0001479166666666667,
      "loss": 0.7781,
      "step": 31
    },
    {
      "epoch": 0.19571865443425077,
      "grad_norm": 10.794727325439453,
      "learning_rate": 0.00014583333333333335,
      "loss": 1.9824,
      "step": 32
    },
    {
      "epoch": 0.2018348623853211,
      "grad_norm": 7.486544609069824,
      "learning_rate": 0.00014375,
      "loss": 2.679,
      "step": 33
    },
    {
      "epoch": 0.20795107033639143,
      "grad_norm": 6.3984832763671875,
      "learning_rate": 0.00014166666666666668,
      "loss": 1.1488,
      "step": 34
    },
    {
      "epoch": 0.21406727828746178,
      "grad_norm": 4.752143859863281,
      "learning_rate": 0.00013958333333333333,
      "loss": 0.2673,
      "step": 35
    },
    {
      "epoch": 0.22018348623853212,
      "grad_norm": 7.158022403717041,
      "learning_rate": 0.0001375,
      "loss": 2.448,
      "step": 36
    },
    {
      "epoch": 0.22629969418960244,
      "grad_norm": 8.356815338134766,
      "learning_rate": 0.0001354166666666667,
      "loss": 2.293,
      "step": 37
    },
    {
      "epoch": 0.2324159021406728,
      "grad_norm": 6.427772521972656,
      "learning_rate": 0.00013333333333333334,
      "loss": 2.0871,
      "step": 38
    },
    {
      "epoch": 0.23853211009174313,
      "grad_norm": 8.426436424255371,
      "learning_rate": 0.00013125000000000002,
      "loss": 2.6529,
      "step": 39
    },
    {
      "epoch": 0.24464831804281345,
      "grad_norm": 6.148336887359619,
      "learning_rate": 0.00012916666666666667,
      "loss": 1.0728,
      "step": 40
    },
    {
      "epoch": 0.25076452599388377,
      "grad_norm": 7.108105182647705,
      "learning_rate": 0.00012708333333333332,
      "loss": 2.3828,
      "step": 41
    },
    {
      "epoch": 0.25688073394495414,
      "grad_norm": 7.101551055908203,
      "learning_rate": 0.000125,
      "loss": 1.5256,
      "step": 42
    },
    {
      "epoch": 0.26299694189602446,
      "grad_norm": 5.024567127227783,
      "learning_rate": 0.00012291666666666668,
      "loss": 1.165,
      "step": 43
    },
    {
      "epoch": 0.2691131498470948,
      "grad_norm": 5.79965877532959,
      "learning_rate": 0.00012083333333333333,
      "loss": 2.6776,
      "step": 44
    },
    {
      "epoch": 0.27522935779816515,
      "grad_norm": 14.309733390808105,
      "learning_rate": 0.00011875,
      "loss": 2.7559,
      "step": 45
    },
    {
      "epoch": 0.28134556574923547,
      "grad_norm": 10.46374797821045,
      "learning_rate": 0.00011666666666666668,
      "loss": 2.9232,
      "step": 46
    },
    {
      "epoch": 0.2874617737003058,
      "grad_norm": 3.6996495723724365,
      "learning_rate": 0.00011458333333333333,
      "loss": 0.654,
      "step": 47
    },
    {
      "epoch": 0.29357798165137616,
      "grad_norm": 5.34403657913208,
      "learning_rate": 0.00011250000000000001,
      "loss": 1.4462,
      "step": 48
    },
    {
      "epoch": 0.2996941896024465,
      "grad_norm": 5.660646438598633,
      "learning_rate": 0.00011041666666666668,
      "loss": 2.1049,
      "step": 49
    },
    {
      "epoch": 0.3058103975535168,
      "grad_norm": 5.277816295623779,
      "learning_rate": 0.00010833333333333333,
      "loss": 1.859,
      "step": 50
    },
    {
      "epoch": 0.3119266055045872,
      "grad_norm": 12.085375785827637,
      "learning_rate": 0.00010625000000000001,
      "loss": 2.4971,
      "step": 51
    },
    {
      "epoch": 0.3180428134556575,
      "grad_norm": 36.70216369628906,
      "learning_rate": 0.00010416666666666667,
      "loss": 1.453,
      "step": 52
    },
    {
      "epoch": 0.3241590214067278,
      "grad_norm": 9.104554176330566,
      "learning_rate": 0.00010208333333333333,
      "loss": 1.2099,
      "step": 53
    },
    {
      "epoch": 0.3302752293577982,
      "grad_norm": 3.353121519088745,
      "learning_rate": 0.0001,
      "loss": 1.1208,
      "step": 54
    },
    {
      "epoch": 0.3363914373088685,
      "grad_norm": 4.4271321296691895,
      "learning_rate": 9.791666666666667e-05,
      "loss": 1.6242,
      "step": 55
    },
    {
      "epoch": 0.3425076452599388,
      "grad_norm": 4.316502094268799,
      "learning_rate": 9.583333333333334e-05,
      "loss": 1.1728,
      "step": 56
    },
    {
      "epoch": 0.3486238532110092,
      "grad_norm": 5.144441604614258,
      "learning_rate": 9.375e-05,
      "loss": 1.5162,
      "step": 57
    },
    {
      "epoch": 0.3547400611620795,
      "grad_norm": 5.84799861907959,
      "learning_rate": 9.166666666666667e-05,
      "loss": 1.2519,
      "step": 58
    },
    {
      "epoch": 0.36085626911314983,
      "grad_norm": 3.7365472316741943,
      "learning_rate": 8.958333333333335e-05,
      "loss": 1.4019,
      "step": 59
    },
    {
      "epoch": 0.3669724770642202,
      "grad_norm": 6.954157829284668,
      "learning_rate": 8.75e-05,
      "loss": 1.5813,
      "step": 60
    },
    {
      "epoch": 0.3730886850152905,
      "grad_norm": 5.947561740875244,
      "learning_rate": 8.541666666666666e-05,
      "loss": 1.6671,
      "step": 61
    },
    {
      "epoch": 0.37920489296636084,
      "grad_norm": 6.023102760314941,
      "learning_rate": 8.333333333333334e-05,
      "loss": 2.037,
      "step": 62
    },
    {
      "epoch": 0.3853211009174312,
      "grad_norm": 7.492596626281738,
      "learning_rate": 8.125000000000001e-05,
      "loss": 2.2622,
      "step": 63
    },
    {
      "epoch": 0.39143730886850153,
      "grad_norm": 11.097272872924805,
      "learning_rate": 7.916666666666666e-05,
      "loss": 2.3523,
      "step": 64
    },
    {
      "epoch": 0.39755351681957185,
      "grad_norm": 2.4827420711517334,
      "learning_rate": 7.708333333333334e-05,
      "loss": 0.1638,
      "step": 65
    },
    {
      "epoch": 0.4036697247706422,
      "grad_norm": 5.089619159698486,
      "learning_rate": 7.500000000000001e-05,
      "loss": 1.1545,
      "step": 66
    },
    {
      "epoch": 0.40978593272171254,
      "grad_norm": 6.669894695281982,
      "learning_rate": 7.291666666666667e-05,
      "loss": 2.2006,
      "step": 67
    },
    {
      "epoch": 0.41590214067278286,
      "grad_norm": 5.763303756713867,
      "learning_rate": 7.083333333333334e-05,
      "loss": 1.9015,
      "step": 68
    },
    {
      "epoch": 0.42201834862385323,
      "grad_norm": 9.203344345092773,
      "learning_rate": 6.875e-05,
      "loss": 1.6318,
      "step": 69
    },
    {
      "epoch": 0.42813455657492355,
      "grad_norm": 6.153674125671387,
      "learning_rate": 6.666666666666667e-05,
      "loss": 1.7112,
      "step": 70
    },
    {
      "epoch": 0.43425076452599387,
      "grad_norm": 5.289427280426025,
      "learning_rate": 6.458333333333334e-05,
      "loss": 1.0532,
      "step": 71
    },
    {
      "epoch": 0.44036697247706424,
      "grad_norm": 6.576167106628418,
      "learning_rate": 6.25e-05,
      "loss": 2.1147,
      "step": 72
    },
    {
      "epoch": 0.44648318042813456,
      "grad_norm": 4.89756441116333,
      "learning_rate": 6.041666666666667e-05,
      "loss": 1.7952,
      "step": 73
    },
    {
      "epoch": 0.4525993883792049,
      "grad_norm": 7.197701930999756,
      "learning_rate": 5.833333333333334e-05,
      "loss": 2.5495,
      "step": 74
    },
    {
      "epoch": 0.45871559633027525,
      "grad_norm": 2.697310447692871,
      "learning_rate": 5.6250000000000005e-05,
      "loss": 0.5726,
      "step": 75
    },
    {
      "epoch": 0.4648318042813456,
      "grad_norm": 3.392221689224243,
      "learning_rate": 5.4166666666666664e-05,
      "loss": 0.3004,
      "step": 76
    },
    {
      "epoch": 0.4709480122324159,
      "grad_norm": 4.9025654792785645,
      "learning_rate": 5.208333333333334e-05,
      "loss": 2.062,
      "step": 77
    },
    {
      "epoch": 0.47706422018348627,
      "grad_norm": 8.18167781829834,
      "learning_rate": 5e-05,
      "loss": 2.3658,
      "step": 78
    },
    {
      "epoch": 0.4831804281345566,
      "grad_norm": 5.826730251312256,
      "learning_rate": 4.791666666666667e-05,
      "loss": 2.4463,
      "step": 79
    },
    {
      "epoch": 0.4892966360856269,
      "grad_norm": 5.785229206085205,
      "learning_rate": 4.5833333333333334e-05,
      "loss": 2.244,
      "step": 80
    },
    {
      "epoch": 0.4954128440366973,
      "grad_norm": 5.607297420501709,
      "learning_rate": 4.375e-05,
      "loss": 1.8766,
      "step": 81
    },
    {
      "epoch": 0.5015290519877675,
      "grad_norm": 6.283894062042236,
      "learning_rate": 4.166666666666667e-05,
      "loss": 2.2676,
      "step": 82
    },
    {
      "epoch": 0.5076452599388379,
      "grad_norm": 6.15252685546875,
      "learning_rate": 3.958333333333333e-05,
      "loss": 1.6141,
      "step": 83
    },
    {
      "epoch": 0.5137614678899083,
      "grad_norm": 3.592761993408203,
      "learning_rate": 3.7500000000000003e-05,
      "loss": 0.8462,
      "step": 84
    },
    {
      "epoch": 0.5198776758409785,
      "grad_norm": 5.9615583419799805,
      "learning_rate": 3.541666666666667e-05,
      "loss": 2.168,
      "step": 85
    },
    {
      "epoch": 0.5259938837920489,
      "grad_norm": 4.592804431915283,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 1.2064,
      "step": 86
    },
    {
      "epoch": 0.5321100917431193,
      "grad_norm": 5.6012187004089355,
      "learning_rate": 3.125e-05,
      "loss": 1.5237,
      "step": 87
    },
    {
      "epoch": 0.5382262996941896,
      "grad_norm": 6.5024895668029785,
      "learning_rate": 2.916666666666667e-05,
      "loss": 2.4125,
      "step": 88
    },
    {
      "epoch": 0.5443425076452599,
      "grad_norm": 3.219243049621582,
      "learning_rate": 2.7083333333333332e-05,
      "loss": 0.7604,
      "step": 89
    },
    {
      "epoch": 0.5504587155963303,
      "grad_norm": 4.511606693267822,
      "learning_rate": 2.5e-05,
      "loss": 1.375,
      "step": 90
    },
    {
      "epoch": 0.5565749235474006,
      "grad_norm": 5.208837032318115,
      "learning_rate": 2.2916666666666667e-05,
      "loss": 2.4887,
      "step": 91
    },
    {
      "epoch": 0.5626911314984709,
      "grad_norm": 4.148858070373535,
      "learning_rate": 2.0833333333333336e-05,
      "loss": 1.4911,
      "step": 92
    },
    {
      "epoch": 0.5688073394495413,
      "grad_norm": 6.978875637054443,
      "learning_rate": 1.8750000000000002e-05,
      "loss": 2.8134,
      "step": 93
    },
    {
      "epoch": 0.5749235474006116,
      "grad_norm": 5.458982467651367,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 1.6874,
      "step": 94
    },
    {
      "epoch": 0.581039755351682,
      "grad_norm": 7.296456813812256,
      "learning_rate": 1.4583333333333335e-05,
      "loss": 2.7046,
      "step": 95
    },
    {
      "epoch": 0.5871559633027523,
      "grad_norm": 7.519389629364014,
      "learning_rate": 1.25e-05,
      "loss": 1.9551,
      "step": 96
    },
    {
      "epoch": 0.5932721712538226,
      "grad_norm": 4.4563727378845215,
      "learning_rate": 1.0416666666666668e-05,
      "loss": 1.5145,
      "step": 97
    },
    {
      "epoch": 0.599388379204893,
      "grad_norm": 5.324405193328857,
      "learning_rate": 8.333333333333334e-06,
      "loss": 2.3218,
      "step": 98
    },
    {
      "epoch": 0.6055045871559633,
      "grad_norm": 4.699754238128662,
      "learning_rate": 6.25e-06,
      "loss": 1.0038,
      "step": 99
    },
    {
      "epoch": 0.6116207951070336,
      "grad_norm": 5.080688953399658,
      "learning_rate": 4.166666666666667e-06,
      "loss": 1.7079,
      "step": 100
    }
  ],
  "logging_steps": 1,
  "max_steps": 101,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 50,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 1052971141431296.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}