{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.875,
  "eval_steps": 500,
  "global_step": 11500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.025,
      "grad_norm": 0.2082100212574005,
      "learning_rate": 0.0004958333333333334,
      "loss": 1.3502,
      "step": 100
    },
    {
      "epoch": 0.05,
      "grad_norm": 0.1778642237186432,
      "learning_rate": 0.0004916666666666666,
      "loss": 1.1649,
      "step": 200
    },
    {
      "epoch": 0.075,
      "grad_norm": 0.2463778257369995,
      "learning_rate": 0.0004875,
      "loss": 1.1395,
      "step": 300
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.20819446444511414,
      "learning_rate": 0.00048333333333333334,
      "loss": 1.1056,
      "step": 400
    },
    {
      "epoch": 0.125,
      "grad_norm": 0.23243966698646545,
      "learning_rate": 0.0004791666666666667,
      "loss": 1.1329,
      "step": 500
    },
    {
      "epoch": 0.15,
      "grad_norm": 0.19812804460525513,
      "learning_rate": 0.000475,
      "loss": 1.1169,
      "step": 600
    },
    {
      "epoch": 0.175,
      "grad_norm": 0.2258671671152115,
      "learning_rate": 0.00047083333333333336,
      "loss": 1.1318,
      "step": 700
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.20714746415615082,
      "learning_rate": 0.00046666666666666666,
      "loss": 1.114,
      "step": 800
    },
    {
      "epoch": 0.225,
      "grad_norm": 0.22002336382865906,
      "learning_rate": 0.0004625,
      "loss": 1.1269,
      "step": 900
    },
    {
      "epoch": 0.25,
      "grad_norm": 0.2159491330385208,
      "learning_rate": 0.0004583333333333333,
      "loss": 1.0694,
      "step": 1000
    },
    {
      "epoch": 0.275,
      "grad_norm": 0.20638039708137512,
      "learning_rate": 0.0004541666666666667,
      "loss": 1.0929,
      "step": 1100
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.2234920710325241,
      "learning_rate": 0.00045000000000000004,
      "loss": 1.0903,
      "step": 1200
    },
    {
      "epoch": 0.325,
      "grad_norm": 0.23063984513282776,
      "learning_rate": 0.00044583333333333335,
      "loss": 1.095,
      "step": 1300
    },
    {
      "epoch": 0.35,
      "grad_norm": 0.221044659614563,
      "learning_rate": 0.00044166666666666665,
      "loss": 1.0859,
      "step": 1400
    },
    {
      "epoch": 0.375,
      "grad_norm": 0.19685755670070648,
      "learning_rate": 0.0004375,
      "loss": 1.0643,
      "step": 1500
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.2428029328584671,
      "learning_rate": 0.00043333333333333337,
      "loss": 1.0715,
      "step": 1600
    },
    {
      "epoch": 0.425,
      "grad_norm": 0.21401169896125793,
      "learning_rate": 0.00042916666666666667,
      "loss": 1.0821,
      "step": 1700
    },
    {
      "epoch": 0.45,
      "grad_norm": 0.23752962052822113,
      "learning_rate": 0.000425,
      "loss": 1.0936,
      "step": 1800
    },
    {
      "epoch": 0.475,
      "grad_norm": 0.23333564400672913,
      "learning_rate": 0.00042083333333333333,
      "loss": 1.0842,
      "step": 1900
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.2038385421037674,
      "learning_rate": 0.0004166666666666667,
      "loss": 1.0831,
      "step": 2000
    },
    {
      "epoch": 0.525,
      "grad_norm": 0.24392388761043549,
      "learning_rate": 0.0004125,
      "loss": 1.069,
      "step": 2100
    },
    {
      "epoch": 0.55,
      "grad_norm": 0.2810049057006836,
      "learning_rate": 0.00040833333333333336,
      "loss": 1.0649,
      "step": 2200
    },
    {
      "epoch": 0.575,
      "grad_norm": 0.24431484937667847,
      "learning_rate": 0.00040416666666666666,
      "loss": 1.0955,
      "step": 2300
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.2268693745136261,
      "learning_rate": 0.0004,
      "loss": 1.0639,
      "step": 2400
    },
    {
      "epoch": 0.625,
      "grad_norm": 0.22379685938358307,
      "learning_rate": 0.0003958333333333333,
      "loss": 1.0864,
      "step": 2500
    },
    {
      "epoch": 0.65,
      "grad_norm": 0.22857442498207092,
      "learning_rate": 0.0003916666666666667,
      "loss": 1.0895,
      "step": 2600
    },
    {
      "epoch": 0.675,
      "grad_norm": 0.22649641335010529,
      "learning_rate": 0.00038750000000000004,
      "loss": 1.0656,
      "step": 2700
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.2611943185329437,
      "learning_rate": 0.00038333333333333334,
      "loss": 1.0492,
      "step": 2800
    },
    {
      "epoch": 0.725,
      "grad_norm": 0.2599722743034363,
      "learning_rate": 0.00037916666666666665,
      "loss": 1.0639,
      "step": 2900
    },
    {
      "epoch": 0.75,
      "grad_norm": 0.2554958462715149,
      "learning_rate": 0.000375,
      "loss": 1.0592,
      "step": 3000
    },
    {
      "epoch": 0.775,
      "grad_norm": 0.262107789516449,
      "learning_rate": 0.00037083333333333337,
      "loss": 1.0458,
      "step": 3100
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.23872502148151398,
      "learning_rate": 0.00036666666666666667,
      "loss": 1.0479,
      "step": 3200
    },
    {
      "epoch": 0.825,
      "grad_norm": 0.2865801155567169,
      "learning_rate": 0.0003625,
      "loss": 1.0421,
      "step": 3300
    },
    {
      "epoch": 0.85,
      "grad_norm": 0.2661890685558319,
      "learning_rate": 0.00035833333333333333,
      "loss": 1.0653,
      "step": 3400
    },
    {
      "epoch": 0.875,
      "grad_norm": 0.25706493854522705,
      "learning_rate": 0.0003541666666666667,
      "loss": 1.057,
      "step": 3500
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.25889962911605835,
      "learning_rate": 0.00035,
      "loss": 1.0435,
      "step": 3600
    },
    {
      "epoch": 0.925,
      "grad_norm": 0.28601542115211487,
      "learning_rate": 0.00034583333333333335,
      "loss": 1.0564,
      "step": 3700
    },
    {
      "epoch": 0.95,
      "grad_norm": 0.2556051015853882,
      "learning_rate": 0.00034166666666666666,
      "loss": 1.0354,
      "step": 3800
    },
    {
      "epoch": 0.975,
      "grad_norm": 0.259920597076416,
      "learning_rate": 0.0003375,
      "loss": 1.0617,
      "step": 3900
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.26773035526275635,
      "learning_rate": 0.0003333333333333333,
      "loss": 1.0162,
      "step": 4000
    },
    {
      "epoch": 1.0,
      "eval_loss": 1.041967749595642,
      "eval_runtime": 70.7784,
      "eval_samples_per_second": 56.514,
      "eval_steps_per_second": 14.129,
      "step": 4000
    },
    {
      "epoch": 1.025,
      "grad_norm": 0.27995696663856506,
      "learning_rate": 0.0003291666666666667,
      "loss": 1.0294,
      "step": 4100
    },
    {
      "epoch": 1.05,
      "grad_norm": 0.26720207929611206,
      "learning_rate": 0.00032500000000000004,
      "loss": 1.0201,
      "step": 4200
    },
    {
      "epoch": 1.075,
      "grad_norm": 0.26933032274246216,
      "learning_rate": 0.00032083333333333334,
      "loss": 1.0337,
      "step": 4300
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.2675634026527405,
      "learning_rate": 0.00031666666666666665,
      "loss": 1.0204,
      "step": 4400
    },
    {
      "epoch": 1.125,
      "grad_norm": 0.29779279232025146,
      "learning_rate": 0.0003125,
      "loss": 1.0116,
      "step": 4500
    },
    {
      "epoch": 1.15,
      "grad_norm": 0.2576355040073395,
      "learning_rate": 0.00030833333333333337,
      "loss": 1.0422,
      "step": 4600
    },
    {
      "epoch": 1.175,
      "grad_norm": 0.26360246539115906,
      "learning_rate": 0.00030416666666666667,
      "loss": 1.0304,
      "step": 4700
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.2623592019081116,
      "learning_rate": 0.0003,
      "loss": 1.0344,
      "step": 4800
    },
    {
      "epoch": 1.225,
      "grad_norm": 0.2560625970363617,
      "learning_rate": 0.00029583333333333333,
      "loss": 1.0323,
      "step": 4900
    },
    {
      "epoch": 1.25,
      "grad_norm": 0.27826786041259766,
      "learning_rate": 0.0002916666666666667,
      "loss": 1.0147,
      "step": 5000
    },
    {
      "epoch": 1.275,
      "grad_norm": 0.26778700947761536,
      "learning_rate": 0.0002875,
      "loss": 1.0212,
      "step": 5100
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.2655790150165558,
      "learning_rate": 0.00028333333333333335,
      "loss": 1.0429,
      "step": 5200
    },
    {
      "epoch": 1.325,
      "grad_norm": 0.23913314938545227,
      "learning_rate": 0.00027916666666666666,
      "loss": 1.0093,
      "step": 5300
    },
    {
      "epoch": 1.35,
      "grad_norm": 0.25580066442489624,
      "learning_rate": 0.000275,
      "loss": 1.0157,
      "step": 5400
    },
    {
      "epoch": 1.375,
      "grad_norm": 0.3255338966846466,
      "learning_rate": 0.0002708333333333333,
      "loss": 1.0291,
      "step": 5500
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.2690030634403229,
      "learning_rate": 0.0002666666666666667,
      "loss": 1.0428,
      "step": 5600
    },
    {
      "epoch": 1.425,
      "grad_norm": 0.2967054843902588,
      "learning_rate": 0.00026250000000000004,
      "loss": 1.0077,
      "step": 5700
    },
    {
      "epoch": 1.45,
      "grad_norm": 0.26981931924819946,
      "learning_rate": 0.00025833333333333334,
      "loss": 1.022,
      "step": 5800
    },
    {
      "epoch": 1.475,
      "grad_norm": 0.29188498854637146,
      "learning_rate": 0.00025416666666666665,
      "loss": 1.0317,
      "step": 5900
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.26391416788101196,
      "learning_rate": 0.00025,
      "loss": 1.0311,
      "step": 6000
    },
    {
      "epoch": 1.525,
      "grad_norm": 0.2949013113975525,
      "learning_rate": 0.0002458333333333333,
      "loss": 0.998,
      "step": 6100
    },
    {
      "epoch": 1.55,
      "grad_norm": 0.25229978561401367,
      "learning_rate": 0.00024166666666666667,
      "loss": 1.0241,
      "step": 6200
    },
    {
      "epoch": 1.575,
      "grad_norm": 0.2736811637878418,
      "learning_rate": 0.0002375,
      "loss": 1.0214,
      "step": 6300
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.31093525886535645,
      "learning_rate": 0.00023333333333333333,
      "loss": 0.9709,
      "step": 6400
    },
    {
      "epoch": 1.625,
      "grad_norm": 0.32644134759902954,
      "learning_rate": 0.00022916666666666666,
      "loss": 1.003,
      "step": 6500
    },
    {
      "epoch": 1.65,
      "grad_norm": 0.29749053716659546,
      "learning_rate": 0.00022500000000000002,
      "loss": 0.9985,
      "step": 6600
    },
    {
      "epoch": 1.675,
      "grad_norm": 0.27901262044906616,
      "learning_rate": 0.00022083333333333333,
      "loss": 1.0096,
      "step": 6700
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.32841789722442627,
      "learning_rate": 0.00021666666666666668,
      "loss": 1.0007,
      "step": 6800
    },
    {
      "epoch": 1.725,
      "grad_norm": 0.30320826172828674,
      "learning_rate": 0.0002125,
      "loss": 1.0326,
      "step": 6900
    },
    {
      "epoch": 1.75,
      "grad_norm": 0.2965095639228821,
      "learning_rate": 0.00020833333333333335,
      "loss": 1.0028,
      "step": 7000
    },
    {
      "epoch": 1.775,
      "grad_norm": 0.31121572852134705,
      "learning_rate": 0.00020416666666666668,
      "loss": 0.9839,
      "step": 7100
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.2947477698326111,
      "learning_rate": 0.0002,
      "loss": 0.9841,
      "step": 7200
    },
    {
      "epoch": 1.825,
      "grad_norm": 0.2830908000469208,
      "learning_rate": 0.00019583333333333334,
      "loss": 1.0089,
      "step": 7300
    },
    {
      "epoch": 1.85,
      "grad_norm": 0.29144686460494995,
      "learning_rate": 0.00019166666666666667,
      "loss": 1.0038,
      "step": 7400
    },
    {
      "epoch": 1.875,
      "grad_norm": 0.2925328016281128,
      "learning_rate": 0.0001875,
      "loss": 1.003,
      "step": 7500
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.3474633991718292,
      "learning_rate": 0.00018333333333333334,
      "loss": 1.0265,
      "step": 7600
    },
    {
      "epoch": 1.925,
      "grad_norm": 0.2939680814743042,
      "learning_rate": 0.00017916666666666667,
      "loss": 1.0145,
      "step": 7700
    },
    {
      "epoch": 1.95,
      "grad_norm": 0.2775793969631195,
      "learning_rate": 0.000175,
      "loss": 0.9977,
      "step": 7800
    },
    {
      "epoch": 1.975,
      "grad_norm": 0.3091006577014923,
      "learning_rate": 0.00017083333333333333,
      "loss": 1.0255,
      "step": 7900
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.32153698801994324,
      "learning_rate": 0.00016666666666666666,
      "loss": 1.0262,
      "step": 8000
    },
    {
      "epoch": 2.0,
      "eval_loss": 1.0134142637252808,
      "eval_runtime": 71.1474,
      "eval_samples_per_second": 56.221,
      "eval_steps_per_second": 14.055,
      "step": 8000
    },
    {
      "epoch": 2.025,
      "grad_norm": 0.31311318278312683,
      "learning_rate": 0.00016250000000000002,
      "loss": 1.0097,
      "step": 8100
    },
    {
      "epoch": 2.05,
      "grad_norm": 0.308938205242157,
      "learning_rate": 0.00015833333333333332,
      "loss": 0.9912,
      "step": 8200
    },
    {
      "epoch": 2.075,
      "grad_norm": 0.29837608337402344,
      "learning_rate": 0.00015416666666666668,
      "loss": 0.9945,
      "step": 8300
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.29206210374832153,
      "learning_rate": 0.00015,
      "loss": 0.9608,
      "step": 8400
    },
    {
      "epoch": 2.125,
      "grad_norm": 0.29734155535697937,
      "learning_rate": 0.00014583333333333335,
      "loss": 1.0005,
      "step": 8500
    },
    {
      "epoch": 2.15,
      "grad_norm": 0.31197240948677063,
      "learning_rate": 0.00014166666666666668,
      "loss": 0.9936,
      "step": 8600
    },
    {
      "epoch": 2.175,
      "grad_norm": 0.3193836808204651,
      "learning_rate": 0.0001375,
      "loss": 1.0125,
      "step": 8700
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.29876908659935,
      "learning_rate": 0.00013333333333333334,
      "loss": 1.0084,
      "step": 8800
    },
    {
      "epoch": 2.225,
      "grad_norm": 0.32974332571029663,
      "learning_rate": 0.00012916666666666667,
      "loss": 0.9983,
      "step": 8900
    },
    {
      "epoch": 2.25,
      "grad_norm": 0.2792109549045563,
      "learning_rate": 0.000125,
      "loss": 0.9892,
      "step": 9000
    },
    {
      "epoch": 2.275,
      "grad_norm": 0.30666106939315796,
      "learning_rate": 0.00012083333333333333,
      "loss": 0.9899,
      "step": 9100
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.32148030400276184,
      "learning_rate": 0.00011666666666666667,
      "loss": 0.9903,
      "step": 9200
    },
    {
      "epoch": 2.325,
      "grad_norm": 0.3192428648471832,
      "learning_rate": 0.00011250000000000001,
      "loss": 0.9844,
      "step": 9300
    },
    {
      "epoch": 2.35,
      "grad_norm": 0.31449925899505615,
      "learning_rate": 0.00010833333333333334,
      "loss": 0.9968,
      "step": 9400
    },
    {
      "epoch": 2.375,
      "grad_norm": 0.2781430780887604,
      "learning_rate": 0.00010416666666666667,
      "loss": 0.971,
      "step": 9500
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.352714866399765,
      "learning_rate": 0.0001,
      "loss": 0.9805,
      "step": 9600
    },
    {
      "epoch": 2.425,
      "grad_norm": 0.29257628321647644,
      "learning_rate": 9.583333333333334e-05,
      "loss": 0.9829,
      "step": 9700
    },
    {
      "epoch": 2.45,
      "grad_norm": 0.31601646542549133,
      "learning_rate": 9.166666666666667e-05,
      "loss": 1.029,
      "step": 9800
    },
    {
      "epoch": 2.475,
      "grad_norm": 0.3273641765117645,
      "learning_rate": 8.75e-05,
      "loss": 1.0122,
      "step": 9900
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.3294784128665924,
      "learning_rate": 8.333333333333333e-05,
      "loss": 0.9829,
      "step": 10000
    },
    {
      "epoch": 2.525,
      "grad_norm": 0.33815255761146545,
      "learning_rate": 7.916666666666666e-05,
      "loss": 0.9808,
      "step": 10100
    },
    {
      "epoch": 2.55,
      "grad_norm": 0.33642280101776123,
      "learning_rate": 7.5e-05,
      "loss": 0.9817,
      "step": 10200
    },
    {
      "epoch": 2.575,
      "grad_norm": 0.30594727396965027,
      "learning_rate": 7.083333333333334e-05,
      "loss": 0.9935,
      "step": 10300
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.2828643023967743,
      "learning_rate": 6.666666666666667e-05,
      "loss": 0.9801,
      "step": 10400
    },
    {
      "epoch": 2.625,
      "grad_norm": 0.30603161454200745,
      "learning_rate": 6.25e-05,
      "loss": 0.956,
      "step": 10500
    },
    {
      "epoch": 2.65,
      "grad_norm": 0.33404436707496643,
      "learning_rate": 5.833333333333333e-05,
      "loss": 0.9764,
      "step": 10600
    },
    {
      "epoch": 2.675,
      "grad_norm": 0.31933677196502686,
      "learning_rate": 5.416666666666667e-05,
      "loss": 0.9925,
      "step": 10700
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.3033044934272766,
      "learning_rate": 5e-05,
      "loss": 1.0186,
      "step": 10800
    },
    {
      "epoch": 2.725,
      "grad_norm": 0.3226676881313324,
      "learning_rate": 4.5833333333333334e-05,
      "loss": 0.9668,
      "step": 10900
    },
    {
      "epoch": 2.75,
      "grad_norm": 0.3162941336631775,
      "learning_rate": 4.1666666666666665e-05,
      "loss": 0.9896,
      "step": 11000
    },
    {
      "epoch": 2.775,
      "grad_norm": 0.26616427302360535,
      "learning_rate": 3.75e-05,
      "loss": 0.9534,
      "step": 11100
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.3296871781349182,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 0.9515,
      "step": 11200
    },
    {
      "epoch": 2.825,
      "grad_norm": 0.33690381050109863,
      "learning_rate": 2.9166666666666666e-05,
      "loss": 0.9941,
      "step": 11300
    },
    {
      "epoch": 2.85,
      "grad_norm": 0.3230708837509155,
      "learning_rate": 2.5e-05,
      "loss": 1.0061,
      "step": 11400
    },
    {
      "epoch": 2.875,
      "grad_norm": 0.30407923460006714,
      "learning_rate": 2.0833333333333333e-05,
      "loss": 1.0121,
      "step": 11500
    }
  ],
  "logging_steps": 100,
  "max_steps": 12000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 1.5138055913472e+16,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}