{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 15.0,
  "eval_steps": 500,
  "global_step": 28125,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 83973.5390625,
      "learning_rate": 1.9644444444444447e-05,
      "loss": 2.0046,
      "step": 500
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 78835.8203125,
      "learning_rate": 1.928888888888889e-05,
      "loss": 1.9297,
      "step": 1000
    },
    {
      "epoch": 0.8,
      "grad_norm": 98455.515625,
      "learning_rate": 1.8933333333333334e-05,
      "loss": 1.8945,
      "step": 1500
    },
    {
      "epoch": 1.0,
      "eval_loss": 1.7244290113449097,
      "eval_runtime": 249.8269,
      "eval_samples_per_second": 45.992,
      "eval_steps_per_second": 2.878,
      "step": 1875
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 92820.53125,
      "learning_rate": 1.857777777777778e-05,
      "loss": 1.894,
      "step": 2000
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 81466.4375,
      "learning_rate": 1.8222222222222224e-05,
      "loss": 1.8914,
      "step": 2500
    },
    {
      "epoch": 1.6,
      "grad_norm": 100493.8828125,
      "learning_rate": 1.7866666666666666e-05,
      "loss": 1.8799,
      "step": 3000
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 82496.9765625,
      "learning_rate": 1.751111111111111e-05,
      "loss": 1.8748,
      "step": 3500
    },
    {
      "epoch": 2.0,
      "eval_loss": 1.7155790328979492,
      "eval_runtime": 251.0614,
      "eval_samples_per_second": 45.766,
      "eval_steps_per_second": 2.864,
      "step": 3750
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 83626.3125,
      "learning_rate": 1.7155555555555557e-05,
      "loss": 1.8592,
      "step": 4000
    },
    {
      "epoch": 2.4,
      "grad_norm": 89226.7890625,
      "learning_rate": 1.6800000000000002e-05,
      "loss": 1.8579,
      "step": 4500
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 97076.9140625,
      "learning_rate": 1.6444444444444444e-05,
      "loss": 1.8644,
      "step": 5000
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 80649.8828125,
      "learning_rate": 1.608888888888889e-05,
      "loss": 1.86,
      "step": 5500
    },
    {
      "epoch": 3.0,
      "eval_loss": 1.7102577686309814,
      "eval_runtime": 249.8194,
      "eval_samples_per_second": 45.993,
      "eval_steps_per_second": 2.878,
      "step": 5625
    },
    {
      "epoch": 3.2,
      "grad_norm": 100339.359375,
      "learning_rate": 1.5733333333333334e-05,
      "loss": 1.8513,
      "step": 6000
    },
    {
      "epoch": 3.466666666666667,
      "grad_norm": 84260.203125,
      "learning_rate": 1.537777777777778e-05,
      "loss": 1.8555,
      "step": 6500
    },
    {
      "epoch": 3.7333333333333334,
      "grad_norm": 118054.75,
      "learning_rate": 1.5022222222222223e-05,
      "loss": 1.8441,
      "step": 7000
    },
    {
      "epoch": 4.0,
      "grad_norm": 104797.90625,
      "learning_rate": 1.4666666666666666e-05,
      "loss": 1.836,
      "step": 7500
    },
    {
      "epoch": 4.0,
      "eval_loss": 1.7062932252883911,
      "eval_runtime": 249.9145,
      "eval_samples_per_second": 45.976,
      "eval_steps_per_second": 2.877,
      "step": 7500
    },
    {
      "epoch": 4.266666666666667,
      "grad_norm": 90422.0625,
      "learning_rate": 1.4311111111111111e-05,
      "loss": 1.8417,
      "step": 8000
    },
    {
      "epoch": 4.533333333333333,
      "grad_norm": 79647.8671875,
      "learning_rate": 1.3955555555555558e-05,
      "loss": 1.8248,
      "step": 8500
    },
    {
      "epoch": 4.8,
      "grad_norm": 92832.390625,
      "learning_rate": 1.3600000000000002e-05,
      "loss": 1.8349,
      "step": 9000
    },
    {
      "epoch": 5.0,
      "eval_loss": 1.703608512878418,
      "eval_runtime": 250.9142,
      "eval_samples_per_second": 45.793,
      "eval_steps_per_second": 2.866,
      "step": 9375
    },
    {
      "epoch": 5.066666666666666,
      "grad_norm": 84195.46875,
      "learning_rate": 1.3244444444444447e-05,
      "loss": 1.8393,
      "step": 9500
    },
    {
      "epoch": 5.333333333333333,
      "grad_norm": 87497.765625,
      "learning_rate": 1.288888888888889e-05,
      "loss": 1.8359,
      "step": 10000
    },
    {
      "epoch": 5.6,
      "grad_norm": 75634.484375,
      "learning_rate": 1.2533333333333336e-05,
      "loss": 1.8273,
      "step": 10500
    },
    {
      "epoch": 5.866666666666667,
      "grad_norm": 80596.3671875,
      "learning_rate": 1.217777777777778e-05,
      "loss": 1.8257,
      "step": 11000
    },
    {
      "epoch": 6.0,
      "eval_loss": 1.7036852836608887,
      "eval_runtime": 250.2656,
      "eval_samples_per_second": 45.911,
      "eval_steps_per_second": 2.873,
      "step": 11250
    },
    {
      "epoch": 6.133333333333334,
      "grad_norm": 74257.1640625,
      "learning_rate": 1.1822222222222225e-05,
      "loss": 1.8203,
      "step": 11500
    },
    {
      "epoch": 6.4,
      "grad_norm": 98625.140625,
      "learning_rate": 1.1466666666666668e-05,
      "loss": 1.8171,
      "step": 12000
    },
    {
      "epoch": 6.666666666666667,
      "grad_norm": 80374.5,
      "learning_rate": 1.1111111111111113e-05,
      "loss": 1.8201,
      "step": 12500
    },
    {
      "epoch": 6.933333333333334,
      "grad_norm": 84837.828125,
      "learning_rate": 1.0755555555555557e-05,
      "loss": 1.8269,
      "step": 13000
    },
    {
      "epoch": 7.0,
      "eval_loss": 1.7010499238967896,
      "eval_runtime": 249.9677,
      "eval_samples_per_second": 45.966,
      "eval_steps_per_second": 2.876,
      "step": 13125
    },
    {
      "epoch": 7.2,
      "grad_norm": 97554.453125,
      "learning_rate": 1.04e-05,
      "loss": 1.8194,
      "step": 13500
    },
    {
      "epoch": 7.466666666666667,
      "grad_norm": 85062.7109375,
      "learning_rate": 1.0044444444444446e-05,
      "loss": 1.8099,
      "step": 14000
    },
    {
      "epoch": 7.733333333333333,
      "grad_norm": 82479.5234375,
      "learning_rate": 9.688888888888889e-06,
      "loss": 1.8176,
      "step": 14500
    },
    {
      "epoch": 8.0,
      "grad_norm": 79344.25,
      "learning_rate": 9.333333333333334e-06,
      "loss": 1.8163,
      "step": 15000
    },
    {
      "epoch": 8.0,
      "eval_loss": 1.6983685493469238,
      "eval_runtime": 249.9592,
      "eval_samples_per_second": 45.968,
      "eval_steps_per_second": 2.876,
      "step": 15000
    },
    {
      "epoch": 8.266666666666667,
      "grad_norm": 81955.5234375,
      "learning_rate": 8.977777777777778e-06,
      "loss": 1.8085,
      "step": 15500
    },
    {
      "epoch": 8.533333333333333,
      "grad_norm": 105324.078125,
      "learning_rate": 8.622222222222223e-06,
      "loss": 1.8037,
      "step": 16000
    },
    {
      "epoch": 8.8,
      "grad_norm": 98839.5703125,
      "learning_rate": 8.266666666666667e-06,
      "loss": 1.8147,
      "step": 16500
    },
    {
      "epoch": 9.0,
      "eval_loss": 1.6992768049240112,
      "eval_runtime": 249.0536,
      "eval_samples_per_second": 46.135,
      "eval_steps_per_second": 2.887,
      "step": 16875
    },
    {
      "epoch": 9.066666666666666,
      "grad_norm": 103638.4375,
      "learning_rate": 7.911111111111112e-06,
      "loss": 1.8084,
      "step": 17000
    },
    {
      "epoch": 9.333333333333334,
      "grad_norm": 89376.109375,
      "learning_rate": 7.555555555555556e-06,
      "loss": 1.8096,
      "step": 17500
    },
    {
      "epoch": 9.6,
      "grad_norm": 75877.4765625,
      "learning_rate": 7.2000000000000005e-06,
      "loss": 1.8093,
      "step": 18000
    },
    {
      "epoch": 9.866666666666667,
      "grad_norm": 78036.9921875,
      "learning_rate": 6.844444444444445e-06,
      "loss": 1.7972,
      "step": 18500
    },
    {
      "epoch": 10.0,
      "eval_loss": 1.6991671323776245,
      "eval_runtime": 248.9456,
      "eval_samples_per_second": 46.155,
      "eval_steps_per_second": 2.888,
      "step": 18750
    },
    {
      "epoch": 10.133333333333333,
      "grad_norm": 89606.5390625,
      "learning_rate": 6.488888888888889e-06,
      "loss": 1.8194,
      "step": 19000
    },
    {
      "epoch": 10.4,
      "grad_norm": 98523.1171875,
      "learning_rate": 6.133333333333334e-06,
      "loss": 1.7887,
      "step": 19500
    },
    {
      "epoch": 10.666666666666666,
      "grad_norm": 91244.1015625,
      "learning_rate": 5.777777777777778e-06,
      "loss": 1.8046,
      "step": 20000
    },
    {
      "epoch": 10.933333333333334,
      "grad_norm": 72662.453125,
      "learning_rate": 5.422222222222223e-06,
      "loss": 1.8038,
      "step": 20500
    },
    {
      "epoch": 11.0,
      "eval_loss": 1.6974433660507202,
      "eval_runtime": 249.0345,
      "eval_samples_per_second": 46.138,
      "eval_steps_per_second": 2.887,
      "step": 20625
    },
    {
      "epoch": 11.2,
      "grad_norm": 95889.234375,
      "learning_rate": 5.0666666666666676e-06,
      "loss": 1.8005,
      "step": 21000
    },
    {
      "epoch": 11.466666666666667,
      "grad_norm": 73050.65625,
      "learning_rate": 4.711111111111111e-06,
      "loss": 1.8025,
      "step": 21500
    },
    {
      "epoch": 11.733333333333333,
      "grad_norm": 91689.0546875,
      "learning_rate": 4.3555555555555555e-06,
      "loss": 1.8024,
      "step": 22000
    },
    {
      "epoch": 12.0,
      "grad_norm": 88652.40625,
      "learning_rate": 4.000000000000001e-06,
      "loss": 1.7975,
      "step": 22500
    },
    {
      "epoch": 12.0,
      "eval_loss": 1.6965736150741577,
      "eval_runtime": 249.1076,
      "eval_samples_per_second": 46.125,
      "eval_steps_per_second": 2.886,
      "step": 22500
    },
    {
      "epoch": 12.266666666666667,
      "grad_norm": 92592.609375,
      "learning_rate": 3.644444444444445e-06,
      "loss": 1.7998,
      "step": 23000
    },
    {
      "epoch": 12.533333333333333,
      "grad_norm": 89106.4375,
      "learning_rate": 3.2888888888888894e-06,
      "loss": 1.8033,
      "step": 23500
    },
    {
      "epoch": 12.8,
      "grad_norm": 82725.0,
      "learning_rate": 2.9333333333333338e-06,
      "loss": 1.7863,
      "step": 24000
    },
    {
      "epoch": 13.0,
      "eval_loss": 1.696386456489563,
      "eval_runtime": 250.0854,
      "eval_samples_per_second": 45.944,
      "eval_steps_per_second": 2.875,
      "step": 24375
    },
    {
      "epoch": 13.066666666666666,
      "grad_norm": 83371.2734375,
      "learning_rate": 2.577777777777778e-06,
      "loss": 1.7948,
      "step": 24500
    },
    {
      "epoch": 13.333333333333334,
      "grad_norm": 159404.84375,
      "learning_rate": 2.222222222222222e-06,
      "loss": 1.7959,
      "step": 25000
    },
    {
      "epoch": 13.6,
      "grad_norm": 78977.5078125,
      "learning_rate": 1.8666666666666669e-06,
      "loss": 1.7964,
      "step": 25500
    },
    {
      "epoch": 13.866666666666667,
      "grad_norm": 119103.296875,
      "learning_rate": 1.5111111111111112e-06,
      "loss": 1.7999,
      "step": 26000
    },
    {
      "epoch": 14.0,
      "eval_loss": 1.6967781782150269,
      "eval_runtime": 250.0487,
      "eval_samples_per_second": 45.951,
      "eval_steps_per_second": 2.875,
      "step": 26250
    },
    {
      "epoch": 14.133333333333333,
      "grad_norm": 98855.5859375,
      "learning_rate": 1.1555555555555556e-06,
      "loss": 1.7948,
      "step": 26500
    },
    {
      "epoch": 14.4,
      "grad_norm": 93200.9453125,
      "learning_rate": 8.000000000000001e-07,
      "loss": 1.7892,
      "step": 27000
    },
    {
      "epoch": 14.666666666666666,
      "grad_norm": 75093.5234375,
      "learning_rate": 4.444444444444445e-07,
      "loss": 1.7858,
      "step": 27500
    },
    {
      "epoch": 14.933333333333334,
      "grad_norm": 105687.5703125,
      "learning_rate": 8.88888888888889e-08,
      "loss": 1.8058,
      "step": 28000
    }
  ],
  "logging_steps": 500,
  "max_steps": 28125,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 15,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.2180590840512512e+17,
  "train_batch_size": 16,
  "trial_name": null,
  "trial_params": null
}