{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 20,
  "global_step": 375,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.6144651174545288,
      "learning_rate": 9.982464296247522e-05,
      "loss": 0.5086,
      "step": 10
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.041260600090026855,
      "learning_rate": 9.929980185352526e-05,
      "loss": 0.0107,
      "step": 20
    },
    {
      "epoch": 0.05333333333333334,
      "eval_loss": 0.004315248690545559,
      "eval_runtime": 95.7488,
      "eval_samples_per_second": 10.444,
      "eval_steps_per_second": 0.439,
      "step": 20
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.00790360290557146,
      "learning_rate": 9.842915805643155e-05,
      "loss": 0.004,
      "step": 30
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.022915204986929893,
      "learning_rate": 9.721881851187406e-05,
      "loss": 0.0035,
      "step": 40
    },
    {
      "epoch": 0.10666666666666667,
      "eval_loss": 0.0034025884233415127,
      "eval_runtime": 95.7394,
      "eval_samples_per_second": 10.445,
      "eval_steps_per_second": 0.439,
      "step": 40
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.026596330106258392,
      "learning_rate": 9.567727288213005e-05,
      "loss": 0.0034,
      "step": 50
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.10935429483652115,
      "learning_rate": 9.381533400219318e-05,
      "loss": 0.0033,
      "step": 60
    },
    {
      "epoch": 0.16,
      "eval_loss": 0.0027047081384807825,
      "eval_runtime": 95.776,
      "eval_samples_per_second": 10.441,
      "eval_steps_per_second": 0.439,
      "step": 60
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.1983339935541153,
      "learning_rate": 9.164606203550497e-05,
      "loss": 0.0024,
      "step": 70
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.11285419017076492,
      "learning_rate": 8.9184672866292e-05,
      "loss": 0.0018,
      "step": 80
    },
    {
      "epoch": 0.21333333333333335,
      "eval_loss": 0.001777145778760314,
      "eval_runtime": 95.7123,
      "eval_samples_per_second": 10.448,
      "eval_steps_per_second": 0.439,
      "step": 80
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.09023458510637283,
      "learning_rate": 8.644843137107059e-05,
      "loss": 0.0022,
      "step": 90
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.0411541648209095,
      "learning_rate": 8.345653031794292e-05,
      "loss": 0.0025,
      "step": 100
    },
    {
      "epoch": 0.26666666666666666,
      "eval_loss": 0.0019247803138568997,
      "eval_runtime": 95.7325,
      "eval_samples_per_second": 10.446,
      "eval_steps_per_second": 0.439,
      "step": 100
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.05165160447359085,
      "learning_rate": 8.022995574311876e-05,
      "loss": 0.0015,
      "step": 110
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.11784542351961136,
      "learning_rate": 7.679133974894983e-05,
      "loss": 0.0019,
      "step": 120
    },
    {
      "epoch": 0.32,
      "eval_loss": 0.00168008788023144,
      "eval_runtime": 95.7517,
      "eval_samples_per_second": 10.444,
      "eval_steps_per_second": 0.439,
      "step": 120
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.1648288369178772,
      "learning_rate": 7.316480175599309e-05,
      "loss": 0.0015,
      "step": 130
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.064679816365242,
      "learning_rate": 6.937577932260515e-05,
      "loss": 0.0015,
      "step": 140
    },
    {
      "epoch": 0.37333333333333335,
      "eval_loss": 0.001629200647585094,
      "eval_runtime": 95.7474,
      "eval_samples_per_second": 10.444,
      "eval_steps_per_second": 0.439,
      "step": 140
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.10296431183815002,
      "learning_rate": 6.545084971874738e-05,
      "loss": 0.0012,
      "step": 150
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.020578118041157722,
      "learning_rate": 6.141754350553279e-05,
      "loss": 0.0015,
      "step": 160
    },
    {
      "epoch": 0.4266666666666667,
      "eval_loss": 0.001399434870108962,
      "eval_runtime": 95.7645,
      "eval_samples_per_second": 10.442,
      "eval_steps_per_second": 0.439,
      "step": 160
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 0.036092739552259445,
      "learning_rate": 5.730415142812059e-05,
      "loss": 0.0015,
      "step": 170
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.07469587028026581,
      "learning_rate": 5.313952597646568e-05,
      "loss": 0.0015,
      "step": 180
    },
    {
      "epoch": 0.48,
      "eval_loss": 0.001668238895945251,
      "eval_runtime": 95.6093,
      "eval_samples_per_second": 10.459,
      "eval_steps_per_second": 0.439,
      "step": 180
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.012558485381305218,
      "learning_rate": 4.895287900583216e-05,
      "loss": 0.0013,
      "step": 190
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.026587937027215958,
      "learning_rate": 4.477357683661734e-05,
      "loss": 0.001,
      "step": 200
    },
    {
      "epoch": 0.5333333333333333,
      "eval_loss": 0.0009001157595776021,
      "eval_runtime": 95.6055,
      "eval_samples_per_second": 10.46,
      "eval_steps_per_second": 0.439,
      "step": 200
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.057403530925512314,
      "learning_rate": 4.063093427071376e-05,
      "loss": 0.001,
      "step": 210
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.03403661027550697,
      "learning_rate": 3.655400896923672e-05,
      "loss": 0.0007,
      "step": 220
    },
    {
      "epoch": 0.5866666666666667,
      "eval_loss": 0.0007602078258059919,
      "eval_runtime": 95.6123,
      "eval_samples_per_second": 10.459,
      "eval_steps_per_second": 0.439,
      "step": 220
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 0.0659874901175499,
      "learning_rate": 3.257139763390925e-05,
      "loss": 0.0008,
      "step": 230
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.06739695370197296,
      "learning_rate": 2.8711035421746367e-05,
      "loss": 0.0011,
      "step": 240
    },
    {
      "epoch": 0.64,
      "eval_loss": 0.0008268249221146107,
      "eval_runtime": 95.5979,
      "eval_samples_per_second": 10.46,
      "eval_steps_per_second": 0.439,
      "step": 240
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.03626958280801773,
      "learning_rate": 2.500000000000001e-05,
      "loss": 0.0006,
      "step": 250
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.04814556986093521,
      "learning_rate": 2.1464321615778422e-05,
      "loss": 0.0008,
      "step": 260
    },
    {
      "epoch": 0.6933333333333334,
      "eval_loss": 0.0010607398580759764,
      "eval_runtime": 95.6167,
      "eval_samples_per_second": 10.458,
      "eval_steps_per_second": 0.439,
      "step": 260
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.0736890509724617,
      "learning_rate": 1.8128800512565513e-05,
      "loss": 0.001,
      "step": 270
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.00970852468162775,
      "learning_rate": 1.5016832974331724e-05,
      "loss": 0.0006,
      "step": 280
    },
    {
      "epoch": 0.7466666666666667,
      "eval_loss": 0.000896115496288985,
      "eval_runtime": 95.5995,
      "eval_samples_per_second": 10.46,
      "eval_steps_per_second": 0.439,
      "step": 280
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.0626436322927475,
      "learning_rate": 1.2150247217412186e-05,
      "loss": 0.0007,
      "step": 290
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.028112420812249184,
      "learning_rate": 9.549150281252633e-06,
      "loss": 0.0008,
      "step": 300
    },
    {
      "epoch": 0.8,
      "eval_loss": 0.0006250065052881837,
      "eval_runtime": 95.5927,
      "eval_samples_per_second": 10.461,
      "eval_steps_per_second": 0.439,
      "step": 300
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.04174938425421715,
      "learning_rate": 7.2317869919746705e-06,
      "loss": 0.0005,
      "step": 310
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.024150365963578224,
      "learning_rate": 5.214411988029355e-06,
      "loss": 0.0006,
      "step": 320
    },
    {
      "epoch": 0.8533333333333334,
      "eval_loss": 0.0006509472732432187,
      "eval_runtime": 95.6069,
      "eval_samples_per_second": 10.459,
      "eval_steps_per_second": 0.439,
      "step": 320
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.03418087959289551,
      "learning_rate": 3.511175705587433e-06,
      "loss": 0.0008,
      "step": 330
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.043204039335250854,
      "learning_rate": 2.134025123396638e-06,
      "loss": 0.0005,
      "step": 340
    },
    {
      "epoch": 0.9066666666666666,
      "eval_loss": 0.0005842947866767645,
      "eval_runtime": 95.6059,
      "eval_samples_per_second": 10.46,
      "eval_steps_per_second": 0.439,
      "step": 340
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.07010845839977264,
      "learning_rate": 1.0926199633097157e-06,
      "loss": 0.0006,
      "step": 350
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.0437210276722908,
      "learning_rate": 3.9426493427611177e-07,
      "loss": 0.0006,
      "step": 360
    },
    {
      "epoch": 0.96,
      "eval_loss": 0.0006073525873944163,
      "eval_runtime": 95.5779,
      "eval_samples_per_second": 10.463,
      "eval_steps_per_second": 0.439,
      "step": 360
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 0.022227060049772263,
      "learning_rate": 4.385849505708084e-08,
      "loss": 0.0005,
      "step": 370
    },
    {
      "epoch": 1.0,
      "step": 375,
      "total_flos": 7.369767647728108e+17,
      "train_loss": 0.01518383183144033,
      "train_runtime": 4516.1364,
      "train_samples_per_second": 1.993,
      "train_steps_per_second": 0.083
    }
  ],
  "logging_steps": 10,
  "max_steps": 375,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 7.369767647728108e+17,
  "train_batch_size": 12,
  "trial_name": null,
  "trial_params": null
}