| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 15.0, | |
| "eval_steps": 500, | |
| "global_step": 28125, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 83973.5390625, | |
| "learning_rate": 1.9644444444444447e-05, | |
| "loss": 2.0046, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 78835.8203125, | |
| "learning_rate": 1.928888888888889e-05, | |
| "loss": 1.9297, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 98455.515625, | |
| "learning_rate": 1.8933333333333334e-05, | |
| "loss": 1.8945, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 1.7244290113449097, | |
| "eval_runtime": 249.8269, | |
| "eval_samples_per_second": 45.992, | |
| "eval_steps_per_second": 2.878, | |
| "step": 1875 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 92820.53125, | |
| "learning_rate": 1.857777777777778e-05, | |
| "loss": 1.894, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 81466.4375, | |
| "learning_rate": 1.8222222222222224e-05, | |
| "loss": 1.8914, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 100493.8828125, | |
| "learning_rate": 1.7866666666666666e-05, | |
| "loss": 1.8799, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 82496.9765625, | |
| "learning_rate": 1.751111111111111e-05, | |
| "loss": 1.8748, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 1.7155790328979492, | |
| "eval_runtime": 251.0614, | |
| "eval_samples_per_second": 45.766, | |
| "eval_steps_per_second": 2.864, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 83626.3125, | |
| "learning_rate": 1.7155555555555557e-05, | |
| "loss": 1.8592, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 89226.7890625, | |
| "learning_rate": 1.6800000000000002e-05, | |
| "loss": 1.8579, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 97076.9140625, | |
| "learning_rate": 1.6444444444444444e-05, | |
| "loss": 1.8644, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 80649.8828125, | |
| "learning_rate": 1.608888888888889e-05, | |
| "loss": 1.86, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_loss": 1.7102577686309814, | |
| "eval_runtime": 249.8194, | |
| "eval_samples_per_second": 45.993, | |
| "eval_steps_per_second": 2.878, | |
| "step": 5625 | |
| }, | |
| { | |
| "epoch": 3.2, | |
| "grad_norm": 100339.359375, | |
| "learning_rate": 1.5733333333333334e-05, | |
| "loss": 1.8513, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 3.466666666666667, | |
| "grad_norm": 84260.203125, | |
| "learning_rate": 1.537777777777778e-05, | |
| "loss": 1.8555, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 3.7333333333333334, | |
| "grad_norm": 118054.75, | |
| "learning_rate": 1.5022222222222223e-05, | |
| "loss": 1.8441, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 104797.90625, | |
| "learning_rate": 1.4666666666666666e-05, | |
| "loss": 1.836, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "eval_loss": 1.7062932252883911, | |
| "eval_runtime": 249.9145, | |
| "eval_samples_per_second": 45.976, | |
| "eval_steps_per_second": 2.877, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 4.266666666666667, | |
| "grad_norm": 90422.0625, | |
| "learning_rate": 1.4311111111111111e-05, | |
| "loss": 1.8417, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 4.533333333333333, | |
| "grad_norm": 79647.8671875, | |
| "learning_rate": 1.3955555555555558e-05, | |
| "loss": 1.8248, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 4.8, | |
| "grad_norm": 92832.390625, | |
| "learning_rate": 1.3600000000000002e-05, | |
| "loss": 1.8349, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "eval_loss": 1.703608512878418, | |
| "eval_runtime": 250.9142, | |
| "eval_samples_per_second": 45.793, | |
| "eval_steps_per_second": 2.866, | |
| "step": 9375 | |
| }, | |
| { | |
| "epoch": 5.066666666666666, | |
| "grad_norm": 84195.46875, | |
| "learning_rate": 1.3244444444444447e-05, | |
| "loss": 1.8393, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 5.333333333333333, | |
| "grad_norm": 87497.765625, | |
| "learning_rate": 1.288888888888889e-05, | |
| "loss": 1.8359, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 5.6, | |
| "grad_norm": 75634.484375, | |
| "learning_rate": 1.2533333333333336e-05, | |
| "loss": 1.8273, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 5.866666666666667, | |
| "grad_norm": 80596.3671875, | |
| "learning_rate": 1.217777777777778e-05, | |
| "loss": 1.8257, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 6.0, | |
| "eval_loss": 1.7036852836608887, | |
| "eval_runtime": 250.2656, | |
| "eval_samples_per_second": 45.911, | |
| "eval_steps_per_second": 2.873, | |
| "step": 11250 | |
| }, | |
| { | |
| "epoch": 6.133333333333334, | |
| "grad_norm": 74257.1640625, | |
| "learning_rate": 1.1822222222222225e-05, | |
| "loss": 1.8203, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 6.4, | |
| "grad_norm": 98625.140625, | |
| "learning_rate": 1.1466666666666668e-05, | |
| "loss": 1.8171, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 6.666666666666667, | |
| "grad_norm": 80374.5, | |
| "learning_rate": 1.1111111111111113e-05, | |
| "loss": 1.8201, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 6.933333333333334, | |
| "grad_norm": 84837.828125, | |
| "learning_rate": 1.0755555555555557e-05, | |
| "loss": 1.8269, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 7.0, | |
| "eval_loss": 1.7010499238967896, | |
| "eval_runtime": 249.9677, | |
| "eval_samples_per_second": 45.966, | |
| "eval_steps_per_second": 2.876, | |
| "step": 13125 | |
| }, | |
| { | |
| "epoch": 7.2, | |
| "grad_norm": 97554.453125, | |
| "learning_rate": 1.04e-05, | |
| "loss": 1.8194, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 7.466666666666667, | |
| "grad_norm": 85062.7109375, | |
| "learning_rate": 1.0044444444444446e-05, | |
| "loss": 1.8099, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 7.733333333333333, | |
| "grad_norm": 82479.5234375, | |
| "learning_rate": 9.688888888888889e-06, | |
| "loss": 1.8176, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "grad_norm": 79344.25, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 1.8163, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "eval_loss": 1.6983685493469238, | |
| "eval_runtime": 249.9592, | |
| "eval_samples_per_second": 45.968, | |
| "eval_steps_per_second": 2.876, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 8.266666666666667, | |
| "grad_norm": 81955.5234375, | |
| "learning_rate": 8.977777777777778e-06, | |
| "loss": 1.8085, | |
| "step": 15500 | |
| }, | |
| { | |
| "epoch": 8.533333333333333, | |
| "grad_norm": 105324.078125, | |
| "learning_rate": 8.622222222222223e-06, | |
| "loss": 1.8037, | |
| "step": 16000 | |
| }, | |
| { | |
| "epoch": 8.8, | |
| "grad_norm": 98839.5703125, | |
| "learning_rate": 8.266666666666667e-06, | |
| "loss": 1.8147, | |
| "step": 16500 | |
| }, | |
| { | |
| "epoch": 9.0, | |
| "eval_loss": 1.6992768049240112, | |
| "eval_runtime": 249.0536, | |
| "eval_samples_per_second": 46.135, | |
| "eval_steps_per_second": 2.887, | |
| "step": 16875 | |
| }, | |
| { | |
| "epoch": 9.066666666666666, | |
| "grad_norm": 103638.4375, | |
| "learning_rate": 7.911111111111112e-06, | |
| "loss": 1.8084, | |
| "step": 17000 | |
| }, | |
| { | |
| "epoch": 9.333333333333334, | |
| "grad_norm": 89376.109375, | |
| "learning_rate": 7.555555555555556e-06, | |
| "loss": 1.8096, | |
| "step": 17500 | |
| }, | |
| { | |
| "epoch": 9.6, | |
| "grad_norm": 75877.4765625, | |
| "learning_rate": 7.2000000000000005e-06, | |
| "loss": 1.8093, | |
| "step": 18000 | |
| }, | |
| { | |
| "epoch": 9.866666666666667, | |
| "grad_norm": 78036.9921875, | |
| "learning_rate": 6.844444444444445e-06, | |
| "loss": 1.7972, | |
| "step": 18500 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "eval_loss": 1.6991671323776245, | |
| "eval_runtime": 248.9456, | |
| "eval_samples_per_second": 46.155, | |
| "eval_steps_per_second": 2.888, | |
| "step": 18750 | |
| }, | |
| { | |
| "epoch": 10.133333333333333, | |
| "grad_norm": 89606.5390625, | |
| "learning_rate": 6.488888888888889e-06, | |
| "loss": 1.8194, | |
| "step": 19000 | |
| }, | |
| { | |
| "epoch": 10.4, | |
| "grad_norm": 98523.1171875, | |
| "learning_rate": 6.133333333333334e-06, | |
| "loss": 1.7887, | |
| "step": 19500 | |
| }, | |
| { | |
| "epoch": 10.666666666666666, | |
| "grad_norm": 91244.1015625, | |
| "learning_rate": 5.777777777777778e-06, | |
| "loss": 1.8046, | |
| "step": 20000 | |
| }, | |
| { | |
| "epoch": 10.933333333333334, | |
| "grad_norm": 72662.453125, | |
| "learning_rate": 5.422222222222223e-06, | |
| "loss": 1.8038, | |
| "step": 20500 | |
| }, | |
| { | |
| "epoch": 11.0, | |
| "eval_loss": 1.6974433660507202, | |
| "eval_runtime": 249.0345, | |
| "eval_samples_per_second": 46.138, | |
| "eval_steps_per_second": 2.887, | |
| "step": 20625 | |
| }, | |
| { | |
| "epoch": 11.2, | |
| "grad_norm": 95889.234375, | |
| "learning_rate": 5.0666666666666676e-06, | |
| "loss": 1.8005, | |
| "step": 21000 | |
| }, | |
| { | |
| "epoch": 11.466666666666667, | |
| "grad_norm": 73050.65625, | |
| "learning_rate": 4.711111111111111e-06, | |
| "loss": 1.8025, | |
| "step": 21500 | |
| }, | |
| { | |
| "epoch": 11.733333333333333, | |
| "grad_norm": 91689.0546875, | |
| "learning_rate": 4.3555555555555555e-06, | |
| "loss": 1.8024, | |
| "step": 22000 | |
| }, | |
| { | |
| "epoch": 12.0, | |
| "grad_norm": 88652.40625, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 1.7975, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 12.0, | |
| "eval_loss": 1.6965736150741577, | |
| "eval_runtime": 249.1076, | |
| "eval_samples_per_second": 46.125, | |
| "eval_steps_per_second": 2.886, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 12.266666666666667, | |
| "grad_norm": 92592.609375, | |
| "learning_rate": 3.644444444444445e-06, | |
| "loss": 1.7998, | |
| "step": 23000 | |
| }, | |
| { | |
| "epoch": 12.533333333333333, | |
| "grad_norm": 89106.4375, | |
| "learning_rate": 3.2888888888888894e-06, | |
| "loss": 1.8033, | |
| "step": 23500 | |
| }, | |
| { | |
| "epoch": 12.8, | |
| "grad_norm": 82725.0, | |
| "learning_rate": 2.9333333333333338e-06, | |
| "loss": 1.7863, | |
| "step": 24000 | |
| }, | |
| { | |
| "epoch": 13.0, | |
| "eval_loss": 1.696386456489563, | |
| "eval_runtime": 250.0854, | |
| "eval_samples_per_second": 45.944, | |
| "eval_steps_per_second": 2.875, | |
| "step": 24375 | |
| }, | |
| { | |
| "epoch": 13.066666666666666, | |
| "grad_norm": 83371.2734375, | |
| "learning_rate": 2.577777777777778e-06, | |
| "loss": 1.7948, | |
| "step": 24500 | |
| }, | |
| { | |
| "epoch": 13.333333333333334, | |
| "grad_norm": 159404.84375, | |
| "learning_rate": 2.222222222222222e-06, | |
| "loss": 1.7959, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 13.6, | |
| "grad_norm": 78977.5078125, | |
| "learning_rate": 1.8666666666666669e-06, | |
| "loss": 1.7964, | |
| "step": 25500 | |
| }, | |
| { | |
| "epoch": 13.866666666666667, | |
| "grad_norm": 119103.296875, | |
| "learning_rate": 1.5111111111111112e-06, | |
| "loss": 1.7999, | |
| "step": 26000 | |
| }, | |
| { | |
| "epoch": 14.0, | |
| "eval_loss": 1.6967781782150269, | |
| "eval_runtime": 250.0487, | |
| "eval_samples_per_second": 45.951, | |
| "eval_steps_per_second": 2.875, | |
| "step": 26250 | |
| }, | |
| { | |
| "epoch": 14.133333333333333, | |
| "grad_norm": 98855.5859375, | |
| "learning_rate": 1.1555555555555556e-06, | |
| "loss": 1.7948, | |
| "step": 26500 | |
| }, | |
| { | |
| "epoch": 14.4, | |
| "grad_norm": 93200.9453125, | |
| "learning_rate": 8.000000000000001e-07, | |
| "loss": 1.7892, | |
| "step": 27000 | |
| }, | |
| { | |
| "epoch": 14.666666666666666, | |
| "grad_norm": 75093.5234375, | |
| "learning_rate": 4.444444444444445e-07, | |
| "loss": 1.7858, | |
| "step": 27500 | |
| }, | |
| { | |
| "epoch": 14.933333333333334, | |
| "grad_norm": 105687.5703125, | |
| "learning_rate": 8.88888888888889e-08, | |
| "loss": 1.8058, | |
| "step": 28000 | |
| } | |
| ], | |
| "logging_steps": 500, | |
| "max_steps": 28125, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 15, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.2180590840512512e+17, | |
| "train_batch_size": 16, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |