| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 11250, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 16.12137222290039, | |
| "learning_rate": 9.555555555555556e-06, | |
| "loss": 1.003, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 17.94552993774414, | |
| "learning_rate": 9.111111111111112e-06, | |
| "loss": 0.7125, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 15.304773330688477, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 0.5609, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 10.148179054260254, | |
| "learning_rate": 8.222222222222222e-06, | |
| "loss": 0.5285, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 28.61308479309082, | |
| "learning_rate": 7.77777777777778e-06, | |
| "loss": 0.4966, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 10.25378131866455, | |
| "learning_rate": 7.333333333333333e-06, | |
| "loss": 0.5003, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 9.449405670166016, | |
| "learning_rate": 6.88888888888889e-06, | |
| "loss": 0.4678, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 0.4248977303504944, | |
| "eval_runtime": 58.7273, | |
| "eval_samples_per_second": 167.128, | |
| "eval_steps_per_second": 20.893, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 0.16836702823638916, | |
| "learning_rate": 6.444444444444445e-06, | |
| "loss": 0.3946, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 11.650405883789062, | |
| "learning_rate": 6e-06, | |
| "loss": 0.3418, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 13.405481338500977, | |
| "learning_rate": 5.555555555555557e-06, | |
| "loss": 0.3417, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 16.331323623657227, | |
| "learning_rate": 5.1111111111111115e-06, | |
| "loss": 0.3439, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 33.12583923339844, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 0.3362, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 1.8709145784378052, | |
| "learning_rate": 4.222222222222223e-06, | |
| "loss": 0.3224, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 6.331809997558594, | |
| "learning_rate": 3.777777777777778e-06, | |
| "loss": 0.3232, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 10.22421932220459, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.316, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 0.5549989938735962, | |
| "eval_runtime": 58.9613, | |
| "eval_samples_per_second": 166.465, | |
| "eval_steps_per_second": 20.81, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 0.016541074961423874, | |
| "learning_rate": 2.888888888888889e-06, | |
| "loss": 0.1642, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 0.9492567777633667, | |
| "learning_rate": 2.4444444444444447e-06, | |
| "loss": 0.1903, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 53.34320831298828, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 0.1704, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 1.3896737098693848, | |
| "learning_rate": 1.5555555555555558e-06, | |
| "loss": 0.1907, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 0.036215439438819885, | |
| "learning_rate": 1.111111111111111e-06, | |
| "loss": 0.1758, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 79.79764556884766, | |
| "learning_rate": 6.666666666666667e-07, | |
| "loss": 0.1788, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 3.713744878768921, | |
| "learning_rate": 2.2222222222222224e-07, | |
| "loss": 0.1795, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_loss": 0.9056276679039001, | |
| "eval_runtime": 64.0652, | |
| "eval_samples_per_second": 153.203, | |
| "eval_steps_per_second": 19.152, | |
| "step": 11250 | |
| } | |
| ], | |
| "logging_steps": 500, | |
| "max_steps": 11250, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4230516689574336.0, | |
| "train_batch_size": 8, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |