| { | |
| "best_metric": 0.8348819613456726, | |
| "best_model_checkpoint": "finetuned-websites/checkpoint-200", | |
| "epoch": 10.0, | |
| "eval_steps": 100, | |
| "global_step": 240, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 6.133713722229004, | |
| "learning_rate": 1e-05, | |
| "loss": 1.0596, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 5.39012336730957, | |
| "learning_rate": 2e-05, | |
| "loss": 1.0523, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 4.8409881591796875, | |
| "learning_rate": 3e-05, | |
| "loss": 1.02, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 5.128672122955322, | |
| "learning_rate": 4e-05, | |
| "loss": 0.9759, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 2.0833333333333335, | |
| "grad_norm": 6.329381465911865, | |
| "learning_rate": 5e-05, | |
| "loss": 0.9153, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 6.218069076538086, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8539, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 2.9166666666666665, | |
| "grad_norm": 5.5271430015563965, | |
| "learning_rate": 7.000000000000001e-05, | |
| "loss": 0.8747, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 8.148289680480957, | |
| "learning_rate": 8e-05, | |
| "loss": 0.7716, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 3.75, | |
| "grad_norm": 5.050111293792725, | |
| "learning_rate": 8.9e-05, | |
| "loss": 0.8763, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "grad_norm": 5.70500373840332, | |
| "learning_rate": 9.900000000000001e-05, | |
| "loss": 0.6802, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "eval_accuracy": 0.5735294117647058, | |
| "eval_loss": 1.2561215162277222, | |
| "eval_runtime": 2.1458, | |
| "eval_samples_per_second": 31.69, | |
| "eval_steps_per_second": 4.194, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 4.583333333333333, | |
| "grad_norm": 6.188072204589844, | |
| "learning_rate": 0.000109, | |
| "loss": 0.6251, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 9.144834518432617, | |
| "learning_rate": 0.00011899999999999999, | |
| "loss": 0.6689, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 5.416666666666667, | |
| "grad_norm": 5.840977668762207, | |
| "learning_rate": 0.00012900000000000002, | |
| "loss": 0.5262, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 5.833333333333333, | |
| "grad_norm": 22.520524978637695, | |
| "learning_rate": 0.00013900000000000002, | |
| "loss": 0.6559, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 6.25, | |
| "grad_norm": 7.3676676750183105, | |
| "learning_rate": 0.000149, | |
| "loss": 0.5186, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 6.666666666666667, | |
| "grad_norm": 16.96535873413086, | |
| "learning_rate": 0.00015900000000000002, | |
| "loss": 0.4291, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 7.083333333333333, | |
| "grad_norm": 4.878167629241943, | |
| "learning_rate": 0.00016900000000000002, | |
| "loss": 0.6311, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 7.5, | |
| "grad_norm": 5.731603145599365, | |
| "learning_rate": 0.000179, | |
| "loss": 0.4274, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 7.916666666666667, | |
| "grad_norm": 12.268874168395996, | |
| "learning_rate": 0.000189, | |
| "loss": 0.3916, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 8.333333333333334, | |
| "grad_norm": 19.5472469329834, | |
| "learning_rate": 0.000199, | |
| "loss": 0.3727, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 8.333333333333334, | |
| "eval_accuracy": 0.75, | |
| "eval_loss": 0.8348819613456726, | |
| "eval_runtime": 2.0932, | |
| "eval_samples_per_second": 32.486, | |
| "eval_steps_per_second": 4.3, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 8.75, | |
| "grad_norm": 9.300850868225098, | |
| "learning_rate": 0.00020899999999999998, | |
| "loss": 0.5022, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 9.166666666666666, | |
| "grad_norm": 2.52441668510437, | |
| "learning_rate": 0.000219, | |
| "loss": 0.3873, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 9.583333333333334, | |
| "grad_norm": 7.8756794929504395, | |
| "learning_rate": 0.000229, | |
| "loss": 0.5663, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "grad_norm": 7.985933780670166, | |
| "learning_rate": 0.00023899999999999998, | |
| "loss": 0.6521, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "step": 240, | |
| "total_flos": 2.9603266596900864e+17, | |
| "train_loss": 0.6847666402657827, | |
| "train_runtime": 183.3512, | |
| "train_samples_per_second": 20.834, | |
| "train_steps_per_second": 1.309 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 240, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 10, | |
| "save_steps": 100, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 2.9603266596900864e+17, | |
| "train_batch_size": 8, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |