|
{ |
|
"best_metric": null, |
|
"best_model_checkpoint": null, |
|
"epoch": 2.0, |
|
"eval_steps": 375, |
|
"global_step": 750, |
|
"is_hyper_param_search": false, |
|
"is_local_process_zero": true, |
|
"is_world_process_zero": true, |
|
"log_history": [ |
|
{ |
|
"epoch": 0.03, |
|
"learning_rate": 9.866666666666668e-06, |
|
"loss": 0.6931, |
|
"step": 10 |
|
}, |
|
{ |
|
"epoch": 0.05, |
|
"learning_rate": 9.733333333333334e-06, |
|
"loss": 0.6765, |
|
"step": 20 |
|
}, |
|
{ |
|
"epoch": 0.08, |
|
"learning_rate": 9.600000000000001e-06, |
|
"loss": 0.4544, |
|
"step": 30 |
|
}, |
|
{ |
|
"epoch": 0.11, |
|
"learning_rate": 9.48e-06, |
|
"loss": 0.2259, |
|
"step": 40 |
|
}, |
|
{ |
|
"epoch": 0.13, |
|
"learning_rate": 9.346666666666666e-06, |
|
"loss": 0.1407, |
|
"step": 50 |
|
}, |
|
{ |
|
"epoch": 0.16, |
|
"learning_rate": 9.213333333333334e-06, |
|
"loss": 0.1243, |
|
"step": 60 |
|
}, |
|
{ |
|
"epoch": 0.19, |
|
"learning_rate": 9.080000000000001e-06, |
|
"loss": 0.0641, |
|
"step": 70 |
|
}, |
|
{ |
|
"epoch": 0.21, |
|
"learning_rate": 8.946666666666669e-06, |
|
"loss": 0.0083, |
|
"step": 80 |
|
}, |
|
{ |
|
"epoch": 0.24, |
|
"learning_rate": 8.813333333333334e-06, |
|
"loss": 0.0066, |
|
"step": 90 |
|
}, |
|
{ |
|
"epoch": 0.27, |
|
"learning_rate": 8.693333333333334e-06, |
|
"loss": 0.0596, |
|
"step": 100 |
|
}, |
|
{ |
|
"epoch": 0.29, |
|
"learning_rate": 8.560000000000001e-06, |
|
"loss": 0.0792, |
|
"step": 110 |
|
}, |
|
{ |
|
"epoch": 0.32, |
|
"learning_rate": 8.44e-06, |
|
"loss": 0.1432, |
|
"step": 120 |
|
}, |
|
{ |
|
"epoch": 0.35, |
|
"learning_rate": 8.306666666666668e-06, |
|
"loss": 0.117, |
|
"step": 130 |
|
}, |
|
{ |
|
"epoch": 0.37, |
|
"learning_rate": 8.173333333333334e-06, |
|
"loss": 0.2646, |
|
"step": 140 |
|
}, |
|
{ |
|
"epoch": 0.4, |
|
"learning_rate": 8.040000000000001e-06, |
|
"loss": 0.0097, |
|
"step": 150 |
|
}, |
|
{ |
|
"epoch": 0.43, |
|
"learning_rate": 7.906666666666667e-06, |
|
"loss": 0.0333, |
|
"step": 160 |
|
}, |
|
{ |
|
"epoch": 0.45, |
|
"learning_rate": 7.773333333333334e-06, |
|
"loss": 0.0016, |
|
"step": 170 |
|
}, |
|
{ |
|
"epoch": 0.48, |
|
"learning_rate": 7.640000000000001e-06, |
|
"loss": 0.0038, |
|
"step": 180 |
|
}, |
|
{ |
|
"epoch": 0.51, |
|
"learning_rate": 7.506666666666668e-06, |
|
"loss": 0.074, |
|
"step": 190 |
|
}, |
|
{ |
|
"epoch": 0.53, |
|
"learning_rate": 7.373333333333334e-06, |
|
"loss": 0.1338, |
|
"step": 200 |
|
}, |
|
{ |
|
"epoch": 0.56, |
|
"learning_rate": 7.24e-06, |
|
"loss": 0.0035, |
|
"step": 210 |
|
}, |
|
{ |
|
"epoch": 0.59, |
|
"learning_rate": 7.1066666666666675e-06, |
|
"loss": 0.1519, |
|
"step": 220 |
|
}, |
|
{ |
|
"epoch": 0.61, |
|
"learning_rate": 6.973333333333334e-06, |
|
"loss": 0.0095, |
|
"step": 230 |
|
}, |
|
{ |
|
"epoch": 0.64, |
|
"learning_rate": 6.8400000000000014e-06, |
|
"loss": 0.1465, |
|
"step": 240 |
|
}, |
|
{ |
|
"epoch": 0.67, |
|
"learning_rate": 6.706666666666667e-06, |
|
"loss": 0.0022, |
|
"step": 250 |
|
}, |
|
{ |
|
"epoch": 0.69, |
|
"learning_rate": 6.573333333333334e-06, |
|
"loss": 0.0551, |
|
"step": 260 |
|
}, |
|
{ |
|
"epoch": 0.72, |
|
"learning_rate": 6.440000000000001e-06, |
|
"loss": 0.0028, |
|
"step": 270 |
|
}, |
|
{ |
|
"epoch": 0.75, |
|
"learning_rate": 6.3066666666666676e-06, |
|
"loss": 0.0566, |
|
"step": 280 |
|
}, |
|
{ |
|
"epoch": 0.77, |
|
"learning_rate": 6.173333333333333e-06, |
|
"loss": 0.0009, |
|
"step": 290 |
|
}, |
|
{ |
|
"epoch": 0.8, |
|
"learning_rate": 6.040000000000001e-06, |
|
"loss": 0.0902, |
|
"step": 300 |
|
}, |
|
{ |
|
"epoch": 0.83, |
|
"learning_rate": 5.906666666666667e-06, |
|
"loss": 0.0008, |
|
"step": 310 |
|
}, |
|
{ |
|
"epoch": 0.85, |
|
"learning_rate": 5.7733333333333345e-06, |
|
"loss": 0.0011, |
|
"step": 320 |
|
}, |
|
{ |
|
"epoch": 0.88, |
|
"learning_rate": 5.64e-06, |
|
"loss": 0.0196, |
|
"step": 330 |
|
}, |
|
{ |
|
"epoch": 0.91, |
|
"learning_rate": 5.506666666666667e-06, |
|
"loss": 0.0826, |
|
"step": 340 |
|
}, |
|
{ |
|
"epoch": 0.93, |
|
"learning_rate": 5.373333333333334e-06, |
|
"loss": 0.0408, |
|
"step": 350 |
|
}, |
|
{ |
|
"epoch": 0.96, |
|
"learning_rate": 5.240000000000001e-06, |
|
"loss": 0.0466, |
|
"step": 360 |
|
}, |
|
{ |
|
"epoch": 0.99, |
|
"learning_rate": 5.106666666666667e-06, |
|
"loss": 0.0013, |
|
"step": 370 |
|
}, |
|
{ |
|
"epoch": 1.0, |
|
"eval_accuracy": 0.992, |
|
"eval_loss": 0.05685167387127876, |
|
"eval_runtime": 14.5309, |
|
"eval_samples_per_second": 68.819, |
|
"eval_steps_per_second": 8.602, |
|
"step": 375 |
|
}, |
|
{ |
|
"epoch": 1.01, |
|
"learning_rate": 4.973333333333334e-06, |
|
"loss": 0.0205, |
|
"step": 380 |
|
}, |
|
{ |
|
"epoch": 1.04, |
|
"learning_rate": 4.84e-06, |
|
"loss": 0.0767, |
|
"step": 390 |
|
}, |
|
{ |
|
"epoch": 1.07, |
|
"learning_rate": 4.706666666666667e-06, |
|
"loss": 0.1028, |
|
"step": 400 |
|
}, |
|
{ |
|
"epoch": 1.09, |
|
"learning_rate": 4.573333333333333e-06, |
|
"loss": 0.0007, |
|
"step": 410 |
|
}, |
|
{ |
|
"epoch": 1.12, |
|
"learning_rate": 4.440000000000001e-06, |
|
"loss": 0.0717, |
|
"step": 420 |
|
}, |
|
{ |
|
"epoch": 1.15, |
|
"learning_rate": 4.306666666666666e-06, |
|
"loss": 0.0008, |
|
"step": 430 |
|
}, |
|
{ |
|
"epoch": 1.17, |
|
"learning_rate": 4.173333333333334e-06, |
|
"loss": 0.0005, |
|
"step": 440 |
|
}, |
|
{ |
|
"epoch": 1.2, |
|
"learning_rate": 4.04e-06, |
|
"loss": 0.0007, |
|
"step": 450 |
|
}, |
|
{ |
|
"epoch": 1.23, |
|
"learning_rate": 3.906666666666667e-06, |
|
"loss": 0.0886, |
|
"step": 460 |
|
}, |
|
{ |
|
"epoch": 1.25, |
|
"learning_rate": 3.7733333333333338e-06, |
|
"loss": 0.0413, |
|
"step": 470 |
|
}, |
|
{ |
|
"epoch": 1.28, |
|
"learning_rate": 3.6400000000000003e-06, |
|
"loss": 0.0223, |
|
"step": 480 |
|
}, |
|
{ |
|
"epoch": 1.31, |
|
"learning_rate": 3.5066666666666673e-06, |
|
"loss": 0.0004, |
|
"step": 490 |
|
}, |
|
{ |
|
"epoch": 1.33, |
|
"learning_rate": 3.3733333333333334e-06, |
|
"loss": 0.0146, |
|
"step": 500 |
|
}, |
|
{ |
|
"epoch": 1.36, |
|
"learning_rate": 3.2400000000000003e-06, |
|
"loss": 0.0007, |
|
"step": 510 |
|
}, |
|
{ |
|
"epoch": 1.39, |
|
"learning_rate": 3.106666666666667e-06, |
|
"loss": 0.0201, |
|
"step": 520 |
|
}, |
|
{ |
|
"epoch": 1.41, |
|
"learning_rate": 2.973333333333334e-06, |
|
"loss": 0.0019, |
|
"step": 530 |
|
}, |
|
{ |
|
"epoch": 1.44, |
|
"learning_rate": 2.84e-06, |
|
"loss": 0.0035, |
|
"step": 540 |
|
}, |
|
{ |
|
"epoch": 1.47, |
|
"learning_rate": 2.706666666666667e-06, |
|
"loss": 0.0126, |
|
"step": 550 |
|
}, |
|
{ |
|
"epoch": 1.49, |
|
"learning_rate": 2.573333333333334e-06, |
|
"loss": 0.0004, |
|
"step": 560 |
|
}, |
|
{ |
|
"epoch": 1.52, |
|
"learning_rate": 2.4400000000000004e-06, |
|
"loss": 0.0559, |
|
"step": 570 |
|
}, |
|
{ |
|
"epoch": 1.55, |
|
"learning_rate": 2.306666666666667e-06, |
|
"loss": 0.0375, |
|
"step": 580 |
|
}, |
|
{ |
|
"epoch": 1.57, |
|
"learning_rate": 2.1733333333333334e-06, |
|
"loss": 0.0004, |
|
"step": 590 |
|
}, |
|
{ |
|
"epoch": 1.6, |
|
"learning_rate": 2.04e-06, |
|
"loss": 0.0003, |
|
"step": 600 |
|
}, |
|
{ |
|
"epoch": 1.63, |
|
"learning_rate": 1.906666666666667e-06, |
|
"loss": 0.0004, |
|
"step": 610 |
|
}, |
|
{ |
|
"epoch": 1.65, |
|
"learning_rate": 1.7733333333333336e-06, |
|
"loss": 0.0004, |
|
"step": 620 |
|
}, |
|
{ |
|
"epoch": 1.68, |
|
"learning_rate": 1.6400000000000002e-06, |
|
"loss": 0.006, |
|
"step": 630 |
|
}, |
|
{ |
|
"epoch": 1.71, |
|
"learning_rate": 1.506666666666667e-06, |
|
"loss": 0.0771, |
|
"step": 640 |
|
}, |
|
{ |
|
"epoch": 1.73, |
|
"learning_rate": 1.3733333333333335e-06, |
|
"loss": 0.0003, |
|
"step": 650 |
|
}, |
|
{ |
|
"epoch": 1.76, |
|
"learning_rate": 1.2400000000000002e-06, |
|
"loss": 0.096, |
|
"step": 660 |
|
}, |
|
{ |
|
"epoch": 1.79, |
|
"learning_rate": 1.1066666666666667e-06, |
|
"loss": 0.0863, |
|
"step": 670 |
|
}, |
|
{ |
|
"epoch": 1.81, |
|
"learning_rate": 9.733333333333333e-07, |
|
"loss": 0.0604, |
|
"step": 680 |
|
}, |
|
{ |
|
"epoch": 1.84, |
|
"learning_rate": 8.400000000000001e-07, |
|
"loss": 0.0005, |
|
"step": 690 |
|
}, |
|
{ |
|
"epoch": 1.87, |
|
"learning_rate": 7.066666666666667e-07, |
|
"loss": 0.0004, |
|
"step": 700 |
|
}, |
|
{ |
|
"epoch": 1.89, |
|
"learning_rate": 5.733333333333334e-07, |
|
"loss": 0.1011, |
|
"step": 710 |
|
}, |
|
{ |
|
"epoch": 1.92, |
|
"learning_rate": 4.4e-07, |
|
"loss": 0.0004, |
|
"step": 720 |
|
}, |
|
{ |
|
"epoch": 1.95, |
|
"learning_rate": 3.0666666666666666e-07, |
|
"loss": 0.0003, |
|
"step": 730 |
|
}, |
|
{ |
|
"epoch": 1.97, |
|
"learning_rate": 1.7333333333333335e-07, |
|
"loss": 0.0007, |
|
"step": 740 |
|
}, |
|
{ |
|
"epoch": 2.0, |
|
"learning_rate": 4e-08, |
|
"loss": 0.0005, |
|
"step": 750 |
|
}, |
|
{ |
|
"epoch": 2.0, |
|
"eval_accuracy": 0.966, |
|
"eval_loss": 0.17487600445747375, |
|
"eval_runtime": 14.6356, |
|
"eval_samples_per_second": 68.327, |
|
"eval_steps_per_second": 8.541, |
|
"step": 750 |
|
} |
|
], |
|
"logging_steps": 10, |
|
"max_steps": 750, |
|
"num_train_epochs": 2, |
|
"save_steps": 500, |
|
"total_flos": 1694524054894848.0, |
|
"trial_name": null, |
|
"trial_params": null |
|
} |
|
|