{ "best_metric": 0.21749207377433777, "best_model_checkpoint": "./whisper-small-tw/checkpoint-8000", "epoch": 10.666666666666666, "eval_steps": 1000, "global_step": 8000, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.03, "learning_rate": 4.800000000000001e-07, "loss": 5.3324, "step": 25 }, { "epoch": 0.07, "learning_rate": 9.600000000000001e-07, "loss": 5.2822, "step": 50 }, { "epoch": 0.1, "learning_rate": 1.44e-06, "loss": 5.2944, "step": 75 }, { "epoch": 0.13, "learning_rate": 1.94e-06, "loss": 5.3878, "step": 100 }, { "epoch": 0.17, "learning_rate": 2.4400000000000004e-06, "loss": 5.2157, "step": 125 }, { "epoch": 0.2, "learning_rate": 2.9400000000000002e-06, "loss": 5.2079, "step": 150 }, { "epoch": 0.23, "learning_rate": 3.4200000000000007e-06, "loss": 5.2576, "step": 175 }, { "epoch": 0.27, "learning_rate": 3.920000000000001e-06, "loss": 5.3067, "step": 200 }, { "epoch": 0.3, "learning_rate": 4.42e-06, "loss": 5.2574, "step": 225 }, { "epoch": 0.33, "learning_rate": 4.92e-06, "loss": 5.1906, "step": 250 }, { "epoch": 0.37, "learning_rate": 5.420000000000001e-06, "loss": 5.135, "step": 275 }, { "epoch": 0.4, "learning_rate": 5.92e-06, "loss": 5.1544, "step": 300 }, { "epoch": 0.43, "learning_rate": 6.42e-06, "loss": 4.9905, "step": 325 }, { "epoch": 0.47, "learning_rate": 6.92e-06, "loss": 4.8761, "step": 350 }, { "epoch": 0.5, "learning_rate": 7.420000000000001e-06, "loss": 4.9062, "step": 375 }, { "epoch": 0.53, "learning_rate": 7.92e-06, "loss": 4.903, "step": 400 }, { "epoch": 0.57, "learning_rate": 8.42e-06, "loss": 4.7841, "step": 425 }, { "epoch": 0.6, "learning_rate": 8.920000000000001e-06, "loss": 4.6971, "step": 450 }, { "epoch": 0.63, "learning_rate": 9.42e-06, "loss": 4.5495, "step": 475 }, { "epoch": 0.67, "learning_rate": 9.920000000000002e-06, "loss": 4.3933, "step": 500 }, { "epoch": 0.7, "learning_rate": 9.972e-06, "loss": 4.4097, "step": 525 }, { "epoch": 0.73, "learning_rate": 9.938666666666667e-06, "loss": 4.3364, "step": 550 }, { "epoch": 0.77, "learning_rate": 9.905333333333335e-06, "loss": 4.2196, "step": 575 }, { "epoch": 0.8, "learning_rate": 9.872e-06, "loss": 3.997, "step": 600 }, { "epoch": 0.83, "learning_rate": 9.838666666666668e-06, "loss": 3.9327, "step": 625 }, { "epoch": 0.87, "learning_rate": 9.805333333333334e-06, "loss": 3.8223, "step": 650 }, { "epoch": 0.9, "learning_rate": 9.772e-06, "loss": 3.7377, "step": 675 }, { "epoch": 0.93, "learning_rate": 9.738666666666667e-06, "loss": 3.6786, "step": 700 }, { "epoch": 0.97, "learning_rate": 9.705333333333335e-06, "loss": 3.5168, "step": 725 }, { "epoch": 1.0, "learning_rate": 9.672e-06, "loss": 3.4042, "step": 750 }, { "epoch": 1.03, "learning_rate": 9.638666666666668e-06, "loss": 3.2304, "step": 775 }, { "epoch": 1.07, "learning_rate": 9.605333333333334e-06, "loss": 3.1351, "step": 800 }, { "epoch": 1.1, "learning_rate": 9.572000000000001e-06, "loss": 3.0986, "step": 825 }, { "epoch": 1.13, "learning_rate": 9.538666666666667e-06, "loss": 2.968, "step": 850 }, { "epoch": 1.17, "learning_rate": 9.505333333333334e-06, "loss": 2.7818, "step": 875 }, { "epoch": 1.2, "learning_rate": 9.472000000000002e-06, "loss": 2.707, "step": 900 }, { "epoch": 1.23, "learning_rate": 9.438666666666667e-06, "loss": 2.5692, "step": 925 }, { "epoch": 1.27, "learning_rate": 9.405333333333335e-06, "loss": 2.5056, "step": 950 }, { "epoch": 1.3, "learning_rate": 9.372000000000001e-06, "loss": 2.3117, "step": 975 }, { "epoch": 1.33, "learning_rate": 9.338666666666667e-06, "loss": 2.2151, "step": 1000 }, { "epoch": 1.33, "eval_loss": 2.119739294052124, "eval_runtime": 376.6849, "eval_samples_per_second": 13.141, "eval_steps_per_second": 3.287, "step": 1000 }, { "epoch": 1.37, "learning_rate": 9.305333333333334e-06, "loss": 2.0533, "step": 1025 }, { "epoch": 1.4, "learning_rate": 9.272e-06, "loss": 1.9214, "step": 1050 }, { "epoch": 1.43, "learning_rate": 9.238666666666667e-06, "loss": 1.8134, "step": 1075 }, { "epoch": 1.47, "learning_rate": 9.205333333333333e-06, "loss": 1.6493, "step": 1100 }, { "epoch": 1.5, "learning_rate": 9.172000000000001e-06, "loss": 1.5416, "step": 1125 }, { "epoch": 1.53, "learning_rate": 9.138666666666668e-06, "loss": 1.4164, "step": 1150 }, { "epoch": 1.57, "learning_rate": 9.105333333333334e-06, "loss": 1.2766, "step": 1175 }, { "epoch": 1.6, "learning_rate": 9.072e-06, "loss": 1.1758, "step": 1200 }, { "epoch": 1.63, "learning_rate": 9.038666666666667e-06, "loss": 1.1329, "step": 1225 }, { "epoch": 1.67, "learning_rate": 9.005333333333333e-06, "loss": 1.0748, "step": 1250 }, { "epoch": 1.7, "learning_rate": 8.972000000000002e-06, "loss": 1.0649, "step": 1275 }, { "epoch": 1.73, "learning_rate": 8.938666666666668e-06, "loss": 1.0295, "step": 1300 }, { "epoch": 1.77, "learning_rate": 8.905333333333334e-06, "loss": 0.9379, "step": 1325 }, { "epoch": 1.8, "learning_rate": 8.872e-06, "loss": 0.9206, "step": 1350 }, { "epoch": 1.83, "learning_rate": 8.838666666666667e-06, "loss": 0.9145, "step": 1375 }, { "epoch": 1.87, "learning_rate": 8.805333333333334e-06, "loss": 0.8856, "step": 1400 }, { "epoch": 1.9, "learning_rate": 8.772e-06, "loss": 0.8707, "step": 1425 }, { "epoch": 1.93, "learning_rate": 8.738666666666668e-06, "loss": 0.8517, "step": 1450 }, { "epoch": 1.97, "learning_rate": 8.705333333333335e-06, "loss": 0.8083, "step": 1475 }, { "epoch": 2.0, "learning_rate": 8.672000000000001e-06, "loss": 0.8221, "step": 1500 }, { "epoch": 2.03, "learning_rate": 8.638666666666667e-06, "loss": 0.7594, "step": 1525 }, { "epoch": 2.07, "learning_rate": 8.605333333333334e-06, "loss": 0.7938, "step": 1550 }, { "epoch": 2.1, "learning_rate": 8.572e-06, "loss": 0.7554, "step": 1575 }, { "epoch": 2.13, "learning_rate": 8.538666666666667e-06, "loss": 0.7683, "step": 1600 }, { "epoch": 2.17, "learning_rate": 8.505333333333335e-06, "loss": 0.7296, "step": 1625 }, { "epoch": 2.2, "learning_rate": 8.472e-06, "loss": 0.726, "step": 1650 }, { "epoch": 2.23, "learning_rate": 8.438666666666668e-06, "loss": 0.6808, "step": 1675 }, { "epoch": 2.27, "learning_rate": 8.405333333333334e-06, "loss": 0.6901, "step": 1700 }, { "epoch": 2.3, "learning_rate": 8.372e-06, "loss": 0.6625, "step": 1725 }, { "epoch": 2.33, "learning_rate": 8.338666666666667e-06, "loss": 0.6613, "step": 1750 }, { "epoch": 2.37, "learning_rate": 8.305333333333333e-06, "loss": 0.6058, "step": 1775 }, { "epoch": 2.4, "learning_rate": 8.272000000000001e-06, "loss": 0.6006, "step": 1800 }, { "epoch": 2.43, "learning_rate": 8.238666666666668e-06, "loss": 0.6443, "step": 1825 }, { "epoch": 2.47, "learning_rate": 8.205333333333334e-06, "loss": 0.5848, "step": 1850 }, { "epoch": 2.5, "learning_rate": 8.172e-06, "loss": 0.5336, "step": 1875 }, { "epoch": 2.53, "learning_rate": 8.138666666666667e-06, "loss": 0.5489, "step": 1900 }, { "epoch": 2.57, "learning_rate": 8.105333333333334e-06, "loss": 0.5172, "step": 1925 }, { "epoch": 2.6, "learning_rate": 8.072000000000002e-06, "loss": 0.5058, "step": 1950 }, { "epoch": 2.63, "learning_rate": 8.038666666666666e-06, "loss": 0.503, "step": 1975 }, { "epoch": 2.67, "learning_rate": 8.005333333333335e-06, "loss": 0.5107, "step": 2000 }, { "epoch": 2.67, "eval_loss": 0.4872332513332367, "eval_runtime": 376.7947, "eval_samples_per_second": 13.137, "eval_steps_per_second": 3.286, "step": 2000 }, { "epoch": 2.7, "learning_rate": 7.972000000000001e-06, "loss": 0.5152, "step": 2025 }, { "epoch": 2.73, "learning_rate": 7.938666666666667e-06, "loss": 0.4684, "step": 2050 }, { "epoch": 2.77, "learning_rate": 7.905333333333334e-06, "loss": 0.4354, "step": 2075 }, { "epoch": 2.8, "learning_rate": 7.872e-06, "loss": 0.4372, "step": 2100 }, { "epoch": 2.83, "learning_rate": 7.838666666666668e-06, "loss": 0.4449, "step": 2125 }, { "epoch": 2.87, "learning_rate": 7.805333333333333e-06, "loss": 0.4155, "step": 2150 }, { "epoch": 2.9, "learning_rate": 7.772000000000001e-06, "loss": 0.4156, "step": 2175 }, { "epoch": 2.93, "learning_rate": 7.74e-06, "loss": 0.4264, "step": 2200 }, { "epoch": 2.97, "learning_rate": 7.706666666666669e-06, "loss": 0.4053, "step": 2225 }, { "epoch": 3.0, "learning_rate": 7.673333333333333e-06, "loss": 0.3891, "step": 2250 }, { "epoch": 3.03, "learning_rate": 7.640000000000001e-06, "loss": 0.3768, "step": 2275 }, { "epoch": 3.07, "learning_rate": 7.606666666666668e-06, "loss": 0.3608, "step": 2300 }, { "epoch": 3.1, "learning_rate": 7.573333333333333e-06, "loss": 0.374, "step": 2325 }, { "epoch": 3.13, "learning_rate": 7.540000000000001e-06, "loss": 0.326, "step": 2350 }, { "epoch": 3.17, "learning_rate": 7.506666666666668e-06, "loss": 0.3477, "step": 2375 }, { "epoch": 3.2, "learning_rate": 7.4733333333333335e-06, "loss": 0.377, "step": 2400 }, { "epoch": 3.23, "learning_rate": 7.440000000000001e-06, "loss": 0.3215, "step": 2425 }, { "epoch": 3.27, "learning_rate": 7.406666666666667e-06, "loss": 0.3579, "step": 2450 }, { "epoch": 3.3, "learning_rate": 7.373333333333334e-06, "loss": 0.3423, "step": 2475 }, { "epoch": 3.33, "learning_rate": 7.340000000000001e-06, "loss": 0.3349, "step": 2500 }, { "epoch": 3.37, "learning_rate": 7.306666666666667e-06, "loss": 0.2747, "step": 2525 }, { "epoch": 3.4, "learning_rate": 7.2733333333333346e-06, "loss": 0.3288, "step": 2550 }, { "epoch": 3.43, "learning_rate": 7.24e-06, "loss": 0.3224, "step": 2575 }, { "epoch": 3.47, "learning_rate": 7.206666666666667e-06, "loss": 0.3187, "step": 2600 }, { "epoch": 3.5, "learning_rate": 7.173333333333335e-06, "loss": 0.3285, "step": 2625 }, { "epoch": 3.53, "learning_rate": 7.14e-06, "loss": 0.3177, "step": 2650 }, { "epoch": 3.57, "learning_rate": 7.1066666666666675e-06, "loss": 0.3005, "step": 2675 }, { "epoch": 3.6, "learning_rate": 7.073333333333334e-06, "loss": 0.3025, "step": 2700 }, { "epoch": 3.63, "learning_rate": 7.04e-06, "loss": 0.2949, "step": 2725 }, { "epoch": 3.67, "learning_rate": 7.006666666666667e-06, "loss": 0.2877, "step": 2750 }, { "epoch": 3.7, "learning_rate": 6.973333333333334e-06, "loss": 0.2897, "step": 2775 }, { "epoch": 3.73, "learning_rate": 6.9400000000000005e-06, "loss": 0.2977, "step": 2800 }, { "epoch": 3.77, "learning_rate": 6.906666666666667e-06, "loss": 0.297, "step": 2825 }, { "epoch": 3.8, "learning_rate": 6.873333333333334e-06, "loss": 0.301, "step": 2850 }, { "epoch": 3.83, "learning_rate": 6.8400000000000014e-06, "loss": 0.2683, "step": 2875 }, { "epoch": 3.87, "learning_rate": 6.806666666666667e-06, "loss": 0.2467, "step": 2900 }, { "epoch": 3.9, "learning_rate": 6.773333333333334e-06, "loss": 0.2704, "step": 2925 }, { "epoch": 3.93, "learning_rate": 6.740000000000001e-06, "loss": 0.3035, "step": 2950 }, { "epoch": 3.97, "learning_rate": 6.706666666666667e-06, "loss": 0.2834, "step": 2975 }, { "epoch": 4.0, "learning_rate": 6.6733333333333335e-06, "loss": 0.294, "step": 3000 }, { "epoch": 4.0, "eval_loss": 0.27804163098335266, "eval_runtime": 380.1826, "eval_samples_per_second": 13.02, "eval_steps_per_second": 3.256, "step": 3000 }, { "epoch": 4.03, "learning_rate": 6.640000000000001e-06, "loss": 0.2758, "step": 3025 }, { "epoch": 4.07, "learning_rate": 6.606666666666666e-06, "loss": 0.2908, "step": 3050 }, { "epoch": 4.1, "learning_rate": 6.573333333333334e-06, "loss": 0.3175, "step": 3075 }, { "epoch": 4.13, "learning_rate": 6.540000000000001e-06, "loss": 0.2529, "step": 3100 }, { "epoch": 4.17, "learning_rate": 6.5066666666666665e-06, "loss": 0.2696, "step": 3125 }, { "epoch": 4.2, "learning_rate": 6.473333333333334e-06, "loss": 0.2618, "step": 3150 }, { "epoch": 4.23, "learning_rate": 6.440000000000001e-06, "loss": 0.269, "step": 3175 }, { "epoch": 4.27, "learning_rate": 6.4066666666666674e-06, "loss": 0.2627, "step": 3200 }, { "epoch": 4.3, "learning_rate": 6.373333333333334e-06, "loss": 0.2815, "step": 3225 }, { "epoch": 4.33, "learning_rate": 6.34e-06, "loss": 0.283, "step": 3250 }, { "epoch": 4.37, "learning_rate": 6.3066666666666676e-06, "loss": 0.2433, "step": 3275 }, { "epoch": 4.4, "learning_rate": 6.273333333333333e-06, "loss": 0.2813, "step": 3300 }, { "epoch": 4.43, "learning_rate": 6.24e-06, "loss": 0.2881, "step": 3325 }, { "epoch": 4.47, "learning_rate": 6.206666666666668e-06, "loss": 0.243, "step": 3350 }, { "epoch": 4.5, "learning_rate": 6.173333333333333e-06, "loss": 0.2856, "step": 3375 }, { "epoch": 4.53, "learning_rate": 6.1400000000000005e-06, "loss": 0.2465, "step": 3400 }, { "epoch": 4.57, "learning_rate": 6.106666666666668e-06, "loss": 0.2915, "step": 3425 }, { "epoch": 4.6, "learning_rate": 6.073333333333333e-06, "loss": 0.2522, "step": 3450 }, { "epoch": 4.63, "learning_rate": 6.040000000000001e-06, "loss": 0.264, "step": 3475 }, { "epoch": 4.67, "learning_rate": 6.006666666666667e-06, "loss": 0.2643, "step": 3500 }, { "epoch": 4.7, "learning_rate": 5.973333333333334e-06, "loss": 0.2913, "step": 3525 }, { "epoch": 4.73, "learning_rate": 5.94e-06, "loss": 0.2544, "step": 3550 }, { "epoch": 4.77, "learning_rate": 5.906666666666667e-06, "loss": 0.2357, "step": 3575 }, { "epoch": 4.8, "learning_rate": 5.873333333333334e-06, "loss": 0.2503, "step": 3600 }, { "epoch": 4.83, "learning_rate": 5.84e-06, "loss": 0.2512, "step": 3625 }, { "epoch": 4.87, "learning_rate": 5.806666666666667e-06, "loss": 0.2726, "step": 3650 }, { "epoch": 4.9, "learning_rate": 5.7733333333333345e-06, "loss": 0.2658, "step": 3675 }, { "epoch": 4.93, "learning_rate": 5.74e-06, "loss": 0.2783, "step": 3700 }, { "epoch": 4.97, "learning_rate": 5.706666666666667e-06, "loss": 0.2515, "step": 3725 }, { "epoch": 5.0, "learning_rate": 5.673333333333334e-06, "loss": 0.2682, "step": 3750 }, { "epoch": 5.03, "learning_rate": 5.64e-06, "loss": 0.2601, "step": 3775 }, { "epoch": 5.07, "learning_rate": 5.606666666666667e-06, "loss": 0.2464, "step": 3800 }, { "epoch": 5.1, "learning_rate": 5.573333333333334e-06, "loss": 0.2663, "step": 3825 }, { "epoch": 5.13, "learning_rate": 5.540000000000001e-06, "loss": 0.2524, "step": 3850 }, { "epoch": 5.17, "learning_rate": 5.506666666666667e-06, "loss": 0.2356, "step": 3875 }, { "epoch": 5.2, "learning_rate": 5.473333333333334e-06, "loss": 0.2732, "step": 3900 }, { "epoch": 5.23, "learning_rate": 5.4400000000000004e-06, "loss": 0.213, "step": 3925 }, { "epoch": 5.27, "learning_rate": 5.406666666666667e-06, "loss": 0.2552, "step": 3950 }, { "epoch": 5.3, "learning_rate": 5.373333333333334e-06, "loss": 0.2532, "step": 3975 }, { "epoch": 5.33, "learning_rate": 5.3400000000000005e-06, "loss": 0.229, "step": 4000 }, { "epoch": 5.33, "eval_loss": 0.242834210395813, "eval_runtime": 381.2535, "eval_samples_per_second": 12.983, "eval_steps_per_second": 3.247, "step": 4000 }, { "epoch": 5.37, "learning_rate": 5.306666666666667e-06, "loss": 0.2607, "step": 4025 }, { "epoch": 5.4, "learning_rate": 5.273333333333333e-06, "loss": 0.2529, "step": 4050 }, { "epoch": 5.43, "learning_rate": 5.240000000000001e-06, "loss": 0.2596, "step": 4075 }, { "epoch": 5.47, "learning_rate": 5.206666666666668e-06, "loss": 0.2372, "step": 4100 }, { "epoch": 5.5, "learning_rate": 5.1733333333333335e-06, "loss": 0.2491, "step": 4125 }, { "epoch": 5.53, "learning_rate": 5.140000000000001e-06, "loss": 0.2439, "step": 4150 }, { "epoch": 5.57, "learning_rate": 5.106666666666667e-06, "loss": 0.212, "step": 4175 }, { "epoch": 5.6, "learning_rate": 5.073333333333334e-06, "loss": 0.2642, "step": 4200 }, { "epoch": 5.63, "learning_rate": 5.04e-06, "loss": 0.2591, "step": 4225 }, { "epoch": 5.67, "learning_rate": 5.006666666666667e-06, "loss": 0.2243, "step": 4250 }, { "epoch": 5.7, "learning_rate": 4.973333333333334e-06, "loss": 0.2332, "step": 4275 }, { "epoch": 5.73, "learning_rate": 4.94e-06, "loss": 0.2654, "step": 4300 }, { "epoch": 5.77, "learning_rate": 4.9066666666666666e-06, "loss": 0.2422, "step": 4325 }, { "epoch": 5.8, "learning_rate": 4.873333333333334e-06, "loss": 0.2397, "step": 4350 }, { "epoch": 5.83, "learning_rate": 4.84e-06, "loss": 0.2356, "step": 4375 }, { "epoch": 5.87, "learning_rate": 4.8066666666666675e-06, "loss": 0.2235, "step": 4400 }, { "epoch": 5.9, "learning_rate": 4.773333333333334e-06, "loss": 0.2305, "step": 4425 }, { "epoch": 5.93, "learning_rate": 4.74e-06, "loss": 0.239, "step": 4450 }, { "epoch": 5.97, "learning_rate": 4.706666666666667e-06, "loss": 0.2258, "step": 4475 }, { "epoch": 6.0, "learning_rate": 4.673333333333333e-06, "loss": 0.2427, "step": 4500 }, { "epoch": 6.03, "learning_rate": 4.6400000000000005e-06, "loss": 0.2475, "step": 4525 }, { "epoch": 6.07, "learning_rate": 4.606666666666667e-06, "loss": 0.2492, "step": 4550 }, { "epoch": 6.1, "learning_rate": 4.573333333333333e-06, "loss": 0.2351, "step": 4575 }, { "epoch": 6.13, "learning_rate": 4.540000000000001e-06, "loss": 0.227, "step": 4600 }, { "epoch": 6.17, "learning_rate": 4.506666666666667e-06, "loss": 0.2626, "step": 4625 }, { "epoch": 6.2, "learning_rate": 4.473333333333334e-06, "loss": 0.2524, "step": 4650 }, { "epoch": 6.23, "learning_rate": 4.440000000000001e-06, "loss": 0.2485, "step": 4675 }, { "epoch": 6.27, "learning_rate": 4.406666666666667e-06, "loss": 0.2243, "step": 4700 }, { "epoch": 6.3, "learning_rate": 4.3733333333333335e-06, "loss": 0.2396, "step": 4725 }, { "epoch": 6.33, "learning_rate": 4.34e-06, "loss": 0.2292, "step": 4750 }, { "epoch": 6.37, "learning_rate": 4.306666666666666e-06, "loss": 0.2186, "step": 4775 }, { "epoch": 6.4, "learning_rate": 4.273333333333334e-06, "loss": 0.2146, "step": 4800 }, { "epoch": 6.43, "learning_rate": 4.24e-06, "loss": 0.228, "step": 4825 }, { "epoch": 6.47, "learning_rate": 4.206666666666667e-06, "loss": 0.2225, "step": 4850 }, { "epoch": 6.5, "learning_rate": 4.173333333333334e-06, "loss": 0.2216, "step": 4875 }, { "epoch": 6.53, "learning_rate": 4.14e-06, "loss": 0.2482, "step": 4900 }, { "epoch": 6.57, "learning_rate": 4.1066666666666674e-06, "loss": 0.2399, "step": 4925 }, { "epoch": 6.6, "learning_rate": 4.073333333333334e-06, "loss": 0.2561, "step": 4950 }, { "epoch": 6.63, "learning_rate": 4.04e-06, "loss": 0.2076, "step": 4975 }, { "epoch": 6.67, "learning_rate": 4.006666666666667e-06, "loss": 0.2193, "step": 5000 }, { "epoch": 6.67, "eval_loss": 0.22776120901107788, "eval_runtime": 382.049, "eval_samples_per_second": 12.956, "eval_steps_per_second": 3.24, "step": 5000 }, { "epoch": 6.7, "learning_rate": 3.973333333333333e-06, "loss": 0.2556, "step": 5025 }, { "epoch": 6.73, "learning_rate": 3.94e-06, "loss": 0.2215, "step": 5050 }, { "epoch": 6.77, "learning_rate": 3.906666666666667e-06, "loss": 0.2563, "step": 5075 }, { "epoch": 6.8, "learning_rate": 3.873333333333333e-06, "loss": 0.2056, "step": 5100 }, { "epoch": 6.83, "learning_rate": 3.8400000000000005e-06, "loss": 0.1987, "step": 5125 }, { "epoch": 6.87, "learning_rate": 3.806666666666667e-06, "loss": 0.241, "step": 5150 }, { "epoch": 6.9, "learning_rate": 3.7733333333333338e-06, "loss": 0.2127, "step": 5175 }, { "epoch": 6.93, "learning_rate": 3.74e-06, "loss": 0.2152, "step": 5200 }, { "epoch": 6.97, "learning_rate": 3.7066666666666666e-06, "loss": 0.2211, "step": 5225 }, { "epoch": 7.0, "learning_rate": 3.673333333333334e-06, "loss": 0.2263, "step": 5250 }, { "epoch": 7.03, "learning_rate": 3.6400000000000003e-06, "loss": 0.2429, "step": 5275 }, { "epoch": 7.07, "learning_rate": 3.606666666666667e-06, "loss": 0.2106, "step": 5300 }, { "epoch": 7.1, "learning_rate": 3.5733333333333336e-06, "loss": 0.2411, "step": 5325 }, { "epoch": 7.13, "learning_rate": 3.54e-06, "loss": 0.2198, "step": 5350 }, { "epoch": 7.17, "learning_rate": 3.5066666666666673e-06, "loss": 0.221, "step": 5375 }, { "epoch": 7.2, "learning_rate": 3.4733333333333337e-06, "loss": 0.2312, "step": 5400 }, { "epoch": 7.23, "learning_rate": 3.44e-06, "loss": 0.2369, "step": 5425 }, { "epoch": 7.27, "learning_rate": 3.406666666666667e-06, "loss": 0.2067, "step": 5450 }, { "epoch": 7.3, "learning_rate": 3.3733333333333334e-06, "loss": 0.2203, "step": 5475 }, { "epoch": 7.33, "learning_rate": 3.3400000000000006e-06, "loss": 0.209, "step": 5500 }, { "epoch": 7.37, "learning_rate": 3.306666666666667e-06, "loss": 0.2273, "step": 5525 }, { "epoch": 7.4, "learning_rate": 3.2733333333333335e-06, "loss": 0.2281, "step": 5550 }, { "epoch": 7.43, "learning_rate": 3.2400000000000003e-06, "loss": 0.2226, "step": 5575 }, { "epoch": 7.47, "learning_rate": 3.2066666666666667e-06, "loss": 0.2191, "step": 5600 }, { "epoch": 7.5, "learning_rate": 3.173333333333334e-06, "loss": 0.2229, "step": 5625 }, { "epoch": 7.53, "learning_rate": 3.1400000000000004e-06, "loss": 0.232, "step": 5650 }, { "epoch": 7.57, "learning_rate": 3.106666666666667e-06, "loss": 0.2504, "step": 5675 }, { "epoch": 7.6, "learning_rate": 3.0733333333333337e-06, "loss": 0.2231, "step": 5700 }, { "epoch": 7.63, "learning_rate": 3.04e-06, "loss": 0.2176, "step": 5725 }, { "epoch": 7.67, "learning_rate": 3.0066666666666674e-06, "loss": 0.2246, "step": 5750 }, { "epoch": 7.7, "learning_rate": 2.973333333333334e-06, "loss": 0.2115, "step": 5775 }, { "epoch": 7.73, "learning_rate": 2.9400000000000002e-06, "loss": 0.2048, "step": 5800 }, { "epoch": 7.77, "learning_rate": 2.906666666666667e-06, "loss": 0.225, "step": 5825 }, { "epoch": 7.8, "learning_rate": 2.8733333333333335e-06, "loss": 0.2488, "step": 5850 }, { "epoch": 7.83, "learning_rate": 2.84e-06, "loss": 0.2231, "step": 5875 }, { "epoch": 7.87, "learning_rate": 2.806666666666667e-06, "loss": 0.2175, "step": 5900 }, { "epoch": 7.9, "learning_rate": 2.7733333333333336e-06, "loss": 0.2002, "step": 5925 }, { "epoch": 7.93, "learning_rate": 2.7400000000000004e-06, "loss": 0.235, "step": 5950 }, { "epoch": 7.97, "learning_rate": 2.706666666666667e-06, "loss": 0.2146, "step": 5975 }, { "epoch": 8.0, "learning_rate": 2.6733333333333333e-06, "loss": 0.2292, "step": 6000 }, { "epoch": 8.0, "eval_loss": 0.22130894660949707, "eval_runtime": 382.5479, "eval_samples_per_second": 12.94, "eval_steps_per_second": 3.236, "step": 6000 }, { "epoch": 8.03, "learning_rate": 2.64e-06, "loss": 0.2296, "step": 6025 }, { "epoch": 8.07, "learning_rate": 2.606666666666667e-06, "loss": 0.2322, "step": 6050 }, { "epoch": 8.1, "learning_rate": 2.573333333333334e-06, "loss": 0.1801, "step": 6075 }, { "epoch": 8.13, "learning_rate": 2.5400000000000002e-06, "loss": 0.2287, "step": 6100 }, { "epoch": 8.17, "learning_rate": 2.5066666666666667e-06, "loss": 0.2156, "step": 6125 }, { "epoch": 8.2, "learning_rate": 2.4733333333333335e-06, "loss": 0.2308, "step": 6150 }, { "epoch": 8.23, "learning_rate": 2.4400000000000004e-06, "loss": 0.227, "step": 6175 }, { "epoch": 8.27, "learning_rate": 2.4066666666666668e-06, "loss": 0.2222, "step": 6200 }, { "epoch": 8.3, "learning_rate": 2.3733333333333336e-06, "loss": 0.2223, "step": 6225 }, { "epoch": 8.33, "learning_rate": 2.3400000000000005e-06, "loss": 0.2207, "step": 6250 }, { "epoch": 8.37, "learning_rate": 2.306666666666667e-06, "loss": 0.2242, "step": 6275 }, { "epoch": 8.4, "learning_rate": 2.2733333333333333e-06, "loss": 0.2362, "step": 6300 }, { "epoch": 8.43, "learning_rate": 2.24e-06, "loss": 0.2125, "step": 6325 }, { "epoch": 8.47, "learning_rate": 2.206666666666667e-06, "loss": 0.1989, "step": 6350 }, { "epoch": 8.5, "learning_rate": 2.1733333333333334e-06, "loss": 0.2558, "step": 6375 }, { "epoch": 8.53, "learning_rate": 2.1400000000000003e-06, "loss": 0.2079, "step": 6400 }, { "epoch": 8.57, "learning_rate": 2.1066666666666667e-06, "loss": 0.1958, "step": 6425 }, { "epoch": 8.6, "learning_rate": 2.0733333333333335e-06, "loss": 0.2339, "step": 6450 }, { "epoch": 8.63, "learning_rate": 2.04e-06, "loss": 0.2108, "step": 6475 }, { "epoch": 8.67, "learning_rate": 2.006666666666667e-06, "loss": 0.2085, "step": 6500 }, { "epoch": 8.7, "learning_rate": 1.9733333333333336e-06, "loss": 0.2263, "step": 6525 }, { "epoch": 8.73, "learning_rate": 1.94e-06, "loss": 0.2155, "step": 6550 }, { "epoch": 8.77, "learning_rate": 1.906666666666667e-06, "loss": 0.2011, "step": 6575 }, { "epoch": 8.8, "learning_rate": 1.8733333333333333e-06, "loss": 0.2162, "step": 6600 }, { "epoch": 8.83, "learning_rate": 1.8400000000000002e-06, "loss": 0.2127, "step": 6625 }, { "epoch": 8.87, "learning_rate": 1.8066666666666668e-06, "loss": 0.2452, "step": 6650 }, { "epoch": 8.9, "learning_rate": 1.7733333333333336e-06, "loss": 0.2076, "step": 6675 }, { "epoch": 8.93, "learning_rate": 1.74e-06, "loss": 0.2494, "step": 6700 }, { "epoch": 8.97, "learning_rate": 1.7066666666666667e-06, "loss": 0.2253, "step": 6725 }, { "epoch": 9.0, "learning_rate": 1.6733333333333335e-06, "loss": 0.2122, "step": 6750 }, { "epoch": 9.03, "learning_rate": 1.6400000000000002e-06, "loss": 0.236, "step": 6775 }, { "epoch": 9.07, "learning_rate": 1.606666666666667e-06, "loss": 0.2084, "step": 6800 }, { "epoch": 9.1, "learning_rate": 1.5733333333333334e-06, "loss": 0.2078, "step": 6825 }, { "epoch": 9.13, "learning_rate": 1.54e-06, "loss": 0.2281, "step": 6850 }, { "epoch": 9.17, "learning_rate": 1.506666666666667e-06, "loss": 0.2258, "step": 6875 }, { "epoch": 9.2, "learning_rate": 1.4733333333333336e-06, "loss": 0.2139, "step": 6900 }, { "epoch": 9.23, "learning_rate": 1.44e-06, "loss": 0.2086, "step": 6925 }, { "epoch": 9.27, "learning_rate": 1.4066666666666668e-06, "loss": 0.2254, "step": 6950 }, { "epoch": 9.3, "learning_rate": 1.3733333333333335e-06, "loss": 0.201, "step": 6975 }, { "epoch": 9.33, "learning_rate": 1.34e-06, "loss": 0.2288, "step": 7000 }, { "epoch": 9.33, "eval_loss": 0.21838650107383728, "eval_runtime": 383.0204, "eval_samples_per_second": 12.924, "eval_steps_per_second": 3.232, "step": 7000 }, { "epoch": 9.37, "learning_rate": 1.3066666666666667e-06, "loss": 0.2256, "step": 7025 }, { "epoch": 9.4, "learning_rate": 1.2733333333333334e-06, "loss": 0.2081, "step": 7050 }, { "epoch": 9.43, "learning_rate": 1.2400000000000002e-06, "loss": 0.2395, "step": 7075 }, { "epoch": 9.47, "learning_rate": 1.2066666666666668e-06, "loss": 0.2075, "step": 7100 }, { "epoch": 9.5, "learning_rate": 1.1733333333333335e-06, "loss": 0.229, "step": 7125 }, { "epoch": 9.53, "learning_rate": 1.14e-06, "loss": 0.2318, "step": 7150 }, { "epoch": 9.57, "learning_rate": 1.1066666666666667e-06, "loss": 0.2469, "step": 7175 }, { "epoch": 9.6, "learning_rate": 1.0733333333333334e-06, "loss": 0.2303, "step": 7200 }, { "epoch": 9.63, "learning_rate": 1.04e-06, "loss": 0.2044, "step": 7225 }, { "epoch": 9.67, "learning_rate": 1.0066666666666668e-06, "loss": 0.2137, "step": 7250 }, { "epoch": 9.7, "learning_rate": 9.733333333333333e-07, "loss": 0.2267, "step": 7275 }, { "epoch": 9.73, "learning_rate": 9.400000000000001e-07, "loss": 0.2016, "step": 7300 }, { "epoch": 9.77, "learning_rate": 9.066666666666668e-07, "loss": 0.1924, "step": 7325 }, { "epoch": 9.8, "learning_rate": 8.733333333333334e-07, "loss": 0.2428, "step": 7350 }, { "epoch": 9.83, "learning_rate": 8.400000000000001e-07, "loss": 0.2047, "step": 7375 }, { "epoch": 9.87, "learning_rate": 8.066666666666667e-07, "loss": 0.2293, "step": 7400 }, { "epoch": 9.9, "learning_rate": 7.733333333333335e-07, "loss": 0.2199, "step": 7425 }, { "epoch": 9.93, "learning_rate": 7.4e-07, "loss": 0.2021, "step": 7450 }, { "epoch": 9.97, "learning_rate": 7.066666666666667e-07, "loss": 0.2165, "step": 7475 }, { "epoch": 10.0, "learning_rate": 6.733333333333334e-07, "loss": 0.1927, "step": 7500 }, { "epoch": 10.03, "learning_rate": 6.4e-07, "loss": 0.2244, "step": 7525 }, { "epoch": 10.07, "learning_rate": 6.066666666666668e-07, "loss": 0.1954, "step": 7550 }, { "epoch": 10.1, "learning_rate": 5.733333333333334e-07, "loss": 0.2091, "step": 7575 }, { "epoch": 10.13, "learning_rate": 5.4e-07, "loss": 0.1989, "step": 7600 }, { "epoch": 10.17, "learning_rate": 5.066666666666667e-07, "loss": 0.23, "step": 7625 }, { "epoch": 10.2, "learning_rate": 4.7333333333333334e-07, "loss": 0.2072, "step": 7650 }, { "epoch": 10.23, "learning_rate": 4.4e-07, "loss": 0.2174, "step": 7675 }, { "epoch": 10.27, "learning_rate": 4.0666666666666666e-07, "loss": 0.2276, "step": 7700 }, { "epoch": 10.3, "learning_rate": 3.733333333333334e-07, "loss": 0.2479, "step": 7725 }, { "epoch": 10.33, "learning_rate": 3.4000000000000003e-07, "loss": 0.2319, "step": 7750 }, { "epoch": 10.37, "learning_rate": 3.0666666666666666e-07, "loss": 0.2082, "step": 7775 }, { "epoch": 10.4, "learning_rate": 2.7333333333333335e-07, "loss": 0.2119, "step": 7800 }, { "epoch": 10.43, "learning_rate": 2.4000000000000003e-07, "loss": 0.1955, "step": 7825 }, { "epoch": 10.47, "learning_rate": 2.066666666666667e-07, "loss": 0.1905, "step": 7850 }, { "epoch": 10.5, "learning_rate": 1.7333333333333335e-07, "loss": 0.2066, "step": 7875 }, { "epoch": 10.53, "learning_rate": 1.4e-07, "loss": 0.2068, "step": 7900 }, { "epoch": 10.57, "learning_rate": 1.0666666666666667e-07, "loss": 0.2375, "step": 7925 }, { "epoch": 10.6, "learning_rate": 7.333333333333334e-08, "loss": 0.2185, "step": 7950 }, { "epoch": 10.63, "learning_rate": 4e-08, "loss": 0.2282, "step": 7975 }, { "epoch": 10.67, "learning_rate": 6.666666666666667e-09, "loss": 0.2065, "step": 8000 }, { "epoch": 10.67, "eval_loss": 0.21749207377433777, "eval_runtime": 384.261, "eval_samples_per_second": 12.882, "eval_steps_per_second": 3.222, "step": 8000 }, { "epoch": 10.67, "step": 8000, "total_flos": 3.78303893489664e+19, "train_loss": 0.8279043513536454, "train_runtime": 22236.6866, "train_samples_per_second": 5.756, "train_steps_per_second": 0.36 } ], "logging_steps": 25, "max_steps": 8000, "num_input_tokens_seen": 0, "num_train_epochs": 11, "save_steps": 1000, "total_flos": 3.78303893489664e+19, "train_batch_size": 4, "trial_name": null, "trial_params": null }