| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 46875, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 2.965749502182007, | |
| "learning_rate": 4.9466666666666665e-05, | |
| "loss": 8.4926, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 3.2014496326446533, | |
| "learning_rate": 4.8933333333333335e-05, | |
| "loss": 6.1788, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 3.1399803161621094, | |
| "learning_rate": 4.8400000000000004e-05, | |
| "loss": 5.5715, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 3.0445430278778076, | |
| "learning_rate": 4.7866666666666674e-05, | |
| "loss": 5.2111, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 3.1725785732269287, | |
| "learning_rate": 4.7333333333333336e-05, | |
| "loss": 4.9754, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 3.1513631343841553, | |
| "learning_rate": 4.6800000000000006e-05, | |
| "loss": 4.7655, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 3.2322216033935547, | |
| "learning_rate": 4.626666666666667e-05, | |
| "loss": 4.6146, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 3.1507768630981445, | |
| "learning_rate": 4.573333333333333e-05, | |
| "loss": 4.477, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 3.3479208946228027, | |
| "learning_rate": 4.52e-05, | |
| "loss": 4.3704, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 3.4248974323272705, | |
| "learning_rate": 4.466666666666667e-05, | |
| "loss": 4.2748, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 3.272278308868408, | |
| "learning_rate": 4.413333333333334e-05, | |
| "loss": 4.1723, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 3.621290683746338, | |
| "learning_rate": 4.36e-05, | |
| "loss": 4.1101, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 3.4572129249572754, | |
| "learning_rate": 4.3066666666666665e-05, | |
| "loss": 4.0379, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 3.5315921306610107, | |
| "learning_rate": 4.2533333333333335e-05, | |
| "loss": 3.9783, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 3.514735460281372, | |
| "learning_rate": 4.2e-05, | |
| "loss": 3.9218, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 3.452944755554199, | |
| "learning_rate": 4.146666666666667e-05, | |
| "loss": 3.8847, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 3.3575379848480225, | |
| "learning_rate": 4.093333333333334e-05, | |
| "loss": 3.8411, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 3.327430009841919, | |
| "learning_rate": 4.0400000000000006e-05, | |
| "loss": 3.8117, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 3.352625608444214, | |
| "learning_rate": 3.986666666666667e-05, | |
| "loss": 3.7582, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 3.43673038482666, | |
| "learning_rate": 3.933333333333333e-05, | |
| "loss": 3.7175, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 3.471256732940674, | |
| "learning_rate": 3.88e-05, | |
| "loss": 3.6954, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 3.2565701007843018, | |
| "learning_rate": 3.8266666666666664e-05, | |
| "loss": 3.6588, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 3.470317840576172, | |
| "learning_rate": 3.773333333333334e-05, | |
| "loss": 3.64, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 3.3995134830474854, | |
| "learning_rate": 3.72e-05, | |
| "loss": 3.6055, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 3.4662623405456543, | |
| "learning_rate": 3.6666666666666666e-05, | |
| "loss": 3.586, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 3.365459680557251, | |
| "learning_rate": 3.6133333333333335e-05, | |
| "loss": 3.5596, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 3.534090757369995, | |
| "learning_rate": 3.56e-05, | |
| "loss": 3.5528, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 3.8088762760162354, | |
| "learning_rate": 3.506666666666667e-05, | |
| "loss": 3.5258, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 3.403716802597046, | |
| "learning_rate": 3.453333333333334e-05, | |
| "loss": 3.4943, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 3.3810842037200928, | |
| "learning_rate": 3.4000000000000007e-05, | |
| "loss": 3.4915, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 3.5449135303497314, | |
| "learning_rate": 3.346666666666667e-05, | |
| "loss": 3.4642, | |
| "step": 15500 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 3.600717067718506, | |
| "learning_rate": 3.293333333333333e-05, | |
| "loss": 3.4437, | |
| "step": 16000 | |
| }, | |
| { | |
| "epoch": 1.056, | |
| "grad_norm": 3.6094954013824463, | |
| "learning_rate": 3.24e-05, | |
| "loss": 3.4248, | |
| "step": 16500 | |
| }, | |
| { | |
| "epoch": 1.088, | |
| "grad_norm": 3.493786573410034, | |
| "learning_rate": 3.1866666666666664e-05, | |
| "loss": 3.42, | |
| "step": 17000 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 3.613934278488159, | |
| "learning_rate": 3.1333333333333334e-05, | |
| "loss": 3.4062, | |
| "step": 17500 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 3.5168750286102295, | |
| "learning_rate": 3.08e-05, | |
| "loss": 3.3986, | |
| "step": 18000 | |
| }, | |
| { | |
| "epoch": 1.184, | |
| "grad_norm": 3.895228624343872, | |
| "learning_rate": 3.0266666666666666e-05, | |
| "loss": 3.3761, | |
| "step": 18500 | |
| }, | |
| { | |
| "epoch": 1.216, | |
| "grad_norm": 3.5799450874328613, | |
| "learning_rate": 2.9733333333333336e-05, | |
| "loss": 3.3665, | |
| "step": 19000 | |
| }, | |
| { | |
| "epoch": 1.248, | |
| "grad_norm": 3.7156896591186523, | |
| "learning_rate": 2.9199999999999998e-05, | |
| "loss": 3.3512, | |
| "step": 19500 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 3.6687655448913574, | |
| "learning_rate": 2.8666666666666668e-05, | |
| "loss": 3.348, | |
| "step": 20000 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 3.699821710586548, | |
| "learning_rate": 2.8133333333333334e-05, | |
| "loss": 3.3342, | |
| "step": 20500 | |
| }, | |
| { | |
| "epoch": 1.3439999999999999, | |
| "grad_norm": 3.5661611557006836, | |
| "learning_rate": 2.7600000000000003e-05, | |
| "loss": 3.317, | |
| "step": 21000 | |
| }, | |
| { | |
| "epoch": 1.376, | |
| "grad_norm": 3.7789740562438965, | |
| "learning_rate": 2.706666666666667e-05, | |
| "loss": 3.307, | |
| "step": 21500 | |
| }, | |
| { | |
| "epoch": 1.408, | |
| "grad_norm": 3.514374256134033, | |
| "learning_rate": 2.6533333333333332e-05, | |
| "loss": 3.3014, | |
| "step": 22000 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 3.718759775161743, | |
| "learning_rate": 2.6000000000000002e-05, | |
| "loss": 3.2968, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 1.472, | |
| "grad_norm": 3.927290916442871, | |
| "learning_rate": 2.5466666666666668e-05, | |
| "loss": 3.2847, | |
| "step": 23000 | |
| }, | |
| { | |
| "epoch": 1.504, | |
| "grad_norm": 3.784044027328491, | |
| "learning_rate": 2.4933333333333334e-05, | |
| "loss": 3.2656, | |
| "step": 23500 | |
| }, | |
| { | |
| "epoch": 1.536, | |
| "grad_norm": 3.7474358081817627, | |
| "learning_rate": 2.44e-05, | |
| "loss": 3.2675, | |
| "step": 24000 | |
| }, | |
| { | |
| "epoch": 1.568, | |
| "grad_norm": 3.7762033939361572, | |
| "learning_rate": 2.3866666666666666e-05, | |
| "loss": 3.2569, | |
| "step": 24500 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 3.5855984687805176, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 3.2506, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 1.6320000000000001, | |
| "grad_norm": 3.7394485473632812, | |
| "learning_rate": 2.2800000000000002e-05, | |
| "loss": 3.2399, | |
| "step": 25500 | |
| }, | |
| { | |
| "epoch": 1.6640000000000001, | |
| "grad_norm": 4.197186470031738, | |
| "learning_rate": 2.2266666666666668e-05, | |
| "loss": 3.2532, | |
| "step": 26000 | |
| }, | |
| { | |
| "epoch": 1.696, | |
| "grad_norm": 3.6796841621398926, | |
| "learning_rate": 2.1733333333333334e-05, | |
| "loss": 3.2311, | |
| "step": 26500 | |
| }, | |
| { | |
| "epoch": 1.728, | |
| "grad_norm": 3.790374279022217, | |
| "learning_rate": 2.12e-05, | |
| "loss": 3.2244, | |
| "step": 27000 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 3.8640105724334717, | |
| "learning_rate": 2.0666666666666666e-05, | |
| "loss": 3.2179, | |
| "step": 27500 | |
| }, | |
| { | |
| "epoch": 1.792, | |
| "grad_norm": 3.8893253803253174, | |
| "learning_rate": 2.0133333333333336e-05, | |
| "loss": 3.2262, | |
| "step": 28000 | |
| }, | |
| { | |
| "epoch": 1.8239999999999998, | |
| "grad_norm": 3.8906431198120117, | |
| "learning_rate": 1.9600000000000002e-05, | |
| "loss": 3.2154, | |
| "step": 28500 | |
| }, | |
| { | |
| "epoch": 1.8559999999999999, | |
| "grad_norm": 4.070978164672852, | |
| "learning_rate": 1.9066666666666668e-05, | |
| "loss": 3.2066, | |
| "step": 29000 | |
| }, | |
| { | |
| "epoch": 1.888, | |
| "grad_norm": 3.808764696121216, | |
| "learning_rate": 1.8533333333333334e-05, | |
| "loss": 3.1923, | |
| "step": 29500 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 4.005738258361816, | |
| "learning_rate": 1.8e-05, | |
| "loss": 3.1941, | |
| "step": 30000 | |
| }, | |
| { | |
| "epoch": 1.952, | |
| "grad_norm": 3.9998600482940674, | |
| "learning_rate": 1.7466666666666667e-05, | |
| "loss": 3.1895, | |
| "step": 30500 | |
| }, | |
| { | |
| "epoch": 1.984, | |
| "grad_norm": 3.6959545612335205, | |
| "learning_rate": 1.6933333333333333e-05, | |
| "loss": 3.1897, | |
| "step": 31000 | |
| }, | |
| { | |
| "epoch": 2.016, | |
| "grad_norm": 3.733095169067383, | |
| "learning_rate": 1.6400000000000002e-05, | |
| "loss": 3.1772, | |
| "step": 31500 | |
| }, | |
| { | |
| "epoch": 2.048, | |
| "grad_norm": 3.949549436569214, | |
| "learning_rate": 1.586666666666667e-05, | |
| "loss": 3.1831, | |
| "step": 32000 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 3.9253509044647217, | |
| "learning_rate": 1.5333333333333334e-05, | |
| "loss": 3.1689, | |
| "step": 32500 | |
| }, | |
| { | |
| "epoch": 2.112, | |
| "grad_norm": 4.186440944671631, | |
| "learning_rate": 1.48e-05, | |
| "loss": 3.1753, | |
| "step": 33000 | |
| }, | |
| { | |
| "epoch": 2.144, | |
| "grad_norm": 4.108396053314209, | |
| "learning_rate": 1.4266666666666667e-05, | |
| "loss": 3.1647, | |
| "step": 33500 | |
| }, | |
| { | |
| "epoch": 2.176, | |
| "grad_norm": 3.830723285675049, | |
| "learning_rate": 1.3733333333333335e-05, | |
| "loss": 3.1554, | |
| "step": 34000 | |
| }, | |
| { | |
| "epoch": 2.208, | |
| "grad_norm": 4.122567653656006, | |
| "learning_rate": 1.32e-05, | |
| "loss": 3.164, | |
| "step": 34500 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 3.9793169498443604, | |
| "learning_rate": 1.2666666666666668e-05, | |
| "loss": 3.1526, | |
| "step": 35000 | |
| }, | |
| { | |
| "epoch": 2.2720000000000002, | |
| "grad_norm": 4.145320415496826, | |
| "learning_rate": 1.2133333333333335e-05, | |
| "loss": 3.1497, | |
| "step": 35500 | |
| }, | |
| { | |
| "epoch": 2.304, | |
| "grad_norm": 4.0218505859375, | |
| "learning_rate": 1.16e-05, | |
| "loss": 3.1575, | |
| "step": 36000 | |
| }, | |
| { | |
| "epoch": 2.336, | |
| "grad_norm": 3.9720749855041504, | |
| "learning_rate": 1.1066666666666667e-05, | |
| "loss": 3.1527, | |
| "step": 36500 | |
| }, | |
| { | |
| "epoch": 2.368, | |
| "grad_norm": 4.226014137268066, | |
| "learning_rate": 1.0533333333333335e-05, | |
| "loss": 3.1373, | |
| "step": 37000 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 4.176350116729736, | |
| "learning_rate": 1e-05, | |
| "loss": 3.1349, | |
| "step": 37500 | |
| }, | |
| { | |
| "epoch": 2.432, | |
| "grad_norm": 4.215271949768066, | |
| "learning_rate": 9.466666666666667e-06, | |
| "loss": 3.14, | |
| "step": 38000 | |
| }, | |
| { | |
| "epoch": 2.464, | |
| "grad_norm": 4.552089691162109, | |
| "learning_rate": 8.933333333333333e-06, | |
| "loss": 3.1321, | |
| "step": 38500 | |
| }, | |
| { | |
| "epoch": 2.496, | |
| "grad_norm": 4.11720609664917, | |
| "learning_rate": 8.400000000000001e-06, | |
| "loss": 3.1342, | |
| "step": 39000 | |
| }, | |
| { | |
| "epoch": 2.528, | |
| "grad_norm": 3.9500296115875244, | |
| "learning_rate": 7.866666666666667e-06, | |
| "loss": 3.1401, | |
| "step": 39500 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 3.975630760192871, | |
| "learning_rate": 7.333333333333334e-06, | |
| "loss": 3.1388, | |
| "step": 40000 | |
| }, | |
| { | |
| "epoch": 2.592, | |
| "grad_norm": 4.019338607788086, | |
| "learning_rate": 6.800000000000001e-06, | |
| "loss": 3.1321, | |
| "step": 40500 | |
| }, | |
| { | |
| "epoch": 2.624, | |
| "grad_norm": 4.059103488922119, | |
| "learning_rate": 6.266666666666666e-06, | |
| "loss": 3.1237, | |
| "step": 41000 | |
| }, | |
| { | |
| "epoch": 2.656, | |
| "grad_norm": 4.152844429016113, | |
| "learning_rate": 5.733333333333333e-06, | |
| "loss": 3.1239, | |
| "step": 41500 | |
| }, | |
| { | |
| "epoch": 2.6879999999999997, | |
| "grad_norm": 3.9952738285064697, | |
| "learning_rate": 5.2e-06, | |
| "loss": 3.1168, | |
| "step": 42000 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 4.08528470993042, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 3.1212, | |
| "step": 42500 | |
| }, | |
| { | |
| "epoch": 2.752, | |
| "grad_norm": 4.286324977874756, | |
| "learning_rate": 4.133333333333333e-06, | |
| "loss": 3.1262, | |
| "step": 43000 | |
| }, | |
| { | |
| "epoch": 2.784, | |
| "grad_norm": 4.102470397949219, | |
| "learning_rate": 3.6e-06, | |
| "loss": 3.115, | |
| "step": 43500 | |
| }, | |
| { | |
| "epoch": 2.816, | |
| "grad_norm": 4.134278297424316, | |
| "learning_rate": 3.066666666666667e-06, | |
| "loss": 3.1149, | |
| "step": 44000 | |
| }, | |
| { | |
| "epoch": 2.848, | |
| "grad_norm": 4.0291361808776855, | |
| "learning_rate": 2.5333333333333334e-06, | |
| "loss": 3.1121, | |
| "step": 44500 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 4.189467906951904, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 3.1103, | |
| "step": 45000 | |
| }, | |
| { | |
| "epoch": 2.912, | |
| "grad_norm": 4.19529390335083, | |
| "learning_rate": 1.4666666666666667e-06, | |
| "loss": 3.1027, | |
| "step": 45500 | |
| }, | |
| { | |
| "epoch": 2.944, | |
| "grad_norm": 4.525924205780029, | |
| "learning_rate": 9.333333333333334e-07, | |
| "loss": 3.1176, | |
| "step": 46000 | |
| }, | |
| { | |
| "epoch": 2.976, | |
| "grad_norm": 4.091763019561768, | |
| "learning_rate": 4.0000000000000003e-07, | |
| "loss": 3.1131, | |
| "step": 46500 | |
| } | |
| ], | |
| "logging_steps": 500, | |
| "max_steps": 46875, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4.01266077696e+17, | |
| "train_batch_size": 16, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |