| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 46875, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 2.9300780296325684, | |
| "learning_rate": 4.9466666666666665e-05, | |
| "loss": 8.4304, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 2.708092212677002, | |
| "learning_rate": 4.8933333333333335e-05, | |
| "loss": 6.3815, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 2.7160232067108154, | |
| "learning_rate": 4.8400000000000004e-05, | |
| "loss": 5.717, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 2.5131046772003174, | |
| "learning_rate": 4.7866666666666674e-05, | |
| "loss": 5.353, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 2.8203608989715576, | |
| "learning_rate": 4.7333333333333336e-05, | |
| "loss": 5.0937, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 2.6736185550689697, | |
| "learning_rate": 4.6800000000000006e-05, | |
| "loss": 4.905, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 2.9173152446746826, | |
| "learning_rate": 4.626666666666667e-05, | |
| "loss": 4.7377, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 2.861001968383789, | |
| "learning_rate": 4.573333333333333e-05, | |
| "loss": 4.606, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 2.899388313293457, | |
| "learning_rate": 4.52e-05, | |
| "loss": 4.4928, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 2.8987622261047363, | |
| "learning_rate": 4.466666666666667e-05, | |
| "loss": 4.3843, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 2.9992928504943848, | |
| "learning_rate": 4.413333333333334e-05, | |
| "loss": 4.3053, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 2.944384813308716, | |
| "learning_rate": 4.36e-05, | |
| "loss": 4.2293, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 3.726702928543091, | |
| "learning_rate": 4.3066666666666665e-05, | |
| "loss": 4.1326, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 3.1758687496185303, | |
| "learning_rate": 4.2533333333333335e-05, | |
| "loss": 4.063, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 3.0743587017059326, | |
| "learning_rate": 4.2e-05, | |
| "loss": 3.9998, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 3.0619800090789795, | |
| "learning_rate": 4.146666666666667e-05, | |
| "loss": 3.9534, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 3.1200902462005615, | |
| "learning_rate": 4.093333333333334e-05, | |
| "loss": 3.8978, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 3.367762327194214, | |
| "learning_rate": 4.0400000000000006e-05, | |
| "loss": 3.8429, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 3.1497597694396973, | |
| "learning_rate": 3.986666666666667e-05, | |
| "loss": 3.8007, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 3.31646728515625, | |
| "learning_rate": 3.933333333333333e-05, | |
| "loss": 3.7613, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 3.294649839401245, | |
| "learning_rate": 3.88e-05, | |
| "loss": 3.7133, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 3.1724936962127686, | |
| "learning_rate": 3.8266666666666664e-05, | |
| "loss": 3.6818, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 3.0441651344299316, | |
| "learning_rate": 3.773333333333334e-05, | |
| "loss": 3.6576, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 3.160169839859009, | |
| "learning_rate": 3.72e-05, | |
| "loss": 3.6271, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 3.3029627799987793, | |
| "learning_rate": 3.6666666666666666e-05, | |
| "loss": 3.5932, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 3.1690776348114014, | |
| "learning_rate": 3.6133333333333335e-05, | |
| "loss": 3.559, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 3.3345956802368164, | |
| "learning_rate": 3.56e-05, | |
| "loss": 3.5387, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 3.0441858768463135, | |
| "learning_rate": 3.506666666666667e-05, | |
| "loss": 3.5169, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 3.24686598777771, | |
| "learning_rate": 3.453333333333334e-05, | |
| "loss": 3.4847, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 3.2995717525482178, | |
| "learning_rate": 3.4000000000000007e-05, | |
| "loss": 3.4684, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 3.398087501525879, | |
| "learning_rate": 3.346666666666667e-05, | |
| "loss": 3.4568, | |
| "step": 15500 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 3.1483492851257324, | |
| "learning_rate": 3.293333333333333e-05, | |
| "loss": 3.429, | |
| "step": 16000 | |
| }, | |
| { | |
| "epoch": 1.056, | |
| "grad_norm": 3.1493332386016846, | |
| "learning_rate": 3.24e-05, | |
| "loss": 3.4016, | |
| "step": 16500 | |
| }, | |
| { | |
| "epoch": 1.088, | |
| "grad_norm": 3.290648937225342, | |
| "learning_rate": 3.1866666666666664e-05, | |
| "loss": 3.3935, | |
| "step": 17000 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 3.2807164192199707, | |
| "learning_rate": 3.1333333333333334e-05, | |
| "loss": 3.3751, | |
| "step": 17500 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 3.3905978202819824, | |
| "learning_rate": 3.08e-05, | |
| "loss": 3.3667, | |
| "step": 18000 | |
| }, | |
| { | |
| "epoch": 1.184, | |
| "grad_norm": 3.1638753414154053, | |
| "learning_rate": 3.0266666666666666e-05, | |
| "loss": 3.3469, | |
| "step": 18500 | |
| }, | |
| { | |
| "epoch": 1.216, | |
| "grad_norm": 3.80301570892334, | |
| "learning_rate": 2.9733333333333336e-05, | |
| "loss": 3.3369, | |
| "step": 19000 | |
| }, | |
| { | |
| "epoch": 1.248, | |
| "grad_norm": 3.5537655353546143, | |
| "learning_rate": 2.9199999999999998e-05, | |
| "loss": 3.3132, | |
| "step": 19500 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 3.344750165939331, | |
| "learning_rate": 2.8666666666666668e-05, | |
| "loss": 3.3075, | |
| "step": 20000 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 3.435274839401245, | |
| "learning_rate": 2.8133333333333334e-05, | |
| "loss": 3.3028, | |
| "step": 20500 | |
| }, | |
| { | |
| "epoch": 1.3439999999999999, | |
| "grad_norm": 3.3021931648254395, | |
| "learning_rate": 2.7600000000000003e-05, | |
| "loss": 3.2771, | |
| "step": 21000 | |
| }, | |
| { | |
| "epoch": 1.376, | |
| "grad_norm": 3.332207679748535, | |
| "learning_rate": 2.706666666666667e-05, | |
| "loss": 3.2732, | |
| "step": 21500 | |
| }, | |
| { | |
| "epoch": 1.408, | |
| "grad_norm": 3.382160186767578, | |
| "learning_rate": 2.6533333333333332e-05, | |
| "loss": 3.2632, | |
| "step": 22000 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 3.399611711502075, | |
| "learning_rate": 2.6000000000000002e-05, | |
| "loss": 3.2474, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 1.472, | |
| "grad_norm": 3.369029998779297, | |
| "learning_rate": 2.5466666666666668e-05, | |
| "loss": 3.2456, | |
| "step": 23000 | |
| }, | |
| { | |
| "epoch": 1.504, | |
| "grad_norm": 3.1563122272491455, | |
| "learning_rate": 2.4933333333333334e-05, | |
| "loss": 3.2264, | |
| "step": 23500 | |
| }, | |
| { | |
| "epoch": 1.536, | |
| "grad_norm": 3.5122745037078857, | |
| "learning_rate": 2.44e-05, | |
| "loss": 3.219, | |
| "step": 24000 | |
| }, | |
| { | |
| "epoch": 1.568, | |
| "grad_norm": 3.5229005813598633, | |
| "learning_rate": 2.3866666666666666e-05, | |
| "loss": 3.2115, | |
| "step": 24500 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 3.275137186050415, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 3.1998, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 1.6320000000000001, | |
| "grad_norm": 3.5656373500823975, | |
| "learning_rate": 2.2800000000000002e-05, | |
| "loss": 3.1895, | |
| "step": 25500 | |
| }, | |
| { | |
| "epoch": 1.6640000000000001, | |
| "grad_norm": 3.359915256500244, | |
| "learning_rate": 2.2266666666666668e-05, | |
| "loss": 3.1788, | |
| "step": 26000 | |
| }, | |
| { | |
| "epoch": 1.696, | |
| "grad_norm": 3.496894121170044, | |
| "learning_rate": 2.1733333333333334e-05, | |
| "loss": 3.1757, | |
| "step": 26500 | |
| }, | |
| { | |
| "epoch": 1.728, | |
| "grad_norm": 3.5603113174438477, | |
| "learning_rate": 2.12e-05, | |
| "loss": 3.1764, | |
| "step": 27000 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 3.5351145267486572, | |
| "learning_rate": 2.0666666666666666e-05, | |
| "loss": 3.1619, | |
| "step": 27500 | |
| }, | |
| { | |
| "epoch": 1.792, | |
| "grad_norm": 3.6555192470550537, | |
| "learning_rate": 2.0133333333333336e-05, | |
| "loss": 3.1618, | |
| "step": 28000 | |
| }, | |
| { | |
| "epoch": 1.8239999999999998, | |
| "grad_norm": 3.527869939804077, | |
| "learning_rate": 1.9600000000000002e-05, | |
| "loss": 3.1434, | |
| "step": 28500 | |
| }, | |
| { | |
| "epoch": 1.8559999999999999, | |
| "grad_norm": 3.3731658458709717, | |
| "learning_rate": 1.9066666666666668e-05, | |
| "loss": 3.1443, | |
| "step": 29000 | |
| }, | |
| { | |
| "epoch": 1.888, | |
| "grad_norm": 3.5230460166931152, | |
| "learning_rate": 1.8533333333333334e-05, | |
| "loss": 3.1307, | |
| "step": 29500 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 3.2880985736846924, | |
| "learning_rate": 1.8e-05, | |
| "loss": 3.1354, | |
| "step": 30000 | |
| }, | |
| { | |
| "epoch": 1.952, | |
| "grad_norm": 4.2027387619018555, | |
| "learning_rate": 1.7466666666666667e-05, | |
| "loss": 3.1349, | |
| "step": 30500 | |
| }, | |
| { | |
| "epoch": 1.984, | |
| "grad_norm": 3.8834004402160645, | |
| "learning_rate": 1.6933333333333333e-05, | |
| "loss": 3.1287, | |
| "step": 31000 | |
| }, | |
| { | |
| "epoch": 2.016, | |
| "grad_norm": 3.5137991905212402, | |
| "learning_rate": 1.6400000000000002e-05, | |
| "loss": 3.107, | |
| "step": 31500 | |
| }, | |
| { | |
| "epoch": 2.048, | |
| "grad_norm": 5.010372161865234, | |
| "learning_rate": 1.586666666666667e-05, | |
| "loss": 3.111, | |
| "step": 32000 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 3.338728189468384, | |
| "learning_rate": 1.5333333333333334e-05, | |
| "loss": 3.1047, | |
| "step": 32500 | |
| }, | |
| { | |
| "epoch": 2.112, | |
| "grad_norm": 3.71789813041687, | |
| "learning_rate": 1.48e-05, | |
| "loss": 3.1014, | |
| "step": 33000 | |
| }, | |
| { | |
| "epoch": 2.144, | |
| "grad_norm": 3.7948594093322754, | |
| "learning_rate": 1.4266666666666667e-05, | |
| "loss": 3.097, | |
| "step": 33500 | |
| }, | |
| { | |
| "epoch": 2.176, | |
| "grad_norm": 3.650618314743042, | |
| "learning_rate": 1.3733333333333335e-05, | |
| "loss": 3.0967, | |
| "step": 34000 | |
| }, | |
| { | |
| "epoch": 2.208, | |
| "grad_norm": 3.4917681217193604, | |
| "learning_rate": 1.32e-05, | |
| "loss": 3.1064, | |
| "step": 34500 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 3.5514914989471436, | |
| "learning_rate": 1.2666666666666668e-05, | |
| "loss": 3.094, | |
| "step": 35000 | |
| }, | |
| { | |
| "epoch": 2.2720000000000002, | |
| "grad_norm": 3.4345743656158447, | |
| "learning_rate": 1.2133333333333335e-05, | |
| "loss": 3.082, | |
| "step": 35500 | |
| }, | |
| { | |
| "epoch": 2.304, | |
| "grad_norm": 3.6274352073669434, | |
| "learning_rate": 1.16e-05, | |
| "loss": 3.0861, | |
| "step": 36000 | |
| }, | |
| { | |
| "epoch": 2.336, | |
| "grad_norm": 3.6665496826171875, | |
| "learning_rate": 1.1066666666666667e-05, | |
| "loss": 3.0728, | |
| "step": 36500 | |
| }, | |
| { | |
| "epoch": 2.368, | |
| "grad_norm": 3.657233953475952, | |
| "learning_rate": 1.0533333333333335e-05, | |
| "loss": 3.0727, | |
| "step": 37000 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 3.726337194442749, | |
| "learning_rate": 1e-05, | |
| "loss": 3.0717, | |
| "step": 37500 | |
| }, | |
| { | |
| "epoch": 2.432, | |
| "grad_norm": 3.7187366485595703, | |
| "learning_rate": 9.466666666666667e-06, | |
| "loss": 3.059, | |
| "step": 38000 | |
| }, | |
| { | |
| "epoch": 2.464, | |
| "grad_norm": 3.5927035808563232, | |
| "learning_rate": 8.933333333333333e-06, | |
| "loss": 3.0698, | |
| "step": 38500 | |
| }, | |
| { | |
| "epoch": 2.496, | |
| "grad_norm": 3.5619006156921387, | |
| "learning_rate": 8.400000000000001e-06, | |
| "loss": 3.0625, | |
| "step": 39000 | |
| }, | |
| { | |
| "epoch": 2.528, | |
| "grad_norm": 3.679213762283325, | |
| "learning_rate": 7.866666666666667e-06, | |
| "loss": 3.0565, | |
| "step": 39500 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 3.4748876094818115, | |
| "learning_rate": 7.333333333333334e-06, | |
| "loss": 3.0556, | |
| "step": 40000 | |
| }, | |
| { | |
| "epoch": 2.592, | |
| "grad_norm": 3.483736515045166, | |
| "learning_rate": 6.800000000000001e-06, | |
| "loss": 3.0418, | |
| "step": 40500 | |
| }, | |
| { | |
| "epoch": 2.624, | |
| "grad_norm": 3.4663684368133545, | |
| "learning_rate": 6.266666666666666e-06, | |
| "loss": 3.0461, | |
| "step": 41000 | |
| }, | |
| { | |
| "epoch": 2.656, | |
| "grad_norm": 3.416421413421631, | |
| "learning_rate": 5.733333333333333e-06, | |
| "loss": 3.0508, | |
| "step": 41500 | |
| }, | |
| { | |
| "epoch": 2.6879999999999997, | |
| "grad_norm": 3.5485949516296387, | |
| "learning_rate": 5.2e-06, | |
| "loss": 3.0447, | |
| "step": 42000 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 3.5995631217956543, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 3.0495, | |
| "step": 42500 | |
| }, | |
| { | |
| "epoch": 2.752, | |
| "grad_norm": 3.676875591278076, | |
| "learning_rate": 4.133333333333333e-06, | |
| "loss": 3.0302, | |
| "step": 43000 | |
| }, | |
| { | |
| "epoch": 2.784, | |
| "grad_norm": 3.650153160095215, | |
| "learning_rate": 3.6e-06, | |
| "loss": 3.0397, | |
| "step": 43500 | |
| }, | |
| { | |
| "epoch": 2.816, | |
| "grad_norm": 3.6755716800689697, | |
| "learning_rate": 3.066666666666667e-06, | |
| "loss": 3.0504, | |
| "step": 44000 | |
| }, | |
| { | |
| "epoch": 2.848, | |
| "grad_norm": 3.6604747772216797, | |
| "learning_rate": 2.5333333333333334e-06, | |
| "loss": 3.0521, | |
| "step": 44500 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 4.217142105102539, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 3.0355, | |
| "step": 45000 | |
| }, | |
| { | |
| "epoch": 2.912, | |
| "grad_norm": 3.6961653232574463, | |
| "learning_rate": 1.4666666666666667e-06, | |
| "loss": 3.0454, | |
| "step": 45500 | |
| }, | |
| { | |
| "epoch": 2.944, | |
| "grad_norm": 3.8596930503845215, | |
| "learning_rate": 9.333333333333334e-07, | |
| "loss": 3.0464, | |
| "step": 46000 | |
| }, | |
| { | |
| "epoch": 2.976, | |
| "grad_norm": 3.8002963066101074, | |
| "learning_rate": 4.0000000000000003e-07, | |
| "loss": 3.0494, | |
| "step": 46500 | |
| } | |
| ], | |
| "logging_steps": 500, | |
| "max_steps": 46875, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4.41216036864e+17, | |
| "train_batch_size": 16, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |