| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 12000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.025, | |
| "grad_norm": 0.2082100212574005, | |
| "learning_rate": 0.0004958333333333334, | |
| "loss": 1.3502, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.05, | |
| "grad_norm": 0.1778642237186432, | |
| "learning_rate": 0.0004916666666666666, | |
| "loss": 1.1649, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.075, | |
| "grad_norm": 0.2463778257369995, | |
| "learning_rate": 0.0004875, | |
| "loss": 1.1395, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.20819446444511414, | |
| "learning_rate": 0.00048333333333333334, | |
| "loss": 1.1056, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.125, | |
| "grad_norm": 0.23243966698646545, | |
| "learning_rate": 0.0004791666666666667, | |
| "loss": 1.1329, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.15, | |
| "grad_norm": 0.19812804460525513, | |
| "learning_rate": 0.000475, | |
| "loss": 1.1169, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.175, | |
| "grad_norm": 0.2258671671152115, | |
| "learning_rate": 0.00047083333333333336, | |
| "loss": 1.1318, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.20714746415615082, | |
| "learning_rate": 0.00046666666666666666, | |
| "loss": 1.114, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.225, | |
| "grad_norm": 0.22002336382865906, | |
| "learning_rate": 0.0004625, | |
| "loss": 1.1269, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.25, | |
| "grad_norm": 0.2159491330385208, | |
| "learning_rate": 0.0004583333333333333, | |
| "loss": 1.0694, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.275, | |
| "grad_norm": 0.20638039708137512, | |
| "learning_rate": 0.0004541666666666667, | |
| "loss": 1.0929, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.2234920710325241, | |
| "learning_rate": 0.00045000000000000004, | |
| "loss": 1.0903, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.325, | |
| "grad_norm": 0.23063984513282776, | |
| "learning_rate": 0.00044583333333333335, | |
| "loss": 1.095, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.35, | |
| "grad_norm": 0.221044659614563, | |
| "learning_rate": 0.00044166666666666665, | |
| "loss": 1.0859, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.375, | |
| "grad_norm": 0.19685755670070648, | |
| "learning_rate": 0.0004375, | |
| "loss": 1.0643, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.2428029328584671, | |
| "learning_rate": 0.00043333333333333337, | |
| "loss": 1.0715, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.425, | |
| "grad_norm": 0.21401169896125793, | |
| "learning_rate": 0.00042916666666666667, | |
| "loss": 1.0821, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.45, | |
| "grad_norm": 0.23752962052822113, | |
| "learning_rate": 0.000425, | |
| "loss": 1.0936, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.475, | |
| "grad_norm": 0.23333564400672913, | |
| "learning_rate": 0.00042083333333333333, | |
| "loss": 1.0842, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 0.2038385421037674, | |
| "learning_rate": 0.0004166666666666667, | |
| "loss": 1.0831, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.525, | |
| "grad_norm": 0.24392388761043549, | |
| "learning_rate": 0.0004125, | |
| "loss": 1.069, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.55, | |
| "grad_norm": 0.2810049057006836, | |
| "learning_rate": 0.00040833333333333336, | |
| "loss": 1.0649, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.575, | |
| "grad_norm": 0.24431484937667847, | |
| "learning_rate": 0.00040416666666666666, | |
| "loss": 1.0955, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 0.2268693745136261, | |
| "learning_rate": 0.0004, | |
| "loss": 1.0639, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.625, | |
| "grad_norm": 0.22379685938358307, | |
| "learning_rate": 0.0003958333333333333, | |
| "loss": 1.0864, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.65, | |
| "grad_norm": 0.22857442498207092, | |
| "learning_rate": 0.0003916666666666667, | |
| "loss": 1.0895, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.675, | |
| "grad_norm": 0.22649641335010529, | |
| "learning_rate": 0.00038750000000000004, | |
| "loss": 1.0656, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 0.2611943185329437, | |
| "learning_rate": 0.00038333333333333334, | |
| "loss": 1.0492, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.725, | |
| "grad_norm": 0.2599722743034363, | |
| "learning_rate": 0.00037916666666666665, | |
| "loss": 1.0639, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "grad_norm": 0.2554958462715149, | |
| "learning_rate": 0.000375, | |
| "loss": 1.0592, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.775, | |
| "grad_norm": 0.262107789516449, | |
| "learning_rate": 0.00037083333333333337, | |
| "loss": 1.0458, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.23872502148151398, | |
| "learning_rate": 0.00036666666666666667, | |
| "loss": 1.0479, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.825, | |
| "grad_norm": 0.2865801155567169, | |
| "learning_rate": 0.0003625, | |
| "loss": 1.0421, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.85, | |
| "grad_norm": 0.2661890685558319, | |
| "learning_rate": 0.00035833333333333333, | |
| "loss": 1.0653, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.875, | |
| "grad_norm": 0.25706493854522705, | |
| "learning_rate": 0.0003541666666666667, | |
| "loss": 1.057, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 0.25889962911605835, | |
| "learning_rate": 0.00035, | |
| "loss": 1.0435, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.925, | |
| "grad_norm": 0.28601542115211487, | |
| "learning_rate": 0.00034583333333333335, | |
| "loss": 1.0564, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.95, | |
| "grad_norm": 0.2556051015853882, | |
| "learning_rate": 0.00034166666666666666, | |
| "loss": 1.0354, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.975, | |
| "grad_norm": 0.259920597076416, | |
| "learning_rate": 0.0003375, | |
| "loss": 1.0617, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.26773035526275635, | |
| "learning_rate": 0.0003333333333333333, | |
| "loss": 1.0162, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 1.041967749595642, | |
| "eval_runtime": 70.7784, | |
| "eval_samples_per_second": 56.514, | |
| "eval_steps_per_second": 14.129, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 1.025, | |
| "grad_norm": 0.27995696663856506, | |
| "learning_rate": 0.0003291666666666667, | |
| "loss": 1.0294, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 1.05, | |
| "grad_norm": 0.26720207929611206, | |
| "learning_rate": 0.00032500000000000004, | |
| "loss": 1.0201, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 1.075, | |
| "grad_norm": 0.26933032274246216, | |
| "learning_rate": 0.00032083333333333334, | |
| "loss": 1.0337, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 0.2675634026527405, | |
| "learning_rate": 0.00031666666666666665, | |
| "loss": 1.0204, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 1.125, | |
| "grad_norm": 0.29779279232025146, | |
| "learning_rate": 0.0003125, | |
| "loss": 1.0116, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 1.15, | |
| "grad_norm": 0.2576355040073395, | |
| "learning_rate": 0.00030833333333333337, | |
| "loss": 1.0422, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 1.175, | |
| "grad_norm": 0.26360246539115906, | |
| "learning_rate": 0.00030416666666666667, | |
| "loss": 1.0304, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.2623592019081116, | |
| "learning_rate": 0.0003, | |
| "loss": 1.0344, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 1.225, | |
| "grad_norm": 0.2560625970363617, | |
| "learning_rate": 0.00029583333333333333, | |
| "loss": 1.0323, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 0.27826786041259766, | |
| "learning_rate": 0.0002916666666666667, | |
| "loss": 1.0147, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 1.275, | |
| "grad_norm": 0.26778700947761536, | |
| "learning_rate": 0.0002875, | |
| "loss": 1.0212, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 0.2655790150165558, | |
| "learning_rate": 0.00028333333333333335, | |
| "loss": 1.0429, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 1.325, | |
| "grad_norm": 0.23913314938545227, | |
| "learning_rate": 0.00027916666666666666, | |
| "loss": 1.0093, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 1.35, | |
| "grad_norm": 0.25580066442489624, | |
| "learning_rate": 0.000275, | |
| "loss": 1.0157, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 1.375, | |
| "grad_norm": 0.3255338966846466, | |
| "learning_rate": 0.0002708333333333333, | |
| "loss": 1.0291, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.2690030634403229, | |
| "learning_rate": 0.0002666666666666667, | |
| "loss": 1.0428, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 1.425, | |
| "grad_norm": 0.2967054843902588, | |
| "learning_rate": 0.00026250000000000004, | |
| "loss": 1.0077, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 1.45, | |
| "grad_norm": 0.26981931924819946, | |
| "learning_rate": 0.00025833333333333334, | |
| "loss": 1.022, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 1.475, | |
| "grad_norm": 0.29188498854637146, | |
| "learning_rate": 0.00025416666666666665, | |
| "loss": 1.0317, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 0.26391416788101196, | |
| "learning_rate": 0.00025, | |
| "loss": 1.0311, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 1.525, | |
| "grad_norm": 0.2949013113975525, | |
| "learning_rate": 0.0002458333333333333, | |
| "loss": 0.998, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 1.55, | |
| "grad_norm": 0.25229978561401367, | |
| "learning_rate": 0.00024166666666666667, | |
| "loss": 1.0241, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 1.575, | |
| "grad_norm": 0.2736811637878418, | |
| "learning_rate": 0.0002375, | |
| "loss": 1.0214, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.31093525886535645, | |
| "learning_rate": 0.00023333333333333333, | |
| "loss": 0.9709, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 1.625, | |
| "grad_norm": 0.32644134759902954, | |
| "learning_rate": 0.00022916666666666666, | |
| "loss": 1.003, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 1.65, | |
| "grad_norm": 0.29749053716659546, | |
| "learning_rate": 0.00022500000000000002, | |
| "loss": 0.9985, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 1.675, | |
| "grad_norm": 0.27901262044906616, | |
| "learning_rate": 0.00022083333333333333, | |
| "loss": 1.0096, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 0.32841789722442627, | |
| "learning_rate": 0.00021666666666666668, | |
| "loss": 1.0007, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 1.725, | |
| "grad_norm": 0.30320826172828674, | |
| "learning_rate": 0.0002125, | |
| "loss": 1.0326, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 1.75, | |
| "grad_norm": 0.2965095639228821, | |
| "learning_rate": 0.00020833333333333335, | |
| "loss": 1.0028, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 1.775, | |
| "grad_norm": 0.31121572852134705, | |
| "learning_rate": 0.00020416666666666668, | |
| "loss": 0.9839, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.2947477698326111, | |
| "learning_rate": 0.0002, | |
| "loss": 0.9841, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 1.825, | |
| "grad_norm": 0.2830908000469208, | |
| "learning_rate": 0.00019583333333333334, | |
| "loss": 1.0089, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 1.85, | |
| "grad_norm": 0.29144686460494995, | |
| "learning_rate": 0.00019166666666666667, | |
| "loss": 1.0038, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 1.875, | |
| "grad_norm": 0.2925328016281128, | |
| "learning_rate": 0.0001875, | |
| "loss": 1.003, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 0.3474633991718292, | |
| "learning_rate": 0.00018333333333333334, | |
| "loss": 1.0265, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 1.925, | |
| "grad_norm": 0.2939680814743042, | |
| "learning_rate": 0.00017916666666666667, | |
| "loss": 1.0145, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 1.95, | |
| "grad_norm": 0.2775793969631195, | |
| "learning_rate": 0.000175, | |
| "loss": 0.9977, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 1.975, | |
| "grad_norm": 0.3091006577014923, | |
| "learning_rate": 0.00017083333333333333, | |
| "loss": 1.0255, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.32153698801994324, | |
| "learning_rate": 0.00016666666666666666, | |
| "loss": 1.0262, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 1.0134142637252808, | |
| "eval_runtime": 71.1474, | |
| "eval_samples_per_second": 56.221, | |
| "eval_steps_per_second": 14.055, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 2.025, | |
| "grad_norm": 0.31311318278312683, | |
| "learning_rate": 0.00016250000000000002, | |
| "loss": 1.0097, | |
| "step": 8100 | |
| }, | |
| { | |
| "epoch": 2.05, | |
| "grad_norm": 0.308938205242157, | |
| "learning_rate": 0.00015833333333333332, | |
| "loss": 0.9912, | |
| "step": 8200 | |
| }, | |
| { | |
| "epoch": 2.075, | |
| "grad_norm": 0.29837608337402344, | |
| "learning_rate": 0.00015416666666666668, | |
| "loss": 0.9945, | |
| "step": 8300 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 0.29206210374832153, | |
| "learning_rate": 0.00015, | |
| "loss": 0.9608, | |
| "step": 8400 | |
| }, | |
| { | |
| "epoch": 2.125, | |
| "grad_norm": 0.29734155535697937, | |
| "learning_rate": 0.00014583333333333335, | |
| "loss": 1.0005, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 2.15, | |
| "grad_norm": 0.31197240948677063, | |
| "learning_rate": 0.00014166666666666668, | |
| "loss": 0.9936, | |
| "step": 8600 | |
| }, | |
| { | |
| "epoch": 2.175, | |
| "grad_norm": 0.3193836808204651, | |
| "learning_rate": 0.0001375, | |
| "loss": 1.0125, | |
| "step": 8700 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 0.29876908659935, | |
| "learning_rate": 0.00013333333333333334, | |
| "loss": 1.0084, | |
| "step": 8800 | |
| }, | |
| { | |
| "epoch": 2.225, | |
| "grad_norm": 0.32974332571029663, | |
| "learning_rate": 0.00012916666666666667, | |
| "loss": 0.9983, | |
| "step": 8900 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "grad_norm": 0.2792109549045563, | |
| "learning_rate": 0.000125, | |
| "loss": 0.9892, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 2.275, | |
| "grad_norm": 0.30666106939315796, | |
| "learning_rate": 0.00012083333333333333, | |
| "loss": 0.9899, | |
| "step": 9100 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 0.32148030400276184, | |
| "learning_rate": 0.00011666666666666667, | |
| "loss": 0.9903, | |
| "step": 9200 | |
| }, | |
| { | |
| "epoch": 2.325, | |
| "grad_norm": 0.3192428648471832, | |
| "learning_rate": 0.00011250000000000001, | |
| "loss": 0.9844, | |
| "step": 9300 | |
| }, | |
| { | |
| "epoch": 2.35, | |
| "grad_norm": 0.31449925899505615, | |
| "learning_rate": 0.00010833333333333334, | |
| "loss": 0.9968, | |
| "step": 9400 | |
| }, | |
| { | |
| "epoch": 2.375, | |
| "grad_norm": 0.2781430780887604, | |
| "learning_rate": 0.00010416666666666667, | |
| "loss": 0.971, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 0.352714866399765, | |
| "learning_rate": 0.0001, | |
| "loss": 0.9805, | |
| "step": 9600 | |
| }, | |
| { | |
| "epoch": 2.425, | |
| "grad_norm": 0.29257628321647644, | |
| "learning_rate": 9.583333333333334e-05, | |
| "loss": 0.9829, | |
| "step": 9700 | |
| }, | |
| { | |
| "epoch": 2.45, | |
| "grad_norm": 0.31601646542549133, | |
| "learning_rate": 9.166666666666667e-05, | |
| "loss": 1.029, | |
| "step": 9800 | |
| }, | |
| { | |
| "epoch": 2.475, | |
| "grad_norm": 0.3273641765117645, | |
| "learning_rate": 8.75e-05, | |
| "loss": 1.0122, | |
| "step": 9900 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 0.3294784128665924, | |
| "learning_rate": 8.333333333333333e-05, | |
| "loss": 0.9829, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 2.525, | |
| "grad_norm": 0.33815255761146545, | |
| "learning_rate": 7.916666666666666e-05, | |
| "loss": 0.9808, | |
| "step": 10100 | |
| }, | |
| { | |
| "epoch": 2.55, | |
| "grad_norm": 0.33642280101776123, | |
| "learning_rate": 7.5e-05, | |
| "loss": 0.9817, | |
| "step": 10200 | |
| }, | |
| { | |
| "epoch": 2.575, | |
| "grad_norm": 0.30594727396965027, | |
| "learning_rate": 7.083333333333334e-05, | |
| "loss": 0.9935, | |
| "step": 10300 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 0.2828643023967743, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 0.9801, | |
| "step": 10400 | |
| }, | |
| { | |
| "epoch": 2.625, | |
| "grad_norm": 0.30603161454200745, | |
| "learning_rate": 6.25e-05, | |
| "loss": 0.956, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 2.65, | |
| "grad_norm": 0.33404436707496643, | |
| "learning_rate": 5.833333333333333e-05, | |
| "loss": 0.9764, | |
| "step": 10600 | |
| }, | |
| { | |
| "epoch": 2.675, | |
| "grad_norm": 0.31933677196502686, | |
| "learning_rate": 5.416666666666667e-05, | |
| "loss": 0.9925, | |
| "step": 10700 | |
| }, | |
| { | |
| "epoch": 2.7, | |
| "grad_norm": 0.3033044934272766, | |
| "learning_rate": 5e-05, | |
| "loss": 1.0186, | |
| "step": 10800 | |
| }, | |
| { | |
| "epoch": 2.725, | |
| "grad_norm": 0.3226676881313324, | |
| "learning_rate": 4.5833333333333334e-05, | |
| "loss": 0.9668, | |
| "step": 10900 | |
| }, | |
| { | |
| "epoch": 2.75, | |
| "grad_norm": 0.3162941336631775, | |
| "learning_rate": 4.1666666666666665e-05, | |
| "loss": 0.9896, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 2.775, | |
| "grad_norm": 0.26616427302360535, | |
| "learning_rate": 3.75e-05, | |
| "loss": 0.9534, | |
| "step": 11100 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 0.3296871781349182, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 0.9515, | |
| "step": 11200 | |
| }, | |
| { | |
| "epoch": 2.825, | |
| "grad_norm": 0.33690381050109863, | |
| "learning_rate": 2.9166666666666666e-05, | |
| "loss": 0.9941, | |
| "step": 11300 | |
| }, | |
| { | |
| "epoch": 2.85, | |
| "grad_norm": 0.3230708837509155, | |
| "learning_rate": 2.5e-05, | |
| "loss": 1.0061, | |
| "step": 11400 | |
| }, | |
| { | |
| "epoch": 2.875, | |
| "grad_norm": 0.30407923460006714, | |
| "learning_rate": 2.0833333333333333e-05, | |
| "loss": 1.0121, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 2.9, | |
| "grad_norm": 0.2791903018951416, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 0.9744, | |
| "step": 11600 | |
| }, | |
| { | |
| "epoch": 2.925, | |
| "grad_norm": 0.35448238253593445, | |
| "learning_rate": 1.25e-05, | |
| "loss": 1.0008, | |
| "step": 11700 | |
| }, | |
| { | |
| "epoch": 2.95, | |
| "grad_norm": 0.31761014461517334, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 0.9842, | |
| "step": 11800 | |
| }, | |
| { | |
| "epoch": 2.975, | |
| "grad_norm": 0.3444092273712158, | |
| "learning_rate": 4.166666666666667e-06, | |
| "loss": 0.9806, | |
| "step": 11900 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 0.30812370777130127, | |
| "learning_rate": 0.0, | |
| "loss": 1.0067, | |
| "step": 12000 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 12000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.5796232257536e+16, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |