| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 0.9984, | |
| "eval_steps": 500, | |
| "global_step": 468, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.008533333333333334, | |
| "grad_norm": 2.515625, | |
| "learning_rate": 1.6000000000000001e-06, | |
| "loss": 0.2639, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.017066666666666667, | |
| "grad_norm": 1.96875, | |
| "learning_rate": 3.2000000000000003e-06, | |
| "loss": 0.2509, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.0256, | |
| "grad_norm": 1.9296875, | |
| "learning_rate": 4.800000000000001e-06, | |
| "loss": 0.2595, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.034133333333333335, | |
| "grad_norm": 2.046875, | |
| "learning_rate": 6.4000000000000006e-06, | |
| "loss": 0.2416, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 2.546875, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.2478, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.0512, | |
| "grad_norm": 2.296875, | |
| "learning_rate": 9.600000000000001e-06, | |
| "loss": 0.2367, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.05973333333333333, | |
| "grad_norm": 2.03125, | |
| "learning_rate": 1.1200000000000001e-05, | |
| "loss": 0.2397, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.06826666666666667, | |
| "grad_norm": 1.8359375, | |
| "learning_rate": 1.2800000000000001e-05, | |
| "loss": 0.2416, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.0768, | |
| "grad_norm": 1.9609375, | |
| "learning_rate": 1.4400000000000001e-05, | |
| "loss": 0.2421, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 2.0, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 0.2392, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.09386666666666667, | |
| "grad_norm": 2.046875, | |
| "learning_rate": 1.76e-05, | |
| "loss": 0.2356, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.1024, | |
| "grad_norm": 2.203125, | |
| "learning_rate": 1.9200000000000003e-05, | |
| "loss": 0.2367, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.11093333333333333, | |
| "grad_norm": 2.09375, | |
| "learning_rate": 1.999974854488333e-05, | |
| "loss": 0.2418, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.11946666666666667, | |
| "grad_norm": 1.921875, | |
| "learning_rate": 1.9997736979824944e-05, | |
| "loss": 0.2379, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 1.9140625, | |
| "learning_rate": 1.999371425435775e-05, | |
| "loss": 0.241, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.13653333333333334, | |
| "grad_norm": 1.9453125, | |
| "learning_rate": 1.9987681177699486e-05, | |
| "loss": 0.2509, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 0.14506666666666668, | |
| "grad_norm": 1.8828125, | |
| "learning_rate": 1.9979638963473294e-05, | |
| "loss": 0.2412, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 0.1536, | |
| "grad_norm": 1.8125, | |
| "learning_rate": 1.996958922946357e-05, | |
| "loss": 0.2501, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 0.16213333333333332, | |
| "grad_norm": 2.6875, | |
| "learning_rate": 1.9957533997290524e-05, | |
| "loss": 0.2482, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 1.8359375, | |
| "learning_rate": 1.9943475692003514e-05, | |
| "loss": 0.2371, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.1792, | |
| "grad_norm": 1.9765625, | |
| "learning_rate": 1.992741714159322e-05, | |
| "loss": 0.2459, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 0.18773333333333334, | |
| "grad_norm": 2.671875, | |
| "learning_rate": 1.990936157642277e-05, | |
| "loss": 0.2448, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 0.19626666666666667, | |
| "grad_norm": 1.8359375, | |
| "learning_rate": 1.9889312628577887e-05, | |
| "loss": 0.2515, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 0.2048, | |
| "grad_norm": 2.15625, | |
| "learning_rate": 1.9867274331136276e-05, | |
| "loss": 0.2417, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 1.921875, | |
| "learning_rate": 1.984325111735633e-05, | |
| "loss": 0.2506, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.22186666666666666, | |
| "grad_norm": 2.734375, | |
| "learning_rate": 1.9817247819785303e-05, | |
| "loss": 0.2513, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 0.2304, | |
| "grad_norm": 1.8671875, | |
| "learning_rate": 1.9789269669287212e-05, | |
| "loss": 0.2456, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 0.23893333333333333, | |
| "grad_norm": 2.15625, | |
| "learning_rate": 1.975932229399057e-05, | |
| "loss": 0.2572, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 0.24746666666666667, | |
| "grad_norm": 1.9609375, | |
| "learning_rate": 1.972741171815623e-05, | |
| "loss": 0.2476, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 1.9609375, | |
| "learning_rate": 1.9693544360965548e-05, | |
| "loss": 0.2442, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.26453333333333334, | |
| "grad_norm": 1.734375, | |
| "learning_rate": 1.9657727035229066e-05, | |
| "loss": 0.2655, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 0.2730666666666667, | |
| "grad_norm": 1.9140625, | |
| "learning_rate": 1.9619966946016054e-05, | |
| "loss": 0.248, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 0.2816, | |
| "grad_norm": 2.203125, | |
| "learning_rate": 1.958027168920512e-05, | |
| "loss": 0.2478, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 0.29013333333333335, | |
| "grad_norm": 1.65625, | |
| "learning_rate": 1.953864924995621e-05, | |
| "loss": 0.2534, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 2.015625, | |
| "learning_rate": 1.9495108001104312e-05, | |
| "loss": 0.2453, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.3072, | |
| "grad_norm": 1.9453125, | |
| "learning_rate": 1.9449656701475147e-05, | |
| "loss": 0.2313, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 0.3157333333333333, | |
| "grad_norm": 1.8828125, | |
| "learning_rate": 1.940230449412324e-05, | |
| "loss": 0.2412, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 0.32426666666666665, | |
| "grad_norm": 1.9453125, | |
| "learning_rate": 1.9353060904492694e-05, | |
| "loss": 0.2615, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 0.3328, | |
| "grad_norm": 2.234375, | |
| "learning_rate": 1.930193583850102e-05, | |
| "loss": 0.2571, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 2.078125, | |
| "learning_rate": 1.9248939580546453e-05, | |
| "loss": 0.2753, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.34986666666666666, | |
| "grad_norm": 1.6953125, | |
| "learning_rate": 1.9194082791439146e-05, | |
| "loss": 0.2462, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 0.3584, | |
| "grad_norm": 1.8828125, | |
| "learning_rate": 1.91373765062566e-05, | |
| "loss": 0.2574, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 0.36693333333333333, | |
| "grad_norm": 1.7734375, | |
| "learning_rate": 1.9078832132123833e-05, | |
| "loss": 0.2394, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 0.37546666666666667, | |
| "grad_norm": 1.8671875, | |
| "learning_rate": 1.9018461445918727e-05, | |
| "loss": 0.252, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 1.8046875, | |
| "learning_rate": 1.895627659190294e-05, | |
| "loss": 0.2529, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.39253333333333335, | |
| "grad_norm": 1.84375, | |
| "learning_rate": 1.889229007927897e-05, | |
| "loss": 0.2576, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 0.4010666666666667, | |
| "grad_norm": 2.015625, | |
| "learning_rate": 1.8826514779673792e-05, | |
| "loss": 0.2541, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 0.4096, | |
| "grad_norm": 1.8046875, | |
| "learning_rate": 1.875896392454955e-05, | |
| "loss": 0.2659, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 0.41813333333333336, | |
| "grad_norm": 1.6875, | |
| "learning_rate": 1.8689651102541915e-05, | |
| "loss": 0.2551, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 1.9296875, | |
| "learning_rate": 1.8618590256726587e-05, | |
| "loss": 0.2597, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.4352, | |
| "grad_norm": 1.9140625, | |
| "learning_rate": 1.854579568181446e-05, | |
| "loss": 0.2627, | |
| "step": 204 | |
| }, | |
| { | |
| "epoch": 0.4437333333333333, | |
| "grad_norm": 1.9296875, | |
| "learning_rate": 1.8471282021276073e-05, | |
| "loss": 0.2557, | |
| "step": 208 | |
| }, | |
| { | |
| "epoch": 0.45226666666666665, | |
| "grad_norm": 1.9609375, | |
| "learning_rate": 1.8395064264395945e-05, | |
| "loss": 0.2573, | |
| "step": 212 | |
| }, | |
| { | |
| "epoch": 0.4608, | |
| "grad_norm": 1.75, | |
| "learning_rate": 1.831715774325726e-05, | |
| "loss": 0.2515, | |
| "step": 216 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 1.75, | |
| "learning_rate": 1.8237578129657664e-05, | |
| "loss": 0.2501, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.47786666666666666, | |
| "grad_norm": 1.6640625, | |
| "learning_rate": 1.8156341431956706e-05, | |
| "loss": 0.2521, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 0.4864, | |
| "grad_norm": 1.9296875, | |
| "learning_rate": 1.8073463991855562e-05, | |
| "loss": 0.2427, | |
| "step": 228 | |
| }, | |
| { | |
| "epoch": 0.49493333333333334, | |
| "grad_norm": 1.8671875, | |
| "learning_rate": 1.7988962481109716e-05, | |
| "loss": 0.2639, | |
| "step": 232 | |
| }, | |
| { | |
| "epoch": 0.5034666666666666, | |
| "grad_norm": 1.8203125, | |
| "learning_rate": 1.7902853898175244e-05, | |
| "loss": 0.2537, | |
| "step": 236 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 1.9375, | |
| "learning_rate": 1.7815155564789374e-05, | |
| "loss": 0.2611, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.5205333333333333, | |
| "grad_norm": 1.921875, | |
| "learning_rate": 1.772588512248602e-05, | |
| "loss": 0.2648, | |
| "step": 244 | |
| }, | |
| { | |
| "epoch": 0.5290666666666667, | |
| "grad_norm": 2.03125, | |
| "learning_rate": 1.7635060529046994e-05, | |
| "loss": 0.2848, | |
| "step": 248 | |
| }, | |
| { | |
| "epoch": 0.5376, | |
| "grad_norm": 1.75, | |
| "learning_rate": 1.7542700054889572e-05, | |
| "loss": 0.2695, | |
| "step": 252 | |
| }, | |
| { | |
| "epoch": 0.5461333333333334, | |
| "grad_norm": 2.078125, | |
| "learning_rate": 1.7448822279391204e-05, | |
| "loss": 0.2653, | |
| "step": 256 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 1.765625, | |
| "learning_rate": 1.7353446087152038e-05, | |
| "loss": 0.249, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.5632, | |
| "grad_norm": 1.75, | |
| "learning_rate": 1.72565906641961e-05, | |
| "loss": 0.2462, | |
| "step": 264 | |
| }, | |
| { | |
| "epoch": 0.5717333333333333, | |
| "grad_norm": 1.6328125, | |
| "learning_rate": 1.7158275494111763e-05, | |
| "loss": 0.2373, | |
| "step": 268 | |
| }, | |
| { | |
| "epoch": 0.5802666666666667, | |
| "grad_norm": 2.0625, | |
| "learning_rate": 1.705852035413242e-05, | |
| "loss": 0.2728, | |
| "step": 272 | |
| }, | |
| { | |
| "epoch": 0.5888, | |
| "grad_norm": 1.671875, | |
| "learning_rate": 1.6957345311158066e-05, | |
| "loss": 0.2409, | |
| "step": 276 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 2.015625, | |
| "learning_rate": 1.6854770717718587e-05, | |
| "loss": 0.254, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.6058666666666667, | |
| "grad_norm": 1.75, | |
| "learning_rate": 1.6750817207879655e-05, | |
| "loss": 0.2462, | |
| "step": 284 | |
| }, | |
| { | |
| "epoch": 0.6144, | |
| "grad_norm": 1.6640625, | |
| "learning_rate": 1.6645505693091897e-05, | |
| "loss": 0.2561, | |
| "step": 288 | |
| }, | |
| { | |
| "epoch": 0.6229333333333333, | |
| "grad_norm": 2.25, | |
| "learning_rate": 1.6538857357984358e-05, | |
| "loss": 0.2647, | |
| "step": 292 | |
| }, | |
| { | |
| "epoch": 0.6314666666666666, | |
| "grad_norm": 1.9140625, | |
| "learning_rate": 1.6430893656102942e-05, | |
| "loss": 0.2398, | |
| "step": 296 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 2.078125, | |
| "learning_rate": 1.6321636305594784e-05, | |
| "loss": 0.2575, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.6485333333333333, | |
| "grad_norm": 1.8125, | |
| "learning_rate": 1.6211107284839417e-05, | |
| "loss": 0.2436, | |
| "step": 304 | |
| }, | |
| { | |
| "epoch": 0.6570666666666667, | |
| "grad_norm": 1.984375, | |
| "learning_rate": 1.609932882802753e-05, | |
| "loss": 0.2427, | |
| "step": 308 | |
| }, | |
| { | |
| "epoch": 0.6656, | |
| "grad_norm": 1.8671875, | |
| "learning_rate": 1.5986323420688335e-05, | |
| "loss": 0.2391, | |
| "step": 312 | |
| }, | |
| { | |
| "epoch": 0.6741333333333334, | |
| "grad_norm": 2.0, | |
| "learning_rate": 1.5872113795166337e-05, | |
| "loss": 0.2543, | |
| "step": 316 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 1.875, | |
| "learning_rate": 1.575672292604844e-05, | |
| "loss": 0.2541, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.6912, | |
| "grad_norm": 1.671875, | |
| "learning_rate": 1.564017402554237e-05, | |
| "loss": 0.253, | |
| "step": 324 | |
| }, | |
| { | |
| "epoch": 0.6997333333333333, | |
| "grad_norm": 2.078125, | |
| "learning_rate": 1.5522490538807248e-05, | |
| "loss": 0.2565, | |
| "step": 328 | |
| }, | |
| { | |
| "epoch": 0.7082666666666667, | |
| "grad_norm": 1.7265625, | |
| "learning_rate": 1.5403696139237338e-05, | |
| "loss": 0.2587, | |
| "step": 332 | |
| }, | |
| { | |
| "epoch": 0.7168, | |
| "grad_norm": 1.90625, | |
| "learning_rate": 1.5283814723699877e-05, | |
| "loss": 0.2609, | |
| "step": 336 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 1.8359375, | |
| "learning_rate": 1.5162870407727922e-05, | |
| "loss": 0.2522, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.7338666666666667, | |
| "grad_norm": 1.7109375, | |
| "learning_rate": 1.5040887520669245e-05, | |
| "loss": 0.2532, | |
| "step": 344 | |
| }, | |
| { | |
| "epoch": 0.7424, | |
| "grad_norm": 1.859375, | |
| "learning_rate": 1.4917890600792215e-05, | |
| "loss": 0.2434, | |
| "step": 348 | |
| }, | |
| { | |
| "epoch": 0.7509333333333333, | |
| "grad_norm": 1.890625, | |
| "learning_rate": 1.4793904390349618e-05, | |
| "loss": 0.2491, | |
| "step": 352 | |
| }, | |
| { | |
| "epoch": 0.7594666666666666, | |
| "grad_norm": 1.7890625, | |
| "learning_rate": 1.4668953830601473e-05, | |
| "loss": 0.2336, | |
| "step": 356 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 1.765625, | |
| "learning_rate": 1.4543064056797826e-05, | |
| "loss": 0.2665, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.7765333333333333, | |
| "grad_norm": 1.78125, | |
| "learning_rate": 1.4416260393122487e-05, | |
| "loss": 0.2538, | |
| "step": 364 | |
| }, | |
| { | |
| "epoch": 0.7850666666666667, | |
| "grad_norm": 2.0625, | |
| "learning_rate": 1.4288568347598777e-05, | |
| "loss": 0.2551, | |
| "step": 368 | |
| }, | |
| { | |
| "epoch": 0.7936, | |
| "grad_norm": 2.28125, | |
| "learning_rate": 1.4160013606958303e-05, | |
| "loss": 0.2349, | |
| "step": 372 | |
| }, | |
| { | |
| "epoch": 0.8021333333333334, | |
| "grad_norm": 1.7734375, | |
| "learning_rate": 1.403062203147377e-05, | |
| "loss": 0.2347, | |
| "step": 376 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 1.8359375, | |
| "learning_rate": 1.3900419649756895e-05, | |
| "loss": 0.2491, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.8192, | |
| "grad_norm": 1.8125, | |
| "learning_rate": 1.3769432653522436e-05, | |
| "loss": 0.2424, | |
| "step": 384 | |
| }, | |
| { | |
| "epoch": 0.8277333333333333, | |
| "grad_norm": 1.828125, | |
| "learning_rate": 1.3637687392319443e-05, | |
| "loss": 0.2477, | |
| "step": 388 | |
| }, | |
| { | |
| "epoch": 0.8362666666666667, | |
| "grad_norm": 1.7265625, | |
| "learning_rate": 1.3505210368230723e-05, | |
| "loss": 0.249, | |
| "step": 392 | |
| }, | |
| { | |
| "epoch": 0.8448, | |
| "grad_norm": 1.7578125, | |
| "learning_rate": 1.3372028230541658e-05, | |
| "loss": 0.2325, | |
| "step": 396 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 1.640625, | |
| "learning_rate": 1.3238167770379384e-05, | |
| "loss": 0.2358, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.8618666666666667, | |
| "grad_norm": 1.921875, | |
| "learning_rate": 1.3103655915323444e-05, | |
| "loss": 0.2371, | |
| "step": 404 | |
| }, | |
| { | |
| "epoch": 0.8704, | |
| "grad_norm": 1.8359375, | |
| "learning_rate": 1.2968519723988994e-05, | |
| "loss": 0.234, | |
| "step": 408 | |
| }, | |
| { | |
| "epoch": 0.8789333333333333, | |
| "grad_norm": 1.7734375, | |
| "learning_rate": 1.2832786380583664e-05, | |
| "loss": 0.256, | |
| "step": 412 | |
| }, | |
| { | |
| "epoch": 0.8874666666666666, | |
| "grad_norm": 1.8515625, | |
| "learning_rate": 1.2696483189439113e-05, | |
| "loss": 0.2462, | |
| "step": 416 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 1.84375, | |
| "learning_rate": 1.2559637569518472e-05, | |
| "loss": 0.2554, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.9045333333333333, | |
| "grad_norm": 1.9296875, | |
| "learning_rate": 1.2422277048900694e-05, | |
| "loss": 0.2495, | |
| "step": 424 | |
| }, | |
| { | |
| "epoch": 0.9130666666666667, | |
| "grad_norm": 1.765625, | |
| "learning_rate": 1.2284429259242958e-05, | |
| "loss": 0.2407, | |
| "step": 428 | |
| }, | |
| { | |
| "epoch": 0.9216, | |
| "grad_norm": 1.8671875, | |
| "learning_rate": 1.2146121930222241e-05, | |
| "loss": 0.2532, | |
| "step": 432 | |
| }, | |
| { | |
| "epoch": 0.9301333333333334, | |
| "grad_norm": 1.8046875, | |
| "learning_rate": 1.2007382883957186e-05, | |
| "loss": 0.2342, | |
| "step": 436 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 1.984375, | |
| "learning_rate": 1.1868240029411351e-05, | |
| "loss": 0.243, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.9472, | |
| "grad_norm": 1.8671875, | |
| "learning_rate": 1.1728721356778994e-05, | |
| "loss": 0.2406, | |
| "step": 444 | |
| }, | |
| { | |
| "epoch": 0.9557333333333333, | |
| "grad_norm": 1.8359375, | |
| "learning_rate": 1.158885493185453e-05, | |
| "loss": 0.2393, | |
| "step": 448 | |
| }, | |
| { | |
| "epoch": 0.9642666666666667, | |
| "grad_norm": 1.984375, | |
| "learning_rate": 1.1448668890386765e-05, | |
| "loss": 0.2434, | |
| "step": 452 | |
| }, | |
| { | |
| "epoch": 0.9728, | |
| "grad_norm": 1.96875, | |
| "learning_rate": 1.1308191432419078e-05, | |
| "loss": 0.2312, | |
| "step": 456 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 1.6484375, | |
| "learning_rate": 1.1167450816616639e-05, | |
| "loss": 0.2402, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.9898666666666667, | |
| "grad_norm": 2.09375, | |
| "learning_rate": 1.102647535458186e-05, | |
| "loss": 0.2479, | |
| "step": 464 | |
| }, | |
| { | |
| "epoch": 0.9984, | |
| "grad_norm": 1.8515625, | |
| "learning_rate": 1.0885293405159196e-05, | |
| "loss": 0.2402, | |
| "step": 468 | |
| } | |
| ], | |
| "logging_steps": 4, | |
| "max_steps": 936, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 2, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 3.112444083938158e+19, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |