Rodo-Sami commited on
Commit
2e826ba
·
verified ·
1 Parent(s): 5ba0fcf

Training in progress, step 1125, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f45ba33807d799dcb9efbc8c28ab5f27ad9deddab03a8d14ffcf689155dfeda1
3
  size 80792096
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:923e43647fe4cff6792530dd81c526e862d69e1abaab403ab59d661aabd8b3f7
3
  size 80792096
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:40607ead0e2f6155288bcb1ac2eb8c4f901a0a9e5fc90613407fa5d25b2db032
3
  size 41460084
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:de567672c4b00890608700986867305b9bbf10912e1307a73a7f2a92daa0d3c7
3
  size 41460084
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ed8801dc58b4fa89a461991dfa35f9a871d94357fc6ede945da312803cc0b844
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8950388dc3af6d67ab7b2d1aaa0d971610a25e2b86d5b51aec9b121c02c36aeb
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ac9c79078a88e8cb4c64a0c9b0c0b44a2e00e7411388bd2b931c0d5e22790bf5
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:966cc7c77768098c8af029c048689ac1de1ed0de938435a2a7a5601075335dbd
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
- "epoch": 0.1215608412010211,
5
  "eval_steps": 375,
6
- "global_step": 750,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -5273,6 +5273,2639 @@
5273
  "eval_samples_per_second": 16.91,
5274
  "eval_steps_per_second": 8.455,
5275
  "step": 750
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5276
  }
5277
  ],
5278
  "logging_steps": 1,
@@ -5292,7 +7925,7 @@
5292
  "attributes": {}
5293
  }
5294
  },
5295
- "total_flos": 1.1410780829798892e+18,
5296
  "train_batch_size": 2,
5297
  "trial_name": null,
5298
  "trial_params": null
 
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
+ "epoch": 0.18234126180153168,
5
  "eval_steps": 375,
6
+ "global_step": 1125,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
5273
  "eval_samples_per_second": 16.91,
5274
  "eval_steps_per_second": 8.455,
5275
  "step": 750
5276
+ },
5277
+ {
5278
+ "epoch": 0.12172292232262247,
5279
+ "grad_norm": 1.6357475519180298,
5280
+ "learning_rate": 0.00010084337058003303,
5281
+ "loss": 2.0625,
5282
+ "step": 751
5283
+ },
5284
+ {
5285
+ "epoch": 0.12188500344422383,
5286
+ "grad_norm": 1.2438329458236694,
5287
+ "learning_rate": 0.00010063253121564868,
5288
+ "loss": 2.0012,
5289
+ "step": 752
5290
+ },
5291
+ {
5292
+ "epoch": 0.12204708456582519,
5293
+ "grad_norm": 0.8530017137527466,
5294
+ "learning_rate": 0.00010042168903930514,
5295
+ "loss": 2.0352,
5296
+ "step": 753
5297
+ },
5298
+ {
5299
+ "epoch": 0.12220916568742655,
5300
+ "grad_norm": 1.237705945968628,
5301
+ "learning_rate": 0.00010021084498831522,
5302
+ "loss": 2.051,
5303
+ "step": 754
5304
+ },
5305
+ {
5306
+ "epoch": 0.12237124680902792,
5307
+ "grad_norm": 1.1300758123397827,
5308
+ "learning_rate": 0.0001,
5309
+ "loss": 1.9153,
5310
+ "step": 755
5311
+ },
5312
+ {
5313
+ "epoch": 0.12253332793062928,
5314
+ "grad_norm": 0.8772503733634949,
5315
+ "learning_rate": 9.97891550116848e-05,
5316
+ "loss": 1.7685,
5317
+ "step": 756
5318
+ },
5319
+ {
5320
+ "epoch": 0.12269540905223064,
5321
+ "grad_norm": 1.1153267621994019,
5322
+ "learning_rate": 9.957831096069488e-05,
5323
+ "loss": 1.9516,
5324
+ "step": 757
5325
+ },
5326
+ {
5327
+ "epoch": 0.122857490173832,
5328
+ "grad_norm": 1.4257912635803223,
5329
+ "learning_rate": 9.936746878435136e-05,
5330
+ "loss": 1.8292,
5331
+ "step": 758
5332
+ },
5333
+ {
5334
+ "epoch": 0.12301957129543337,
5335
+ "grad_norm": 0.9260138273239136,
5336
+ "learning_rate": 9.915662941996699e-05,
5337
+ "loss": 1.8869,
5338
+ "step": 759
5339
+ },
5340
+ {
5341
+ "epoch": 0.12318165241703473,
5342
+ "grad_norm": 1.097367763519287,
5343
+ "learning_rate": 9.894579380484204e-05,
5344
+ "loss": 1.9747,
5345
+ "step": 760
5346
+ },
5347
+ {
5348
+ "epoch": 0.12334373353863609,
5349
+ "grad_norm": 1.1968477964401245,
5350
+ "learning_rate": 9.873496287626019e-05,
5351
+ "loss": 1.7757,
5352
+ "step": 761
5353
+ },
5354
+ {
5355
+ "epoch": 0.12350581466023745,
5356
+ "grad_norm": 1.0050510168075562,
5357
+ "learning_rate": 9.852413757148417e-05,
5358
+ "loss": 1.754,
5359
+ "step": 762
5360
+ },
5361
+ {
5362
+ "epoch": 0.12366789578183882,
5363
+ "grad_norm": 0.8327038884162903,
5364
+ "learning_rate": 9.831331882775178e-05,
5365
+ "loss": 1.8554,
5366
+ "step": 763
5367
+ },
5368
+ {
5369
+ "epoch": 0.12382997690344018,
5370
+ "grad_norm": 0.8313567042350769,
5371
+ "learning_rate": 9.81025075822716e-05,
5372
+ "loss": 1.7536,
5373
+ "step": 764
5374
+ },
5375
+ {
5376
+ "epoch": 0.12399205802504153,
5377
+ "grad_norm": 1.2827397584915161,
5378
+ "learning_rate": 9.789170477221891e-05,
5379
+ "loss": 1.8539,
5380
+ "step": 765
5381
+ },
5382
+ {
5383
+ "epoch": 0.12415413914664289,
5384
+ "grad_norm": 1.0376012325286865,
5385
+ "learning_rate": 9.76809113347315e-05,
5386
+ "loss": 1.9776,
5387
+ "step": 766
5388
+ },
5389
+ {
5390
+ "epoch": 0.12431622026824425,
5391
+ "grad_norm": 1.0492738485336304,
5392
+ "learning_rate": 9.747012820690543e-05,
5393
+ "loss": 2.1623,
5394
+ "step": 767
5395
+ },
5396
+ {
5397
+ "epoch": 0.12447830138984561,
5398
+ "grad_norm": 1.0391172170639038,
5399
+ "learning_rate": 9.725935632579104e-05,
5400
+ "loss": 1.9588,
5401
+ "step": 768
5402
+ },
5403
+ {
5404
+ "epoch": 0.12464038251144698,
5405
+ "grad_norm": 1.0550709962844849,
5406
+ "learning_rate": 9.704859662838855e-05,
5407
+ "loss": 1.8336,
5408
+ "step": 769
5409
+ },
5410
+ {
5411
+ "epoch": 0.12480246363304834,
5412
+ "grad_norm": 0.9650871157646179,
5413
+ "learning_rate": 9.683785005164411e-05,
5414
+ "loss": 1.9008,
5415
+ "step": 770
5416
+ },
5417
+ {
5418
+ "epoch": 0.1249645447546497,
5419
+ "grad_norm": 0.9164173603057861,
5420
+ "learning_rate": 9.662711753244551e-05,
5421
+ "loss": 1.8698,
5422
+ "step": 771
5423
+ },
5424
+ {
5425
+ "epoch": 0.12512662587625106,
5426
+ "grad_norm": 1.006953477859497,
5427
+ "learning_rate": 9.641640000761802e-05,
5428
+ "loss": 1.9802,
5429
+ "step": 772
5430
+ },
5431
+ {
5432
+ "epoch": 0.1252887069978524,
5433
+ "grad_norm": 1.0823261737823486,
5434
+ "learning_rate": 9.620569841392029e-05,
5435
+ "loss": 1.9954,
5436
+ "step": 773
5437
+ },
5438
+ {
5439
+ "epoch": 0.1254507881194538,
5440
+ "grad_norm": 0.9342384338378906,
5441
+ "learning_rate": 9.59950136880401e-05,
5442
+ "loss": 1.8948,
5443
+ "step": 774
5444
+ },
5445
+ {
5446
+ "epoch": 0.12561286924105514,
5447
+ "grad_norm": 1.1092231273651123,
5448
+ "learning_rate": 9.57843467665903e-05,
5449
+ "loss": 1.9223,
5450
+ "step": 775
5451
+ },
5452
+ {
5453
+ "epoch": 0.1257749503626565,
5454
+ "grad_norm": 1.1528615951538086,
5455
+ "learning_rate": 9.557369858610453e-05,
5456
+ "loss": 1.835,
5457
+ "step": 776
5458
+ },
5459
+ {
5460
+ "epoch": 0.12593703148425786,
5461
+ "grad_norm": 1.034740924835205,
5462
+ "learning_rate": 9.53630700830332e-05,
5463
+ "loss": 2.0088,
5464
+ "step": 777
5465
+ },
5466
+ {
5467
+ "epoch": 0.12609911260585924,
5468
+ "grad_norm": 1.0698503255844116,
5469
+ "learning_rate": 9.51524621937391e-05,
5470
+ "loss": 2.0756,
5471
+ "step": 778
5472
+ },
5473
+ {
5474
+ "epoch": 0.12626119372746059,
5475
+ "grad_norm": 1.0951178073883057,
5476
+ "learning_rate": 9.494187585449358e-05,
5477
+ "loss": 1.8632,
5478
+ "step": 779
5479
+ },
5480
+ {
5481
+ "epoch": 0.12642327484906196,
5482
+ "grad_norm": 1.0131338834762573,
5483
+ "learning_rate": 9.473131200147205e-05,
5484
+ "loss": 1.9508,
5485
+ "step": 780
5486
+ },
5487
+ {
5488
+ "epoch": 0.1265853559706633,
5489
+ "grad_norm": 1.1030675172805786,
5490
+ "learning_rate": 9.452077157074994e-05,
5491
+ "loss": 2.1828,
5492
+ "step": 781
5493
+ },
5494
+ {
5495
+ "epoch": 0.1267474370922647,
5496
+ "grad_norm": 1.1066761016845703,
5497
+ "learning_rate": 9.431025549829862e-05,
5498
+ "loss": 2.1577,
5499
+ "step": 782
5500
+ },
5501
+ {
5502
+ "epoch": 0.12690951821386603,
5503
+ "grad_norm": 1.1348315477371216,
5504
+ "learning_rate": 9.409976471998118e-05,
5505
+ "loss": 2.0495,
5506
+ "step": 783
5507
+ },
5508
+ {
5509
+ "epoch": 0.1270715993354674,
5510
+ "grad_norm": 1.144537091255188,
5511
+ "learning_rate": 9.388930017154819e-05,
5512
+ "loss": 2.0883,
5513
+ "step": 784
5514
+ },
5515
+ {
5516
+ "epoch": 0.12723368045706876,
5517
+ "grad_norm": 1.1519125699996948,
5518
+ "learning_rate": 9.367886278863366e-05,
5519
+ "loss": 1.9594,
5520
+ "step": 785
5521
+ },
5522
+ {
5523
+ "epoch": 0.12739576157867014,
5524
+ "grad_norm": 1.1154705286026,
5525
+ "learning_rate": 9.346845350675088e-05,
5526
+ "loss": 2.1635,
5527
+ "step": 786
5528
+ },
5529
+ {
5530
+ "epoch": 0.12755784270027148,
5531
+ "grad_norm": 1.2760833501815796,
5532
+ "learning_rate": 9.325807326128814e-05,
5533
+ "loss": 2.2134,
5534
+ "step": 787
5535
+ },
5536
+ {
5537
+ "epoch": 0.12771992382187286,
5538
+ "grad_norm": 1.2242107391357422,
5539
+ "learning_rate": 9.304772298750463e-05,
5540
+ "loss": 2.2297,
5541
+ "step": 788
5542
+ },
5543
+ {
5544
+ "epoch": 0.1278820049434742,
5545
+ "grad_norm": 1.2910743951797485,
5546
+ "learning_rate": 9.283740362052642e-05,
5547
+ "loss": 2.1904,
5548
+ "step": 789
5549
+ },
5550
+ {
5551
+ "epoch": 0.12804408606507556,
5552
+ "grad_norm": 1.3698585033416748,
5553
+ "learning_rate": 9.26271160953421e-05,
5554
+ "loss": 2.337,
5555
+ "step": 790
5556
+ },
5557
+ {
5558
+ "epoch": 0.12820616718667693,
5559
+ "grad_norm": 1.33097505569458,
5560
+ "learning_rate": 9.241686134679867e-05,
5561
+ "loss": 2.3994,
5562
+ "step": 791
5563
+ },
5564
+ {
5565
+ "epoch": 0.12836824830827828,
5566
+ "grad_norm": 1.4310002326965332,
5567
+ "learning_rate": 9.220664030959749e-05,
5568
+ "loss": 2.3221,
5569
+ "step": 792
5570
+ },
5571
+ {
5572
+ "epoch": 0.12853032942987966,
5573
+ "grad_norm": 1.4754676818847656,
5574
+ "learning_rate": 9.199645391828999e-05,
5575
+ "loss": 2.3487,
5576
+ "step": 793
5577
+ },
5578
+ {
5579
+ "epoch": 0.128692410551481,
5580
+ "grad_norm": 1.5954676866531372,
5581
+ "learning_rate": 9.178630310727365e-05,
5582
+ "loss": 2.3597,
5583
+ "step": 794
5584
+ },
5585
+ {
5586
+ "epoch": 0.12885449167308238,
5587
+ "grad_norm": 1.6153950691223145,
5588
+ "learning_rate": 9.157618881078772e-05,
5589
+ "loss": 2.4023,
5590
+ "step": 795
5591
+ },
5592
+ {
5593
+ "epoch": 0.12901657279468373,
5594
+ "grad_norm": 1.785256266593933,
5595
+ "learning_rate": 9.136611196290915e-05,
5596
+ "loss": 2.3939,
5597
+ "step": 796
5598
+ },
5599
+ {
5600
+ "epoch": 0.1291786539162851,
5601
+ "grad_norm": 1.7453643083572388,
5602
+ "learning_rate": 9.115607349754834e-05,
5603
+ "loss": 2.4206,
5604
+ "step": 797
5605
+ },
5606
+ {
5607
+ "epoch": 0.12934073503788646,
5608
+ "grad_norm": 2.04004168510437,
5609
+ "learning_rate": 9.094607434844523e-05,
5610
+ "loss": 2.6013,
5611
+ "step": 798
5612
+ },
5613
+ {
5614
+ "epoch": 0.12950281615948783,
5615
+ "grad_norm": 2.553853988647461,
5616
+ "learning_rate": 9.07361154491648e-05,
5617
+ "loss": 2.7647,
5618
+ "step": 799
5619
+ },
5620
+ {
5621
+ "epoch": 0.12966489728108918,
5622
+ "grad_norm": 3.740873098373413,
5623
+ "learning_rate": 9.052619773309317e-05,
5624
+ "loss": 3.2341,
5625
+ "step": 800
5626
+ },
5627
+ {
5628
+ "epoch": 0.12982697840269056,
5629
+ "grad_norm": 1.1410894393920898,
5630
+ "learning_rate": 9.031632213343339e-05,
5631
+ "loss": 2.0614,
5632
+ "step": 801
5633
+ },
5634
+ {
5635
+ "epoch": 0.1299890595242919,
5636
+ "grad_norm": 1.0453135967254639,
5637
+ "learning_rate": 9.01064895832012e-05,
5638
+ "loss": 2.0281,
5639
+ "step": 802
5640
+ },
5641
+ {
5642
+ "epoch": 0.13015114064589328,
5643
+ "grad_norm": 1.0344566106796265,
5644
+ "learning_rate": 8.98967010152211e-05,
5645
+ "loss": 1.8177,
5646
+ "step": 803
5647
+ },
5648
+ {
5649
+ "epoch": 0.13031322176749463,
5650
+ "grad_norm": 0.9780733585357666,
5651
+ "learning_rate": 8.968695736212193e-05,
5652
+ "loss": 1.8637,
5653
+ "step": 804
5654
+ },
5655
+ {
5656
+ "epoch": 0.13047530288909598,
5657
+ "grad_norm": 0.9210421442985535,
5658
+ "learning_rate": 8.947725955633294e-05,
5659
+ "loss": 1.8581,
5660
+ "step": 805
5661
+ },
5662
+ {
5663
+ "epoch": 0.13063738401069735,
5664
+ "grad_norm": 1.0712862014770508,
5665
+ "learning_rate": 8.926760853007946e-05,
5666
+ "loss": 1.9776,
5667
+ "step": 806
5668
+ },
5669
+ {
5670
+ "epoch": 0.1307994651322987,
5671
+ "grad_norm": 1.1466506719589233,
5672
+ "learning_rate": 8.905800521537905e-05,
5673
+ "loss": 1.8315,
5674
+ "step": 807
5675
+ },
5676
+ {
5677
+ "epoch": 0.13096154625390008,
5678
+ "grad_norm": 0.837581992149353,
5679
+ "learning_rate": 8.884845054403699e-05,
5680
+ "loss": 1.8584,
5681
+ "step": 808
5682
+ },
5683
+ {
5684
+ "epoch": 0.13112362737550143,
5685
+ "grad_norm": 0.9372288584709167,
5686
+ "learning_rate": 8.863894544764236e-05,
5687
+ "loss": 1.8704,
5688
+ "step": 809
5689
+ },
5690
+ {
5691
+ "epoch": 0.1312857084971028,
5692
+ "grad_norm": 1.1507923603057861,
5693
+ "learning_rate": 8.84294908575639e-05,
5694
+ "loss": 1.9021,
5695
+ "step": 810
5696
+ },
5697
+ {
5698
+ "epoch": 0.13144778961870415,
5699
+ "grad_norm": 1.080910086631775,
5700
+ "learning_rate": 8.822008770494572e-05,
5701
+ "loss": 1.8538,
5702
+ "step": 811
5703
+ },
5704
+ {
5705
+ "epoch": 0.13160987074030553,
5706
+ "grad_norm": 0.9674392342567444,
5707
+ "learning_rate": 8.801073692070337e-05,
5708
+ "loss": 1.9156,
5709
+ "step": 812
5710
+ },
5711
+ {
5712
+ "epoch": 0.13177195186190688,
5713
+ "grad_norm": 1.2446630001068115,
5714
+ "learning_rate": 8.780143943551954e-05,
5715
+ "loss": 1.8505,
5716
+ "step": 813
5717
+ },
5718
+ {
5719
+ "epoch": 0.13193403298350825,
5720
+ "grad_norm": 1.008480191230774,
5721
+ "learning_rate": 8.759219617983999e-05,
5722
+ "loss": 1.7613,
5723
+ "step": 814
5724
+ },
5725
+ {
5726
+ "epoch": 0.1320961141051096,
5727
+ "grad_norm": 0.9498804211616516,
5728
+ "learning_rate": 8.738300808386935e-05,
5729
+ "loss": 1.8792,
5730
+ "step": 815
5731
+ },
5732
+ {
5733
+ "epoch": 0.13225819522671098,
5734
+ "grad_norm": 1.1672688722610474,
5735
+ "learning_rate": 8.717387607756713e-05,
5736
+ "loss": 1.8739,
5737
+ "step": 816
5738
+ },
5739
+ {
5740
+ "epoch": 0.13242027634831233,
5741
+ "grad_norm": 1.2960506677627563,
5742
+ "learning_rate": 8.696480109064342e-05,
5743
+ "loss": 1.9081,
5744
+ "step": 817
5745
+ },
5746
+ {
5747
+ "epoch": 0.1325823574699137,
5748
+ "grad_norm": 1.1460671424865723,
5749
+ "learning_rate": 8.675578405255485e-05,
5750
+ "loss": 1.9553,
5751
+ "step": 818
5752
+ },
5753
+ {
5754
+ "epoch": 0.13274443859151505,
5755
+ "grad_norm": 1.061458945274353,
5756
+ "learning_rate": 8.654682589250038e-05,
5757
+ "loss": 1.7947,
5758
+ "step": 819
5759
+ },
5760
+ {
5761
+ "epoch": 0.13290651971311643,
5762
+ "grad_norm": 1.107877254486084,
5763
+ "learning_rate": 8.633792753941733e-05,
5764
+ "loss": 1.8459,
5765
+ "step": 820
5766
+ },
5767
+ {
5768
+ "epoch": 0.13306860083471778,
5769
+ "grad_norm": 1.3674486875534058,
5770
+ "learning_rate": 8.612908992197705e-05,
5771
+ "loss": 1.9907,
5772
+ "step": 821
5773
+ },
5774
+ {
5775
+ "epoch": 0.13323068195631912,
5776
+ "grad_norm": 0.8947020769119263,
5777
+ "learning_rate": 8.592031396858093e-05,
5778
+ "loss": 1.8471,
5779
+ "step": 822
5780
+ },
5781
+ {
5782
+ "epoch": 0.1333927630779205,
5783
+ "grad_norm": 0.9594246745109558,
5784
+ "learning_rate": 8.571160060735624e-05,
5785
+ "loss": 1.8078,
5786
+ "step": 823
5787
+ },
5788
+ {
5789
+ "epoch": 0.13355484419952185,
5790
+ "grad_norm": 1.1238514184951782,
5791
+ "learning_rate": 8.550295076615188e-05,
5792
+ "loss": 1.8941,
5793
+ "step": 824
5794
+ },
5795
+ {
5796
+ "epoch": 0.13371692532112323,
5797
+ "grad_norm": 1.0638455152511597,
5798
+ "learning_rate": 8.529436537253458e-05,
5799
+ "loss": 1.9647,
5800
+ "step": 825
5801
+ },
5802
+ {
5803
+ "epoch": 0.13387900644272457,
5804
+ "grad_norm": 0.9952811002731323,
5805
+ "learning_rate": 8.508584535378439e-05,
5806
+ "loss": 2.0224,
5807
+ "step": 826
5808
+ },
5809
+ {
5810
+ "epoch": 0.13404108756432595,
5811
+ "grad_norm": 1.0614765882492065,
5812
+ "learning_rate": 8.487739163689079e-05,
5813
+ "loss": 1.9339,
5814
+ "step": 827
5815
+ },
5816
+ {
5817
+ "epoch": 0.1342031686859273,
5818
+ "grad_norm": 0.9425110220909119,
5819
+ "learning_rate": 8.466900514854847e-05,
5820
+ "loss": 1.9202,
5821
+ "step": 828
5822
+ },
5823
+ {
5824
+ "epoch": 0.13436524980752867,
5825
+ "grad_norm": 0.9917240738868713,
5826
+ "learning_rate": 8.446068681515334e-05,
5827
+ "loss": 1.9207,
5828
+ "step": 829
5829
+ },
5830
+ {
5831
+ "epoch": 0.13452733092913002,
5832
+ "grad_norm": 1.0489814281463623,
5833
+ "learning_rate": 8.425243756279824e-05,
5834
+ "loss": 1.9558,
5835
+ "step": 830
5836
+ },
5837
+ {
5838
+ "epoch": 0.1346894120507314,
5839
+ "grad_norm": 1.122800588607788,
5840
+ "learning_rate": 8.404425831726894e-05,
5841
+ "loss": 2.0572,
5842
+ "step": 831
5843
+ },
5844
+ {
5845
+ "epoch": 0.13485149317233275,
5846
+ "grad_norm": 1.1429322957992554,
5847
+ "learning_rate": 8.383615000404e-05,
5848
+ "loss": 2.0046,
5849
+ "step": 832
5850
+ },
5851
+ {
5852
+ "epoch": 0.13501357429393412,
5853
+ "grad_norm": 1.120377779006958,
5854
+ "learning_rate": 8.362811354827059e-05,
5855
+ "loss": 2.0087,
5856
+ "step": 833
5857
+ },
5858
+ {
5859
+ "epoch": 0.13517565541553547,
5860
+ "grad_norm": 1.1296513080596924,
5861
+ "learning_rate": 8.342014987480047e-05,
5862
+ "loss": 1.9187,
5863
+ "step": 834
5864
+ },
5865
+ {
5866
+ "epoch": 0.13533773653713685,
5867
+ "grad_norm": 1.1733276844024658,
5868
+ "learning_rate": 8.321225990814591e-05,
5869
+ "loss": 1.9788,
5870
+ "step": 835
5871
+ },
5872
+ {
5873
+ "epoch": 0.1354998176587382,
5874
+ "grad_norm": 1.4258500337600708,
5875
+ "learning_rate": 8.300444457249543e-05,
5876
+ "loss": 2.132,
5877
+ "step": 836
5878
+ },
5879
+ {
5880
+ "epoch": 0.13566189878033957,
5881
+ "grad_norm": 1.315438985824585,
5882
+ "learning_rate": 8.279670479170573e-05,
5883
+ "loss": 2.0177,
5884
+ "step": 837
5885
+ },
5886
+ {
5887
+ "epoch": 0.13582397990194092,
5888
+ "grad_norm": 1.1546282768249512,
5889
+ "learning_rate": 8.258904148929775e-05,
5890
+ "loss": 2.2796,
5891
+ "step": 838
5892
+ },
5893
+ {
5894
+ "epoch": 0.13598606102354227,
5895
+ "grad_norm": 1.222131609916687,
5896
+ "learning_rate": 8.238145558845235e-05,
5897
+ "loss": 2.1542,
5898
+ "step": 839
5899
+ },
5900
+ {
5901
+ "epoch": 0.13614814214514365,
5902
+ "grad_norm": 1.361764669418335,
5903
+ "learning_rate": 8.217394801200631e-05,
5904
+ "loss": 2.084,
5905
+ "step": 840
5906
+ },
5907
+ {
5908
+ "epoch": 0.136310223266745,
5909
+ "grad_norm": 1.3947241306304932,
5910
+ "learning_rate": 8.196651968244826e-05,
5911
+ "loss": 2.3296,
5912
+ "step": 841
5913
+ },
5914
+ {
5915
+ "epoch": 0.13647230438834637,
5916
+ "grad_norm": 1.3678861856460571,
5917
+ "learning_rate": 8.175917152191447e-05,
5918
+ "loss": 2.2706,
5919
+ "step": 842
5920
+ },
5921
+ {
5922
+ "epoch": 0.13663438550994772,
5923
+ "grad_norm": 1.44639253616333,
5924
+ "learning_rate": 8.15519044521848e-05,
5925
+ "loss": 2.3269,
5926
+ "step": 843
5927
+ },
5928
+ {
5929
+ "epoch": 0.1367964666315491,
5930
+ "grad_norm": 1.5993499755859375,
5931
+ "learning_rate": 8.134471939467874e-05,
5932
+ "loss": 2.424,
5933
+ "step": 844
5934
+ },
5935
+ {
5936
+ "epoch": 0.13695854775315044,
5937
+ "grad_norm": 1.7641056776046753,
5938
+ "learning_rate": 8.113761727045105e-05,
5939
+ "loss": 2.3831,
5940
+ "step": 845
5941
+ },
5942
+ {
5943
+ "epoch": 0.13712062887475182,
5944
+ "grad_norm": 1.7237311601638794,
5945
+ "learning_rate": 8.093059900018792e-05,
5946
+ "loss": 2.4245,
5947
+ "step": 846
5948
+ },
5949
+ {
5950
+ "epoch": 0.13728270999635317,
5951
+ "grad_norm": 1.9228010177612305,
5952
+ "learning_rate": 8.072366550420266e-05,
5953
+ "loss": 2.5256,
5954
+ "step": 847
5955
+ },
5956
+ {
5957
+ "epoch": 0.13744479111795455,
5958
+ "grad_norm": 2.22377872467041,
5959
+ "learning_rate": 8.051681770243175e-05,
5960
+ "loss": 2.667,
5961
+ "step": 848
5962
+ },
5963
+ {
5964
+ "epoch": 0.1376068722395559,
5965
+ "grad_norm": 2.614419937133789,
5966
+ "learning_rate": 8.031005651443073e-05,
5967
+ "loss": 2.8375,
5968
+ "step": 849
5969
+ },
5970
+ {
5971
+ "epoch": 0.13776895336115727,
5972
+ "grad_norm": 3.5608818531036377,
5973
+ "learning_rate": 8.010338285937006e-05,
5974
+ "loss": 2.8056,
5975
+ "step": 850
5976
+ },
5977
+ {
5978
+ "epoch": 0.13793103448275862,
5979
+ "grad_norm": 0.9919871091842651,
5980
+ "learning_rate": 7.989679765603108e-05,
5981
+ "loss": 2.2277,
5982
+ "step": 851
5983
+ },
5984
+ {
5985
+ "epoch": 0.13809311560436,
5986
+ "grad_norm": 0.7670711874961853,
5987
+ "learning_rate": 7.969030182280192e-05,
5988
+ "loss": 1.9904,
5989
+ "step": 852
5990
+ },
5991
+ {
5992
+ "epoch": 0.13825519672596134,
5993
+ "grad_norm": 0.7723090052604675,
5994
+ "learning_rate": 7.948389627767343e-05,
5995
+ "loss": 1.753,
5996
+ "step": 853
5997
+ },
5998
+ {
5999
+ "epoch": 0.1384172778475627,
6000
+ "grad_norm": 0.8651127815246582,
6001
+ "learning_rate": 7.927758193823501e-05,
6002
+ "loss": 1.9254,
6003
+ "step": 854
6004
+ },
6005
+ {
6006
+ "epoch": 0.13857935896916407,
6007
+ "grad_norm": 0.8206538558006287,
6008
+ "learning_rate": 7.907135972167069e-05,
6009
+ "loss": 1.8283,
6010
+ "step": 855
6011
+ },
6012
+ {
6013
+ "epoch": 0.13874144009076542,
6014
+ "grad_norm": 0.9615094065666199,
6015
+ "learning_rate": 7.88652305447549e-05,
6016
+ "loss": 1.9,
6017
+ "step": 856
6018
+ },
6019
+ {
6020
+ "epoch": 0.1389035212123668,
6021
+ "grad_norm": 0.8335433006286621,
6022
+ "learning_rate": 7.865919532384844e-05,
6023
+ "loss": 1.8319,
6024
+ "step": 857
6025
+ },
6026
+ {
6027
+ "epoch": 0.13906560233396814,
6028
+ "grad_norm": 0.8094771504402161,
6029
+ "learning_rate": 7.845325497489449e-05,
6030
+ "loss": 1.8524,
6031
+ "step": 858
6032
+ },
6033
+ {
6034
+ "epoch": 0.13922768345556952,
6035
+ "grad_norm": 0.9305631518363953,
6036
+ "learning_rate": 7.82474104134144e-05,
6037
+ "loss": 2.0092,
6038
+ "step": 859
6039
+ },
6040
+ {
6041
+ "epoch": 0.13938976457717087,
6042
+ "grad_norm": 0.8830282092094421,
6043
+ "learning_rate": 7.804166255450373e-05,
6044
+ "loss": 1.9273,
6045
+ "step": 860
6046
+ },
6047
+ {
6048
+ "epoch": 0.13955184569877224,
6049
+ "grad_norm": 0.8910491466522217,
6050
+ "learning_rate": 7.783601231282812e-05,
6051
+ "loss": 1.9844,
6052
+ "step": 861
6053
+ },
6054
+ {
6055
+ "epoch": 0.1397139268203736,
6056
+ "grad_norm": 0.8072742223739624,
6057
+ "learning_rate": 7.763046060261932e-05,
6058
+ "loss": 1.7437,
6059
+ "step": 862
6060
+ },
6061
+ {
6062
+ "epoch": 0.13987600794197497,
6063
+ "grad_norm": 0.8262855410575867,
6064
+ "learning_rate": 7.742500833767094e-05,
6065
+ "loss": 1.9124,
6066
+ "step": 863
6067
+ },
6068
+ {
6069
+ "epoch": 0.14003808906357632,
6070
+ "grad_norm": 1.0997551679611206,
6071
+ "learning_rate": 7.721965643133458e-05,
6072
+ "loss": 1.864,
6073
+ "step": 864
6074
+ },
6075
+ {
6076
+ "epoch": 0.1402001701851777,
6077
+ "grad_norm": 0.9168811440467834,
6078
+ "learning_rate": 7.701440579651566e-05,
6079
+ "loss": 1.7489,
6080
+ "step": 865
6081
+ },
6082
+ {
6083
+ "epoch": 0.14036225130677904,
6084
+ "grad_norm": 0.9469778537750244,
6085
+ "learning_rate": 7.680925734566937e-05,
6086
+ "loss": 1.7726,
6087
+ "step": 866
6088
+ },
6089
+ {
6090
+ "epoch": 0.14052433242838042,
6091
+ "grad_norm": 1.01822829246521,
6092
+ "learning_rate": 7.660421199079669e-05,
6093
+ "loss": 1.783,
6094
+ "step": 867
6095
+ },
6096
+ {
6097
+ "epoch": 0.14068641354998176,
6098
+ "grad_norm": 0.9660579562187195,
6099
+ "learning_rate": 7.639927064344022e-05,
6100
+ "loss": 2.0246,
6101
+ "step": 868
6102
+ },
6103
+ {
6104
+ "epoch": 0.14084849467158314,
6105
+ "grad_norm": 1.0384860038757324,
6106
+ "learning_rate": 7.619443421468021e-05,
6107
+ "loss": 1.9049,
6108
+ "step": 869
6109
+ },
6110
+ {
6111
+ "epoch": 0.1410105757931845,
6112
+ "grad_norm": 0.9351313710212708,
6113
+ "learning_rate": 7.598970361513051e-05,
6114
+ "loss": 1.9748,
6115
+ "step": 870
6116
+ },
6117
+ {
6118
+ "epoch": 0.14117265691478584,
6119
+ "grad_norm": 0.8773226141929626,
6120
+ "learning_rate": 7.578507975493448e-05,
6121
+ "loss": 1.9263,
6122
+ "step": 871
6123
+ },
6124
+ {
6125
+ "epoch": 0.14133473803638721,
6126
+ "grad_norm": 0.9222373366355896,
6127
+ "learning_rate": 7.558056354376098e-05,
6128
+ "loss": 1.8738,
6129
+ "step": 872
6130
+ },
6131
+ {
6132
+ "epoch": 0.14149681915798856,
6133
+ "grad_norm": 0.9951638579368591,
6134
+ "learning_rate": 7.537615589080027e-05,
6135
+ "loss": 1.8731,
6136
+ "step": 873
6137
+ },
6138
+ {
6139
+ "epoch": 0.14165890027958994,
6140
+ "grad_norm": 0.9365777373313904,
6141
+ "learning_rate": 7.517185770476006e-05,
6142
+ "loss": 1.8431,
6143
+ "step": 874
6144
+ },
6145
+ {
6146
+ "epoch": 0.1418209814011913,
6147
+ "grad_norm": 0.962515652179718,
6148
+ "learning_rate": 7.496766989386136e-05,
6149
+ "loss": 2.0629,
6150
+ "step": 875
6151
+ },
6152
+ {
6153
+ "epoch": 0.14198306252279266,
6154
+ "grad_norm": 0.9871416687965393,
6155
+ "learning_rate": 7.476359336583454e-05,
6156
+ "loss": 1.9164,
6157
+ "step": 876
6158
+ },
6159
+ {
6160
+ "epoch": 0.142145143644394,
6161
+ "grad_norm": 0.9482909440994263,
6162
+ "learning_rate": 7.455962902791522e-05,
6163
+ "loss": 1.8526,
6164
+ "step": 877
6165
+ },
6166
+ {
6167
+ "epoch": 0.1423072247659954,
6168
+ "grad_norm": 1.0334808826446533,
6169
+ "learning_rate": 7.435577778684033e-05,
6170
+ "loss": 1.8418,
6171
+ "step": 878
6172
+ },
6173
+ {
6174
+ "epoch": 0.14246930588759674,
6175
+ "grad_norm": 0.9842519164085388,
6176
+ "learning_rate": 7.415204054884399e-05,
6177
+ "loss": 1.9821,
6178
+ "step": 879
6179
+ },
6180
+ {
6181
+ "epoch": 0.1426313870091981,
6182
+ "grad_norm": 1.0533347129821777,
6183
+ "learning_rate": 7.394841821965345e-05,
6184
+ "loss": 2.0263,
6185
+ "step": 880
6186
+ },
6187
+ {
6188
+ "epoch": 0.14279346813079946,
6189
+ "grad_norm": 1.0583339929580688,
6190
+ "learning_rate": 7.374491170448525e-05,
6191
+ "loss": 2.0331,
6192
+ "step": 881
6193
+ },
6194
+ {
6195
+ "epoch": 0.14295554925240084,
6196
+ "grad_norm": 1.0232335329055786,
6197
+ "learning_rate": 7.3541521908041e-05,
6198
+ "loss": 1.9572,
6199
+ "step": 882
6200
+ },
6201
+ {
6202
+ "epoch": 0.14311763037400219,
6203
+ "grad_norm": 1.0451996326446533,
6204
+ "learning_rate": 7.33382497345034e-05,
6205
+ "loss": 2.0074,
6206
+ "step": 883
6207
+ },
6208
+ {
6209
+ "epoch": 0.14327971149560356,
6210
+ "grad_norm": 1.051679253578186,
6211
+ "learning_rate": 7.313509608753231e-05,
6212
+ "loss": 1.8736,
6213
+ "step": 884
6214
+ },
6215
+ {
6216
+ "epoch": 0.1434417926172049,
6217
+ "grad_norm": 1.1811211109161377,
6218
+ "learning_rate": 7.293206187026061e-05,
6219
+ "loss": 1.9808,
6220
+ "step": 885
6221
+ },
6222
+ {
6223
+ "epoch": 0.14360387373880626,
6224
+ "grad_norm": 1.1472132205963135,
6225
+ "learning_rate": 7.27291479852903e-05,
6226
+ "loss": 2.0658,
6227
+ "step": 886
6228
+ },
6229
+ {
6230
+ "epoch": 0.14376595486040764,
6231
+ "grad_norm": 1.2269686460494995,
6232
+ "learning_rate": 7.252635533468843e-05,
6233
+ "loss": 2.032,
6234
+ "step": 887
6235
+ },
6236
+ {
6237
+ "epoch": 0.14392803598200898,
6238
+ "grad_norm": 1.235572338104248,
6239
+ "learning_rate": 7.232368481998309e-05,
6240
+ "loss": 2.1866,
6241
+ "step": 888
6242
+ },
6243
+ {
6244
+ "epoch": 0.14409011710361036,
6245
+ "grad_norm": 1.2191613912582397,
6246
+ "learning_rate": 7.212113734215932e-05,
6247
+ "loss": 2.04,
6248
+ "step": 889
6249
+ },
6250
+ {
6251
+ "epoch": 0.1442521982252117,
6252
+ "grad_norm": 1.2942798137664795,
6253
+ "learning_rate": 7.191871380165538e-05,
6254
+ "loss": 2.1666,
6255
+ "step": 890
6256
+ },
6257
+ {
6258
+ "epoch": 0.14441427934681308,
6259
+ "grad_norm": 1.4039545059204102,
6260
+ "learning_rate": 7.17164150983584e-05,
6261
+ "loss": 2.1723,
6262
+ "step": 891
6263
+ },
6264
+ {
6265
+ "epoch": 0.14457636046841443,
6266
+ "grad_norm": 1.400322675704956,
6267
+ "learning_rate": 7.151424213160061e-05,
6268
+ "loss": 2.1382,
6269
+ "step": 892
6270
+ },
6271
+ {
6272
+ "epoch": 0.1447384415900158,
6273
+ "grad_norm": 1.4236735105514526,
6274
+ "learning_rate": 7.131219580015521e-05,
6275
+ "loss": 2.3552,
6276
+ "step": 893
6277
+ },
6278
+ {
6279
+ "epoch": 0.14490052271161716,
6280
+ "grad_norm": 1.6621019840240479,
6281
+ "learning_rate": 7.11102770022325e-05,
6282
+ "loss": 2.4194,
6283
+ "step": 894
6284
+ },
6285
+ {
6286
+ "epoch": 0.14506260383321853,
6287
+ "grad_norm": 1.5574733018875122,
6288
+ "learning_rate": 7.090848663547574e-05,
6289
+ "loss": 2.3852,
6290
+ "step": 895
6291
+ },
6292
+ {
6293
+ "epoch": 0.14522468495481988,
6294
+ "grad_norm": 1.7908298969268799,
6295
+ "learning_rate": 7.070682559695736e-05,
6296
+ "loss": 2.3932,
6297
+ "step": 896
6298
+ },
6299
+ {
6300
+ "epoch": 0.14538676607642126,
6301
+ "grad_norm": 1.8378123044967651,
6302
+ "learning_rate": 7.050529478317476e-05,
6303
+ "loss": 2.2965,
6304
+ "step": 897
6305
+ },
6306
+ {
6307
+ "epoch": 0.1455488471980226,
6308
+ "grad_norm": 2.028446674346924,
6309
+ "learning_rate": 7.03038950900464e-05,
6310
+ "loss": 2.1769,
6311
+ "step": 898
6312
+ },
6313
+ {
6314
+ "epoch": 0.14571092831962398,
6315
+ "grad_norm": 2.4650120735168457,
6316
+ "learning_rate": 7.010262741290798e-05,
6317
+ "loss": 2.6098,
6318
+ "step": 899
6319
+ },
6320
+ {
6321
+ "epoch": 0.14587300944122533,
6322
+ "grad_norm": 3.8697285652160645,
6323
+ "learning_rate": 6.990149264650814e-05,
6324
+ "loss": 3.2206,
6325
+ "step": 900
6326
+ },
6327
+ {
6328
+ "epoch": 0.1460350905628267,
6329
+ "grad_norm": 1.0382612943649292,
6330
+ "learning_rate": 6.970049168500474e-05,
6331
+ "loss": 2.1867,
6332
+ "step": 901
6333
+ },
6334
+ {
6335
+ "epoch": 0.14619717168442806,
6336
+ "grad_norm": 0.8437471985816956,
6337
+ "learning_rate": 6.94996254219608e-05,
6338
+ "loss": 1.9932,
6339
+ "step": 902
6340
+ },
6341
+ {
6342
+ "epoch": 0.1463592528060294,
6343
+ "grad_norm": 0.8642414212226868,
6344
+ "learning_rate": 6.929889475034048e-05,
6345
+ "loss": 1.9621,
6346
+ "step": 903
6347
+ },
6348
+ {
6349
+ "epoch": 0.14652133392763078,
6350
+ "grad_norm": 0.829709529876709,
6351
+ "learning_rate": 6.909830056250527e-05,
6352
+ "loss": 1.7549,
6353
+ "step": 904
6354
+ },
6355
+ {
6356
+ "epoch": 0.14668341504923213,
6357
+ "grad_norm": 0.9023981094360352,
6358
+ "learning_rate": 6.889784375020978e-05,
6359
+ "loss": 1.7999,
6360
+ "step": 905
6361
+ },
6362
+ {
6363
+ "epoch": 0.1468454961708335,
6364
+ "grad_norm": 0.9434801340103149,
6365
+ "learning_rate": 6.869752520459803e-05,
6366
+ "loss": 1.9526,
6367
+ "step": 906
6368
+ },
6369
+ {
6370
+ "epoch": 0.14700757729243485,
6371
+ "grad_norm": 1.0058238506317139,
6372
+ "learning_rate": 6.849734581619918e-05,
6373
+ "loss": 1.8243,
6374
+ "step": 907
6375
+ },
6376
+ {
6377
+ "epoch": 0.14716965841403623,
6378
+ "grad_norm": 0.8264224529266357,
6379
+ "learning_rate": 6.829730647492404e-05,
6380
+ "loss": 1.8184,
6381
+ "step": 908
6382
+ },
6383
+ {
6384
+ "epoch": 0.14733173953563758,
6385
+ "grad_norm": 0.8843519687652588,
6386
+ "learning_rate": 6.80974080700606e-05,
6387
+ "loss": 1.958,
6388
+ "step": 909
6389
+ },
6390
+ {
6391
+ "epoch": 0.14749382065723896,
6392
+ "grad_norm": 0.8653523921966553,
6393
+ "learning_rate": 6.789765149027039e-05,
6394
+ "loss": 1.7968,
6395
+ "step": 910
6396
+ },
6397
+ {
6398
+ "epoch": 0.1476559017788403,
6399
+ "grad_norm": 0.899975597858429,
6400
+ "learning_rate": 6.769803762358443e-05,
6401
+ "loss": 1.9741,
6402
+ "step": 911
6403
+ },
6404
+ {
6405
+ "epoch": 0.14781798290044168,
6406
+ "grad_norm": 0.839066743850708,
6407
+ "learning_rate": 6.749856735739928e-05,
6408
+ "loss": 1.7658,
6409
+ "step": 912
6410
+ },
6411
+ {
6412
+ "epoch": 0.14798006402204303,
6413
+ "grad_norm": 0.8803154826164246,
6414
+ "learning_rate": 6.729924157847323e-05,
6415
+ "loss": 1.9916,
6416
+ "step": 913
6417
+ },
6418
+ {
6419
+ "epoch": 0.1481421451436444,
6420
+ "grad_norm": 0.8706285357475281,
6421
+ "learning_rate": 6.710006117292209e-05,
6422
+ "loss": 1.9442,
6423
+ "step": 914
6424
+ },
6425
+ {
6426
+ "epoch": 0.14830422626524575,
6427
+ "grad_norm": 0.9332308769226074,
6428
+ "learning_rate": 6.690102702621548e-05,
6429
+ "loss": 1.9825,
6430
+ "step": 915
6431
+ },
6432
+ {
6433
+ "epoch": 0.14846630738684713,
6434
+ "grad_norm": 0.9200189709663391,
6435
+ "learning_rate": 6.670214002317278e-05,
6436
+ "loss": 1.7899,
6437
+ "step": 916
6438
+ },
6439
+ {
6440
+ "epoch": 0.14862838850844848,
6441
+ "grad_norm": 0.9359891414642334,
6442
+ "learning_rate": 6.650340104795932e-05,
6443
+ "loss": 1.9061,
6444
+ "step": 917
6445
+ },
6446
+ {
6447
+ "epoch": 0.14879046963004983,
6448
+ "grad_norm": 0.9093737602233887,
6449
+ "learning_rate": 6.630481098408228e-05,
6450
+ "loss": 1.8754,
6451
+ "step": 918
6452
+ },
6453
+ {
6454
+ "epoch": 0.1489525507516512,
6455
+ "grad_norm": 0.9972536563873291,
6456
+ "learning_rate": 6.610637071438686e-05,
6457
+ "loss": 1.7495,
6458
+ "step": 919
6459
+ },
6460
+ {
6461
+ "epoch": 0.14911463187325255,
6462
+ "grad_norm": 1.0075587034225464,
6463
+ "learning_rate": 6.590808112105232e-05,
6464
+ "loss": 1.9349,
6465
+ "step": 920
6466
+ },
6467
+ {
6468
+ "epoch": 0.14927671299485393,
6469
+ "grad_norm": 0.9807758927345276,
6470
+ "learning_rate": 6.570994308558812e-05,
6471
+ "loss": 1.8885,
6472
+ "step": 921
6473
+ },
6474
+ {
6475
+ "epoch": 0.14943879411645528,
6476
+ "grad_norm": 1.0740059614181519,
6477
+ "learning_rate": 6.551195748882997e-05,
6478
+ "loss": 2.0256,
6479
+ "step": 922
6480
+ },
6481
+ {
6482
+ "epoch": 0.14960087523805665,
6483
+ "grad_norm": 1.0101613998413086,
6484
+ "learning_rate": 6.531412521093586e-05,
6485
+ "loss": 1.8977,
6486
+ "step": 923
6487
+ },
6488
+ {
6489
+ "epoch": 0.149762956359658,
6490
+ "grad_norm": 0.9367290139198303,
6491
+ "learning_rate": 6.51164471313822e-05,
6492
+ "loss": 1.9829,
6493
+ "step": 924
6494
+ },
6495
+ {
6496
+ "epoch": 0.14992503748125938,
6497
+ "grad_norm": 0.9805682897567749,
6498
+ "learning_rate": 6.491892412895995e-05,
6499
+ "loss": 1.9775,
6500
+ "step": 925
6501
+ },
6502
+ {
6503
+ "epoch": 0.15008711860286073,
6504
+ "grad_norm": 1.027248740196228,
6505
+ "learning_rate": 6.472155708177052e-05,
6506
+ "loss": 1.9416,
6507
+ "step": 926
6508
+ },
6509
+ {
6510
+ "epoch": 0.1502491997244621,
6511
+ "grad_norm": 1.0176628828048706,
6512
+ "learning_rate": 6.452434686722224e-05,
6513
+ "loss": 1.9728,
6514
+ "step": 927
6515
+ },
6516
+ {
6517
+ "epoch": 0.15041128084606345,
6518
+ "grad_norm": 1.0048375129699707,
6519
+ "learning_rate": 6.432729436202604e-05,
6520
+ "loss": 1.9948,
6521
+ "step": 928
6522
+ },
6523
+ {
6524
+ "epoch": 0.15057336196766483,
6525
+ "grad_norm": 1.0000700950622559,
6526
+ "learning_rate": 6.41304004421918e-05,
6527
+ "loss": 1.9813,
6528
+ "step": 929
6529
+ },
6530
+ {
6531
+ "epoch": 0.15073544308926617,
6532
+ "grad_norm": 1.0005961656570435,
6533
+ "learning_rate": 6.393366598302446e-05,
6534
+ "loss": 2.0137,
6535
+ "step": 930
6536
+ },
6537
+ {
6538
+ "epoch": 0.15089752421086755,
6539
+ "grad_norm": 1.1066198348999023,
6540
+ "learning_rate": 6.373709185911998e-05,
6541
+ "loss": 2.0346,
6542
+ "step": 931
6543
+ },
6544
+ {
6545
+ "epoch": 0.1510596053324689,
6546
+ "grad_norm": 1.2351223230361938,
6547
+ "learning_rate": 6.354067894436155e-05,
6548
+ "loss": 1.8956,
6549
+ "step": 932
6550
+ },
6551
+ {
6552
+ "epoch": 0.15122168645407028,
6553
+ "grad_norm": 1.2368437051773071,
6554
+ "learning_rate": 6.334442811191576e-05,
6555
+ "loss": 2.0858,
6556
+ "step": 933
6557
+ },
6558
+ {
6559
+ "epoch": 0.15138376757567162,
6560
+ "grad_norm": 1.1322507858276367,
6561
+ "learning_rate": 6.314834023422858e-05,
6562
+ "loss": 2.0543,
6563
+ "step": 934
6564
+ },
6565
+ {
6566
+ "epoch": 0.15154584869727297,
6567
+ "grad_norm": 1.1150531768798828,
6568
+ "learning_rate": 6.295241618302156e-05,
6569
+ "loss": 1.9735,
6570
+ "step": 935
6571
+ },
6572
+ {
6573
+ "epoch": 0.15170792981887435,
6574
+ "grad_norm": 1.1422393321990967,
6575
+ "learning_rate": 6.275665682928803e-05,
6576
+ "loss": 2.0114,
6577
+ "step": 936
6578
+ },
6579
+ {
6580
+ "epoch": 0.1518700109404757,
6581
+ "grad_norm": 1.155239224433899,
6582
+ "learning_rate": 6.256106304328905e-05,
6583
+ "loss": 2.0978,
6584
+ "step": 937
6585
+ },
6586
+ {
6587
+ "epoch": 0.15203209206207707,
6588
+ "grad_norm": 1.2192412614822388,
6589
+ "learning_rate": 6.23656356945497e-05,
6590
+ "loss": 2.2553,
6591
+ "step": 938
6592
+ },
6593
+ {
6594
+ "epoch": 0.15219417318367842,
6595
+ "grad_norm": 1.2727837562561035,
6596
+ "learning_rate": 6.21703756518551e-05,
6597
+ "loss": 2.0736,
6598
+ "step": 939
6599
+ },
6600
+ {
6601
+ "epoch": 0.1523562543052798,
6602
+ "grad_norm": 1.4809598922729492,
6603
+ "learning_rate": 6.197528378324665e-05,
6604
+ "loss": 2.2647,
6605
+ "step": 940
6606
+ },
6607
+ {
6608
+ "epoch": 0.15251833542688115,
6609
+ "grad_norm": 1.5518218278884888,
6610
+ "learning_rate": 6.17803609560181e-05,
6611
+ "loss": 2.2755,
6612
+ "step": 941
6613
+ },
6614
+ {
6615
+ "epoch": 0.15268041654848252,
6616
+ "grad_norm": 1.501102089881897,
6617
+ "learning_rate": 6.158560803671168e-05,
6618
+ "loss": 2.2923,
6619
+ "step": 942
6620
+ },
6621
+ {
6622
+ "epoch": 0.15284249767008387,
6623
+ "grad_norm": 1.478593111038208,
6624
+ "learning_rate": 6.139102589111435e-05,
6625
+ "loss": 2.3341,
6626
+ "step": 943
6627
+ },
6628
+ {
6629
+ "epoch": 0.15300457879168525,
6630
+ "grad_norm": 1.799355149269104,
6631
+ "learning_rate": 6.119661538425381e-05,
6632
+ "loss": 2.4506,
6633
+ "step": 944
6634
+ },
6635
+ {
6636
+ "epoch": 0.1531666599132866,
6637
+ "grad_norm": 1.601035237312317,
6638
+ "learning_rate": 6.100237738039484e-05,
6639
+ "loss": 2.4777,
6640
+ "step": 945
6641
+ },
6642
+ {
6643
+ "epoch": 0.15332874103488797,
6644
+ "grad_norm": 1.8279684782028198,
6645
+ "learning_rate": 6.0808312743035236e-05,
6646
+ "loss": 2.3588,
6647
+ "step": 946
6648
+ },
6649
+ {
6650
+ "epoch": 0.15349082215648932,
6651
+ "grad_norm": 1.9943811893463135,
6652
+ "learning_rate": 6.061442233490211e-05,
6653
+ "loss": 2.4191,
6654
+ "step": 947
6655
+ },
6656
+ {
6657
+ "epoch": 0.1536529032780907,
6658
+ "grad_norm": 2.4720005989074707,
6659
+ "learning_rate": 6.042070701794806e-05,
6660
+ "loss": 2.5547,
6661
+ "step": 948
6662
+ },
6663
+ {
6664
+ "epoch": 0.15381498439969205,
6665
+ "grad_norm": 2.8136916160583496,
6666
+ "learning_rate": 6.0227167653347305e-05,
6667
+ "loss": 3.0057,
6668
+ "step": 949
6669
+ },
6670
+ {
6671
+ "epoch": 0.1539770655212934,
6672
+ "grad_norm": 4.134425640106201,
6673
+ "learning_rate": 6.0033805101491794e-05,
6674
+ "loss": 3.487,
6675
+ "step": 950
6676
+ },
6677
+ {
6678
+ "epoch": 0.15413914664289477,
6679
+ "grad_norm": 0.7873668670654297,
6680
+ "learning_rate": 5.98406202219875e-05,
6681
+ "loss": 2.1287,
6682
+ "step": 951
6683
+ },
6684
+ {
6685
+ "epoch": 0.15430122776449612,
6686
+ "grad_norm": 0.8385956287384033,
6687
+ "learning_rate": 5.964761387365052e-05,
6688
+ "loss": 2.1194,
6689
+ "step": 952
6690
+ },
6691
+ {
6692
+ "epoch": 0.1544633088860975,
6693
+ "grad_norm": 0.8095195889472961,
6694
+ "learning_rate": 5.9454786914503255e-05,
6695
+ "loss": 1.9995,
6696
+ "step": 953
6697
+ },
6698
+ {
6699
+ "epoch": 0.15462539000769884,
6700
+ "grad_norm": 0.8198096752166748,
6701
+ "learning_rate": 5.926214020177074e-05,
6702
+ "loss": 1.8372,
6703
+ "step": 954
6704
+ },
6705
+ {
6706
+ "epoch": 0.15478747112930022,
6707
+ "grad_norm": 0.7827789783477783,
6708
+ "learning_rate": 5.9069674591876534e-05,
6709
+ "loss": 1.8768,
6710
+ "step": 955
6711
+ },
6712
+ {
6713
+ "epoch": 0.15494955225090157,
6714
+ "grad_norm": 0.8070412278175354,
6715
+ "learning_rate": 5.887739094043923e-05,
6716
+ "loss": 1.9643,
6717
+ "step": 956
6718
+ },
6719
+ {
6720
+ "epoch": 0.15511163337250294,
6721
+ "grad_norm": 0.7965165376663208,
6722
+ "learning_rate": 5.868529010226845e-05,
6723
+ "loss": 1.8869,
6724
+ "step": 957
6725
+ },
6726
+ {
6727
+ "epoch": 0.1552737144941043,
6728
+ "grad_norm": 0.9103376269340515,
6729
+ "learning_rate": 5.849337293136112e-05,
6730
+ "loss": 1.9411,
6731
+ "step": 958
6732
+ },
6733
+ {
6734
+ "epoch": 0.15543579561570567,
6735
+ "grad_norm": 0.8585078716278076,
6736
+ "learning_rate": 5.830164028089766e-05,
6737
+ "loss": 1.8523,
6738
+ "step": 959
6739
+ },
6740
+ {
6741
+ "epoch": 0.15559787673730702,
6742
+ "grad_norm": 0.9567294120788574,
6743
+ "learning_rate": 5.811009300323818e-05,
6744
+ "loss": 1.8103,
6745
+ "step": 960
6746
+ },
6747
+ {
6748
+ "epoch": 0.1557599578589084,
6749
+ "grad_norm": 0.8584802150726318,
6750
+ "learning_rate": 5.791873194991872e-05,
6751
+ "loss": 1.7882,
6752
+ "step": 961
6753
+ },
6754
+ {
6755
+ "epoch": 0.15592203898050974,
6756
+ "grad_norm": 0.8664056658744812,
6757
+ "learning_rate": 5.7727557971647427e-05,
6758
+ "loss": 1.8217,
6759
+ "step": 962
6760
+ },
6761
+ {
6762
+ "epoch": 0.15608412010211112,
6763
+ "grad_norm": 0.8807719349861145,
6764
+ "learning_rate": 5.7536571918300864e-05,
6765
+ "loss": 1.7432,
6766
+ "step": 963
6767
+ },
6768
+ {
6769
+ "epoch": 0.15624620122371247,
6770
+ "grad_norm": 0.8669372200965881,
6771
+ "learning_rate": 5.734577463892008e-05,
6772
+ "loss": 1.8452,
6773
+ "step": 964
6774
+ },
6775
+ {
6776
+ "epoch": 0.15640828234531384,
6777
+ "grad_norm": 0.9092172980308533,
6778
+ "learning_rate": 5.7155166981706956e-05,
6779
+ "loss": 1.9397,
6780
+ "step": 965
6781
+ },
6782
+ {
6783
+ "epoch": 0.1565703634669152,
6784
+ "grad_norm": 0.8645500540733337,
6785
+ "learning_rate": 5.6964749794020354e-05,
6786
+ "loss": 1.865,
6787
+ "step": 966
6788
+ },
6789
+ {
6790
+ "epoch": 0.15673244458851654,
6791
+ "grad_norm": 0.9376959800720215,
6792
+ "learning_rate": 5.6774523922372394e-05,
6793
+ "loss": 1.954,
6794
+ "step": 967
6795
+ },
6796
+ {
6797
+ "epoch": 0.15689452571011792,
6798
+ "grad_norm": 0.9202054738998413,
6799
+ "learning_rate": 5.6584490212424804e-05,
6800
+ "loss": 1.8206,
6801
+ "step": 968
6802
+ },
6803
+ {
6804
+ "epoch": 0.15705660683171926,
6805
+ "grad_norm": 0.974638044834137,
6806
+ "learning_rate": 5.639464950898491e-05,
6807
+ "loss": 1.88,
6808
+ "step": 969
6809
+ },
6810
+ {
6811
+ "epoch": 0.15721868795332064,
6812
+ "grad_norm": 0.9945436716079712,
6813
+ "learning_rate": 5.620500265600206e-05,
6814
+ "loss": 1.9128,
6815
+ "step": 970
6816
+ },
6817
+ {
6818
+ "epoch": 0.157380769074922,
6819
+ "grad_norm": 0.9271765947341919,
6820
+ "learning_rate": 5.601555049656382e-05,
6821
+ "loss": 2.0703,
6822
+ "step": 971
6823
+ },
6824
+ {
6825
+ "epoch": 0.15754285019652337,
6826
+ "grad_norm": 0.8724026083946228,
6827
+ "learning_rate": 5.58262938728922e-05,
6828
+ "loss": 1.831,
6829
+ "step": 972
6830
+ },
6831
+ {
6832
+ "epoch": 0.1577049313181247,
6833
+ "grad_norm": 0.8741132616996765,
6834
+ "learning_rate": 5.563723362634008e-05,
6835
+ "loss": 1.8377,
6836
+ "step": 973
6837
+ },
6838
+ {
6839
+ "epoch": 0.1578670124397261,
6840
+ "grad_norm": 0.9159821271896362,
6841
+ "learning_rate": 5.544837059738719e-05,
6842
+ "loss": 1.7115,
6843
+ "step": 974
6844
+ },
6845
+ {
6846
+ "epoch": 0.15802909356132744,
6847
+ "grad_norm": 0.9540914297103882,
6848
+ "learning_rate": 5.525970562563656e-05,
6849
+ "loss": 1.931,
6850
+ "step": 975
6851
+ },
6852
+ {
6853
+ "epoch": 0.15819117468292881,
6854
+ "grad_norm": 1.1752443313598633,
6855
+ "learning_rate": 5.507123954981073e-05,
6856
+ "loss": 1.9176,
6857
+ "step": 976
6858
+ },
6859
+ {
6860
+ "epoch": 0.15835325580453016,
6861
+ "grad_norm": 0.9616062641143799,
6862
+ "learning_rate": 5.488297320774807e-05,
6863
+ "loss": 1.9151,
6864
+ "step": 977
6865
+ },
6866
+ {
6867
+ "epoch": 0.15851533692613154,
6868
+ "grad_norm": 1.0276983976364136,
6869
+ "learning_rate": 5.4694907436399e-05,
6870
+ "loss": 1.9046,
6871
+ "step": 978
6872
+ },
6873
+ {
6874
+ "epoch": 0.1586774180477329,
6875
+ "grad_norm": 0.9765022397041321,
6876
+ "learning_rate": 5.4507043071822284e-05,
6877
+ "loss": 1.8811,
6878
+ "step": 979
6879
+ },
6880
+ {
6881
+ "epoch": 0.15883949916933426,
6882
+ "grad_norm": 1.085218906402588,
6883
+ "learning_rate": 5.431938094918132e-05,
6884
+ "loss": 1.988,
6885
+ "step": 980
6886
+ },
6887
+ {
6888
+ "epoch": 0.1590015802909356,
6889
+ "grad_norm": 1.1478166580200195,
6890
+ "learning_rate": 5.41319219027404e-05,
6891
+ "loss": 2.0078,
6892
+ "step": 981
6893
+ },
6894
+ {
6895
+ "epoch": 0.159163661412537,
6896
+ "grad_norm": 1.121962547302246,
6897
+ "learning_rate": 5.394466676586114e-05,
6898
+ "loss": 1.9425,
6899
+ "step": 982
6900
+ },
6901
+ {
6902
+ "epoch": 0.15932574253413834,
6903
+ "grad_norm": 1.0868014097213745,
6904
+ "learning_rate": 5.375761637099854e-05,
6905
+ "loss": 1.9219,
6906
+ "step": 983
6907
+ },
6908
+ {
6909
+ "epoch": 0.15948782365573969,
6910
+ "grad_norm": 1.1258161067962646,
6911
+ "learning_rate": 5.357077154969742e-05,
6912
+ "loss": 1.9258,
6913
+ "step": 984
6914
+ },
6915
+ {
6916
+ "epoch": 0.15964990477734106,
6917
+ "grad_norm": 1.1755454540252686,
6918
+ "learning_rate": 5.3384133132588784e-05,
6919
+ "loss": 2.1467,
6920
+ "step": 985
6921
+ },
6922
+ {
6923
+ "epoch": 0.1598119858989424,
6924
+ "grad_norm": 1.109211802482605,
6925
+ "learning_rate": 5.3197701949386e-05,
6926
+ "loss": 2.0517,
6927
+ "step": 986
6928
+ },
6929
+ {
6930
+ "epoch": 0.1599740670205438,
6931
+ "grad_norm": 1.1387169361114502,
6932
+ "learning_rate": 5.301147882888116e-05,
6933
+ "loss": 1.9207,
6934
+ "step": 987
6935
+ },
6936
+ {
6937
+ "epoch": 0.16013614814214513,
6938
+ "grad_norm": 1.1905651092529297,
6939
+ "learning_rate": 5.28254645989414e-05,
6940
+ "loss": 2.064,
6941
+ "step": 988
6942
+ },
6943
+ {
6944
+ "epoch": 0.1602982292637465,
6945
+ "grad_norm": 1.1580886840820312,
6946
+ "learning_rate": 5.2639660086505226e-05,
6947
+ "loss": 2.0172,
6948
+ "step": 989
6949
+ },
6950
+ {
6951
+ "epoch": 0.16046031038534786,
6952
+ "grad_norm": 1.363759160041809,
6953
+ "learning_rate": 5.2454066117578815e-05,
6954
+ "loss": 2.0947,
6955
+ "step": 990
6956
+ },
6957
+ {
6958
+ "epoch": 0.16062239150694924,
6959
+ "grad_norm": 1.3571370840072632,
6960
+ "learning_rate": 5.226868351723244e-05,
6961
+ "loss": 2.226,
6962
+ "step": 991
6963
+ },
6964
+ {
6965
+ "epoch": 0.16078447262855058,
6966
+ "grad_norm": 1.3612700700759888,
6967
+ "learning_rate": 5.2083513109596616e-05,
6968
+ "loss": 2.2807,
6969
+ "step": 992
6970
+ },
6971
+ {
6972
+ "epoch": 0.16094655375015196,
6973
+ "grad_norm": 1.4575715065002441,
6974
+ "learning_rate": 5.189855571785859e-05,
6975
+ "loss": 2.3312,
6976
+ "step": 993
6977
+ },
6978
+ {
6979
+ "epoch": 0.1611086348717533,
6980
+ "grad_norm": 1.4623538255691528,
6981
+ "learning_rate": 5.171381216425863e-05,
6982
+ "loss": 2.3451,
6983
+ "step": 994
6984
+ },
6985
+ {
6986
+ "epoch": 0.16127071599335469,
6987
+ "grad_norm": 1.7681406736373901,
6988
+ "learning_rate": 5.152928327008635e-05,
6989
+ "loss": 2.4868,
6990
+ "step": 995
6991
+ },
6992
+ {
6993
+ "epoch": 0.16143279711495603,
6994
+ "grad_norm": 1.645715594291687,
6995
+ "learning_rate": 5.134496985567714e-05,
6996
+ "loss": 2.4009,
6997
+ "step": 996
6998
+ },
6999
+ {
7000
+ "epoch": 0.1615948782365574,
7001
+ "grad_norm": 1.9408518075942993,
7002
+ "learning_rate": 5.116087274040837e-05,
7003
+ "loss": 2.3547,
7004
+ "step": 997
7005
+ },
7006
+ {
7007
+ "epoch": 0.16175695935815876,
7008
+ "grad_norm": 2.0233843326568604,
7009
+ "learning_rate": 5.0976992742695925e-05,
7010
+ "loss": 2.3173,
7011
+ "step": 998
7012
+ },
7013
+ {
7014
+ "epoch": 0.1619190404797601,
7015
+ "grad_norm": 2.2959163188934326,
7016
+ "learning_rate": 5.07933306799904e-05,
7017
+ "loss": 2.5881,
7018
+ "step": 999
7019
+ },
7020
+ {
7021
+ "epoch": 0.16208112160136148,
7022
+ "grad_norm": 3.336909532546997,
7023
+ "learning_rate": 5.060988736877366e-05,
7024
+ "loss": 2.8424,
7025
+ "step": 1000
7026
+ },
7027
+ {
7028
+ "epoch": 0.16224320272296283,
7029
+ "grad_norm": 0.8006635904312134,
7030
+ "learning_rate": 5.042666362455498e-05,
7031
+ "loss": 2.0874,
7032
+ "step": 1001
7033
+ },
7034
+ {
7035
+ "epoch": 0.1624052838445642,
7036
+ "grad_norm": 0.7417387366294861,
7037
+ "learning_rate": 5.024366026186755e-05,
7038
+ "loss": 2.0078,
7039
+ "step": 1002
7040
+ },
7041
+ {
7042
+ "epoch": 0.16256736496616556,
7043
+ "grad_norm": 0.8308349847793579,
7044
+ "learning_rate": 5.006087809426496e-05,
7045
+ "loss": 1.8976,
7046
+ "step": 1003
7047
+ },
7048
+ {
7049
+ "epoch": 0.16272944608776693,
7050
+ "grad_norm": 0.8369859457015991,
7051
+ "learning_rate": 4.987831793431731e-05,
7052
+ "loss": 1.8497,
7053
+ "step": 1004
7054
+ },
7055
+ {
7056
+ "epoch": 0.16289152720936828,
7057
+ "grad_norm": 0.7566342353820801,
7058
+ "learning_rate": 4.9695980593607817e-05,
7059
+ "loss": 1.7877,
7060
+ "step": 1005
7061
+ },
7062
+ {
7063
+ "epoch": 0.16305360833096966,
7064
+ "grad_norm": 0.7948352694511414,
7065
+ "learning_rate": 4.9513866882729146e-05,
7066
+ "loss": 1.8605,
7067
+ "step": 1006
7068
+ },
7069
+ {
7070
+ "epoch": 0.163215689452571,
7071
+ "grad_norm": 0.8169831037521362,
7072
+ "learning_rate": 4.9331977611279777e-05,
7073
+ "loss": 1.8545,
7074
+ "step": 1007
7075
+ },
7076
+ {
7077
+ "epoch": 0.16337777057417238,
7078
+ "grad_norm": 0.7623694539070129,
7079
+ "learning_rate": 4.9150313587860433e-05,
7080
+ "loss": 1.8054,
7081
+ "step": 1008
7082
+ },
7083
+ {
7084
+ "epoch": 0.16353985169577373,
7085
+ "grad_norm": 0.8043395280838013,
7086
+ "learning_rate": 4.896887562007054e-05,
7087
+ "loss": 1.8247,
7088
+ "step": 1009
7089
+ },
7090
+ {
7091
+ "epoch": 0.1637019328173751,
7092
+ "grad_norm": 0.8478509187698364,
7093
+ "learning_rate": 4.8787664514504504e-05,
7094
+ "loss": 1.8881,
7095
+ "step": 1010
7096
+ },
7097
+ {
7098
+ "epoch": 0.16386401393897645,
7099
+ "grad_norm": 0.8304833173751831,
7100
+ "learning_rate": 4.860668107674823e-05,
7101
+ "loss": 1.7478,
7102
+ "step": 1011
7103
+ },
7104
+ {
7105
+ "epoch": 0.16402609506057783,
7106
+ "grad_norm": 0.8268377780914307,
7107
+ "learning_rate": 4.8425926111375506e-05,
7108
+ "loss": 1.8382,
7109
+ "step": 1012
7110
+ },
7111
+ {
7112
+ "epoch": 0.16418817618217918,
7113
+ "grad_norm": 0.9541943073272705,
7114
+ "learning_rate": 4.824540042194443e-05,
7115
+ "loss": 1.8776,
7116
+ "step": 1013
7117
+ },
7118
+ {
7119
+ "epoch": 0.16435025730378056,
7120
+ "grad_norm": 0.8534770011901855,
7121
+ "learning_rate": 4.8065104810993856e-05,
7122
+ "loss": 1.9376,
7123
+ "step": 1014
7124
+ },
7125
+ {
7126
+ "epoch": 0.1645123384253819,
7127
+ "grad_norm": 0.8372848629951477,
7128
+ "learning_rate": 4.788504008003978e-05,
7129
+ "loss": 1.8229,
7130
+ "step": 1015
7131
+ },
7132
+ {
7133
+ "epoch": 0.16467441954698325,
7134
+ "grad_norm": 0.867513120174408,
7135
+ "learning_rate": 4.770520702957182e-05,
7136
+ "loss": 1.922,
7137
+ "step": 1016
7138
+ },
7139
+ {
7140
+ "epoch": 0.16483650066858463,
7141
+ "grad_norm": 0.8784647583961487,
7142
+ "learning_rate": 4.752560645904962e-05,
7143
+ "loss": 1.8011,
7144
+ "step": 1017
7145
+ },
7146
+ {
7147
+ "epoch": 0.16499858179018598,
7148
+ "grad_norm": 0.9386810660362244,
7149
+ "learning_rate": 4.734623916689941e-05,
7150
+ "loss": 1.8849,
7151
+ "step": 1018
7152
+ },
7153
+ {
7154
+ "epoch": 0.16516066291178735,
7155
+ "grad_norm": 0.8831779360771179,
7156
+ "learning_rate": 4.716710595051022e-05,
7157
+ "loss": 1.7498,
7158
+ "step": 1019
7159
+ },
7160
+ {
7161
+ "epoch": 0.1653227440333887,
7162
+ "grad_norm": 0.9589028358459473,
7163
+ "learning_rate": 4.698820760623064e-05,
7164
+ "loss": 1.8178,
7165
+ "step": 1020
7166
+ },
7167
+ {
7168
+ "epoch": 0.16548482515499008,
7169
+ "grad_norm": 1.0203953981399536,
7170
+ "learning_rate": 4.6809544929365004e-05,
7171
+ "loss": 1.951,
7172
+ "step": 1021
7173
+ },
7174
+ {
7175
+ "epoch": 0.16564690627659143,
7176
+ "grad_norm": 0.9648740887641907,
7177
+ "learning_rate": 4.663111871417e-05,
7178
+ "loss": 1.8394,
7179
+ "step": 1022
7180
+ },
7181
+ {
7182
+ "epoch": 0.1658089873981928,
7183
+ "grad_norm": 0.9202787280082703,
7184
+ "learning_rate": 4.645292975385111e-05,
7185
+ "loss": 1.894,
7186
+ "step": 1023
7187
+ },
7188
+ {
7189
+ "epoch": 0.16597106851979415,
7190
+ "grad_norm": 0.9346006512641907,
7191
+ "learning_rate": 4.627497884055912e-05,
7192
+ "loss": 1.8064,
7193
+ "step": 1024
7194
+ },
7195
+ {
7196
+ "epoch": 0.16613314964139553,
7197
+ "grad_norm": 1.0869497060775757,
7198
+ "learning_rate": 4.609726676538652e-05,
7199
+ "loss": 1.8659,
7200
+ "step": 1025
7201
+ },
7202
+ {
7203
+ "epoch": 0.16629523076299688,
7204
+ "grad_norm": 0.9703930616378784,
7205
+ "learning_rate": 4.591979431836402e-05,
7206
+ "loss": 1.8255,
7207
+ "step": 1026
7208
+ },
7209
+ {
7210
+ "epoch": 0.16645731188459825,
7211
+ "grad_norm": 1.0407397747039795,
7212
+ "learning_rate": 4.574256228845706e-05,
7213
+ "loss": 1.9679,
7214
+ "step": 1027
7215
+ },
7216
+ {
7217
+ "epoch": 0.1666193930061996,
7218
+ "grad_norm": 1.0780534744262695,
7219
+ "learning_rate": 4.5565571463562365e-05,
7220
+ "loss": 1.8632,
7221
+ "step": 1028
7222
+ },
7223
+ {
7224
+ "epoch": 0.16678147412780098,
7225
+ "grad_norm": 1.1128103733062744,
7226
+ "learning_rate": 4.5388822630504256e-05,
7227
+ "loss": 1.8397,
7228
+ "step": 1029
7229
+ },
7230
+ {
7231
+ "epoch": 0.16694355524940233,
7232
+ "grad_norm": 1.0159236192703247,
7233
+ "learning_rate": 4.521231657503132e-05,
7234
+ "loss": 1.8769,
7235
+ "step": 1030
7236
+ },
7237
+ {
7238
+ "epoch": 0.16710563637100367,
7239
+ "grad_norm": 1.0226553678512573,
7240
+ "learning_rate": 4.503605408181286e-05,
7241
+ "loss": 1.9147,
7242
+ "step": 1031
7243
+ },
7244
+ {
7245
+ "epoch": 0.16726771749260505,
7246
+ "grad_norm": 1.0692806243896484,
7247
+ "learning_rate": 4.486003593443537e-05,
7248
+ "loss": 1.9294,
7249
+ "step": 1032
7250
+ },
7251
+ {
7252
+ "epoch": 0.1674297986142064,
7253
+ "grad_norm": 1.0928372144699097,
7254
+ "learning_rate": 4.468426291539914e-05,
7255
+ "loss": 1.9216,
7256
+ "step": 1033
7257
+ },
7258
+ {
7259
+ "epoch": 0.16759187973580777,
7260
+ "grad_norm": 1.1192384958267212,
7261
+ "learning_rate": 4.4508735806114654e-05,
7262
+ "loss": 2.003,
7263
+ "step": 1034
7264
+ },
7265
+ {
7266
+ "epoch": 0.16775396085740912,
7267
+ "grad_norm": 1.1762419939041138,
7268
+ "learning_rate": 4.433345538689929e-05,
7269
+ "loss": 2.1035,
7270
+ "step": 1035
7271
+ },
7272
+ {
7273
+ "epoch": 0.1679160419790105,
7274
+ "grad_norm": 1.15769624710083,
7275
+ "learning_rate": 4.415842243697369e-05,
7276
+ "loss": 2.0355,
7277
+ "step": 1036
7278
+ },
7279
+ {
7280
+ "epoch": 0.16807812310061185,
7281
+ "grad_norm": 1.1447405815124512,
7282
+ "learning_rate": 4.39836377344583e-05,
7283
+ "loss": 2.065,
7284
+ "step": 1037
7285
+ },
7286
+ {
7287
+ "epoch": 0.16824020422221322,
7288
+ "grad_norm": 1.287532925605774,
7289
+ "learning_rate": 4.380910205637012e-05,
7290
+ "loss": 2.2201,
7291
+ "step": 1038
7292
+ },
7293
+ {
7294
+ "epoch": 0.16840228534381457,
7295
+ "grad_norm": 1.2180663347244263,
7296
+ "learning_rate": 4.363481617861893e-05,
7297
+ "loss": 2.0992,
7298
+ "step": 1039
7299
+ },
7300
+ {
7301
+ "epoch": 0.16856436646541595,
7302
+ "grad_norm": 1.2854613065719604,
7303
+ "learning_rate": 4.346078087600412e-05,
7304
+ "loss": 2.0934,
7305
+ "step": 1040
7306
+ },
7307
+ {
7308
+ "epoch": 0.1687264475870173,
7309
+ "grad_norm": 1.329726219177246,
7310
+ "learning_rate": 4.3286996922211034e-05,
7311
+ "loss": 2.2888,
7312
+ "step": 1041
7313
+ },
7314
+ {
7315
+ "epoch": 0.16888852870861867,
7316
+ "grad_norm": 1.4380382299423218,
7317
+ "learning_rate": 4.311346508980772e-05,
7318
+ "loss": 2.2728,
7319
+ "step": 1042
7320
+ },
7321
+ {
7322
+ "epoch": 0.16905060983022002,
7323
+ "grad_norm": 1.6394540071487427,
7324
+ "learning_rate": 4.2940186150241365e-05,
7325
+ "loss": 2.2854,
7326
+ "step": 1043
7327
+ },
7328
+ {
7329
+ "epoch": 0.1692126909518214,
7330
+ "grad_norm": 1.51077139377594,
7331
+ "learning_rate": 4.27671608738349e-05,
7332
+ "loss": 2.2677,
7333
+ "step": 1044
7334
+ },
7335
+ {
7336
+ "epoch": 0.16937477207342275,
7337
+ "grad_norm": 1.6722321510314941,
7338
+ "learning_rate": 4.2594390029783534e-05,
7339
+ "loss": 2.3743,
7340
+ "step": 1045
7341
+ },
7342
+ {
7343
+ "epoch": 0.16953685319502412,
7344
+ "grad_norm": 1.7964955568313599,
7345
+ "learning_rate": 4.242187438615153e-05,
7346
+ "loss": 2.5597,
7347
+ "step": 1046
7348
+ },
7349
+ {
7350
+ "epoch": 0.16969893431662547,
7351
+ "grad_norm": 1.8949179649353027,
7352
+ "learning_rate": 4.224961470986849e-05,
7353
+ "loss": 2.3538,
7354
+ "step": 1047
7355
+ },
7356
+ {
7357
+ "epoch": 0.16986101543822682,
7358
+ "grad_norm": 2.335127353668213,
7359
+ "learning_rate": 4.207761176672614e-05,
7360
+ "loss": 2.6971,
7361
+ "step": 1048
7362
+ },
7363
+ {
7364
+ "epoch": 0.1700230965598282,
7365
+ "grad_norm": 3.060535192489624,
7366
+ "learning_rate": 4.190586632137491e-05,
7367
+ "loss": 2.7979,
7368
+ "step": 1049
7369
+ },
7370
+ {
7371
+ "epoch": 0.17018517768142954,
7372
+ "grad_norm": 3.8930301666259766,
7373
+ "learning_rate": 4.173437913732048e-05,
7374
+ "loss": 3.2297,
7375
+ "step": 1050
7376
+ },
7377
+ {
7378
+ "epoch": 0.17034725880303092,
7379
+ "grad_norm": 0.7237864136695862,
7380
+ "learning_rate": 4.156315097692037e-05,
7381
+ "loss": 2.0246,
7382
+ "step": 1051
7383
+ },
7384
+ {
7385
+ "epoch": 0.17050933992463227,
7386
+ "grad_norm": 0.743639349937439,
7387
+ "learning_rate": 4.139218260138074e-05,
7388
+ "loss": 1.946,
7389
+ "step": 1052
7390
+ },
7391
+ {
7392
+ "epoch": 0.17067142104623365,
7393
+ "grad_norm": 0.9066917896270752,
7394
+ "learning_rate": 4.12214747707527e-05,
7395
+ "loss": 1.8558,
7396
+ "step": 1053
7397
+ },
7398
+ {
7399
+ "epoch": 0.170833502167835,
7400
+ "grad_norm": 0.7140637040138245,
7401
+ "learning_rate": 4.1051028243929125e-05,
7402
+ "loss": 1.8177,
7403
+ "step": 1054
7404
+ },
7405
+ {
7406
+ "epoch": 0.17099558328943637,
7407
+ "grad_norm": 0.8741153478622437,
7408
+ "learning_rate": 4.088084377864135e-05,
7409
+ "loss": 1.9727,
7410
+ "step": 1055
7411
+ },
7412
+ {
7413
+ "epoch": 0.17115766441103772,
7414
+ "grad_norm": 0.8254456520080566,
7415
+ "learning_rate": 4.07109221314556e-05,
7416
+ "loss": 1.7322,
7417
+ "step": 1056
7418
+ },
7419
+ {
7420
+ "epoch": 0.1713197455326391,
7421
+ "grad_norm": 0.897747278213501,
7422
+ "learning_rate": 4.054126405776971e-05,
7423
+ "loss": 1.9204,
7424
+ "step": 1057
7425
+ },
7426
+ {
7427
+ "epoch": 0.17148182665424044,
7428
+ "grad_norm": 0.811434805393219,
7429
+ "learning_rate": 4.037187031180985e-05,
7430
+ "loss": 1.8652,
7431
+ "step": 1058
7432
+ },
7433
+ {
7434
+ "epoch": 0.17164390777584182,
7435
+ "grad_norm": 0.8381838798522949,
7436
+ "learning_rate": 4.020274164662707e-05,
7437
+ "loss": 1.9816,
7438
+ "step": 1059
7439
+ },
7440
+ {
7441
+ "epoch": 0.17180598889744317,
7442
+ "grad_norm": 0.8337680101394653,
7443
+ "learning_rate": 4.003387881409397e-05,
7444
+ "loss": 1.845,
7445
+ "step": 1060
7446
+ },
7447
+ {
7448
+ "epoch": 0.17196807001904454,
7449
+ "grad_norm": 0.8741956949234009,
7450
+ "learning_rate": 3.986528256490141e-05,
7451
+ "loss": 1.8464,
7452
+ "step": 1061
7453
+ },
7454
+ {
7455
+ "epoch": 0.1721301511406459,
7456
+ "grad_norm": 0.8832194209098816,
7457
+ "learning_rate": 3.969695364855511e-05,
7458
+ "loss": 1.8506,
7459
+ "step": 1062
7460
+ },
7461
+ {
7462
+ "epoch": 0.17229223226224724,
7463
+ "grad_norm": 0.9787096977233887,
7464
+ "learning_rate": 3.952889281337235e-05,
7465
+ "loss": 1.9926,
7466
+ "step": 1063
7467
+ },
7468
+ {
7469
+ "epoch": 0.17245431338384862,
7470
+ "grad_norm": 0.9292280077934265,
7471
+ "learning_rate": 3.93611008064786e-05,
7472
+ "loss": 1.9342,
7473
+ "step": 1064
7474
+ },
7475
+ {
7476
+ "epoch": 0.17261639450544997,
7477
+ "grad_norm": 0.8793303966522217,
7478
+ "learning_rate": 3.9193578373804364e-05,
7479
+ "loss": 1.8892,
7480
+ "step": 1065
7481
+ },
7482
+ {
7483
+ "epoch": 0.17277847562705134,
7484
+ "grad_norm": 0.8778505921363831,
7485
+ "learning_rate": 3.90263262600816e-05,
7486
+ "loss": 1.6929,
7487
+ "step": 1066
7488
+ },
7489
+ {
7490
+ "epoch": 0.1729405567486527,
7491
+ "grad_norm": 0.8713865876197815,
7492
+ "learning_rate": 3.88593452088406e-05,
7493
+ "loss": 1.7941,
7494
+ "step": 1067
7495
+ },
7496
+ {
7497
+ "epoch": 0.17310263787025407,
7498
+ "grad_norm": 0.9508034586906433,
7499
+ "learning_rate": 3.869263596240661e-05,
7500
+ "loss": 1.9836,
7501
+ "step": 1068
7502
+ },
7503
+ {
7504
+ "epoch": 0.17326471899185542,
7505
+ "grad_norm": 0.9075029492378235,
7506
+ "learning_rate": 3.8526199261896544e-05,
7507
+ "loss": 1.8848,
7508
+ "step": 1069
7509
+ },
7510
+ {
7511
+ "epoch": 0.1734268001134568,
7512
+ "grad_norm": 0.9615143537521362,
7513
+ "learning_rate": 3.836003584721577e-05,
7514
+ "loss": 1.9272,
7515
+ "step": 1070
7516
+ },
7517
+ {
7518
+ "epoch": 0.17358888123505814,
7519
+ "grad_norm": 0.8568268418312073,
7520
+ "learning_rate": 3.8194146457054655e-05,
7521
+ "loss": 1.7457,
7522
+ "step": 1071
7523
+ },
7524
+ {
7525
+ "epoch": 0.17375096235665952,
7526
+ "grad_norm": 0.892228901386261,
7527
+ "learning_rate": 3.802853182888543e-05,
7528
+ "loss": 1.8869,
7529
+ "step": 1072
7530
+ },
7531
+ {
7532
+ "epoch": 0.17391304347826086,
7533
+ "grad_norm": 0.9012638330459595,
7534
+ "learning_rate": 3.786319269895877e-05,
7535
+ "loss": 1.882,
7536
+ "step": 1073
7537
+ },
7538
+ {
7539
+ "epoch": 0.17407512459986224,
7540
+ "grad_norm": 1.0043779611587524,
7541
+ "learning_rate": 3.769812980230074e-05,
7542
+ "loss": 1.8859,
7543
+ "step": 1074
7544
+ },
7545
+ {
7546
+ "epoch": 0.1742372057214636,
7547
+ "grad_norm": 1.0329103469848633,
7548
+ "learning_rate": 3.7533343872709294e-05,
7549
+ "loss": 1.9267,
7550
+ "step": 1075
7551
+ },
7552
+ {
7553
+ "epoch": 0.17439928684306497,
7554
+ "grad_norm": 1.0233429670333862,
7555
+ "learning_rate": 3.736883564275112e-05,
7556
+ "loss": 1.8735,
7557
+ "step": 1076
7558
+ },
7559
+ {
7560
+ "epoch": 0.17456136796466631,
7561
+ "grad_norm": 1.0237981081008911,
7562
+ "learning_rate": 3.7204605843758386e-05,
7563
+ "loss": 1.9477,
7564
+ "step": 1077
7565
+ },
7566
+ {
7567
+ "epoch": 0.1747234490862677,
7568
+ "grad_norm": 1.0849707126617432,
7569
+ "learning_rate": 3.704065520582549e-05,
7570
+ "loss": 1.9903,
7571
+ "step": 1078
7572
+ },
7573
+ {
7574
+ "epoch": 0.17488553020786904,
7575
+ "grad_norm": 1.0255253314971924,
7576
+ "learning_rate": 3.6876984457805786e-05,
7577
+ "loss": 1.8858,
7578
+ "step": 1079
7579
+ },
7580
+ {
7581
+ "epoch": 0.1750476113294704,
7582
+ "grad_norm": 1.0898571014404297,
7583
+ "learning_rate": 3.671359432730834e-05,
7584
+ "loss": 1.856,
7585
+ "step": 1080
7586
+ },
7587
+ {
7588
+ "epoch": 0.17520969245107176,
7589
+ "grad_norm": 1.0618890523910522,
7590
+ "learning_rate": 3.655048554069478e-05,
7591
+ "loss": 1.8924,
7592
+ "step": 1081
7593
+ },
7594
+ {
7595
+ "epoch": 0.1753717735726731,
7596
+ "grad_norm": 1.0454431772232056,
7597
+ "learning_rate": 3.638765882307589e-05,
7598
+ "loss": 1.9335,
7599
+ "step": 1082
7600
+ },
7601
+ {
7602
+ "epoch": 0.1755338546942745,
7603
+ "grad_norm": 1.0827393531799316,
7604
+ "learning_rate": 3.6225114898308634e-05,
7605
+ "loss": 1.8953,
7606
+ "step": 1083
7607
+ },
7608
+ {
7609
+ "epoch": 0.17569593581587584,
7610
+ "grad_norm": 1.1539843082427979,
7611
+ "learning_rate": 3.6062854488992714e-05,
7612
+ "loss": 2.0294,
7613
+ "step": 1084
7614
+ },
7615
+ {
7616
+ "epoch": 0.1758580169374772,
7617
+ "grad_norm": 1.3190221786499023,
7618
+ "learning_rate": 3.5900878316467454e-05,
7619
+ "loss": 1.9874,
7620
+ "step": 1085
7621
+ },
7622
+ {
7623
+ "epoch": 0.17602009805907856,
7624
+ "grad_norm": 1.1466480493545532,
7625
+ "learning_rate": 3.573918710080857e-05,
7626
+ "loss": 1.9573,
7627
+ "step": 1086
7628
+ },
7629
+ {
7630
+ "epoch": 0.17618217918067994,
7631
+ "grad_norm": 1.154457926750183,
7632
+ "learning_rate": 3.5577781560825066e-05,
7633
+ "loss": 1.9215,
7634
+ "step": 1087
7635
+ },
7636
+ {
7637
+ "epoch": 0.17634426030228129,
7638
+ "grad_norm": 1.1538069248199463,
7639
+ "learning_rate": 3.541666241405588e-05,
7640
+ "loss": 1.9959,
7641
+ "step": 1088
7642
+ },
7643
+ {
7644
+ "epoch": 0.17650634142388266,
7645
+ "grad_norm": 1.3226391077041626,
7646
+ "learning_rate": 3.5255830376766764e-05,
7647
+ "loss": 2.1634,
7648
+ "step": 1089
7649
+ },
7650
+ {
7651
+ "epoch": 0.176668422545484,
7652
+ "grad_norm": 1.226496934890747,
7653
+ "learning_rate": 3.509528616394716e-05,
7654
+ "loss": 2.0248,
7655
+ "step": 1090
7656
+ },
7657
+ {
7658
+ "epoch": 0.1768305036670854,
7659
+ "grad_norm": 1.3939621448516846,
7660
+ "learning_rate": 3.4935030489306883e-05,
7661
+ "loss": 2.3477,
7662
+ "step": 1091
7663
+ },
7664
+ {
7665
+ "epoch": 0.17699258478868674,
7666
+ "grad_norm": 1.3951406478881836,
7667
+ "learning_rate": 3.4775064065273165e-05,
7668
+ "loss": 2.4041,
7669
+ "step": 1092
7670
+ },
7671
+ {
7672
+ "epoch": 0.1771546659102881,
7673
+ "grad_norm": 1.4524469375610352,
7674
+ "learning_rate": 3.4615387602987236e-05,
7675
+ "loss": 2.3614,
7676
+ "step": 1093
7677
+ },
7678
+ {
7679
+ "epoch": 0.17731674703188946,
7680
+ "grad_norm": 1.6162487268447876,
7681
+ "learning_rate": 3.445600181230134e-05,
7682
+ "loss": 2.3496,
7683
+ "step": 1094
7684
+ },
7685
+ {
7686
+ "epoch": 0.1774788281534908,
7687
+ "grad_norm": 1.685415506362915,
7688
+ "learning_rate": 3.429690740177549e-05,
7689
+ "loss": 2.4703,
7690
+ "step": 1095
7691
+ },
7692
+ {
7693
+ "epoch": 0.17764090927509218,
7694
+ "grad_norm": 1.7755277156829834,
7695
+ "learning_rate": 3.413810507867436e-05,
7696
+ "loss": 2.4649,
7697
+ "step": 1096
7698
+ },
7699
+ {
7700
+ "epoch": 0.17780299039669353,
7701
+ "grad_norm": 1.8561453819274902,
7702
+ "learning_rate": 3.397959554896415e-05,
7703
+ "loss": 2.4339,
7704
+ "step": 1097
7705
+ },
7706
+ {
7707
+ "epoch": 0.1779650715182949,
7708
+ "grad_norm": 2.014500379562378,
7709
+ "learning_rate": 3.3821379517309405e-05,
7710
+ "loss": 2.4459,
7711
+ "step": 1098
7712
+ },
7713
+ {
7714
+ "epoch": 0.17812715263989626,
7715
+ "grad_norm": 2.5885419845581055,
7716
+ "learning_rate": 3.3663457687069924e-05,
7717
+ "loss": 2.6332,
7718
+ "step": 1099
7719
+ },
7720
+ {
7721
+ "epoch": 0.17828923376149763,
7722
+ "grad_norm": 3.712876319885254,
7723
+ "learning_rate": 3.350583076029754e-05,
7724
+ "loss": 3.0928,
7725
+ "step": 1100
7726
+ },
7727
+ {
7728
+ "epoch": 0.17845131488309898,
7729
+ "grad_norm": 0.785007655620575,
7730
+ "learning_rate": 3.334849943773323e-05,
7731
+ "loss": 2.1315,
7732
+ "step": 1101
7733
+ },
7734
+ {
7735
+ "epoch": 0.17861339600470036,
7736
+ "grad_norm": 0.713115394115448,
7737
+ "learning_rate": 3.319146441880371e-05,
7738
+ "loss": 2.1326,
7739
+ "step": 1102
7740
+ },
7741
+ {
7742
+ "epoch": 0.1787754771263017,
7743
+ "grad_norm": 0.7978166937828064,
7744
+ "learning_rate": 3.3034726401618444e-05,
7745
+ "loss": 1.8974,
7746
+ "step": 1103
7747
+ },
7748
+ {
7749
+ "epoch": 0.17893755824790308,
7750
+ "grad_norm": 0.7951827645301819,
7751
+ "learning_rate": 3.28782860829667e-05,
7752
+ "loss": 1.7932,
7753
+ "step": 1104
7754
+ },
7755
+ {
7756
+ "epoch": 0.17909963936950443,
7757
+ "grad_norm": 0.7696529030799866,
7758
+ "learning_rate": 3.272214415831418e-05,
7759
+ "loss": 1.7887,
7760
+ "step": 1105
7761
+ },
7762
+ {
7763
+ "epoch": 0.1792617204911058,
7764
+ "grad_norm": 0.8287764191627502,
7765
+ "learning_rate": 3.2566301321800085e-05,
7766
+ "loss": 1.8819,
7767
+ "step": 1106
7768
+ },
7769
+ {
7770
+ "epoch": 0.17942380161270716,
7771
+ "grad_norm": 0.7672280073165894,
7772
+ "learning_rate": 3.241075826623401e-05,
7773
+ "loss": 1.7566,
7774
+ "step": 1107
7775
+ },
7776
+ {
7777
+ "epoch": 0.17958588273430853,
7778
+ "grad_norm": 0.7949413657188416,
7779
+ "learning_rate": 3.225551568309284e-05,
7780
+ "loss": 1.8398,
7781
+ "step": 1108
7782
+ },
7783
+ {
7784
+ "epoch": 0.17974796385590988,
7785
+ "grad_norm": 0.802994966506958,
7786
+ "learning_rate": 3.210057426251773e-05,
7787
+ "loss": 1.7548,
7788
+ "step": 1109
7789
+ },
7790
+ {
7791
+ "epoch": 0.17991004497751126,
7792
+ "grad_norm": 0.8089221715927124,
7793
+ "learning_rate": 3.1945934693310896e-05,
7794
+ "loss": 1.7736,
7795
+ "step": 1110
7796
+ },
7797
+ {
7798
+ "epoch": 0.1800721260991126,
7799
+ "grad_norm": 0.8903050422668457,
7800
+ "learning_rate": 3.179159766293282e-05,
7801
+ "loss": 1.9156,
7802
+ "step": 1111
7803
+ },
7804
+ {
7805
+ "epoch": 0.18023420722071395,
7806
+ "grad_norm": 0.9210566878318787,
7807
+ "learning_rate": 3.163756385749889e-05,
7808
+ "loss": 1.8537,
7809
+ "step": 1112
7810
+ },
7811
+ {
7812
+ "epoch": 0.18039628834231533,
7813
+ "grad_norm": 0.8797653913497925,
7814
+ "learning_rate": 3.148383396177653e-05,
7815
+ "loss": 1.9036,
7816
+ "step": 1113
7817
+ },
7818
+ {
7819
+ "epoch": 0.18055836946391668,
7820
+ "grad_norm": 0.8586728572845459,
7821
+ "learning_rate": 3.133040865918213e-05,
7822
+ "loss": 1.9411,
7823
+ "step": 1114
7824
+ },
7825
+ {
7826
+ "epoch": 0.18072045058551806,
7827
+ "grad_norm": 0.84567791223526,
7828
+ "learning_rate": 3.117728863177796e-05,
7829
+ "loss": 1.8435,
7830
+ "step": 1115
7831
+ },
7832
+ {
7833
+ "epoch": 0.1808825317071194,
7834
+ "grad_norm": 0.8560618162155151,
7835
+ "learning_rate": 3.102447456026919e-05,
7836
+ "loss": 1.7905,
7837
+ "step": 1116
7838
+ },
7839
+ {
7840
+ "epoch": 0.18104461282872078,
7841
+ "grad_norm": 0.9532570242881775,
7842
+ "learning_rate": 3.0871967124000834e-05,
7843
+ "loss": 1.8291,
7844
+ "step": 1117
7845
+ },
7846
+ {
7847
+ "epoch": 0.18120669395032213,
7848
+ "grad_norm": 0.9259549379348755,
7849
+ "learning_rate": 3.0719767000954714e-05,
7850
+ "loss": 1.9017,
7851
+ "step": 1118
7852
+ },
7853
+ {
7854
+ "epoch": 0.1813687750719235,
7855
+ "grad_norm": 0.9935880899429321,
7856
+ "learning_rate": 3.056787486774656e-05,
7857
+ "loss": 1.9281,
7858
+ "step": 1119
7859
+ },
7860
+ {
7861
+ "epoch": 0.18153085619352485,
7862
+ "grad_norm": 0.9365888833999634,
7863
+ "learning_rate": 3.041629139962283e-05,
7864
+ "loss": 1.8554,
7865
+ "step": 1120
7866
+ },
7867
+ {
7868
+ "epoch": 0.18169293731512623,
7869
+ "grad_norm": 0.9560192823410034,
7870
+ "learning_rate": 3.0265017270457775e-05,
7871
+ "loss": 1.9175,
7872
+ "step": 1121
7873
+ },
7874
+ {
7875
+ "epoch": 0.18185501843672758,
7876
+ "grad_norm": 0.9258919954299927,
7877
+ "learning_rate": 3.0114053152750556e-05,
7878
+ "loss": 1.8881,
7879
+ "step": 1122
7880
+ },
7881
+ {
7882
+ "epoch": 0.18201709955832895,
7883
+ "grad_norm": 1.0171785354614258,
7884
+ "learning_rate": 2.9963399717622077e-05,
7885
+ "loss": 1.8769,
7886
+ "step": 1123
7887
+ },
7888
+ {
7889
+ "epoch": 0.1821791806799303,
7890
+ "grad_norm": 1.0115593671798706,
7891
+ "learning_rate": 2.98130576348121e-05,
7892
+ "loss": 1.9043,
7893
+ "step": 1124
7894
+ },
7895
+ {
7896
+ "epoch": 0.18234126180153168,
7897
+ "grad_norm": 0.9675939679145813,
7898
+ "learning_rate": 2.966302757267625e-05,
7899
+ "loss": 2.0133,
7900
+ "step": 1125
7901
+ },
7902
+ {
7903
+ "epoch": 0.18234126180153168,
7904
+ "eval_loss": 2.022845506668091,
7905
+ "eval_runtime": 614.5777,
7906
+ "eval_samples_per_second": 16.909,
7907
+ "eval_steps_per_second": 8.455,
7908
+ "step": 1125
7909
  }
7910
  ],
7911
  "logging_steps": 1,
 
7925
  "attributes": {}
7926
  }
7927
  },
7928
+ "total_flos": 1.7191104594680218e+18,
7929
  "train_batch_size": 2,
7930
  "trial_name": null,
7931
  "trial_params": null