Training in progress, step 10500

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:84e67870f5569367c817565bc50655f01b22b428a7e4d9462aaaf1343e63e3ee
+oid sha256:22f6f2330dd968bf330330d3c64ea32db723c243aa91a5521c2d030625924f4f
 size 1262817457

wandb/run-20220129_215451-1vipdbow/files/output.log

@@ -11858,3 +11858,594 @@ Configuration saved in ./checkpoint-10000/config.json
 {'eval_loss': 0.25231894850730896, 'eval_wer': 0.3782951546156603, 'eval_runtime': 297.5796, 'eval_samples_per_second': 19.464, 'eval_steps_per_second': 0.306, 'epoch': 1.45}
 Model weights saved in ./checkpoint-10000/pytorch_model.bin
 Configuration saved in ./checkpoint-10000/preprocessor_config.json
+Configuration saved in ./preprocessor_config.json
+Deleting older checkpoint [checkpoint-9000] due to args.save_total_limit
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                         | 10099/13822 [10:56:18<2:33:58,  2.48s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                        | 10200/13822 [11:01:36<2:30:06,  2.49s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 10300/13822 [11:06:48<2:23:49,  2.45s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                      | 10400/13822 [11:11:58<2:21:55,  2.49s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                     | 10499/13822 [11:17:07<2:13:00,  2.40s/it]
+ 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                     | 10500/13822 [11:17:09<2:15:11,  2.44s/it]The following columns in the evaluation set  don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.
+***** Running Evaluation *****
+  Num examples = 5792
+  Batch size = 64
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 91/91 [04:09<00:00,  2.38s/it]
+
+Configuration saved in ./checkpoint-10500/config.json
+Model weights saved in ./checkpoint-10500/pytorch_model.bin
+Configuration saved in ./checkpoint-10500/preprocessor_config.json

wandb/run-20220129_215451-1vipdbow/run-1vipdbow.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:77f184675bb9cff709483a74e624b9003a535863c64b969043f0125dc49c41bf
-size 73591862
+oid sha256:7d2bb36799a6301689fbdeaab873223a7f7a82fe810cde45da777a6cd2b29d6d
+size 77625447