Training in progress, step 11500

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2e9323c5c9908cecd07a5ed00b5ca1b4965df9be31b6d7365368053c66d68470
+oid sha256:227d04111a8bc52d27ab348ad591613317a7e3e38cdd1cfc6c77133b7691878a
 size 1262817457

wandb/run-20220129_215451-1vipdbow/files/output.log

@@ -13041,3 +13041,591 @@ Configuration saved in ./checkpoint-11000/config.json
 {'eval_loss': 0.24783751368522644, 'eval_wer': 0.3760142070448695, 'eval_runtime': 297.7741, 'eval_samples_per_second': 19.451, 'eval_steps_per_second': 0.306, 'epoch': 1.59}
 Model weights saved in ./checkpoint-11000/pytorch_model.bin
 Configuration saved in ./checkpoint-11000/preprocessor_config.json
+Configuration saved in ./preprocessor_config.json
+Deleting older checkpoint [checkpoint-10000] due to args.save_total_limit
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                              | 11099/13822 [12:01:24<1:50:13,  2.43s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 11200/13822 [12:06:38<1:49:03,  2.50s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                            | 11300/13822 [12:11:49<1:42:14,  2.43s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                           | 11399/13822 [12:16:56<1:37:19,  2.41s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                          | 11499/13822 [12:22:06<1:32:56,  2.40s/it]
+ 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 11500/13822 [12:22:09<1:34:18,  2.44s/it]The following columns in the evaluation set  don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.
+***** Running Evaluation *****
+  Num examples = 5792
+  Batch size = 64
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 91/91 [04:05<00:00,  2.35s/it]
+
+Configuration saved in ./checkpoint-11500/config.json
+Model weights saved in ./checkpoint-11500/pytorch_model.bin
+Configuration saved in ./checkpoint-11500/preprocessor_config.json

wandb/run-20220129_215451-1vipdbow/run-1vipdbow.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ab8f0f3a464e49fff37149fc3e7af538529a6d8e4f0a9b368d838220353109b4
-size 81698476
+oid sha256:dc92ec3387a344dbc2810a36d3fcbda131e4d2a3029e4f885b116ed4f40a2d91
+size 85777260