Training in progress, step 11000

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:22f6f2330dd968bf330330d3c64ea32db723c243aa91a5521c2d030625924f4f
+oid sha256:2e9323c5c9908cecd07a5ed00b5ca1b4965df9be31b6d7365368053c66d68470
 size 1262817457

wandb/run-20220129_215451-1vipdbow/files/output.log

@@ -12449,3 +12449,595 @@ Deleting older checkpoint [checkpoint-9000] due to args.save_total_limit
 Configuration saved in ./checkpoint-10500/config.json
 Model weights saved in ./checkpoint-10500/pytorch_model.bin
 Configuration saved in ./checkpoint-10500/preprocessor_config.json
+Configuration saved in ./preprocessor_config.json
+Deleting older checkpoint [checkpoint-9500] due to args.save_total_limit
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                    | 10599/13822 [11:28:55<2:11:05,  2.44s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                  | 10699/13822 [11:34:05<2:05:00,  2.40s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                 | 10800/13822 [11:39:22<2:06:07,  2.50s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                | 10899/13822 [11:44:30<2:00:08,  2.47s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 10999/13822 [11:49:43<1:52:40,  2.39s/it]
+ 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 11000/13822 [11:49:45<1:54:04,  2.43s/it]The following columns in the evaluation set  don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.
+***** Running Evaluation *****
+  Num examples = 5792
+  Batch size = 64
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+Configuration saved in ./checkpoint-11000/config.json
+{'eval_loss': 0.24783751368522644, 'eval_wer': 0.3760142070448695, 'eval_runtime': 297.7741, 'eval_samples_per_second': 19.451, 'eval_steps_per_second': 0.306, 'epoch': 1.59}
+Model weights saved in ./checkpoint-11000/pytorch_model.bin
+Configuration saved in ./checkpoint-11000/preprocessor_config.json

wandb/run-20220129_215451-1vipdbow/run-1vipdbow.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7d2bb36799a6301689fbdeaab873223a7f7a82fe810cde45da777a6cd2b29d6d
-size 77625447
+oid sha256:ab8f0f3a464e49fff37149fc3e7af538529a6d8e4f0a9b368d838220353109b4
+size 81698476