Training in progress, step 8500

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a422bed3f403d2dc5b83d987fbc333a772df96ba06cf9954d12ef5c10f4a445f
+oid sha256:ca00bb5c4d1a7b7121b3c1deab69fc35e14d4bf3d206cdabbf56c18628f0527a
 size 1262817457

wandb/run-20220129_215451-1vipdbow/files/output.log

@@ -9486,3 +9486,595 @@ Configuration saved in ./checkpoint-8000/config.json
 {'eval_loss': 0.26817116141319275, 'eval_wer': 0.3888526833718922, 'eval_runtime': 298.1504, 'eval_samples_per_second': 19.426, 'eval_steps_per_second': 0.305, 'epoch': 1.16}
 Model weights saved in ./checkpoint-8000/pytorch_model.bin
 Configuration saved in ./checkpoint-8000/preprocessor_config.json
+Configuration saved in ./preprocessor_config.json
+Deleting older checkpoint [checkpoint-7000] due to args.save_total_limit
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 59%|███████████████████████████████████████████████████████████████████████████████████████████▍                                                                | 8099/13822 [8:45:59<3:54:22,  2.46s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 59%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                               | 8200/13822 [8:51:16<3:49:04,  2.44s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 60%|█████████████████████████████████████████████████████████████████████████████████████████████▋                                                              | 8299/13822 [8:56:28<3:51:37,  2.52s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 61%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                             | 8400/13822 [9:01:44<3:42:31,  2.46s/it]
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ 61%|███████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 8499/13822 [9:06:55<3:35:32,  2.43s/it]
+ 61%|███████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 8500/13822 [9:06:57<3:37:53,  2.46s/it]The following columns in the evaluation set  don't have a corresponding argument in `Wav2Vec2ForCTC.forward` and have been ignored: input_length.
+***** Running Evaluation *****
+  Num examples = 5792
+  Batch size = 64
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 91/91 [04:07<00:00,  2.38s/it]
+
+Configuration saved in ./checkpoint-8500/config.json
+Model weights saved in ./checkpoint-8500/pytorch_model.bin
+Configuration saved in ./checkpoint-8500/preprocessor_config.json

wandb/run-20220129_215451-1vipdbow/run-1vipdbow.wandb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:3920cec34508f992c87c6b894a0a1fc466949458914aec0c8f3f3e06ce7f1f8b
-size 57646698
+oid sha256:843f5466c5ee268210ffb8ecd88bf908e30734d58ac7ed215a27b61327f973ca
+size 61553459