diff --git a/README.md b/README.md index 3d67edd294ef4347d739cad2b27d46c365452b5b..6f721948a7398b795cd6c094103353ea017edb63 100644 --- a/README.md +++ b/README.md @@ -1,5 +1,5 @@ --- -title: OWSM v3 Demo +title: OWSM Demo emoji: 👀 colorFrom: green colorTo: blue @@ -13,6 +13,7 @@ models: - espnet/owsm_v2 - espnet/owsm_v2_ebranchformer - espnet/owsm_v3 +- espnet/owsm_v3.1_ebf --- Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference diff --git a/app.py b/app.py index b1af419190a61c972737518db58d377898e97bd9..21a82d40fb857da8ab27b05d690bbd478b5c749b 100644 --- a/app.py +++ b/app.py @@ -6,20 +6,23 @@ from espnet2.bin.s2t_inference import Speech2Text from espnet2.bin.s2t_inference_language import Speech2Text as Speech2Lang -TITLE="OWSM v3: An Open Whisper-style Speech Model from CMU WAVLab" +TITLE="OWSM: An Open Whisper-style Speech Model from CMU WAVLab" + DESCRIPTION=''' OWSM is an Open Whisper-style Speech Model from [CMU WAVLab](https://www.wavlab.org/). It reproduces Whisper-style training using publicly available data and an open-source toolkit [ESPnet](https://github.com/espnet/espnet). +For more details, please check out our [paper](https://arxiv.org/abs/2309.13876) (Peng et al., ASRU 2023). + +OWSM v3.1 is an improved version of OWSM v3. It significantly outperforms OWSM v3 in almost all evaluation benchmarks. +We do not include any new training data. Instead, we utilize a state-of-the-art speech encoder, [E-Branchformer](https://arxiv.org/abs/2210.00077). -OWSM v3 has 889M parameters and is trained on 180k hours of paired speech data. It supports various speech-to-text tasks: +OWSM v3.1 has 1.02B parameters and is trained on 180k hours of paired speech data. It supports various speech-to-text tasks: - Speech recognition for 151 languages - Any-to-any language speech translation - Timestamp prediction - Long-form transcription - Language identification -For more details, please check out our [paper](https://arxiv.org/abs/2309.13876) (Peng et al., ASRU 2023). - ``` @article{peng2023owsm, title={Reproducing Whisper-Style Training Using an Open-Source Toolkit and Publicly Available Data}, @@ -38,7 +41,8 @@ Disclaimer: OWSM has not been thoroughly evaluated in all tasks. Due to limited if not torch.cuda.is_available(): raise RuntimeError("Please use GPU for better speed") -model_path = "owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/valid.acc.ave_5best.till50epoch.pth" +# model_path = "owsm_v3/exp/s2t_train_s2t_transformer_conv2d_size1024_e24_d24_lr2.5e-4_warmup10k_finetune_raw_bpe50000/valid.acc.ave_5best.till50epoch.pth" +model_path = "owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth" device = "cuda" # if torch.cuda.is_available() else "cpu" speech2text = Speech2Text.from_pretrained( diff --git a/owsm_v3.1_ebf/README.md b/owsm_v3.1_ebf/README.md new file mode 100644 index 0000000000000000000000000000000000000000..391eab3de5ef5eb1096f0e5049689f3e061ea2d0 --- /dev/null +++ b/owsm_v3.1_ebf/README.md @@ -0,0 +1,80 @@ +--- +tags: +- espnet +- audio +- automatic-speech-recognition +- speech-translation +language: multilingual +datasets: +- owsm_v3.1 +license: cc-by-4.0 +--- + +## OWSM: Open Whisper-style Speech Model + +[OWSM](https://arxiv.org/abs/2309.13876) is an Open Whisper-style Speech Model from [CMU WAVLab](https://www.wavlab.org/). It reproduces Whisper-style training using publicly available data and an open-source toolkit [ESPnet](https://github.com/espnet/espnet). + +Our demo is available [here](https://huggingface.co/spaces/pyf98/OWSM_v3_demo). + +**OWSM v3.1 is an improved version of OWSM v3. It significantly outperforms OWSM v3 in almost all evaluation benchmarks.** +We do not include any new training data. Instead, we utilize a state-of-the-art speech encoder, [E-Branchformer](https://arxiv.org/abs/2210.00077). + +OWSM v3.1 has 1.02B parameters in total and is trained on 180k hours of public speech data. +Specifically, it supports the following speech-to-text tasks: +- Speech recognition +- Any-to-any-language speech translation +- Utterance-level alignment +- Long-form transcription +- Language identification + + +### Citing OWSM, Branchformers and ESPnet + +```BibTex +@article{peng2023owsm, + title={Reproducing Whisper-Style Training Using an Open-Source Toolkit and Publicly Available Data}, + author={Yifan Peng and Jinchuan Tian and Brian Yan and Dan Berrebbi and Xuankai Chang and Xinjian Li and Jiatong Shi and Siddhant Arora and William Chen and Roshan Sharma and Wangyou Zhang and Yui Sudo and Muhammad Shakeel and Jee-weon Jung and Soumi Maiti and Shinji Watanabe}, + journal={arXiv preprint arXiv:2309.13876}, + year={2023} +} +@inproceedings{peng23b_interspeech, + author={Yifan Peng and Kwangyoun Kim and Felix Wu and Brian Yan and Siddhant Arora and William Chen and Jiyang Tang and Suwon Shon and Prashant Sridhar and Shinji Watanabe}, + title={{A Comparative Study on E-Branchformer vs Conformer in Speech Recognition, Translation, and Understanding Tasks}}, + year=2023, + booktitle={Proc. INTERSPEECH 2023}, + pages={2208--2212}, + doi={10.21437/Interspeech.2023-1194} +} +@inproceedings{kim2023branchformer, + title={E-branchformer: Branchformer with enhanced merging for speech recognition}, + author={Kim, Kwangyoun and Wu, Felix and Peng, Yifan and Pan, Jing and Sridhar, Prashant and Han, Kyu J and Watanabe, Shinji}, + booktitle={2022 IEEE Spoken Language Technology Workshop (SLT)}, + pages={84--91}, + year={2023}, + organization={IEEE} +} +@InProceedings{pmlr-v162-peng22a, + title = {Branchformer: Parallel {MLP}-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding}, + author = {Peng, Yifan and Dalmia, Siddharth and Lane, Ian and Watanabe, Shinji}, + booktitle = {Proceedings of the 39th International Conference on Machine Learning}, + pages = {17627--17643}, + year = {2022}, + editor = {Chaudhuri, Kamalika and Jegelka, Stefanie and Song, Le and Szepesvari, Csaba and Niu, Gang and Sabato, Sivan}, + volume = {162}, + series = {Proceedings of Machine Learning Research}, + month = {17--23 Jul}, + publisher = {PMLR}, + pdf = {https://proceedings.mlr.press/v162/peng22a/peng22a.pdf}, + url = {https://proceedings.mlr.press/v162/peng22a.html}, + abstract = {Conformer has proven to be effective in many speech processing tasks. It combines the benefits of extracting local dependencies using convolutions and global dependencies using self-attention. Inspired by this, we propose a more flexible, interpretable and customizable encoder alternative, Branchformer, with parallel branches for modeling various ranged dependencies in end-to-end speech processing. In each encoder layer, one branch employs self-attention or its variant to capture long-range dependencies, while the other branch utilizes an MLP module with convolutional gating (cgMLP) to extract local relationships. We conduct experiments on several speech recognition and spoken language understanding benchmarks. Results show that our model outperforms both Transformer and cgMLP. It also matches with or outperforms state-of-the-art results achieved by Conformer. Furthermore, we show various strategies to reduce computation thanks to the two-branch architecture, including the ability to have variable inference complexity in a single trained model. The weights learned for merging branches indicate how local and global dependencies are utilized in different layers, which benefits model designing.} +} +@inproceedings{watanabe2018espnet, + author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson Yalta and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai}, + title={{ESPnet}: End-to-End Speech Processing Toolkit}, + year={2018}, + booktitle={Proceedings of Interspeech}, + pages={2207--2211}, + doi={10.21437/Interspeech.2018-1456}, + url={http://dx.doi.org/10.21437/Interspeech.2018-1456} +} +``` diff --git a/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/bpe.model b/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/bpe.model new file mode 100644 index 0000000000000000000000000000000000000000..3f386604ac50541de0d4500913350e158dbce5b8 --- /dev/null +++ b/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/bpe.model @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:5d6327da127e870bcb8c737dceb3bd47ccbce63da74ddb094f64afe313d68c8c +size 1041297 diff --git a/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/tokens.txt b/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/tokens.txt new file mode 100644 index 0000000000000000000000000000000000000000..2bde12c37897c0700d10c2561ff680dfab0f7b9b --- /dev/null +++ b/owsm_v3.1_ebf/data/token_list/bpe_unigram50000/tokens.txt @@ -0,0 +1,50002 @@ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +<0.00> +<0.02> +<0.04> +<0.06> +<0.08> +<0.10> +<0.12> +<0.14> +<0.16> +<0.18> +<0.20> +<0.22> +<0.24> +<0.26> +<0.28> +<0.30> +<0.32> +<0.34> +<0.36> +<0.38> +<0.40> +<0.42> +<0.44> +<0.46> +<0.48> +<0.50> +<0.52> +<0.54> +<0.56> +<0.58> +<0.60> +<0.62> +<0.64> +<0.66> +<0.68> +<0.70> +<0.72> +<0.74> +<0.76> +<0.78> +<0.80> +<0.82> +<0.84> +<0.86> +<0.88> +<0.90> +<0.92> +<0.94> +<0.96> +<0.98> +<1.00> +<1.02> +<1.04> +<1.06> +<1.08> +<1.10> +<1.12> +<1.14> +<1.16> +<1.18> +<1.20> +<1.22> +<1.24> +<1.26> +<1.28> +<1.30> +<1.32> +<1.34> +<1.36> +<1.38> +<1.40> +<1.42> +<1.44> +<1.46> +<1.48> +<1.50> +<1.52> +<1.54> +<1.56> +<1.58> +<1.60> +<1.62> +<1.64> +<1.66> +<1.68> +<1.70> +<1.72> +<1.74> +<1.76> +<1.78> +<1.80> +<1.82> +<1.84> +<1.86> +<1.88> +<1.90> +<1.92> +<1.94> +<1.96> +<1.98> +<2.00> +<2.02> +<2.04> +<2.06> +<2.08> +<2.10> +<2.12> +<2.14> +<2.16> +<2.18> +<2.20> +<2.22> +<2.24> +<2.26> +<2.28> +<2.30> +<2.32> +<2.34> +<2.36> +<2.38> +<2.40> +<2.42> +<2.44> +<2.46> +<2.48> +<2.50> +<2.52> +<2.54> +<2.56> +<2.58> +<2.60> +<2.62> +<2.64> +<2.66> +<2.68> +<2.70> +<2.72> +<2.74> +<2.76> +<2.78> +<2.80> +<2.82> +<2.84> +<2.86> +<2.88> +<2.90> +<2.92> +<2.94> +<2.96> +<2.98> +<3.00> +<3.02> +<3.04> +<3.06> +<3.08> +<3.10> +<3.12> +<3.14> +<3.16> +<3.18> +<3.20> +<3.22> +<3.24> +<3.26> +<3.28> +<3.30> +<3.32> +<3.34> +<3.36> +<3.38> +<3.40> +<3.42> +<3.44> +<3.46> +<3.48> +<3.50> +<3.52> +<3.54> +<3.56> +<3.58> +<3.60> +<3.62> +<3.64> +<3.66> +<3.68> +<3.70> +<3.72> +<3.74> +<3.76> +<3.78> +<3.80> +<3.82> +<3.84> +<3.86> +<3.88> +<3.90> +<3.92> +<3.94> +<3.96> +<3.98> +<4.00> +<4.02> +<4.04> +<4.06> +<4.08> +<4.10> +<4.12> +<4.14> +<4.16> +<4.18> +<4.20> +<4.22> +<4.24> +<4.26> +<4.28> +<4.30> +<4.32> +<4.34> +<4.36> +<4.38> +<4.40> +<4.42> +<4.44> +<4.46> +<4.48> +<4.50> +<4.52> +<4.54> +<4.56> +<4.58> +<4.60> +<4.62> +<4.64> +<4.66> +<4.68> +<4.70> +<4.72> +<4.74> +<4.76> +<4.78> +<4.80> +<4.82> +<4.84> +<4.86> +<4.88> +<4.90> +<4.92> +<4.94> +<4.96> +<4.98> +<5.00> +<5.02> +<5.04> +<5.06> +<5.08> +<5.10> +<5.12> +<5.14> +<5.16> +<5.18> +<5.20> +<5.22> +<5.24> +<5.26> +<5.28> +<5.30> +<5.32> +<5.34> +<5.36> +<5.38> +<5.40> +<5.42> +<5.44> +<5.46> +<5.48> +<5.50> +<5.52> +<5.54> +<5.56> +<5.58> +<5.60> +<5.62> +<5.64> +<5.66> +<5.68> +<5.70> +<5.72> +<5.74> +<5.76> +<5.78> +<5.80> +<5.82> +<5.84> +<5.86> +<5.88> +<5.90> +<5.92> +<5.94> +<5.96> +<5.98> +<6.00> +<6.02> +<6.04> +<6.06> +<6.08> +<6.10> +<6.12> +<6.14> +<6.16> +<6.18> +<6.20> +<6.22> +<6.24> +<6.26> +<6.28> +<6.30> +<6.32> +<6.34> +<6.36> +<6.38> +<6.40> +<6.42> +<6.44> +<6.46> +<6.48> +<6.50> +<6.52> +<6.54> +<6.56> +<6.58> +<6.60> +<6.62> +<6.64> +<6.66> +<6.68> +<6.70> +<6.72> +<6.74> +<6.76> +<6.78> +<6.80> +<6.82> +<6.84> +<6.86> +<6.88> +<6.90> +<6.92> +<6.94> +<6.96> +<6.98> +<7.00> +<7.02> +<7.04> +<7.06> +<7.08> +<7.10> +<7.12> +<7.14> +<7.16> +<7.18> +<7.20> +<7.22> +<7.24> +<7.26> +<7.28> +<7.30> +<7.32> +<7.34> +<7.36> +<7.38> +<7.40> +<7.42> +<7.44> +<7.46> +<7.48> +<7.50> +<7.52> +<7.54> +<7.56> +<7.58> +<7.60> +<7.62> +<7.64> +<7.66> +<7.68> +<7.70> +<7.72> +<7.74> +<7.76> +<7.78> +<7.80> +<7.82> +<7.84> +<7.86> +<7.88> +<7.90> +<7.92> +<7.94> +<7.96> +<7.98> +<8.00> +<8.02> +<8.04> +<8.06> +<8.08> +<8.10> +<8.12> +<8.14> +<8.16> +<8.18> +<8.20> +<8.22> +<8.24> +<8.26> +<8.28> +<8.30> +<8.32> +<8.34> +<8.36> +<8.38> +<8.40> +<8.42> +<8.44> +<8.46> +<8.48> +<8.50> +<8.52> +<8.54> +<8.56> +<8.58> +<8.60> +<8.62> +<8.64> +<8.66> +<8.68> +<8.70> +<8.72> +<8.74> +<8.76> +<8.78> +<8.80> +<8.82> +<8.84> +<8.86> +<8.88> +<8.90> +<8.92> +<8.94> +<8.96> +<8.98> +<9.00> +<9.02> +<9.04> +<9.06> +<9.08> +<9.10> +<9.12> +<9.14> +<9.16> +<9.18> +<9.20> +<9.22> +<9.24> +<9.26> +<9.28> +<9.30> +<9.32> +<9.34> +<9.36> +<9.38> +<9.40> +<9.42> +<9.44> +<9.46> +<9.48> +<9.50> +<9.52> +<9.54> +<9.56> +<9.58> +<9.60> +<9.62> +<9.64> +<9.66> +<9.68> +<9.70> +<9.72> +<9.74> +<9.76> +<9.78> +<9.80> +<9.82> +<9.84> +<9.86> +<9.88> +<9.90> +<9.92> +<9.94> +<9.96> +<9.98> +<10.00> +<10.02> +<10.04> +<10.06> +<10.08> +<10.10> +<10.12> +<10.14> +<10.16> +<10.18> +<10.20> +<10.22> +<10.24> +<10.26> +<10.28> +<10.30> +<10.32> +<10.34> +<10.36> +<10.38> +<10.40> +<10.42> +<10.44> +<10.46> +<10.48> +<10.50> +<10.52> +<10.54> +<10.56> +<10.58> +<10.60> +<10.62> +<10.64> +<10.66> +<10.68> +<10.70> +<10.72> +<10.74> +<10.76> +<10.78> +<10.80> +<10.82> +<10.84> +<10.86> +<10.88> +<10.90> +<10.92> +<10.94> +<10.96> +<10.98> +<11.00> +<11.02> +<11.04> +<11.06> +<11.08> +<11.10> +<11.12> +<11.14> +<11.16> +<11.18> +<11.20> +<11.22> +<11.24> +<11.26> +<11.28> +<11.30> +<11.32> +<11.34> +<11.36> +<11.38> +<11.40> +<11.42> +<11.44> +<11.46> +<11.48> +<11.50> +<11.52> +<11.54> +<11.56> +<11.58> +<11.60> +<11.62> +<11.64> +<11.66> +<11.68> +<11.70> +<11.72> +<11.74> +<11.76> +<11.78> +<11.80> +<11.82> +<11.84> +<11.86> +<11.88> +<11.90> +<11.92> +<11.94> +<11.96> +<11.98> +<12.00> +<12.02> +<12.04> +<12.06> +<12.08> +<12.10> +<12.12> +<12.14> +<12.16> +<12.18> +<12.20> +<12.22> +<12.24> +<12.26> +<12.28> +<12.30> +<12.32> +<12.34> +<12.36> +<12.38> +<12.40> +<12.42> +<12.44> +<12.46> +<12.48> +<12.50> +<12.52> +<12.54> +<12.56> +<12.58> +<12.60> +<12.62> +<12.64> +<12.66> +<12.68> +<12.70> +<12.72> +<12.74> +<12.76> +<12.78> +<12.80> +<12.82> +<12.84> +<12.86> +<12.88> +<12.90> +<12.92> +<12.94> +<12.96> +<12.98> +<13.00> +<13.02> +<13.04> +<13.06> +<13.08> +<13.10> +<13.12> +<13.14> +<13.16> +<13.18> +<13.20> +<13.22> +<13.24> +<13.26> +<13.28> +<13.30> +<13.32> +<13.34> +<13.36> +<13.38> +<13.40> +<13.42> +<13.44> +<13.46> +<13.48> +<13.50> +<13.52> +<13.54> +<13.56> +<13.58> +<13.60> +<13.62> +<13.64> +<13.66> +<13.68> +<13.70> +<13.72> +<13.74> +<13.76> +<13.78> +<13.80> +<13.82> +<13.84> +<13.86> +<13.88> +<13.90> +<13.92> +<13.94> +<13.96> +<13.98> +<14.00> +<14.02> +<14.04> +<14.06> +<14.08> +<14.10> +<14.12> +<14.14> +<14.16> +<14.18> +<14.20> +<14.22> +<14.24> +<14.26> +<14.28> +<14.30> +<14.32> +<14.34> +<14.36> +<14.38> +<14.40> +<14.42> +<14.44> +<14.46> +<14.48> +<14.50> +<14.52> +<14.54> +<14.56> +<14.58> +<14.60> +<14.62> +<14.64> +<14.66> +<14.68> +<14.70> +<14.72> +<14.74> +<14.76> +<14.78> +<14.80> +<14.82> +<14.84> +<14.86> +<14.88> +<14.90> +<14.92> +<14.94> +<14.96> +<14.98> +<15.00> +<15.02> +<15.04> +<15.06> +<15.08> +<15.10> +<15.12> +<15.14> +<15.16> +<15.18> +<15.20> +<15.22> +<15.24> +<15.26> +<15.28> +<15.30> +<15.32> +<15.34> +<15.36> +<15.38> +<15.40> +<15.42> +<15.44> +<15.46> +<15.48> +<15.50> +<15.52> +<15.54> +<15.56> +<15.58> +<15.60> +<15.62> +<15.64> +<15.66> +<15.68> +<15.70> +<15.72> +<15.74> +<15.76> +<15.78> +<15.80> +<15.82> +<15.84> +<15.86> +<15.88> +<15.90> +<15.92> +<15.94> +<15.96> +<15.98> +<16.00> +<16.02> +<16.04> +<16.06> +<16.08> +<16.10> +<16.12> +<16.14> +<16.16> +<16.18> +<16.20> +<16.22> +<16.24> +<16.26> +<16.28> +<16.30> +<16.32> +<16.34> +<16.36> +<16.38> +<16.40> +<16.42> +<16.44> +<16.46> +<16.48> +<16.50> +<16.52> +<16.54> +<16.56> +<16.58> +<16.60> +<16.62> +<16.64> +<16.66> +<16.68> +<16.70> +<16.72> +<16.74> +<16.76> +<16.78> +<16.80> +<16.82> +<16.84> +<16.86> +<16.88> +<16.90> +<16.92> +<16.94> +<16.96> +<16.98> +<17.00> +<17.02> +<17.04> +<17.06> +<17.08> +<17.10> +<17.12> +<17.14> +<17.16> +<17.18> +<17.20> +<17.22> +<17.24> +<17.26> +<17.28> +<17.30> +<17.32> +<17.34> +<17.36> +<17.38> +<17.40> +<17.42> +<17.44> +<17.46> +<17.48> +<17.50> +<17.52> +<17.54> +<17.56> +<17.58> +<17.60> +<17.62> +<17.64> +<17.66> +<17.68> +<17.70> +<17.72> +<17.74> +<17.76> +<17.78> +<17.80> +<17.82> +<17.84> +<17.86> +<17.88> +<17.90> +<17.92> +<17.94> +<17.96> +<17.98> +<18.00> +<18.02> +<18.04> +<18.06> +<18.08> +<18.10> +<18.12> +<18.14> +<18.16> +<18.18> +<18.20> +<18.22> +<18.24> +<18.26> +<18.28> +<18.30> +<18.32> +<18.34> +<18.36> +<18.38> +<18.40> +<18.42> +<18.44> +<18.46> +<18.48> +<18.50> +<18.52> +<18.54> +<18.56> +<18.58> +<18.60> +<18.62> +<18.64> +<18.66> +<18.68> +<18.70> +<18.72> +<18.74> +<18.76> +<18.78> +<18.80> +<18.82> +<18.84> +<18.86> +<18.88> +<18.90> +<18.92> +<18.94> +<18.96> +<18.98> +<19.00> +<19.02> +<19.04> +<19.06> +<19.08> +<19.10> +<19.12> +<19.14> +<19.16> +<19.18> +<19.20> +<19.22> +<19.24> +<19.26> +<19.28> +<19.30> +<19.32> +<19.34> +<19.36> +<19.38> +<19.40> +<19.42> +<19.44> +<19.46> +<19.48> +<19.50> +<19.52> +<19.54> +<19.56> +<19.58> +<19.60> +<19.62> +<19.64> +<19.66> +<19.68> +<19.70> +<19.72> +<19.74> +<19.76> +<19.78> +<19.80> +<19.82> +<19.84> +<19.86> +<19.88> +<19.90> +<19.92> +<19.94> +<19.96> +<19.98> +<20.00> +<20.02> +<20.04> +<20.06> +<20.08> +<20.10> +<20.12> +<20.14> +<20.16> +<20.18> +<20.20> +<20.22> +<20.24> +<20.26> +<20.28> +<20.30> +<20.32> +<20.34> +<20.36> +<20.38> +<20.40> +<20.42> +<20.44> +<20.46> +<20.48> +<20.50> +<20.52> +<20.54> +<20.56> +<20.58> +<20.60> +<20.62> +<20.64> +<20.66> +<20.68> +<20.70> +<20.72> +<20.74> +<20.76> +<20.78> +<20.80> +<20.82> +<20.84> +<20.86> +<20.88> +<20.90> +<20.92> +<20.94> +<20.96> +<20.98> +<21.00> +<21.02> +<21.04> +<21.06> +<21.08> +<21.10> +<21.12> +<21.14> +<21.16> +<21.18> +<21.20> +<21.22> +<21.24> +<21.26> +<21.28> +<21.30> +<21.32> +<21.34> +<21.36> +<21.38> +<21.40> +<21.42> +<21.44> +<21.46> +<21.48> +<21.50> +<21.52> +<21.54> +<21.56> +<21.58> +<21.60> +<21.62> +<21.64> +<21.66> +<21.68> +<21.70> +<21.72> +<21.74> +<21.76> +<21.78> +<21.80> +<21.82> +<21.84> +<21.86> +<21.88> +<21.90> +<21.92> +<21.94> +<21.96> +<21.98> +<22.00> +<22.02> +<22.04> +<22.06> +<22.08> +<22.10> +<22.12> +<22.14> +<22.16> +<22.18> +<22.20> +<22.22> +<22.24> +<22.26> +<22.28> +<22.30> +<22.32> +<22.34> +<22.36> +<22.38> +<22.40> +<22.42> +<22.44> +<22.46> +<22.48> +<22.50> +<22.52> +<22.54> +<22.56> +<22.58> +<22.60> +<22.62> +<22.64> +<22.66> +<22.68> +<22.70> +<22.72> +<22.74> +<22.76> +<22.78> +<22.80> +<22.82> +<22.84> +<22.86> +<22.88> +<22.90> +<22.92> +<22.94> +<22.96> +<22.98> +<23.00> +<23.02> +<23.04> +<23.06> +<23.08> +<23.10> +<23.12> +<23.14> +<23.16> +<23.18> +<23.20> +<23.22> +<23.24> +<23.26> +<23.28> +<23.30> +<23.32> +<23.34> +<23.36> +<23.38> +<23.40> +<23.42> +<23.44> +<23.46> +<23.48> +<23.50> +<23.52> +<23.54> +<23.56> +<23.58> +<23.60> +<23.62> +<23.64> +<23.66> +<23.68> +<23.70> +<23.72> +<23.74> +<23.76> +<23.78> +<23.80> +<23.82> +<23.84> +<23.86> +<23.88> +<23.90> +<23.92> +<23.94> +<23.96> +<23.98> +<24.00> +<24.02> +<24.04> +<24.06> +<24.08> +<24.10> +<24.12> +<24.14> +<24.16> +<24.18> +<24.20> +<24.22> +<24.24> +<24.26> +<24.28> +<24.30> +<24.32> +<24.34> +<24.36> +<24.38> +<24.40> +<24.42> +<24.44> +<24.46> +<24.48> +<24.50> +<24.52> +<24.54> +<24.56> +<24.58> +<24.60> +<24.62> +<24.64> +<24.66> +<24.68> +<24.70> +<24.72> +<24.74> +<24.76> +<24.78> +<24.80> +<24.82> +<24.84> +<24.86> +<24.88> +<24.90> +<24.92> +<24.94> +<24.96> +<24.98> +<25.00> +<25.02> +<25.04> +<25.06> +<25.08> +<25.10> +<25.12> +<25.14> +<25.16> +<25.18> +<25.20> +<25.22> +<25.24> +<25.26> +<25.28> +<25.30> +<25.32> +<25.34> +<25.36> +<25.38> +<25.40> +<25.42> +<25.44> +<25.46> +<25.48> +<25.50> +<25.52> +<25.54> +<25.56> +<25.58> +<25.60> +<25.62> +<25.64> +<25.66> +<25.68> +<25.70> +<25.72> +<25.74> +<25.76> +<25.78> +<25.80> +<25.82> +<25.84> +<25.86> +<25.88> +<25.90> +<25.92> +<25.94> +<25.96> +<25.98> +<26.00> +<26.02> +<26.04> +<26.06> +<26.08> +<26.10> +<26.12> +<26.14> +<26.16> +<26.18> +<26.20> +<26.22> +<26.24> +<26.26> +<26.28> +<26.30> +<26.32> +<26.34> +<26.36> +<26.38> +<26.40> +<26.42> +<26.44> +<26.46> +<26.48> +<26.50> +<26.52> +<26.54> +<26.56> +<26.58> +<26.60> +<26.62> +<26.64> +<26.66> +<26.68> +<26.70> +<26.72> +<26.74> +<26.76> +<26.78> +<26.80> +<26.82> +<26.84> +<26.86> +<26.88> +<26.90> +<26.92> +<26.94> +<26.96> +<26.98> +<27.00> +<27.02> +<27.04> +<27.06> +<27.08> +<27.10> +<27.12> +<27.14> +<27.16> +<27.18> +<27.20> +<27.22> +<27.24> +<27.26> +<27.28> +<27.30> +<27.32> +<27.34> +<27.36> +<27.38> +<27.40> +<27.42> +<27.44> +<27.46> +<27.48> +<27.50> +<27.52> +<27.54> +<27.56> +<27.58> +<27.60> +<27.62> +<27.64> +<27.66> +<27.68> +<27.70> +<27.72> +<27.74> +<27.76> +<27.78> +<27.80> +<27.82> +<27.84> +<27.86> +<27.88> +<27.90> +<27.92> +<27.94> +<27.96> +<27.98> +<28.00> +<28.02> +<28.04> +<28.06> +<28.08> +<28.10> +<28.12> +<28.14> +<28.16> +<28.18> +<28.20> +<28.22> +<28.24> +<28.26> +<28.28> +<28.30> +<28.32> +<28.34> +<28.36> +<28.38> +<28.40> +<28.42> +<28.44> +<28.46> +<28.48> +<28.50> +<28.52> +<28.54> +<28.56> +<28.58> +<28.60> +<28.62> +<28.64> +<28.66> +<28.68> +<28.70> +<28.72> +<28.74> +<28.76> +<28.78> +<28.80> +<28.82> +<28.84> +<28.86> +<28.88> +<28.90> +<28.92> +<28.94> +<28.96> +<28.98> +<29.00> +<29.02> +<29.04> +<29.06> +<29.08> +<29.10> +<29.12> +<29.14> +<29.16> +<29.18> +<29.20> +<29.22> +<29.24> +<29.26> +<29.28> +<29.30> +<29.32> +<29.34> +<29.36> +<29.38> +<29.40> +<29.42> +<29.44> +<29.46> +<29.48> +<29.50> +<29.52> +<29.54> +<29.56> +<29.58> +<29.60> +<29.62> +<29.64> +<29.66> +<29.68> +<29.70> +<29.72> +<29.74> +<29.76> +<29.78> +<29.80> +<29.82> +<29.84> +<29.86> +<29.88> +<29.90> +<29.92> +<29.94> +<29.96> +<29.98> +<30.00> +▁ +, +▁the +. +s +▁and +▁of +▁to +▁a +。 +▁in +' +▁that +▁i +▁it +▁was +en +e +t +▁you +▁he +▁is +的 +- +▁for +▁de +▁with +▁be +n +d +▁as +▁his +▁we +の +▁on +、 +▁die +▁had +a +▁but +▁so +? +o +▁not +▁at +▁have +▁this +▁und +er +▁her +i +▁they +m +ed +re +▁she +▁an +▁by +▁der +ing +▁all +▁are +▁la +が +を +▁from +▁me +▁which +▁my +es +▁one +は +▁no +▁there +了 +▁him +▁or +▁were +に +y +▁do +▁what +r +▁zu +▁our +u +▁if +ly +▁ist +▁would +▁when +▁their +▁will +▁said +で +▁es +▁like +▁das +▁Sie +▁them +在 +▁can +▁who +▁out +▁know +te +▁been +▁ich +▁about +▁up +▁I +! +▁more +▁man +ve +我 +▁que +▁un +是 +▁sie +和 +▁then +▁your +▁ein +▁some +▁den +а +▁now +你 +▁von +▁nicht +▁very +と +▁has +▁into +in +▁time +▁в +ar +▁just +▁не +▁um +k +▁could +▁dass +▁Und +人 +▁think +▁auf +al +de +▁и +▁war +▁eine +▁over +▁mit +▁well +も +他 +▁see +▁also +▁wir +▁other +▁des +le +▁how +ll +▁than +不 +啊 +▁these +▁little +▁sich +▁" +ten +c +an +▁us +上 +▁l +▁two +▁any +有 +▁don +▁go +▁did +▁people +▁only +е +na +▁good +l +st +▁where +▁на +▁el +▁se +z +to +中 +▁first +g +ta +▁na +▁di +▁als +is +▁come +▁Ich +▁much +▁für +ne +▁с +我们 +大 +▁get +▁here +▁down +у +▁du +▁le +▁что +から +▁way +h +▁y +▁wie +▁should +▁before +▁am +▁made +▁those +▁after +一 +on +▁upon +▁because +▁back +▁right +▁haben +se +▁great +他们 +▁say +▁going +です +这个 +▁dem +и +就 +f +▁по +▁make +ra +来 +▁The +م +▁er +▁its +▁such +▁ver +▁may +w +ge +▁even +la +▁men +说 +: +▁new +▁im +地 +é +da +ch +▁through +呢 +▁long +な +me +▁never +▁most +▁Es +as +il +p +▁A +▁must +" +▁sind +▁day +し +一个 +▁really +▁per +b +▁came +▁con +1 +这 +man +▁And +▁life +▁many +м +▁old +est +я +j +▁я +▁yeah +no +ro +▁again +т +▁things +▁La +▁hat +be +ma +▁mu +▁own +她 +den +▁take +ci +▁et +▁aus +▁being +▁je +ga +os +它 +ni +we +▁mr +▁still +ir +▁我 +2 +▁last +か +小 +▁too +▁les +▁might +会 +▁work +us +▁у +ce +や +▁every +un +▁We +子 +▁ku +▁al +去 +▁за +▁So +ы +at +▁want +る +ی +▁Die +到 +it +▁went +▁look +▁über +х +▁In +ti +▁years +对 +’ +吗 +▁это +▁same +▁three +▁something +▁da +do +li +▁werden +▁let +▁thought +▁himself +▁ne +й +▁ah +被 +▁van +って +▁got +▁ge +д +▁world +ね +い +▁wenn +va +好 +▁einen +要 +▁thing +▁while +▁à +▁part +都 +ه +с +着 +▁year +el +▁del +▁oh +▁away +▁hand +▁Er +em +et +ho +下 +た +▁Das +▁auch +ka +▁ya +ter +▁kind +▁without +▁place +ж +▁put +出 +lo +ba +ment +▁oder +▁under +没有 +した +л +▁вы +▁una +▁off +th +▁то +ri +里 +▁yet +ze +н +する +▁diese +▁another +ers +▁why +je +▁found +从 +时 +ko +就是 +sa +ng +▁S +▁shall +▁aber +▁sein +or +▁а +点 +3 +ur +ка +▁tell +▁god +お +▁و +▁Aber +ke +ness +也 +▁far +able +▁give +si +して +▁though +▁nothing +mo +▁eyes +手 +▁once +家 +x +ver +▁always +▁het +日 +▁saw +▁house +men +用 +di +▁ha +この +ja +go +▁wird +▁ever +▁een +▁face +о +) +▁vor +▁你 +年 +▁love +am +想 +ung +ent +▁uns +▁home +he +на +▁habe +ation +▁head +▁nach +ли +▁nur +mi +▁few +zi +▁young +но +ن +て +▁mean +▁mich +ki +▁better +▁each +▁einem +▁find +ha +▁si +▁business +ш +ت +では +▁left +▁both +ton +▁It +▁v +der +v +▁einer +那 +为 +wa +▁night +· +过 +▁took +▁( +▁können +▁mind +▁— +ya +▁father +▁mir +▁moment +▁done +得 +▁va +ca +د +水 +▁su +」 +▁against +▁need +ry +吧 +的人 +▁end +▁yes +sch +▁lot +ity +という +um +▁course +co +▁dat +▁half +▁between +高 +▁Wir +▁من +ant +り +▁next +ste +当 +▁noch +▁pro +▁He +多 +做 +▁E +gen +本 +这些 +事 +でも +▁می +▁door +к +▁called +ted +son +▁looked +za +▁ja +ul +前 +tu +▁ko +▁wurde +ye +ス +، +什么 +▁por +▁kann +▁los +▁asked +ش +▁seen +▁как +回 +ла +「 +▁дробь +▁улица +心 +▁side +▁told +▁does +ら +4 +者 +lu +▁son +▁having +生 +▁water +分 +ol +三 +▁sehr +▁quite +▁hatte +看 +▁El +▁heard +▁whole +▁heart +▁believe +". +▁te +▁met +ч +打 +与 +▁name +▁uh +的时候 +▁ni +而 +▁mother +▁در +▁ال +vo +把 +▁bei +land +能 +▁ob +▁knew +▁о +▁op +▁ma +▁different +▁around +▁best +▁به +▁call +可以 +▁mi +▁enough +▁il +▁second +▁para +く +行 +自己 +▁par +性 +ie +▁point +▁seemed +ю +ます +后 +▁ba +▁set +▁four +所 +ました +ة +▁pas +▁mrs +so +には +▁woman +ia +ven +▁room +▁да +山 +ting +その +・ +bo +S +▁five +▁che +ion +이 +▁high +走 +▁所以 +▁sure +▁但是 +▁durch +还 +5 +▁hundred +▁country +▁light +▁sir +та +▁use +▁hier +▁anything +▁sa +г +▁к +▁actually +现在 +ad +by +▁bir +ku +▁он +▁quarter +▁wa +▁po +ó +▁при +▁almost +▁про +▁days +▁от +▁他 +天 +ken +▁help +最 +▁care +▁sort +ر +您 +▁dieser +▁Der +po +特 +id +新 +▁L +▁ab +ですね +▁gibt +▁soon +ler +国 +▁com +▁з +▁Be +我的 +▁white +▁alle +▁dann +du +ling +▁small +力 +ي +less +▁together +▁fact +im +▁since +▁money +ak +▁мы +很 +à +个 +你的 +▁qui +▁doing +さん +hi +更 +▁until +给 +ine +斯 +▁talk +▁question +▁nor +老 +き +ty +▁twenty +▁didn +▁used +ik +vi +▁bit +▁hard +▁miss +zu +▁big +▁full +▁Le +▁Re +▁yn +▁De +ist +よ +非常 +au +▁gave +不是 +▁morning +さ +з +▁mehr +ов +将 +ку +▁keep +pa +ut +可能 +▁lord +▁rest +▁number +▁An +que +▁real +가 +▁words +▁began +and +ки +呀 +▁ik +▁immer +▁however +▁hands +▁open +▁king +头 +▁bin +▁ب +A +▁lo +bi +▁looking +▁раз +▁pe +led +ل +▁па +▁c +п +ig +р +▁turned +▁feel +▁En +那个 +▁waren +可 +lar +ic +▁і +▁felt +▁так +比 +▁zum +▁bu +ها +再 +▁في +▁wirklich +像 +в +外 +▁etwas +开始 +已经 +长 +ちょっと +▁poor +▁pour +▁D +▁power +或 +名 +▁word +▁among +gi +度 +▁myself +▁children +▁during +ا +▁whom +▁ka +しました +▁这 +▁lady +▁large +▁matter +▁death +▁Ver +▁Ja +▁vi +pe +▁true +6 +▁certain +ate +ом +kan +nt +▁state +▁pa +并 +ь +▁till +▁که +▁dans +▁person +月 +金 +▁present +▁general +les +▁tun +▁O +tion +ă +向 +▁boy +因为 +▁live +▁case +▁est +▁brought +以 +▁black +成 +又 +你们 +ek +▁order +▁dis +oj +▁rather +mu +だ +▁Se +太 +▁voice +▁w +▁все +▁taken +zo +道 +▁Menschen +先 +jo +ть +▁Wenn +让 +▁perhaps +▁given +ない +内 +▁hear +▁already +ju +所以 +ся +▁une +dy +▁important +▁girl +▁human +▁show +发 +▁вот +这种 +▁ihre +▁را +▁C +wi +▁hij +á +▁ihr +▁B +▁qu +▁ihn +▁K +▁company +lan +▁meine +▁strong +ren +▁thousand +the +った +га +▁seine +す +▁air +▁coming +▁But +面 +▁friend +▁-- +ben +▁within +▁round +海 +方 +▁Li +▁change +ва +ji +ard +▁six +み +二 +ai +▁often +▁everything +▁sea +ع +没 +▁along +nie +▁sent +▁Ein +▁whether +他的 +7 +▁wissen +无 +う +这是 +とか +尔 +per +▁estas +但 +▁но +ieren +▁This +▁car +ive +▁themselves +ب +车 +口 +▁forward +入 +学 +▁co +▁N +ado +▁Na +西 +何 +▁others +▁za +í +つ +го +▁我们 +▁idea +开 +▁keur +س +▁across +▁dear +▁stood +▁school +▁那 +▁understand +▁sagte +▁making +▁dan +ck +bu +▁family +▁fire +▁nature +▁near +▁из +于 +ем +もう +▁times +да +▁herself +▁public +▁niet +▁b +▁Zeit +▁read +▁cannot +▁pre +▁hope +花 +▁turn +▁city +ル +▁این +cu +▁würde +è +▁است +▁zijn +ger +死 +▁از +sta +ны +▁viel +▁li +ner +▁women +▁gone +▁sagen +ster +▁non +▁sur +听 +▁然后 +fe +▁ser +▁means +▁thus +いい +▁tu +▁child +▁least +ق +▁sehen +▁T +▁nu +化 +▁pretty +aba +▁ki +ты +▁sense +▁says +ada +▁أ +fa +工作 +ので +▁reason +这样 +▁einfach +▁keine +▁behind +日本 +▁この +▁wife +▁Il +T +E +いた +che +▁voor +▁short +▁bi +一些 +▁body +▁indeed +先生 +▁ce +▁feet +wo +一样 +8 +▁M +就像 +▁wo +还是 +德 +نا +▁до +▁Ma +▁sat +▁continue +ま +ts +▁unter +age +q +▁ask +儿 +▁U +▁close +ить +ம் +▁several +放 +▁won +▁om +ية +▁whose +не +▁market +之 +▁red +▁possible +C +up +你知道 +▁amb +イ +わ +部 +▁leave +tes +など +는 +として +▁less +ile +ク +▁become +ля +▁later +重 +拉 +ان +吃 +▁known +▁Un +ف +▁growth +zen +ä +P +ft +▁Ge +▁friends +و +lich +▁either +ny +gu +▁story +▁probably +体 +ous +ana +▁ihm +ー +▁Sch +▁able +▁thou +▁else +▁wieder +io +白 +ц +跟 +万 +▁run +光 +位 +▁diesem +▁bad +б +▁alone +但是 +ات +▁そして +▁gut +ز +▁start +法 +▁past +路 +▁itself +iert +aj +▁în +š +▁Art +ле +▁jetzt +I +ran +і +▁therefore +ア +▁free +▁sometimes +▁passed +ў +▁speak +mos +数 +问题 +yo +▁book +▁line +▁andere +▁mal +chen +ми +▁Bu +▁above +▁became +▁Al +bar +我们的 +▁wanted +des +ال +way +利 +era +ك +▁bo +▁Je +▁cried +9 +ban +▁today +tro +▁au +今 +고 +▁getting +别 +▁okay +ley +▁kaj +ham +马 +ん +fer +sten +지 +▁saying +▁No +▁bring +▁zwei +四 +ated +需要 +▁p +田 +ح +▁weil +▁las +▁z +mer +gel +▁és +世界 +10 +ber +孩子 +んだ +ет +end +都是 +▁ta +▁그 +だった +王 +リ +▁form +▁dead +▁hour +▁future +ма +▁bis +▁machen +物 +پ +лі +▁earth +▁zur +自 +nd +ful +カ +▁là +▁government +▁Do +钱 +▁، +му +nu +▁play +▁remember +▁land +▁bed +▁vous +ere +▁plus +知道 +两 +带 +真 +▁fast +ish +ning +快 +身 +▁fell +▁dark +▁held +时间 +rs +定 +им +▁As +▁started +▁lost +op +主 +▁hi +▁como +爱 +▁ت +▁answer +▁Was +一下 +▁bar +▁один +tor +します +gan +▁cost +ная +▁fa +nya +ang +▁сто +ой +▁early +ari +min +ご +▁müssen +su +▁ground +lin +▁answered +▁ago +red +▁anderen +▁lay +明 +▁Vi +▁ў +▁Ba +con +▁stand +正 +▁但 +安 +知 +加 +▁под +合 +▁selbst +谁 +起 +han +▁они +▁em +ра +▁Ha +ç +] +tt +vu +五 +▁truth +▁Ka +美 +▁mar +ot +ド +▁мне +看到 +▁alles +流 +▁denke +▁try +ac +iz +ait +人们 +ker +cy +ru +▁clear +ко +同 +▁Leute +▁working +克 +▁Ne +▁front +▁towards +▁replied +ト +port +▁taking +▁Ihnen +▁viele +火 +然后 +▁же +怎么 +her +え +র +▁further +等 +那么 +day +的话 +ин +叫 +▁Dinge +▁fine +▁ad +市 +வ +▁kon +▁ну +ам +只是 +om +▁zurück +▁trying +." +tan +ism +▁law +O +▁town +▁было +▁для +感 +▁fear +ff +▁Da +门 +lle +ez +B +全 +气 +これ +にも +▁его +ini +ern +まで +ire +目 +▁ты +真的 +ラ +; +▁thank +▁со +▁table +are +▁ye +؟ +▁Y +使用 +中国 +▁есть +▁third +▁church +▁dieses +▁expect +ú +作 +います +ex +▁Du +▁art +平 +▁Sa +▁diesen +ный +▁sun +▁doubt +▁бы +▁return +qui +▁system +▁pay +ap +▁sin +▁era +▁[ +ü +ance +のは +▁plan +도 +め +▁maybe +▁soul +ர் +コ +野 +▁dr +ita +tre +ina +ло +▁muss +▁الم +sen +通 +▁aan +请 +▁sound +ring +▁거 +ند +one +▁Wie +南 +▁beautiful +▁seems +見 +ах +▁week +▁brother +▁два +▁با +▁kept +sha +時 +elle +あ +ary +gar +▁certainly +▁continued +▁comes +▁P +▁top +▁position +ча +어 +20 +sto +▁там +ит +▁gu +▁нас +K +▁suddenly +▁seven +▁thinking +▁А +している +에 +ab +▁wish +▁talking +▁ready +▁Mi +▁master +F +▁service +自己的 +ন +▁evening +しています +▁view +▁cap +▁thy +那些 +▁nie +ک +▁ما +sel +▁subject +通过 +▁Per +... +应该 +▁Ta +▁eines +▁cold +ure +és +pi +▁dé +文 +▁longer +▁letter +▁cause +▁Ro +▁happened +kin +生活 +ды +▁deep +▁nous +▁если +dan +▁common +ding +立 +使 +▁happy +▁post +van +▁zij +bel +でした +ン +tar +▁дом +▁ca +んで +▁low +▁arm +区 +▁gi +▁cu +动 +▁pass +ти +ни +то +ble +▁interest +▁dit +格 +ah +▁schon +cia +ix +这么 +ê +igen +▁ihnen +只 +▁john +米 +une +▁Ihre +▁manner +▁living +ies +▁To +它们 +声 +து +ama +▁natural +ある +送 +いて +▁hold +▁thirty +▁eight +▁「 +▁б +▁Welt +mp +研究 +▁spirit +fi +▁months +された +▁river +▁அ +ين +▁unsere +出来 +▁husband +▁watch +G +ক +▁capital +ite +sh +店 +不会 +mal +ris +问 +▁road +意 +住 +▁rose +▁fi +los +▁guess +val +总 +▁Ab +的是 +▁seeing +▁support +喜欢 +ня +ной +▁result +ub +▁Ni +有一个 +我想 +原 +▁You +▁value +во +ط +▁deal +▁meet +▁results +号 +▁wurden +長 +bra +今天 +tic +木 +不能 +▁street +次 +希望 +▁vol +情 +给我 +▁green +ар +▁denn +▁social +▁hours +或者 +科 +▁returned +▁cut +ил +▁experience +vis +ian +ون +len +▁sub +ungen +▁strange +ud +元 +▁werde +戦 +кі +いる +ая +是的 +▁whatever +▁einige +▁sight +之前 +▁mein +公司 +半 +的事情 +▁drei +言 +▁doesn +公 +ischen +car +▁その +▁Aus +ей +те +也是 +是一个 +▁să +▁fair +▁У +▁terms +▁food +気 +▁minutes +ef +的东西 +▁seiner +▁아 +能够 +ль +خ +▁ex +ons +sche +▁Te +▁court +▁process +ナ +tel +▁account +发现 +该 +品 +林 +▁received +▁blood +▁меня +ных +ence +ag +D +▁followed +▁Ra +▁ho +▁Mo +干 +▁pri +ロ +张 +がある +ò +▁feeling +ну +ici +▁Co +州 +觉得 +▁particular +las +ல் +マ +▁Di +▁makes +ні +lie +▁はい +▁yo +▁due +他们的 +▁move +▁یک +▁english +第 +line +ā +女 +▁أن +▁mais +▁seem +讲 +代 +八 +▁Vor +ende +▁damit +ما +线 +▁act +▁beyond +ria +れ +nen +▁captain +zer +▁single +▁hair +▁об +té +▁arms +▁spoke +▁They +tra +▁suppose +▁có +tas +க் +ர +▁self +▁Also +▁information +▁data +▁simple +وا +ста +之后 +ша +▁wild +▁horse +ige +▁R +还有 +一点 +M +king +▁tried +▁sleep +č +相 +▁mine +을 +石 +ée +社会 +ndo +色 +_ +mes +量 +人が +神 +▁wrong +大家 +▁effect +▁wind +▁history +▁sit +▁yourself +ور +才 +集 +▁eye +球 +理 +▁walk +▁fifty +ブ +▁states +军 +cer +▁foot +▁Um +们 +レ +hu +cht +▁очень +台 +だけ +じ +形 +▁inter +▁Les +▁problem +gri +▁although +▁fer +▁maar +こ +空 +ме +不要 +▁gold +ische +N +找 +▁G +▁mo +fu +▁这是 +ura +mente +ally +▁F +关于 +北 +if +很多 +î +▁space +ست +▁когда +▁period +なかった +▁ei +所有 +▁könnte +ています +んです +▁glad +こと +タ +▁weiß +六 +▁example +▁двадцать +▁stop +▁stuff +私 +▁els +ron +▁reached +认为 +▁doctor +ę +政府 +让我 +▁none +nde +ano +ම +▁daughter +▁send +▁force +のか +use +进 +tter +▁chance +ras +▁attention +че +见 +▁W +买 +▁fall +▁pot +教 +ম +room +▁Man +ş +について +▁она +▁blue +▁exactly +ale +如果 +▁New +东西 +né +▁dir +時間 +▁Ku +▁camp +▁stay +wer +▁party +▁Si +▁especially +ض +完全 +川 +wn +af +ando +fen +ди +▁character +▁dich +▁except +вер +布 +▁please +my +ок +▁Pa +そう +▁Als +▁share +▁hatten +ия +フ +事情 +▁Leben +▁higher +▁tôi +阿 +何か +ement +受 +になる +▁mis +▁outside +▁following +▁hu +▁level +▁Me +ные +▁geht +信 +ру +▁couple +▁lui +▁necessary +ok +▁Auf +ele +器 +给你 +卡 +味 +やっぱり +起来 +це +话 +▁instead +▁và +▁opportunity +▁carried +▁nun +eg +nk +▁appeared +▁toward +食 +如何 +▁gab +cho +▁respect +风 +ati +▁south +▁Teil +美国 +シ +▁added +ž +▁window +▁如果 +nda +正在 +▁او +är +ன் +ö +▁control +ating +もの +▁england +ор +ф +за +▁seinen +▁пере +▁nine +па +▁questions +ই +成为 +越 +オ +▁ought +期 +▁más +▁save +九 +朝 +del +ць +▁Mu +▁late +▁lower +▁нь +民 +ira +以后 +▁lived +▁health +▁knowledge +▁ke +▁Lo +写 +▁што +ns +▁нет +▁现在 +res +са +▁customers +▁tra +он +嘛 +▁dollars +ый +ё +▁Mae +▁Bo +▁gehen +cha +▁wat +▁Po +र +歌 +▁opened +ks +ار +取 +▁Im +chi +▁miles +▁grand +eth +let +また +少 +▁haar +ている +▁pen +▁wall +ach +க்க +▁è +学校 +选择 +▁comp +▁eighteen +▁step +▁easy +tur +哪 +heit +ば +▁quickly +don +▁Mal +mar +▁wait +ging +书 +っていう +ky +回来 +员 +eur +ба +▁Pro +城 +▁Bi +ien +▁neither +▁уже +ре +tal +▁fellow +ise +▁group +▁product +lla +▁Ri +ام +人の +▁building +▁чтобы +ide +▁因为 +▁goes +▁north +▁chi +▁jeung +▁Z +▁vielleicht +▁music +ு +一种 +▁main +▁три +una +▁paper +周 +ри +▁bright +▁beginning +க +ным +out +▁V +ры +tin +几 +▁hall +L +▁ningal +▁wonder +▁diwawancara +▁forth +▁olohok +▁office +▁christ +▁sweet +▁möchte +ミ +後 +ذ +▁wollen +stre +stand +▁ihren +ities +H +ned +yi +▁var +▁wäre +▁figure +▁mhm +▁Ki +为什么 +▁entre +▁nearly +▁ran +▁dipoto +ன +▁wartawan +▁avec +▁forty +任何 +制 +▁пра +十 +kt +在这里 +ке +▁team +ali +time +▁mon +ida +夜 +清 +bre +进行 +▁Mann +lor +med +的一个 +▁ganz +ج +دا +由 +▁bien +机 +本当に +拿 +と思います +近 +▁Con +大学 +▁kam +ğ +ges +wy +▁rich +直 +ийн +▁interesting +的な +▁Mit +ду +▁There +▁local +▁konnte +или +▁sollte +急 +▁Am +波 +特别 +▁purpose +其他 +倒 +mon +▁este +▁lives +ல +ということです +▁будет +ан +▁daß +的地方 +▁Ad +ту +ville +▁key +kel +pan +ص +巴 +▁một +村 +得到 +表 +od +ert +▁heute +けど +ল +▁Com +▁근데 +ça +解 +▁game +接 +▁news +▁peace +▁weiter +ய +▁pleasure +sti +▁darüber +for +▁situation +▁learn +▁ou +▁ihrer +局 +笑 +▁lie +▁안 +バ +是什么 +tie +▁على +▁silence +▁grow +R +是不是 +30 +▁sister +tri +▁sei +安全 +ther +த +▁class +ید +音 +派 +甚至 +▁zoo +▁pan +▁moved +▁strength +ib +ili +▁sta +ということで +▁modern +▁success +ante +side +雪 +▁secret +log +▁Va +ł +君 +初 +哥 +▁dog +▁follow +指 +ani +cher +се +船 +切 +继续 +▁board +男 +▁comme +▁ru +▁mag +提供 +▁뭐 +vel +古 +nes +U +▁och +▁davon +다 +中的 +国家 +雨 +来说 +▁french +ッ +早 +▁gegen +ро +mit +lichen +▁middle +两个 +▁project +▁С +lang +▁uit +▁afraid +どう +ía +▁eat +▁expected +▁dar +cal +への +▁bear +む +实际上 +管 +غ +nce +落 +▁Я +よく +▁performance +▁Arbeit +っ +难 +ца +▁wouldn +▁ara +tte +▁army +こう +▁entered +uri +到了 +mas +字 +▁spring +▁fit +▁Ho +mor +ize +如此 +ier +▁impact +▁object +七 +帮助 +▁national +can +▁drive +rea +▁cool +▁private +片 +” +▁difficult +在一起 +咱们 +土 +曲 +▁joy +ized +ப் +ү +▁standing +其实 +▁progress +▁trouble +低 +▁floor +tres +▁pu +選手 +▁только +東京 +▁ship +▁Nun +かな +哈 +▁Su +▁break +чи +一直 +命 +form +▁mai +ول +▁zusammen +ئ +ple +▁av +▁cho +エ +ズ +▁provide +救 +pen +▁She +ами +▁happen +ving +病 +▁din +感じ +作为 +zeit +活 +になって +▁nice +ウ +▁ways +▁american +▁everybody +▁special +▁smile +же +▁major +率 +▁ju +sse +▁chief +▁hem +理解 +一起 +およそ +处 +▁sont +ত +▁distance +罗 +▁И +看看 +чы +电 +ció +vin +▁prince +▁dies +▁sign +لا +▁fight +▁greater +▁That +ен +▁mouth +朋友 +▁Jahren +dig +ido +▁kein +▁consider +▁demand +ව +反 +▁sitting +ого +▁written +▁lang +▁oku +▁Wa +ní +cla +▁remain +▁couldn +李 +art +dd +▁Eine +은 +街 +场 +▁design +▁spot +▁потому +house +cken +不知道 +▁vom +すると +▁length +nis +win +▁ба +〉 +▁job +▁пять +すごい +ship +岁 +hen +▁heaven +де +ა +san +必须 +河 +▁books +条 +▁final +of +▁grew +▁base +一次 +ие +▁walked +▁isn +▁increase +官 +▁просто +奥 +▁society +▁amount +▁On +断 +ero +cur +гу +▁trees +▁program +▁これ +ې +▁был +न +有点 +ى +▁ம +ations +â +iza +▁faith +vor +▁heavy +▁immediately +▁battle +▁president +ین +▁financial +▁What +▁〈 +のが +▁dort +▁четыре +▁running +▁begin +▁рас +par +間 +サ +▁personal +へ +▁action +ха +wan +▁cor +▁тридцать +sie +▁places +▁development +▁visit +▁во +▁train +▁eu +▁mary +▁learned +▁không +▁write +▁cre +▁ohne +ですよね +▁Gu +ст +一个人 +东 +最近 +首 +ется +▁darauf +nas +▁hot +さんが +▁died +地方 +支持 +ую +▁laid +▁perfect +她的 +ces +ries +▁queen +工 +却 +そして +▁Ar +决定 +できる +▁einmal +서 +足 +▁command +▁safe +ии +yu +される +▁slowly +连 +dra +ә +▁price +▁Ti +▁super +玩 +ı +▁Mar +ий +▁quick +▁wood +▁glaube +▁сейчас +▁add +女性 +ram +ndi +▁estis +liche +▁build +只有 +实 +っている +▁sales +▁nga +▁Zu +▁stopped +ą +队 +dro +▁sobre +キ +森 +▁嗯 +▁finally +红 +思 +nia +▁various +▁conversation +差 +当然 +▁color +▁changed +▁age +推 +ө +цы +▁married +远 +▁west +▁caught +mm +酒 +▁gentleman +vid +深 +mus +▁més +▁cette +lik +战 +▁hast +clock +uch +所有的 +强 +ве +▁или +▁film +▁desire +shi +mel +▁straight +▁study +ins +メ +▁pi +isi +▁может +вы +▁model +▁warm +▁ging +rie +sion +▁которые +▁tree +当时 +▁ill +த்த +▁cross +▁hay +▁ад +dem +▁built +▁Land +▁science +▁бол +▁J +▁bra +ட +ans +亚 +ところ +▁danger +商 +努力 +ska +▁kwa +啦 +每 +▁talked +▁remained +部分 +老师 +士 +室 +变 +sis +番 +▁paar +schen +▁giving +gang +話 +そうです +▁gonna +▁All +pp +ité +▁quiet +让我们 +▁rate +ного +转 +▁york +▁meiner +热 +▁их +rus +チ +▁الأ +ɣ +▁tre +我是 +事件 +▁wrote +▁picture +▁loved +ip +yan +аў +▁Diese +ps +整个 +▁Ur +▁tr +▁Ko +▁snow +▁gemacht +▁waiting +▁uncle +ث +tive +▁семь +肉 +▁那么 +▁fort +▁yang +▁race +ito +失 +▁nichts +▁For +▁london +▁кто +мо +▁これは +▁minute +ать +ino +▁boys +报 +ski +бы +千 +▁dinner +til +▁gar +▁march +ය +хо +房 +▁fourth +rem +边 +▁works +▁sprechen +▁broken +tus +关 +▁tatsächlich +ち +▁below +有什么 +▁đ +ties +感觉 +ona +▁piece +xi +▁similar +より +▁according +保 +▁simply +最后 +▁trust +往 +达 +なく +ம +▁seinem +ḥ +▁regard +ug +▁hardly +如果你 +▁zwischen +▁direction +▁seu +▁drew +世 +lä +▁mil +сан +▁brain +▁corner +真正 +cle +种 +以上 +关系 +▁using +这里 +▁summer +اس +▁buy +ich +▁language +▁Ke +▁impossible +▁sus +不同 +چ +ше +eren +▁Tu +▁bon +权 +▁hätte +ade +▁Tag +▁beauty +▁lips +ue +画 +第一 +▁evil +▁Now +õ +单 +▁france +▁garden +▁بود +▁month +bil +▁station +ec +さんの +ev +进入 +▁lead +ré +int +包 +県 +sco +기 +▁Ga +gehen +▁denen +▁presence +amente +▁girls +▁opinion +▁touch +dia +そういう +▁gran +的问题 +▁fresh +▁آن +过去 +▁united +系统 +field +▁Hu +gra +야 +rit +▁mas +▁political +▁showed +とは +ят +fo +یم +▁ма +▁г +ser +▁looks +ться +眼 +ず +▁Frage +以及 +را +▁vier +▁나 +▁гэта +▁placed +ney +パ +pu +▁brown +冷 +発 +▁сорок +ал +cra +根 +met +▁Pe +ato +▁我想 +星 +ava +ción +▁growing +ei +ions +省 +▁risk +了一个 +▁că +▁В +▁sick +ツ +▁bank +▁переулок +▁current +▁decided +▁soft +▁village +板 +ですが +夫 +我就 +今年 +ব +▁filled +cent +青 +好的 +▁hit +実 +▁еще +▁speaking +nh +ih +ют +▁dazu +ice +گ +其 +图 +ral +น +V +▁вас +ර +▁hin +▁Hi +▁Ca +▁led +来了 +kon +▁ஆ +ou +▁برای +装 +schaft +▁wasn +▁cent +▁har +▁muri +iti +эр +▁weeks +上的 +找到 +▁zich +▁pero +非 +well +▁inside +ial +like +▁Sta +▁Ihr +▁writing +berg +▁mentioned +在那里 +▁expression +出去 +▁trade +脚 +▁born +fin +▁pain +▁á +▁worked +ika +風 +ament +比较 +交 +▁twelve +这样的 +▁type +▁cy +ده +▁kan +▁Jahre +▁revenue +nte +▁rain +▁serve +ова +ute +▁reach +よね +▁H +oli +▁meant +▁würden +har +妈妈 +▁direct +▁இ +ң +やって +▁plain +▁för +▁Ru +▁pleased +▁win +▁winter +▁influence +▁parts +▁doch +isch +kat +uk +▁mij +▁Lu +車 +你可以 +▁naar +▁worth +via +这一 +▁community +▁thoughts +突然 +》 +包括 +▁kommen +hin +▁しかし +▁raised +▁wide +▁col +▁große +▁của +дзе +eb +传 +リー +▁haven +▁chair +▁bri +▁field +fall +亲 +▁umu +松 +里面 +wood +存在 +让你 +皮 +零 +▁boat +▁forget +bro +▁exclaimed +代表 +uka +ded +听到 +11 +血 +ут +▁carry +▁chúng +mmer +mis +das +华 +别人 +ió +▁Geschichte +ford +bb +▁broad +▁od +▁paid +▁likely +▁condition +▁ersten +▁afternoon +以前 +▁someone +▁grave +▁și +put +ای +▁genau +々 +▁dream +сы +▁Fa +ых +න +▁мо +▁На +说话 +ком +▁ourselves +▁waar +ô +草 +▁band +我觉得 +▁content +▁wenig +ora +自然 +家庭 +方面 +ে +黑 +▁imp +▁industry +▁terrible +dos +尼 +ым +rig +▁report +▁somebody +要求 +▁allowed +さんは +▁path +rá +▁pale +那里 +▁appearance +ssen +▁mark +▁worden +umu +よう +学生 +ments +мен +院 +▁க +أ +sur +円 +▁journey +жа +▁usually +▁دو +卖 +ную +ves +ите +gli +的方式 +だと +调 +▁listen +警察 +び +wen +▁Frau +兰 +tik +グ +ī +温 +50 +線 +んですよ +▁vast +يا +▁anar +▁material +ە +▁generally +ට +▁fait +▁enemy +пер +▁area +▁struck +dar +aient +重要 +tir +▁rock +ような +喝 +的に +▁shot +ると +▁finden +▁sorry +▁gra +▁evidence +▁آ +া +ний +我认为 +ход +ula +sam +了解 +▁daran +wu +uma +▁Gi +▁Nach +いました +ков +▁easily +件 +▁individual +节 +▁duty +座 +▁tout +mie +过来 +▁những +▁unless +まだ +它的 +ু +ros +▁bill +▁fifteen +heid +mann +▁Her +lt +成功 +iv +pri +اد +iya +それ +lia +▁laughed +▁шесть +▁надо +▁clean +▁normal +sar +▁ن +▁tea +ala +▁kar +ami +var +ながら +恩 +oc +▁gesagt +llen +是否 +▁meeting +纳 +▁create +▁ஒரு +ҡ +▁Dann +▁ré +▁products +▁Et +▁вам +tis +▁fun +▁während +了吗 +▁focus +ses +あの +▁fond +▁sí +んですけど +あと +▁star +▁Weise +健康 +▁considered +َ +▁não +油 +स +せ +んですね +▁Weg +▁broke +stra +▁moving +▁sah +set +▁быть +此 +▁leaving +▁supposed +stan +ぶ +▁million +▁services +ひ +▁charge +▁ber +▁drink +▁test +ская +▁enter +▁gerade +技术 +▁sudden +式 +wr +ги +ista +▁wonderful +त +▁season +▁어 +", +▁difference +▁jo +▁আ +未 +اء +▁knows +▁geben +▁rep +きました +ified +为了 +leg +iri +▁mad +▁positive +▁grace +▁пры +dri +▁stone +なんか +▁spent +我在 +▁everyone +W +als +られる +ē +▁bat +▁Kinder +修 +方法 +э +▁principal +怎么样 +▁sagt +▁iron +dor +pt +▁том +ก +坐 +▁Ve +アメリカ +▁ball +▁fünf +▁Jo +▁Fall +ped +▁energy +▁sixty +▁honor +雷 +ius +لی +▁min +رو +ジ +▁ganze +▁بر +というのは +间 +чу +▁ப +▁imagine +zar +ţi +▁covered +▁exist +人的 +▁latter +▁receive +▁wollte +▁cast +任 +▁daar +不同的 +nor +▁moral +vers +▁global +▁fo +▁esta +pro +強 +eu +ように +たい +تر +▁natürlich +ぐらい +bed +сти +uru +▁allow +ே +▁closed +▁cases +离 +nos +▁bound +ஸ் +but +把它 +▁kun +▁shut +左 +▁dafür +▁arrived +▁huge +pf +▁technology +▁besides +▁term +ா +ット +ことが +ph +自由 +改变 +▁Kon +服务 +二十 +ニ +许多 +注意 +ろ +ay +▁At +cin +▁entirely +▁tears +ですか +ojn +教育 +▁particularly +▁pod +▁девять +有人 +ey +▁hill +直接 +试图 +▁ل +▁großen +ão +▁Ze +▁而且 +ella +▁actual +looking +ata +bli +по +のです +all +▁І +方式 +状況 +ants +▁anti +pre +▁Our +▁turning +ació +しか +هم +学习 +▁ко +一天 +步 +yn +▁lassen +んですが +rt +yon +准备 +ビ +维 +药 +▁cat +ward +▁percent +▁ahead +▁notice +spe +离开 +人类 +▁justice +▁sollten +iga +▁spend +pul +▁significant +▁fest +▁ي +▁needs +收 +hand +ай +ical +▁sand +だから +ட் +лю +▁sky +▁killed +语 +▁dos +▁bak +nder +eva +를 +▁Beispiel +rà +лу +留 +考え +▁holy +宝 +百 +▁Dr +▁Pi +▁Go +ส +▁europe +▁rise +▁animal +های +完 +▁macht +ение +▁jeder +▁labor +▁бо +▁John +▁deux +参加 +▁island +▁kids +▁size +▁occasion +cio +▁beside +ぎ +iki +▁park +ул +illa +ви +og +中心 +され +福 +board +島 +▁jack +▁complete +提 +▁east +▁religion +▁note +ein +▁usual +ture +▁horses +▁police +▁youth +▁unserer +vil +▁uma +▁wise +短 +ハ +ón +ola +角 +tru +▁crowd +▁george +▁welche +▁пред +ḍ +▁gute +▁silent +吉 +兵 +跑 +していた +影响 +ム +qu +▁пятьдесят +查 +▁opportunities +hr +▁tend +lon +▁peter +av +になった +ima +师 +▁education +見て +好好 +▁К +▁« +лен +bert +ți +▁countries +ボ +ably +▁sam +ability +▁нам +你会 +கள் +▁blind +ど +▁trans +40 +▁восемь +▁former +▁مع +vy +nan +▁ただ +▁molt +▁tut +▁су +▁“ +完成 +▁sicher +▁prop +▁noble +▁ubu +▁tax +▁della +▁meinen +lé +mun +案 +mba +客 +▁ziemlich +เ +тор +▁Hand +▁warum +▁lange +ман +▁letters +▁была +▁reading +▁Denn +▁parents +演 +配 +▁Car +rei +▁attack +▁чем +лся +teil +▁surprise +来自 +にある +破 +▁heraus +pon +文化 +走了 +▁aunt +▁needed +▁ngo +▁slow +low +数据 +▁offer +といいます +至 +▁pleasant +▁list +ett +arbeit +罪 +▁entire +ৰ +无法 +uta +▁lines +sent +▁Dies +만 +▁merely +▁cry +▁está +▁ac +ierte +iro +tha +mbo +▁worse +▁pra +待 +kla +▁cha +另一个 +huh +tag +▁unto +があります +▁absolutely +▁marriage +tim +跳 +ened +▁п +sia +算 +▁gesehen +▁ни +▁original +▁этом +nou +▁tall +ネ +▁based +aka +ร +ov +管理 +似乎 +▁ideas +ador +mut +bla +▁этого +我会 +ые +نی +▁هو +▁store +取り +全部 +也不 +▁kandi +获得 +▁somewhat +대 +▁kleine +▁watching +我要 +经济 +▁forest +原因 +▁weak +kommen +ats +問題 +▁takes +шы +总是 +தி +سی +▁steps +▁nog +▁всё +rat +利用 +▁mà +一定 +政治 +▁Or +▁đó +▁members +▁silver +▁discovered +你在 +ге +án +▁ع +割 +า +好了 +▁including +科学 +ский +tta +эл +▁tan +▁property +тер +▁bow +け +▁appear +计划 +gal +itat +通常 +▁draw +飞 +守 +掉 +谷 +未来 +▁serious +▁bottom +ils +rn +night +▁circumstances +▁是的 +vre +▁Geld +اب +▁escape +▁chapter +ét +▁movement +J +▁proud +ell +“ +▁fortune +▁customer +そ +nden +tung +▁iz +лы +▁breath +ů +▁san +满 +▁ph +▁Jahr +werk +发生 +好像 +▁Wo +▁وال +▁thick +▁mountain +党 +tz +可能会 +ū +▁changes +ения +ав +▁sondern +故事 +бо +ი +ந்த +ケ +▁prepared +▁sad +▁Stadt +▁completely +母 +感染 +迪 +▁fish +dis +▁mort +ete +до +▁points +击 +▁besser +▁gw +oni +rwa +▁dels +oma +ев +▁increased +▁bij +▁america +▁Herr +। +▁instant +ica +▁Moment +▁Über +▁где +rin +▁erste +▁named +ரி +如 +モ +▁conditions +停 +▁guard +리 +lic +▁здесь +▁Ya +bit +ис +ස +共 +tek +夏 +ep +ын +ُ +▁mijn +これは +ظ +几乎 +ட்ட +精 +▁effort +▁judge +仍然 +▁habit +▁credit +sim +牛 +▁jesus +江 +▁тем +▁afterwards +ม +▁ok +lung +信息 +追 +▁cal +най +▁sono +皆さん +ное +▁gives +aga +忙 +12 +▁advantage +ně +rum +谈论 +itu +ray +毛 +素 +ret +▁research +▁meaning +ator +▁zou +ці +lay +ック +▁Grund +▁glass +▁nobody +▁video +kle +▁Ende +gy +程 +感到 +イン +养 +හ +▁Ort +▁cash +hir +▁count +▁inform +▁また +▁neue +encia +歳 +lü +▁taste +▁porque +▁box +▁fin +ற +ことを +ân +▁watched +▁college +▁막 +▁York +▁того +▁storm +▁mass +みんな +约 +我们在 +▁weather +拍 +े +å +排 +▁scene +▁laugh +▁dry +▁total +确实 +ということ +zin +对于 +▁beiden +▁memory +▁się +▁Els +▁madame +其中 +15 +তা +mak +▁events +off +▁greatest +тай +▁aba +界 +ping +型 +press +▁Sache +▁speech +▁pick +ados +▁played +▁companies +idad +▁passage +下来 +こんな +▁weg +▁benefit +▁alt +▁War +退 +light +视 +▁economic +▁тут +▁edge +▁international +gue +net +晚上 +照 +医生 +▁Bar +ева +▁record +bol +ロシア +zel +屋 +▁fallen +▁tak +▁animals +超 +ż +ほど +▁تا +odd +▁我是 +▁kill +菜 +ක +ille +ación +ს +今日 +▁app +▁tone +cos +▁shore +▁balance +abo +▁إلى +▁dia +▁solid +ın +香 +勝 +思い +wed +ো +肯定 +zy +ری +ぐ +▁denken +ux +rang +kul +äh +▁spread +kar +ノ +ily +table +▁moon +班 +娘 +端 +ад +over +ua +эн +じゃない +昨日 +なら +wing +服 +die +ще +因 +▁için +▁sharp +tem +いく +▁без +▁jeden +sk +苦 +vad +eta +fre +시 +▁comfort +ப +mb +ɛ +ран +云 +回到 +▁understood +機 +▁الت +▁Haus +称 +树 +ガ +▁ihrem +▁های +▁можно +▁search +iko +тра +vé +费 +▁bag +られた +▁honour +经常 +▁tom +ría +டி +無 +▁casa +洗 +テ +▁bekommen +▁shape +必要 +rent +望 +▁fla +非常に +▁cover +▁даже +井 +員 +换 +▁kommt +ved +ちゃん +武 +是个 +▁exp +▁interested +▁prove +나 +qua +▁ben +全国 +▁believed +▁fixed +म +▁brave +law +▁surface +рэ +▁double +▁reply +場 +प +dir +ني +▁Daten +▁dress +▁Gefühl +от +pped +的时间 +▁song +some +▁sau +▁stock +▁If +मा +▁nó +ara +ย +▁laws +▁square +▁bru +ير +ここ +▁gehört +▁professor +▁emp +▁excited +▁لل +▁Unternehmen +stone +玉 +市场 +▁finding +▁sing +ith +▁environment +gg +▁schnell +enden +gera +最终 +刘 +▁popular +▁ont +▁ancient +স +联系 +asi +帮 +▁royal +右 +▁pie +став +身上 +▁leben +стра +▁seventy +▁parte +个人 +▁throughout +▁Fi +▁いや +▁ces +大きな +ер +▁smoke +求 +bri +基 +ນ +டு +▁markets +▁These +ため +▁lake +0 +▁bal +▁mere +接受 +▁driven +密 +登 +之间 +▁persons +▁người +▁explain +▁seat +▁putting +▁af +鱼 +мы +imi +ார் +▁pos +▁telling +▁час +▁其实 +▁بال +龙 +▁region +▁center +▁Ĝi +系 +▁walls +▁century +▁mor +▁mid +ว +▁club +nel +便 +▁pat +▁range +▁determined +ering +▁Han +▁prevent +▁author +ப்ப +▁sold +呃 +▁எ +音乐 +▁civil +▁bas +com +aŭ +黄 +▁accept +▁stage +din +▁narrow +▁foreign +ob +▁neck +害 +▁رو +▁issue +hor +解决 +发展 +tig +▁production +▁yellow +▁soll +证 +▁ladies +▁hurt +▁perfectly +▁fill +und +各 +tant +法律 +就会 +jen +杀 +ол +告 +их +▁german +▁你知道 +tura +跟我 +付 +▁plant +頭 +▁wel +ина +想要 +大会 +ِ +мі +вед +▁approach +recht +gas +▁access +▁St +▁familiar +▁Ce +去了 +▁proper +常 +▁tri +との +▁hotel +伤 +শ +▁Dar +▁learning +▁Ju +塔 +▁numbers +▁fan +▁bla +bin +ast +とも +rar +有很多 +▁stick +ual +▁hebben +gestellt +▁因此 +ী +pin +ත +▁students +対 +lli +站 +りました +投 +▁wished +▁paris +▁iki +▁offered +▁19 +关注 +▁cloud +тар +▁grass +城市 +سا +rec +ур +war +▁observed +▁هم +▁tam +ii +之一 +▁favor +れば +▁meinem +乱 +ته +▁confidence +▁agree +父 +女人 +cour +?" +でしょう +少し +▁som +twa +osa +ea +▁keinen +له +▁degree +▁который +▁beneath +秋 +▁était +فر +▁mental +▁Problem +work +場所 +tā +eux +biri +▁marry +微 +ün +ged +▁quality +▁Seite +ła +结果 +лись +▁firm +▁baby +奇 +ları +rah +▁clearly +▁oil +做的 +▁promise +▁roman +▁한 +gin +lid +伊 +チーム +れる +100 +ද +▁farm +▁человек +▁finished +ًا +▁darkness +ego +leri +lum +▁clothes +্ +60 +死亡 +久 +مان +цца +保持 +っと +迷 +俺 +▁produce +▁happiness +▁Elle +▁rule +▁کار +是我 +みたいな +▁playing +▁gas +列 +▁шестьдесят +节目 +たら +tet +uz +ane +▁تو +وم +को +家族 +▁golden +▁あっ +相信 +▁உ +▁rein +选 +▁scarcely +▁seit +你就 +几个 +友 +一般 +▁equal +▁knowing +回家 +tern +▁Ex +ச +役 +回答 +果 +▁management +▁lose +ール +ná +▁brand +▁sal +啥 +▁könnten +▁可是 +зна +▁opening +試合 +ター +人生 +morrow +▁drawing +デ +▁operating +▁bạn +▁profit +▁Gra +▁paul +让他 +rak +оч +glo +ette +ß +▁loss +▁stories +▁wine +▁sell +があった +电话 +hm +脸 +▁attempt +▁address +▁bay +uku +町 +▁leaves +▁courage +spir +▁media +▁leading +▁schwer +▁ses +的小 +▁efforts +▁soldiers +▁surely +▁San +hel +lip +rü +iger +▁Hier +ві +pot +电影 +▁är +▁passiert +▁Але +än +▁etwa +他在 +春 +ow +non +▁produced +▁flowers +▁valley +▁earlier +▁Ik +cie +人は +▁holding +▁eigenen +理由 +لي +▁Mr +▁sword +▁supply +bot +▁được +▁weight +副 +▁さあ +주 +网 +视频 +妈 +ி +▁check +▁walking +▁flu +連 +告诉我 +▁Europe +枪 +▁additional +这一点 +ls +▁pla +ிய +助 +pit +▁fra +因为我 +ena +ification +eau +ako +▁choice +による +骨 +бу +▁vain +自分の +▁decision +cing +▁如果你 +背 +▁Б +▁gro +라 +▁powerful +弱 +地区 +лан +陈 +きた +拥有 +東 +这样做 +▁welcome +▁recent +lam +残 +▁happens +▁structure +在这个 +fan +lit +وی +▁formed +▁han +▁speed +ddy +zione +▁meisten +ా +是在 +14 +狗 +lí +로 +▁gli +▁seek +一番 +组织 +rio +▁nation +tat +▁houses +▁travel +▁uz +▁тоже +▁bird +▁passion +▁directly +去年 +▁그냥 +である +ious +lı +mul +вод +▁basis +明天 +прав +▁Can +▁platform +▁як +aire +どんな +的这个 +cker +The +ists +治 +gna +serv +▁threw +▁dropped +▁divine +▁deze +▁그런 +这次 +んですか +读 +▁flat +ง +▁Buch +考 +ир +uza +考虑 +dol +න් +▁deliver +ак +vá +かった +는데 +▁شد +スト +」。 +mat +fully +ugu +hör +▁military +▁letzten +睡 +▁birds +▁sake +▁lying +ください +▁Fe +жи +▁required +▁existence +▁ничего +▁addition +横 +気持ち +▁contract +爸爸 +् +ள +バー +stu +из +bie +бе +▁passing +不了 +try +若 +▁ibi +▁declared +セ +唱 +▁Par +уч +▁конечно +▁эти +▁anybody +身体 +▁coast +aux +tum +きょう +си +▁cri +কে +▁내가 +ныя +▁available +rich +क +建 +18 +▁glance +▁track +▁unser +尽 +▁page +بر +ること +bl +良 +chten +mic +▁understanding +▁orders +▁practice +源 +су +带着 +▁seva +▁wichtig +vas +sin +三个 +bau +zwe +ole +kuru +愿 +人家 +stat +mond +こちら +she +▁你们 +▁william +▁caused +stein +▁christian +ible +ient +▁Mas +▁catch +cas +▁Wasser +▁guy +ction +時に +▁uno +▁vint +脱 +轻 +▁eighty +▁allen +封 +▁şi +▁host +▁fly +▁– +rate +rick +▁Д +gil +uko +▁bedeutet +▁hung +▁ears +▁prison +▁più +▁ф +▁двести +more +例 +▁muy +前に +▁text +▁centre +▁presently +熱 +情况 +▁wahrscheinlich +gle +ポイント +によって +▁Augen +вал +genommen +普 +อ +chan +gre +社区 +▁že +▁này +托 +▁curious +になります +ön +해 +▁larger +jar +▁этот +▁pel +ін +▁shows +▁voi +新的 +つの +geben +类 +夫人 +处理 +ket +▁instance +▁colonel +▁Okay +quer +ungs +▁net +▁indi +比如 +年前 +thi +错 +▁ре +すごく +nne +第二 +▁hath +자 +க்கு +及 +▁pr +这是一个 +首先 +igkeit +▁population +면 +▁pentru +了我 +cen +▁vision +的事 +▁accident +じゃ +▁matters +▁elle +解释 +返 +▁richtig +也许 +群 +व +极 +▁spoken +▁indian +▁kwi +▁coat +▁hearing +っています +▁gets +ざ +nic +级 +▁shown +▁هذا +▁hospital +kes +での +би +ロー +ी +▁officers +▁port +ais +一切 +ग +▁kleinen +▁statements +回去 +▁cro +刚 +▁Bei +데 +ative +▁gre +ним +19 +不好 +办 +乐 +沙 +▁shadow +ہ +▁fool +团 +▁今天 +vert +▁calm +担心 +bye +▁motion +stru +プ +現在 +▁ook +▁faire +▁aux +▁thin +▁basically +まして +▁shook +事故 +保护 +গ +▁henry +▁member +lis +▁thanks +▁aware +▁время +あります +されました +eri +▁opposite +ო +▁pocket +▁task +▁willing +▁successful +فت +秒 +▁bread +uw +চ +▁ama +变得 +▁tem +なので +▁trong +▁extra +▁religious +▁люди +▁strategy +▁Har +یه +▁remains +▁cousin +ус +▁إ +票 +挺 +などの +不用 +ぞ +▁fre +ですよ +‘ +游戏 +▁beat +ese +dde +而不是 +苏 +▁guys +▁Aba +▁central +最高 +それを +ches +jan +容 +▁officer +pic +▁wants +ched +▁related +▁bw +ふ +▁noise +杰 +▁possession +開 +lat +▁pure +そんな +▁Person +造 +▁nti +語 +▁otherwise +▁gray +▁carefully +▁sogar +産 +вид +一年 +项目 +ண +ග +▁thể +kom +ние +ด +個 +▁daily +衣 +▁comment +▁我觉得 +mek +ෙ +ors +咱 +▁10 +穿 +bat +▁areas +mme +vol +ś +▁pres +▁sum +防 +cause +ですから +ற்ற +▁stream +▁今 +▁были +手机 +段 +igi +▁ear +▁scale +▁activity +▁drawn +uh +▁smiled +▁Oder +出现 +控制 +pat +▁conduct +られ +istic +▁ninety +ston +▁surprised +▁са +▁cas +▁engaged +pie +▁你说 +▁Ent +nc +▁fate +動 +相当 +▁policy +你想 +▁Form +▁شما +あった +ரு +▁aid +▁bur +nar +▁repeated +▁jedoch +休 +▁throw +给他 +才能 +▁excellent +結構 +plo +▁event +▁Ben +ign +我们可以 +▁семьдесят +دي +▁больше +渡 +eh +▁apart +快乐 +али +改 +▁neu +▁district +ij +sed +男人 +▁gun +kte +lem +▁versch +应 +▁এ +يد +《 +▁ay +мер +様 +▁Ye +层 +▁fue +dat +饭 +ismus +kä +▁spite +▁dire +▁skin +▁castle +sz +hl +▁خ +▁bil +▁My +lig +▁digital +已 +▁dick +ும் +▁monsieur +▁species +▁О +iku +▁machine +愛 +▁reform +▁gentlemen +▁fur +16 +▁regular +ши +far +ु +▁mountains +▁fat +ć +ас +▁på +▁fruit +ierung +▁correct +直到 +分享 +▁difficulty +▁نه +こちらの +ি +▁Spiel +▁image +setzen +▁review +▁todo +▁getan +楼 +об +heim +ım +▁hoe +ï +ດ +вар +▁advance +放在 +dic +底 +▁reality +根据 +▁portion +強い +sor +ска +▁ausge +▁commercial +▁created +▁spa +不想 +tí +če +▁还有 +ela +ном +▁temple +同じ +ポ +▁anyone +姐 +▁보 +持 +▁keeping +udi +▁message +看着 +ල +数字 +row +یت +▁später +isa +并不 +上帝 +▁crime +▁forced +▁noticed +▁tired +▁choose +▁pieces +▁đã +想象 +ソ +place +活动 +▁creature +dom +▁union +茶 +父母 +更多的 +兄弟 +legen +▁wahr +25 +初めて +кой +fra +ques +anya +我说 +ник +没事 +ずっと +▁proved +▁plans +gh +▁legal +每个 +▁improve +لو +▁pride +▁bevor +午後 +组 +▁erhalten +▁знаю +ゴ +hy +▁عن +▁ту +▁كان +아 +大人 +nem +▁suffering +rad +楽 +▁Well +▁кон +▁duke +ダ +▁served +▁sol +ša +пи +我可以 +ys +ạ +yle +小姐 +▁dachte +fel +▁obviously +再次 +▁suit +▁fully +▁frank +作品 +▁Kar +ピ +性的 +kim +双 +こういう +▁bridge +pus +mont +▁eh +除 +▁res +▁mention +▁sounds +されている +ێ +有些 +限 +情報 +▁لا +its +▁blow +精神 +做了 +▁été +▁然而 +▁だから +nye +kwa +▁peculiar +ore +▁burst +▁planet +▁faint +▁jemand +样 +сто +伯 +▁nineteen +▁tur +▁asking +▁pounds +▁bringen +んですよね +▁allem +的工作 +bona +ري +▁starting +明白 +ヤ +▁press +款 +▁avait +▁pray +圣 +可能性 +▁gij +紧 +▁height +女孩 +告诉 +nova +kir +eɣ +梅 +parti +▁bereits +▁att +▁අ +wel +▁david +▁Thank +▁measure +▁date +▁진짜 +▁nom +fru +痛 +stro +gt +引 +てる +hood +নি +dal +▁forma +我也 +余 +ิ +▁servant +结 +ங்க +fle +▁stranger +ву +wana +17 +▁Frauen +▁blo +ric +▁Tom +auf +ней +▁enjoy +料 +書 +한 +してる +▁Unter +▁moi +wie +nni +他说 +▁Nu +▁names +ult +▁provided +▁breast +vez +政策 +▁palace +となる +大约 +ल +লে +▁costs +▁tap +тан +amu +男性 +而且 +▁devil +▁freedom +▁charles +ھ +存 +▁authority +bone +mble +▁defend +▁hoch +pens +▁бар +▁reasons +しい +业 +▁Sam +▁sechs +ません +▁fancy +▁fashion +毒 +ос +▁intention +▁alive +倍 +py +静 +今回 +▁pair +设计 +▁impression +儿子 +ör +▁sex +伦 +ellen +▁cyane +▁desert +▁gentle +认识 +▁bell +ۆ +잖아 +ала +多少 +压 +都有 +▁style +ṛ +▁forms +▁anxious +▁teach +哦 +词 +▁Pu +更多 +vent +的生活 +▁genug +怕 +很好 +род +voll +▁sup +▁Menge +假 +方向 +mark +▁circle +▁weit +▁тебя +ddi +cul +自分 +▁twice +তে +政 +قا +▁ordered +▁gla +▁mer +▁honest +▁сказал +のお +▁Zi +▁stra +▁possibly +▁angry +▁س +▁council +sol +loo +dam +▁vida +能力 +gara +ši +▁brief +▁کرد +eln +基本 +▁лет +ró +打开 +▁20 +犯 +nik +br +▁leur +▁gy +mine +ration +uli +▁ocean +▁origin +▁Sant +▁З +▁geen +icht +英国 +▁patient +▁ordinary +▁bent +ැ +▁british +alt +▁ای +▁importance +▁qua +▁són +喜 +vie +▁яго +多くの +▁legs +ство +ния +kins +▁university +long +▁вопрос +▁eigentlich +▁юм +▁hören +好吧 +shed +lijk +rag +姆 +令人 +인 +结婚 +▁rising +дер +leid +▁Vater +▁culture +▁或者 +▁tongue +▁murder +els +はい +200 +当中 +▁Kopf +arm +▁somewhere +▁volume +▁heads +ega +▁qual +▁với +گر +nnen +清楚 +▁safety +halt +▁ganzen +কা +▁zo +ades +支 +pend +同时 +嗯 +스 +▁Mutter +激 +選 +تی +сть +ví +pet +▁problems +▁agreed +▁physical +▁investment +内容 +▁truly +gus +wal +▁row +わけ +ि +▁security +iĝis +hab +ээ +▁fe +▁тебе +ology +▁hate +▁shoulder +▁forgotten +ord +▁breakfast +▁rode +пла +▁seventeen +▁那你 +▁taught +▁ему +你是 +▁roof +vir +▁aim +▁cook +迫 +tä +▁med +▁mistake +▁promised +▁много +▁dance +运动 +▁сам +▁Cha +されています +pun +ود +▁China +ыш +▁join +še +geb +感谢 +▁versuchen +▁waited +elijk +▁exercise +▁roll +ight +uda +▁ability +▁anne +rou +▁altogether +▁dare +izi +▁remembered +plan +息 +нов +氏 +гүй +люб +主要 +▁Jetzt +▁kor +▁би +▁calling +fl +▁làm +▁Ch +lent +▁fingers +▁dangerous +சி +▁weniger +▁hart +不可 +▁feelings +аль +▁Tra +▁kuri +▁target +வா +ていた +▁потом +old +三十 +▁tent +▁salt +part +质 +jn +けれども +▁failed +这不是 +▁glory +ule +每天 +از +▁восемьдесят +永远 +▁chose +uit +▁そう +اق +▁бу +曾经 +▁streets +汉 +கி +▁specific +nje +▁wil +раз +関係 +any +を見 +▁вообще +tch +▁terror +tausend +すること +一位 +税 +▁bist +ға +跟你 +▁empty +lief +景 +▁helped +▁method +▁james +刚刚 +▁vielen +zon +uni +bili +jā +stellen +▁rot +▁quietly +bon +ねえ +▁famous +pping +パー +rim +社 +gor +▁drop +一条 +▁fil +▁auto +调查 +urs +▁express +zig +▁grant +ziehen +▁active +都会 +消 +▁wear +▁после +bal +婚 +亮 +▁байна +iye +▁пре +য় +▁princess +▁limit +后来 +万円 +ld +▁ха +ło +▁wij +生命 +keit +の中で +ائ +▁ச +▁bul +探 +▁Für +▁kingdom +cke +▁series +▁sufficient +越来越 +▁busy +▁grown +бор +13 +有一些 +▁Мы +▁aussi +tika +企业 +▁các +行动 +▁issues +wert +bus +▁rapid +зы +告诉你 +ூ +▁Za +▁شده +▁такой +赛 +eli +もある +rz +▁delight +▁sang +なんです +▁struggle +堂 +在我 +▁online +▁그거 +tori +▁explained +ño +軍 +про +▁fault +aw +▁deg +প +ім +rom +▁ended +▁guide +目前 +ート +▁signal +▁heat +či +▁flow +日本の +▁そうですね +phy +nin +念 +旧 +tto +▁aside +▁gr +û +ium +▁그래서 +▁liegt +散 +▁És +▁potential +▁yesterday +▁rights +▁девяносто +▁false +gia +医 +يل +nze +違う +▁pré +▁sorrow +▁highest +医院 +sp +されて +▁hinter +▁Wer +kā +▁extremely +▁Dia +▁experiment +Laughter +иться +▁judgment +网络 +▁exact +▁сегодня +اف +▁fel +▁hell +你说 +aya +绝对 +▁dev +▁verstehen +駅 +▁listening +おいしい +第一次 +的孩子 +▁strike +▁connection +▁sentence +▁income +赤 +居 +ล +▁European +▁kuba +▁pou +▁greatly +▁Па +房子 +▁described +ского +したい +ກ +▁klar +▁recently +萨 +▁priest +旅行 +ి +▁margin +ое +▁pressure +▁touched +▁trial +haus +▁separate +▁network +▁refer +وي +était +tle +▁fix +▁previous +▁sides +요 +出了 +降 +▁companion +uf +uff +спе +洛 +dio +▁때 +▁Fragen +真是 +▁vers +▁де +那种 +▁older +▁disease +▁почему +大的 +▁angel +lá +нем +▁zehn +▁beim +進 +▁settled +হ +oso +ude +▁gay +rung +▁ride +合作 +▁grande +ются +horn +cies +▁becomes +ym +剧 +pla +置 +からの +দ +tom +你要 +▁eleven +▁When +bs +▁людей +▁meer +یا +ْ +▁map +▁gleich +▁apparently +▁naturally +ства +ҙ +那是 +gun +دی +很难 +来的 +▁sage +ime +▁onder +英 +▁гор +▁Prozent +致 +ming +▁superior +aus +tă +▁имени +sem +游 +ウクライナ +▁Lebens +即使 +▁hun +▁intended +▁philip +lio +▁sixteen +сон +▁involved +ыя +эд +ился +▁liked +▁capacity +诺 +まず +轮 +▁vie +▁Ci +iste +wand +ана +▁interview +▁troops +▁Auto +eye +antes +лась +▁même +ées +▁belief +້ +一家 +gem +cara +າ +nal +▁него +▁title +nge +我们将 +参与 +你能 +机会 +除了 +产 +amos +▁bald +▁release +▁corn +谈 +粉 +创造 +親 +冲 +でしょうか +▁ice +▁مت +▁driving +▁stars +щ +rry +▁student +hundert +▁highly +展示 +止 +▁vote +▁shop +ht +nehmen +ande +нд +▁operations +eller +inde +ash +ек +lot +ruh +ա +▁career +ct +▁definitely +▁chamber +▁argument +▁happening +tier +fr +phi +bes +晚 +гийн +▁sans +讨论 +ono +▁admit +抓 +ましょう +olo +zwa +料理 +ila +▁ap +той +収 +ε +▁avoid +burg +▁thrown +vä +実は +校 +ив +によりますと +▁todos +▁contra +架 +▁aller +整 +やはり +▁flo +富 +▁suffer +▁shoulders +认 +▁minister +▁Th +gro +ès +▁match +▁ந +tud +滑 +▁bereit +spiel +tür +俩 +期待 +▁concerned +弄 +▁windows +一定要 +ийг +▁harm +▁cup +ori +hora +末 +বে +ज +ario +▁thousands +▁kennen +тур +লা +▁pointed +▁nay +▁His +get +▁ideal +下去 +它是 +ži +箱 +sing +rd +80 +▁fairly +▁standard +▁ее +只能 +▁nose +的故事 +lus +kal +iamo +▁spiritual +▁해 +▁Pri +田さん +dale +▁carriage +яв +رس +▁verwenden +▁kinds +要是 +▁Gott +呼 +tten +块 +▁loud +▁helfen +▁joined +▁себя +▁bro +吃饭 +▁kid +索 +하는 +报告 +vit +可能是 +▁novel +tain +县 +不管 +▁weitere +gam +ejo +anza +stri +▁claim +reich +▁excuse +த் +வு +复 +叶 +就在 +▁fighting +▁mari +пу +▁ones +▁temps +猫 +▁affairs +gwa +ust +kana +▁wealth +症 +重新 +▁useful +dé +百分之 +▁presented +▁flight +鲁 +kam +灯 +▁grey +cut +▁пад +记 +每个人都 +cz +▁papa +ique +▁fri +rik +できない +▁mix +lock +▁loose +ность +fort +▁Cor +بي +▁niemand +ян +▁cuando +▁prayer +▁faces +pad +bare +歳の +▁debt +▁evidently +abi +▁unseren +▁möglich +まあ +▁suggest +付け +pha +ща +动物 +▁woods +का +你不 +▁Х +vien +▁pull +▁develop +当你 +▁cruel +▁そんな +ità +igung +借 +したら +▁anders +▁ف +بل +மா +令 +dus +因此 +市の +になりました +▁indem +▁Regierung +▁الح +▁average +时代 +شر +▁native +速 +ked +▁ange +▁خود +▁X +▁아니 +▁tin +ි +tü +梦 +hau +ила +тал +愿意 +▁worst +por +வி +じゃないですか +続いて +თ +bwa +wick +ssa +▁lack +表示 +▁considerable +▁нужно +olu +hn +志 +▁trail +ace +rup +▁dogs +勒 +ath +▁suggested +▁torn +パン +▁nos +▁pal +程度 +也有 +ify +▁bid +mwe +eix +慢 +▁raz +ụ +都在 +tent +▁пока +父亲 +贵 +haft +条件 +ск +र् +▁Dan +注目 +▁arbeiten +lichkeit +是谁 +bas +▁gate +▁மற்றும் +▁male +uel +нь +▁dabei +▁sought +▁raise +ters +elles +▁какой +それで +▁이제 +▁gain +的想法 +▁bodies +book +▁wohl +▁それは +ゆ +hind +ыр +▁constant +明日 +▁heb +▁好吧 +威 +心里 +وت +▁sacrifice +然 +▁Männer +普通 +▁labour +产品 +ете +▁bekannt +分析 +込み +看起来 +とき +莫 +▁refused +占 +gé +顿 +comp +しない +▁slightly +▁хорошо +道路 +▁fail +しっかり +▁sheet +招 +▁source +▁Meinung +▁dot +▁Dank +经 +sign +是你 +ening +ум +▁birth +▁també +bury +コン +▁hills +顔 +ui +▁rapidly +▁pur +▁becoming +我知道 +谢谢 +盘 +▁saved +kken +hang +▁поэтому +▁bringing +谢谢你 +▁Nicht +mia +▁tender +▁showing +дел +える +以来 +pal +也没有 +ской +▁computer +নে +ギ +▁virtue +曼 +▁nehmen +ره +硬 +▁unknown +▁tradition +fon +cr +ws +なる +▁finger +▁advanced +inte +мат +句 +сэн +▁Film +到底 +avi +▁papers +▁governor +trag +▁upper +就可以 +▁じゃあ +cé +produ +кам +▁Post +▁audience +たち +anga +切り +با +▁extent +▁peut +▁pin +なぜ +halten +▁solche +▁gift +▁э +endo +側 +▁neuen +லை +▁pity +▁theory +sal +提出 +▁Em +▁¿ +▁alte +場合 +▁division +历史 +▁everywhere +iva +70 +▁Bir +들 +なって +pli +北京 +ization +沉 +▁çok +▁praise +▁cities +term +yer +▁Des +▁Vo +▁portfolio +▁Tre +これから +று +会社 +价 +▁первый +▁dressed +▁Auch +punkt +ел +教授 +▁servants +建立 +▁charm +▁nächsten +▁cell +▁System +ベ +靠 +育 +зи +стр +cept +хи +▁See +▁talent +▁Idee +wir +▁où +你有 +right +ál +魔 +▁кор +射 +▁trip +▁established +ül +▁sua +▁features +▁الس +▁distant +至少 +▁rome +▁Punkt +▁kitchen +ced +ets +都不 +stellung +▁wake +yl +具 +ецца +▁advice +ешь +xa +国内 +なんて +▁quarters +坏 +ibi +না +折 +一百 +▁gewesen +▁occurred +esa +эх +▁Hause +kus +結果 +刀 +ér +▁respond +満 +▁reflect +phe +( +ır +▁moments +▁Park +isten +ワ +ේ +▁yr +▁beg +▁аб +کن +▁mode +▁ذلك +jou +▁forces +家里 +ised +▁committed +▁hy +▁Г +是如何 +ña +zza +判断 +mber +その後 +▁announced +▁Tri +▁quatre +▁bought +дар +уд +ности +空间 +立ち +cro +核 +怪 +刚才 +▁думаю +ständig +main +▁robert +▁discover +ара +▁pace +▁guidance +раб +▁include +業 +▁kiss +mbe +藤 +▁pulled +▁había +▁بعد +cions +言葉 +▁Gesicht +بار +nell +▁darin +сі +恶 +lf +▁teeth +▁How +▁пе +ej +を受け +活動 +▁lamp +24 +▁smart +▁leg +ீ +礼 +rac +▁lovely +pose +きます +বা +த்து +总统 +都没有 +зе +ает +所有这些 +▁card +▁jane +警 +▁facts +dur +▁ankaŭ +▁我就 +mir +身边 +▁sunday +投票 +▁prefer +ră +黒 +ema +▁detail +▁shame +▁oli +電 +마 +▁fut +str +主义 +ож +▁block +บ +▁Cu +世纪 +番組 +航 +▁هذه +▁frei +▁этой +ře +▁closely +▁intelligence +▁erst +卫 +意识到 +ì +▁hang +mma +▁hearts +▁leicht +▁drove +app +nga +нос +支援 +ske +厚 +▁bud +▁அவர் +▁One +进来 +▁afford +back +▁zal +什么时候 +▁whispered +現場 +▁medical +旅 +真正的 +pra +être +kor +▁pop +建议 +tı +増 +ico +▁Warum +▁போ +▁protection +▁details +▁Ol +▁milk +搞 +顶 +eza +いろんな +▁comfortable +ことは +▁Ob +论 +▁section +属 +oon +▁department +ат +▁다 +博 +▁gathered +证明 +▁existing +ން +게 +von +尾 +izing +▁affection +かなり +ech +▁metal +▁liebe +蒙 +sko +ここで +他是 +ür +pé +势 +▁dozen +фи +影 +тро +最好的 +▁secure +lab +▁extraordinary +▁anyway +▁cosa +▁listened +货 +sus +▁brauchen +▁slight +nta +▁Namen +ますね +▁conclusion +▁female +нее +سم +抗 +пол +tos +▁gene +观 +▁laughing +▁represent +▁manage +鬼 +▁syn +▁solo +▁crown +▁handsome +▁Pre +town +▁Video +领 +▁ở +▁heeft +我们有 +延 +▁bitter +▁carrying +一会儿 +▁daha +我有 +▁„ +感情 +▁nurse +ు +胡 +▁smooth +▁iran +▁él +運 +経済 +▁indians +是为了 +sicht +位置 +eḍ +▁donc +▁больш +▁Hal +მ +nek +象 +▁treatment +我已经 +っていうのは +medi +ත් +▁অ +டை +なんだ +ப்பு +▁consideration +▁த +制作 +тэй +tions +不到 +▁appears +ong +дал +的一些 +fini +▁Wissen +▁当然 +今回の +▁developed +宫 +运 +▁careful +新闻 +▁obliged +ế +▁projects +もっと +▁treat +kh +ŝ +ের +▁discussion +▁clar +▁sự +べ +▁về +zie +思考 +▁reward +环境 +ヒ +▁П +kö +▁дело +参 +ボール +гі +冬 +ente +▁resources +▁வி +▁второй +日に +네 +ència +cks +şi +ා +▁independent +▁professional +さらに +▁Is +地说 +各种 +blick +пе +▁staff +▁Raum +iyo +铁 +是因为 +zan +十分 +▁role +阳 +引き +▁тогда +pl +ティ +▁rough +举 +່ +冰 +▁nta +▁jest +▁focused +▁drug +▁mighty +記録 +▁ප +द +fli +aha +ctor +bor +ên +bank +日の +az +ो +▁Q +了吧 +▁transport +hält +▁lies +▁wow +▁schools +wit +▁reg +▁smaller +それは +最大 +▁Woche +▁кол +rap +想到 +ን +▁systems +▁mé +ball +あれ +なかなか +幸福 +cion +のに +▁response +tá +▁compared +▁Mon +▁imagination +▁pare +是吧 +ค +رف +▁200 +nyi +做出 +рав +▁louis +ppen +曾 +会有 +▁realized +каз +▁Wort +▁Chris +▁artist +ção +くる +▁element +sho +▁sieht +归 +说了 +gl +este +تا +ý +gate +einander +dí +ciones +随着 +ต +欢迎 +年代 +uga +岛 +独 +nom +nken +げ +职 +▁kurz +▁permit +尽管 +▁organization +vier +ère +▁extreme +危险 +ژ +fold +▁training +现 +hat +寻找 +▁spr +ings +▁University +行为 +カー +▁Dollar +▁incident +mbi +gon +塞 +▁David +▁instrument +▁hal +star +▁questo +▁rare +でしょ +价值 +▁Schw +嫌 +▁cop +ã +უ +▁organis +把我 +▁Neu +யா +られて +▁cya +ität +▁leader +歩 +仕事 +▁smiling +▁まずは +imo +▁Kind +бер +ం +▁beide +peri +受到 +暗 +▁contrary +▁saint +▁deine +▁treasure +llo +▁hidden +ierten +iyor +▁patients +状態 +▁mess +▁unbe +▁skill +nza +▁eso +▁joe +▁principle +示 +▁realize +领域 +▁EU +▁relief +▁ain +的歌 +يت +▁Pen +ちゃんと +▁arab +فا +مر +▁Che +lim +▁succeeded +pos +▁fleet +wind +өр +同样 +▁measures +豆 +公共 +▁actions +▁temper +жы +▁不过 +һ +▁gan +ayo +ってる +▁carrer +▁liberty +রা +▁ئا +▁setting +оў +ट +▁protect +藏 +我是说 +▁colour +▁более +刺 +▁function +blo +▁estate +▁invest +sid +▁families +▁Sha +ыл +ун +▁wore +nat +▁steht +同意 +劳 +ppe +▁falling +必 +私は +委 +简单 +▁suffered +に対して +тэ +টা +随 +▁Sp +▁frequently +hol +▁somehow +不可能 +十二 +▁partner +itude +▁flesh +▁powers +اع +你看 +▁olarak +▁ships +500 +cus +』 +▁yi +اه +▁ج +唯一 +ист +▁stellen +有时 +▁campaign +uje +『 +▁solution +aron +上了 +ubu +ery +shy +ydd +▁nevertheless +投资 +▁overall +床 +対応 +▁affair +我不 +▁awful +▁Europa +▁như +▁stark +▁begann +▁Recht +▁picked +▁Ihrer +kazi +基本上 +说的 +bia +▁accepted +▁sp +▁request +фе +▁Freund +ency +功 +vari +shaka +▁favour +▁direkt +▁euch +ක් +▁plenty +▁ĉi +有了 +unt +ём +等等 +▁businesses +▁seized +もあります +dien +ów +▁grim +特に +不过 +▁glauben +hal +▁kra +üh +▁conference +▁zeigen +▁motor +▁пера +患者 +юць +▁peu +▁thế +以为 +薬 +sey +产生 +▁faithful +▁satisfied +fic +spect +yor +lly +▁dust +▁dreadful +即 +▁하 +私の +▁うん +▁jim +▁pet +套 +一直在 +에서 +▁funny +viv +股 +weg +cs +▁expressed +▁مو +累 +上げ +mara +▁foundation +аны +ont +▁tip +gul +وس +職 +把他 +さんに +uv +にして +▁Sal +▁remarked +ここに +▁appeal +pel +dul +ं +▁meal +▁Internet +▁bob +▁fields +前の +生物 +▁possess +▁soldier +эт +つけ +▁horror +▁alla +лет +変 +んだよ +▁kal +你也 +veni +还没有 +cri +贝 +می +当我们 +лар +ome +洋 +дан +▁воз +▁ක +gie +吸 +预 +▁excitement +▁거야 +是一种 +▁contact +▁rules +両 +▁mac +▁negative +▁Ist +敢 +▁Гэта +▁connected +▁universal +▁Gar +▁irgendwie +pil +▁majority +▁destroy +▁Los +蒂 +hod +我去 +prob +kol +がありました +▁Den +ோ +▁sé +▁relationship +со +▁bore +▁lifted +编 +tory +▁Körper +▁fu +▁whenever +かもしれない +▁sprang +வே +と思う +了一 +cat +▁我要 +これを +top +汽车 +зі +害怕 +90 +▁iyi +▁With +▁şey +▁qué +▁emperor +▁lock +oh +▁Và +▁flag +▁Reihe +结束 +▁tail +▁pardon +ians +ред +▁proof +▁fal +▁protest +▁parties +地域 +死了 +rian +你必须 +яр +▁rid +▁amazing +kas +మ +nig +袋 +Z +▁hello +ட்டு +ké +кова +▁challenge +但我 +сад +▁Pan +act +isto +我没有 +زی +▁savage +tisch +▁Angst +▁spo +丁 +mise +弹 +我都 +可是 +▁prior +だって +▁West +▁adam +▁nest +我还 +▁resist +▁Antwort +▁rev +▁수 +▁mot +Y +▁இந்த +▁decide +▁wondering +▁phone +▁所以我 +境 +▁crossed +down +疑 +▁radio +母亲 +印象 +▁Saint +▁те +mobil +▁wisdom +▁để +战争 +nna +▁anger +ップ +▁flower +▁Familie +kli +▁zei +مل +▁Не +rze +▁screen +aniran +ington +▁کو +▁frame +食べ +ktor +ange +kü +"" +露 +▁đi +▁occupied +ả +▁それでは +nit +翻 +▁despair +▁washington +five +人に +務 +和你 +▁kunnen +ров +▁demanded +里的 +ose +的名字 +uti +天气 +col +シャ +▁Liebe +бай +▁dawn +烟 +colo +做什么 +▁schi +最初 +▁statement +دار +nam +نى +させて +商品 +까 +band +杨 +position +tage +土地 +▁gerne +▁ghost +谢 +▁пол +▁fundamental +▁managed +池 +治疗 +duc +▁Ihren +人员 +▁enemies +eurs +▁School +▁kur +▁rank +ель +nah +なんですが +fern +▁yer +衣服 +凯 +▁communication +▁agreement +▁marked +treten +ெ +tti +▁Son +бра +共同 +赶 +みたい +▁一方 +▁increasing +य +니까 +▁Let +▁removed +وب +浮 +発表 +有没有 +をして +▁dying +▁slave +关键 +▁remarkable +进去 +▁Krieg +権 +dzi +tó +iş +▁Het +▁теперь +▁supper +▁ari +ஜ +▁cow +न् +他们在 +年の +▁improvement +▁mistress +计 +舞台 +团队 +ු +面前 +ered +▁equally +▁суд +▁jak +iem +▁violence +بی +▁strategic +▁burning +öl +没有人 +今の +くらい +▁шу +liegen +▁très +▁schien +▁However +▁mü +などを +▁poet +▁الك +▁bishop +▁clo +▁deck +お願いします +▁baron +▁Mor +stig +有多 +▁farther +皇 +课 +恋 +кая +ень +▁primer +的声音 +人民 +▁말 +▁regarded +▁Spe +你好 +值 +▁groups +▁asleep +尤其是 +▁Э +組 +пом +▁kom +戴 +▁effective +ት +stin +sky +▁mile +▁verschiedene +▁Alle +யில் +机构 +如果我 +ında +の方 +聞いて +▁educa +jas +▁code +▁kas +▁Cap +stellt +▁Ste +chter +テレビ +▁generation +坐在 +秘密 +од +もし +▁wedi +роз +พ +vita +▁sprach +▁dengan +▁cab +▁describe +▁route +ಿ +▁weißt +▁nahm +ед +いない +▁좀 +grad +▁esto +원 +▁calls +务 +▁deeply +că +انی +▁continues +னை +オリンピック +了很多 +▁meat +お前 +的大 +bul +thy +先ほど +ngu +▁gew +uba +▁pack +сты +wyd +丸 +▁arch +▁播放 +怀疑 +了你 +weise +ага +آ +▁topic +oz +ган +▁herum +看见 +和我 +▁Amerika +移 +▁behold +schau +这个人 +▁inner +营 +▁import +angle +rice +▁capable +гла +女儿 +▁nervous +▁Kra +介绍 +▁flying +熊 +▁hacer +▁chain +唐 +▁minds +がない +whi +妹 +混 +tische +姑娘 +mah +▁acht +▁будзе +地球 +▁أو +▁innocent +gui +run +▁Men +vě +▁software +ffer +背景 +ific +らない +bet +களை +تى +宁 +▁begun +uzi +▁levels +vă +年轻 +▁yield +lap +よりも +▁Informationen +▁بی +▁spirits +▁alarm +▁проезд +▁machte +▁explanation +对我 +不仅 +▁jam +zone +▁younger +র্ +优 +لت +гал +toj +▁hide +▁buried +マン +攻撃 +▁worthy +希 +吹 +▁Commission +▁konnten +ा +▁gods +tors +lama +▁aspect +▁eene +このあと +dum +那样 +▁pred +ison +org +并且 +▁rear +ரா +具体 +▁wave +加入 +клад +▁complex +你现在 +▁Arm +を見て +loc +▁southern +▁mayor +ງ +gs +тель +▁doors +лә +▁citizens +麻 +眼睛 +▁forgive +نت +▁evident +事儿 +人で +帮我 +வை +▁commission +▁site +自身 +▁included +igt +宮 +莉 +不太 +莱 +▁unique +setzt +▁अ +第三 +▁sons +展 +▁dull +pass +▁我说 +▁bottle +容疑者 +▁dari +▁الع +wydd +▁verschiedenen +▁bull +一只 +▁stehen +関 +っていた +▁کا +▁чего +pers +ν +ступ +anda +高い +তো +worth +你还 +▁dim +▁tower +▁millions +▁satisfaction +▁effects +▁rates +▁gener +表明 +▁虽然 +灵 +전 +kuwa +叫做 +下面 +▁cheer +من +کر +领导 +变化 +عد +正常 +第一个 +▁clever +▁treated +▁divers +water +lös +ő +▁rocks +路上 +▁necessity +もちろん +的一部分 +licht +ingly +ۇ +我们会 +yard +了他 +аг +▁ново +oka +▁zero +▁fund +▁Natur +接種 +ridge +▁pipe +老板 +قد +▁figures +丽 +vant +在哪里 +maze +だけで +替 +lah +▁edward +▁shade +人間 +乡 +在他 +nim +ĉ +备 +それが +新しい +▁friendship +oi +ホ +你这 +nud +▁liber +▁sheep +▁вер +▁pictures +义 +▁election +bung +gira +▁Tur +эм +alo +▁attitude +▁них +jes +橋 +▁conscious +že +▁proportion +▁ruin +cil +▁себе +cyo +其他人 +▁document +▁western +▁oo +ез +▁economy +▁twee +cient +ư +▁palm +gua +elli +ств +と思って +raz +▁execution +視 +麦 +ными +▁entrance +食物 +кт +▁manifest +ци +▁perspective +▁nations +▁ху +lea +anti +▁Bre +▁plate +▁desired +ço +ペ +▁alten +▁الب +▁expense +女子 +そこ +vou +目的 +坚持 +▁tiny +voir +▁allein +▁confi +шел +导 +ります +tica +▁gradually +▁Chi +cial +▁pli +壁 +▁mem +tab +会议 +wis +ış +私が +▁smith +一人 +▁obtained +في +▁relation +▁grup +▁gaze +رب +rous +していました +か月 +彩 +rk +许 +hä +▁tour +▁giant +▁perform +いや +▁lad +▁triumph +▁finish +oku +ニュース +艺术 +▁бер +席 +▁всех +やすい +hung +▁mí +jí +▁sail +▁require +▁core +▁einzige +調査 +рам +马上 +▁сказать +影響 +▁wounded +griff +大哥 +▁Tür +完了 +▁Ziel +一场 +一旦 +gent +▁untuk +▁criminal +nny +企業 +▁revolution +还要 +▁mystery +▁mercy +aban +▁constantly +cli +▁teaching +taj +shobora +rod +cast +roll +▁teacher +итель +ologie +bly +▁update +僕 +▁acquaintance +休息 +今月 +▁article +挑战 +▁эта +▁bisschen +某 +▁あの +fri +照顾 +酸 +▁nói +وق +▁sul +▁visible +▁instantly +gegangen +▁dei +▁それ +▁значит +▁versucht +対策 +▁работа +өө +▁через +▁Ed +测试 +护 +year +というのが +▁counsel +сла +ҫ +ですけど +接下来 +▁你看 +難しい +▁tres +实现 +▁триста +last +按 +觉 +宗教 +▁Plan +کی +这么多 +确定 +悪 +▁letzte +ец +▁violent +▁knees +▁knight +在我们 +如果我们 +isha +aria +ını +▁пу +21 +gru +▁nel +▁crack +് +因为他 +ttle +▁splendid +▁richard +▁Mont +▁brilliant +▁assured +script +对你 +rel +▁mill +sca +imu +減 +▁jede +▁какие +责任 +apo +▁être +▁az +补 +就是说 +▁earnings +新たな +▁fragte +ვ +▁necessarily +tiv +▁wit +▁critical +▁harry +一张 +gol +赶紧 +潜 +ではない +cou +一緒に +▁confident +▁lag +本来 +ew +In +лася +言って +建筑 +ާ +上がって +▁multi +ically +▁turns +惊 +ию +▁website +よかった +▁worship +▁unable +▁throat +ӱ +▁grief +lement +ここから +مي +▁relations +iɣ +▁كل +ière +额 +▁published +纸 +dina +▁vis +umi +▁suspicion +陆 +test +▁دارد +ўся +▁sẽ +▁Det +也会 +dad +eten +▁petit +در +জ +我们要 +▁darum +▁maintain +▁director +▁الن +غا +这个问题 +馬 +我很 +aja +▁Paul +库 +fy +▁official +rí +▁delivered +▁cart +▁goed +上面 +▁schön +▁prisoner +enga +让他们 +▁universe +挑 +▁rooms +оп +▁bija +аць +站在 +pper +ایی +▁оста +▁regret +▁differ +▁나는 +даг +▁Col +んですけれども +ene +ந்து +这儿 +トップ +▁mat +言う +▁puis +tail +だろう +▁実は +来到 +起こ +▁tal +▁objection +▁Not +üm +▁reden +我自己 +经历 +▁midst +▁admitted +▁እ +耳 +▁نمی +にかけて +ится +▁threat +ás +▁stronger +ingen +考えて +ხ +كم +Т +▁county +zem +▁halten +遇到 +eff +聊 +▁worry +错误 +fla +观察 +fte +▁proposed +免 +▁hence +▁attend +لة +ume +▁cada +▁nearer +▁Mädchen +联 +大事 +甲 +lassen +өн +▁такое +▁roz +の中 +▁guns +ик +ট +cade +牌 +岡 +▁description +▁Ка +▁lots +ないと +▁web +男孩 +▁잘 +最大的 +اند +争 +▁adalah +рад +▁concerning +▁singing +▁blame +lè +▁affected +▁folks +▁verwendet +kira +ા +fas +▁shock +▁さらに +容易 +ick +日本人 +ously +你自己 +▁possessed +mittel +▁cabin +бі +▁liberal +▁我认为 +▁stones +根本 +缺 +▁engine +graf +vat +▁vice +▁plants +变成 +dung +录 +lerin +▁Bro +唔 +▁mc +dü +▁бул +▁changing +▁scientific +ท +▁immense +▁val +zug +▁sport +▁largest +über +lk +▁magic +▁гар +meter +届 +gger +ე +笔 +▁私は +▁absence +京 +▁absolute +▁дела +லி +cons +媒体 +▁пи +这件事 +原来 +▁wy +丹 +قل +aries +▁Kan +▁conflict +تم +对吗 +府 +▁над +ischer +園 +▁brothers +しく +oth +னி +▁proceeded +▁sem +nak +▁intent +▁کند +▁disappeared +只要 +ово +bag +chte +▁govern +ugh +きのう +秀 +yar +▁mortal +停止 +▁voices +之间的 +▁nächste +ディ +▁Au +▁rue +گی +ප +zz +▁bleiben +▁لم +▁favorite +pak +zähl +▁hoped +▁Nein +▁mae +なり +声音 +▁seated +дет +▁bold +meye +▁affect +▁tempo +ે +▁soil +乔 +宇宙 +ह +镇 +骗 +یک +▁мар +暴 +aan +▁waters +中で +ั +ucht +мет +▁awake +elo +▁expectations +▁sieben +знач +মা +としては +撃 +工具 +usa +记录 +일 +▁arrival +atu +在这 +▁Que +▁hole +ffe +港 +▁coffee +選挙 +gleich +▁studies +幅 +▁gente +嘴 +komp +▁wusste +tric +▁library +增加 +nzi +▁delicate +▁domestic +mina +▁scheme +▁перед +rö +bild +▁profession +▁experienced +▁jedes +▁interests +后面 +▁Kom +经过 +▁elizabeth +enda +プロ +▁vessel +hold +▁eating +▁quando +czy +abil +merk +▁remind +盛 +▁channel +▁Nacht +▁না +有个 +也没 +意思 +▁link +▁تر +▁numerous +zt +のある +今後 +bun +نگ +▁recognized +▁scheint +▁الج +这就是 +рын +▁custom +▁mundo +▁occur +nau +的原因 +所以我 +lect +сці +そうな +▁vez +行业 +▁bath +▁Gehirn +ax +由于 +描述 +▁pol +陪 +▁silk +ort +▁crew +▁Wi +bt +▁frightened +▁всего +现实 +dies +娜 +ザ +▁seines +たくさん +▁えっ +▁hor +我不知道 +▁Bereich +▁ceased +湖 +爹 +▁israel +▁wondered +▁objects +是我们 +▁prime +丝 +▁apartment +▁steel +▁ещё +ただ +我相信 +▁resolved +▁Nor +▁Bur +固 +Al +洞 +▁更に +中央 +舞 +▁china +▁cert +▁Mein +确保 +mini +怀 +▁stepped +依 +▁shelter +▁fourteen +ching +▁bou +▁failure +▁investments +амі +кон +▁christmas +▁signs +看到了 +▁khi +ref +ছে +▁groß +மை +▁committee +autre +▁anywhere +▁organ +▁게 +▁apply +ບ +いません +▁chosen +ook +тә +▁buck +んだけど +음 +▁Wal +ular +erung +優勝 +▁mysterious +▁پر +決め +ĝ +▁friendly +上がり +打ち +rez +▁Abend +▁tous +xe +万人 +▁Энэ +▁кар +ぬ +سل +prav +scher +adi +▁ён +lyn +スター +jun +ை +一部 +බ +thing +▁principles +▁너 +eka +ອ +▁voyage +ラン +nut +最好 +▁rent +方が +▁Tod +▁Staaten +▁دە +奖 +▁majesty +wij +易 +▁tiene +▁закон +麻烦 +▁Rat +过了 +達 +▁حال +传统 +ۈ +iyi +週間 +つく +radi +▁Haupt +hil +▁bet +对不起 +▁prices +▁manchmal +▁manera +习惯 +▁construction +gat +X +的所有 +▁error +抱 +▁està +なくて +▁heißt +weit +我现在 +▁mission +nica +àn +cor +zna +scha +ときに +hui +ago +▁ee +▁herr +模式 +人気 +高兴 +准 +▁为什么 +どこ +стан +学院 +我看 +結 +gne +fahren +▁foolish +枚 +ə +ที่ +ifi +já +homme +检查 +银行 +允许 +дзі +▁pause +▁rief +ො +醒 +uto +というか +টি +list +午前 +▁problema +char +勢 +▁Licht +nov +乗 +▁Pla +▁char +▁internet +▁coach +кан +还没 +enza +▁gently +▁beach +fried +标准 +ñ +▁currently +不行 +▁encore +圈 +ለ +iß +fect +年轻人 +▁College +ọ +▁discovery +▁practical +▁ĝi +电视 +poli +▁oben +命令 +дзя +艾 +▁stands +虽然 +▁besteht +▁Möglichkeit +▁git +▁paused +▁sooner +ksi +▁Mais +unk +▁사 +த்தில் +iden +cc +▁这就是 +زن +名字 +кра +▁trois +您的 +door +刻 +▁mille +ген +スタート +▁cui +▁Will +▁sacred +やり +च +зу +system +▁mud +inter +▁одна +▁quand +dienst +▁hon +แ +这位 +▁blessed +▁pushed +▁reco +瓦 +▁ariko +大多数 +▁наш +▁Wahl +▁reign +장 +air +kum +来看 +دة +▁delay +стро +жу +▁mont +▁fought +seite +ог +▁reported +chester +他就 +gged +▁bare +▁sigh +薄 +▁thunder +شی +年間 +いつも +アン +▁Yes +▁Präsident +▁northern +▁Sir +ले +当地 +dik +sy +tia +liv +عمل +essa +軽 +议 +▁modest +蛋 +ngi +gesetzt +oto +▁empire +geführt +人たち +nej +▁Ihrem +ъ +▁waste +ыг +被害 +▁İ +bile +▁delle +弗 +でき +当我 +▁quan +▁collection +▁கா +▁prima +杯 +▁photograph +▁veel +压力 +tif +典 +▁wings +мә +ச் +rij +▁dreams +司 +▁dur +予想 +▁gained +怎么了 +при +▁내 +▁سر +▁horrible +人物 +пар +我能 +▁fled +超过 +干什么 +cí +rais +фа +調 +vision +ăm +ars +▁easier +▁могу +▁Probleme +있 +顺 +facebook +▁sofort +たま +not +zog +戏 +isme +▁آنها +ే +显示 +▁funktioniert +wali +なんと +本身 +姿 +永 +▁stairs +▁sale +ulo +ép +roj +▁Port +▁proceed +甘 +▁copy +▁burn +▁bearing +確認 +▁consequence +▁completed +不错 +在一个 +▁се +fred +我喜欢 +▁employed +瑞 +▁Oh +▁banks +ห +棒 +▁enormous +烧 +▁sympathy +▁Lage +vet +▁Some +▁concern +cré +ங்கள் +α +faced +richtet +▁factors +اح +哭 +▁nada +▁Tor +▁philosophy +▁clouds +レー +▁gesprochen +▁tight +asta +born +既 +head +indi +▁By +▁instinct +▁algo +幕 +ゲーム +困难 +rr +我这 +ҡа +▁elements +の中に +lık +▁congress +▁你要 +▁album +▁London +▁relative +typ +cted +专业 +▁connect +▁restaurant +lier +▁climate +▁goal +▁Gespräch +则 +▁mood +▁classes +▁introduced +▁gì +üt +ο +▁schwierig +▁anche +лег +▁maid +持续 +ава +▁König +振 +tique +dda +▁odd +cord +tit +试 +dit +▁segment +ņ +転 +▁conscience +▁retreat +▁По +▁jar +難 +▁earn +▁Por +sión +我真的 +盗 +それから +▁التي +kro +عة +!? +▁version +施設 +▁Fin +那就是 +徒 +对我来说 +▁cave +▁medicine +▁application +ции +约翰 +▁Bild +▁informed +zio +rant +▁gör +说你 +▁谢谢 +大量 +ajn +腿 +جا +傷 +аж +▁previously +pho +▁immediate +痛苦 +敬 +他们会 +▁witness +▁interpret +避難 +gebracht +じゃあ +▁benefits +▁morgen +▁reference +▁feed +▁chu +终于 +mmel +年に +하고 +▁එ +▁anxiety +▁severe +▁via +اش +移动 +れて +пы +ẓ +▁discuss +到达 +のように +▁但是我 +▁returning +オー +нес +捕 +▁recognize +▁Vielleicht +▁nord +取材 +怎么办 +打电话 +▁falsch +ช +▁Mark +gomba +▁cheap +ишь +突 +▁recon +動き +好吗 +炎 +▁kit +▁Of +▁ease +▁yards +рь +▁engagement +だと思います +oro +大丈夫 +ubi +▁games +▁Musik +となりました +状 +季 +ものを +▁slide +aza +segu +führen +注 +さんと +他会 +想法 +▁hurried +termin +تي +▁mostly +sun +める +▁wheel +kem +反对 +▁intend +いって +知识 +▁amongst +ún +▁countenance +fite +ワクチン +全然 +▁variety +▁thomas +形式 +▁بە +▁intelligent +force +值得 +acht +jem +用户 +▁الش +нага +quin +rri +hle +▁rush +тов +说什么 +▁అ +овать +▁Sin +▁کنم +anto +吓 +いっぱい +▁partly +▁hinaus +▁guilty +isse +▁fox +stead +確 +▁rope +出場 +▁вос +面对 +▁assistance +▁gesch +▁Fo +いつ +கொண்ட +tech +据 +▁Miss +▁tools +lau +逃 +大臣 +тив +лов +▁которая +▁Ber +なんで +显然 +▁solemn +楽しみ +辛 +▁geworden +ald +▁eager +▁counter +我们现在 +mana +▁consciousness +iendo +▁为了 +iba +▁너무 +胸 +▁També +▁scho +▁vent +xon +▁candle +▁Ш +▁lion +▁combat +关心 +ije +▁located +▁شود +staat +▁resolution +検査 +▁august +▁disse +交通 +گو +▁depend +▁Von +かい +▁Gen +不安 +はこの +▁你是 +chu +▁Programm +aku +luc +▁joke +مه +lands +эг +▁adult +▁Да +が出 +成员 +姐姐 +照片 +▁Ap +▁consent +rer +▁tief +▁rub +察 +ып +全球 +族 +落ち +▁ließ +▁High +feld +tul +cl +事实 +하 +今日は +响 +rés +▁Ger +рт +ও +▁Herz +你别 +▁سال +的朋友 +▁neces +▁pitch +gno +▁tai +kie +▁notion +▁yu +eks +kora +▁victory +hur +▁Bas +agi +のでしょうか +映画 +评论 +کە +▁Pol +どんどん +▁enable +▁marketing +▁número +摩 +▁reduce +▁cela +වි +్ +▁cru +byo +ril +▁push +▁ເ +yen +▁bre +▁flash +やる +▁خو +すぐ +▁improved +持ち +まる +ät +had +ря +糖 +かもしれません +负 +دم +anyi +baza +▁überhaupt +鸡 +れた +▁rushed +回来了 +оль +▁Una +▁obtain +사 +▁refuse +语言 +fangen +▁Eu +選手が +kka +魚 +▁wider +骑 +善 +▁eternal +قر +▁trick +▁así +ongo +▁worn +▁stores +рос +制造 +lied +rica +raf +十年 +omo +、2 +▁smell +rav +▁pensa +▁continent +▁stupid +となった +接触 +▁werd +▁Para +闹 +▁stir +▁score +구 +とても +者の +▁こちら +属于 +çi +том +説明 +受け +▁gest +サン +ului +▁slip +없 +増え +▁apple +のかな +偏 +承认 +▁surrounded +▁Zukunft +▁valuable +▁führen +答案 +▁hätten +teilen +▁einigen +孙 +▁rw +handel +▁approached +cis +▁exchange +、1 +▁internal +▁мал +まり +ラー +▁gegenüber +埃 +lain +▁absurd +全体 +ция +▁phil +上海 +▁associated +▁điều +▁cam +▁William +▁dont +▁পা +шла +技 +ここまで +▁abantu +kna +章 +hem +例如 +▁Dass +▁softly +qa +▁Pra +不再 +抽 +▁họ +sehen +▁sunt +rada +を見せ +▁நா +lou +▁kindly +رة +уб +巨大的 +作り +bling +▁fet +▁moreover +quel +▁uniform +laufen +▁stable +▁байсан +▁dal +▁clients +wol +だよ +ismo +コロナ +材料 +▁bitte +▁genius +mā +があって +fat +▁escaped +guard +男子 +在你 +▁beginnen +▁substance +▁bush +小心 +呆 +▁suggestion +دان +跟他 +▁limited +ーン +▁offen +▁unserem +伤害 +cel +▁يمكن +mate +独立 +giye +▁mur +▁robot +etti +esc +grund +▁Bra +负责 +▁situa +开心 +▁Don +羽 +▁dessen +▁plane +ことで +gü +▁куда +▁closer +▁precious +거든 +овская +است +▁convinced +▁bomb +tà +จ +種 +▁früher +май +ał +▁confess +そこに +▁жа +因为我们 +▁phải +вой +кс +▁curiosity +نو +図 +別 +▁десять +tting +йте +▁kiel +▁Meine +できた +▁sap +大きく +▁addressed +康 +ota +சா +نه +kali +тым +▁shouted +▁этим +гә +▁сер +gere +総 +▁우리 +▁concept +here +のために +▁unten +▁National +sek +▁crea +▁hare +▁button +なのか +উ +これまで +関東 +quet +当他 +弟 +▁نو +▁நி +博士 +stal +佐 +amo +▁gal +mé +ár +zing +▁zwanzig +▁nachdem +بو +していく +▁pressed +▁neza +有关 +▁dignity +▁meanwhile +▁Millionen +▁causes +▁poison +を取り +pir +▁arrive +▁mia +▁flood +ory +▁thu +放弃 +早く +ckt +的那个 +anar +虚 +▁lights +雲 +wart +▁같애 +مو +▁doen +▁phrase +そうですね +的一 +▁cum +யை +Co +込んで +▁tiu +idos +سب +▁今日は +▁musste +似 +қ +▁flew +▁Mittel +给我们 +ライ +▁bigger +prov +▁Qui +▁hanging +schrift +してください +▁За +犯罪 +▁purchase +▁quarrel +üs +▁seg +ণ +▁federal +ී +说我 +▁también +▁yari +apa +nja +▁succeed +▁hielt +▁recht +Ma +正如 +焼き +▁besten +fam +論 +おります +ุ +くて +tation +住宅 +وه +▁mod +▁coal +▁italian +ほ +пан +tine +▁però +▁render +▁South +欠 +广告 +реш +をする +кий +schuldig +▁programs +рен +ぼ +hé +▁cancer +▁verk +ük +▁miserable +श +azione +▁bunch +ık +▁fierce +fie +▁appropriate +▁healthy +▁subjects +▁kre +qué +▁día +▁Ama +ych +▁fatal +馆 +kiri +▁لە +菲 +每一个 +ились +форм +hoo +вор +vingt +▁assume +消息 +▁swift +▁سو +elt +▁competitive +▁hasta +▁aquí +小时 +既然 +させ +gene +stoff +▁opera +▁М +shing +lies +連続 +voy +▁mamma +めて +unda +▁hint +▁offering +吴 +▁luck +▁Medi +iu +賞 +lte +一份 +国际 +▁crisis +▁creatures +raum +لك +▁Roedd +lut +▁tremendous +▁Esta +swa +রে +ために +ρ +▁micro +发布 +kov +▁monde +▁shoot +▁rage +ín +ன்ற +ident +▁reflection +▁stern +部屋 +太多 +▁forgot +殺 +▁arthur +広 +▁zwar +lina +を使って +▁rob +эй +▁destroyed +idi +ello +▁activities +cole +▁nein +▁dell +pada +여 +▁Ser +▁tells +▁painful +ones +子供 +▁他说 +▁politics +还在 +观众 +▁Seine +ines +记住 +▁branches +僕は +更加 +wala +▁Nord +satz +▁appointed +▁że +きて +რა +uring +決 +äng +▁sens +tischen +表达 +pia +▁acquisition +▁تم +疾病 +▁directed +▁bwa +持って +某种 +▁chap +یر +хан +▁keen +はない +▁lover +▁nou +有一 +▁Sicherheit +▁hum +▁observe +岩 +▁accompanied +▁laughter +▁ஒ +jor +دە +▁Hel +rā +▁whilst +時代 +▁waves +意味 +▁survey +ид +作業 +伝え +▁Sprache +schrei +▁distinct +沈 +един +يم +வர் +dzie +赵 +▁spin +amba +雅 +▁دست +很多人 +北海道 +ありがとうございました +schließen +▁porta +லா +vic +▁tren +hum +▁Eltern +பெ +澳大利亚 +なんですね +▁많이 +▁branch +咋 +商业 +▁throne +▁burden +▁martin +▁alors +fertig +▁rela +情绪 +抓住 +留下 +因为你 +▁totally +并没有 +▁sector +▁launch +▁leaders +▁shouldn +众 +▁cái +形成 +寺 +▁decline +▁Thema +▁fifth +从未 +▁thoroughly +▁Prozess +La +ệ +▁Bla +一块 +box +will +なんですけど +终 +▁sugar +ří +роб +▁» +én +▁votre +撮影 +▁warning +▁hundreds +▁Это +▁divided +からは +重要的 +我希望 +▁string +合い +دن +▁fand +▁Politik +dı +▁stated +充 +映像 +目标 +سي +▁household +▁suis +ण +▁hut +ι +几天 +▁dollar +鸟 +病院 +在这儿 +ís +rid +riye +我对 +プレー +▁punt +戸 +▁City +ologi +صد +▁tear +رد +emos +ணி +turn +▁pea +设 +ье +齐 +からね +表现 +早上 +уул +盖 +▁degrees +四个 +▁hurry +爆 +▁প +▁plej +▁forever +ė +пад +ders +▁دی +▁remote +▁mount +▁privilege +uj +bata +のこと +ぜひ +cket +▁hari +▁critic +▁Fer +▁hopes +மான +▁applied +かけ +تون +▁kwam +▁cyangwa +▁Macht +▁lift +流れ +gram +平台 +写真 +拒绝 +гор +ು +▁Gemeinschaft +ников +▁regarding +▁reduced +生产 +頂 +▁joseph +▁Boden +▁shining +pela +ວ +dacht +植物 +▁heel +학 +これが +ったら +是有 +▁Während +▁weary +大概 +坂 +▁völlig +▁años +chy +▁день +▁wound +えて +▁combination +oy +autres +инская +ван +asse +кол +▁States +▁эту +دو +▁meu +▁sollen +出て +人口 +ል +我们需要 +▁humble +به +▁bang +most +自我 +inda +▁rolled +报道 +睡觉 +暖 +ے +▁crazy +▁seriously +较 +니 +我只是 +虫 +▁remaining +rra +▁Ten +unter +pr +入り +ngo +▁punishment +▁episode +▁zeide +kop +▁sank +いきます +▁file +▁Durch +▁Selbst +▁Projekt +▁ring +▁prisoners +▁pes +▁Fu +絶 +ால் +言い +▁народ +cca +▁dad +▁hero +▁vos +▁Mus +▁helen +▁생각 +▁Schritt +ていました +shire +adas +▁pricing +▁Entwicklung +子ども +的情况 +dim +码 +gur +gging +vul +▁pays +ліся +夢 +▁holiday +hus +▁remarks +▁Rolle +ған +ほとんど +ිය +23 +专 +▁strongly +▁solutions +tang +▁اما +ake +tara +比赛 +lad +律师 +▁uw +ап +団 +bur +▁types +欧 +▁assist +海外 +▁california +▁pig +▁trap +▁gall +ös +dica +gled +▁architect +▁Ph +▁Blick +自宅 +▁onze +▁我也 +▁Geist +把你 +▁wicked +▁wolf +結婚 +记得 +▁ああ +▁breaking +şe +尝试 +ound +▁views +每个人 +ское +তি +▁pool +過 +▁trat +▁attended +عا +▁profound +大部分 +应该是 +▁humanity +în +mad +ここは +調べ +▁loving +流行 +▁arose +高校 +智 +あっ +不仅仅是 +国会 +最も +てきた +▁sous +▁Но +зд +▁movie +camp +lieb +шу +▁kindness +ς +▁我知道 +gut +▁literature +斯特 +tam +▁presentation +ことし +▁designed +わけです +km +▁expenses +oko +我们都 +▁George +優 +交流 +献 +失败 +ひと +▁vy +▁border +▁pilot +集中 +▁tegen +ም +基础 +▁inquired +つか +▁assets +▁ibyo +▁slept +▁mismo +▁zien +登場 +iḍ +▁interrupted +▁constitution +▁nodded +archi +ключ +还不 +▁هي +▁alas +▁merit +비 +▁начал +▁буду +▁Nur +▁thrust +luci +▁الق +▁adventure +▁puede +▁debate +пуст +▁paying +诗 +mata +four +hari +mě +▁enterprise +については +▁Ei +fit +প্র +সা +▁atmosphere +ண்ட +▁இது +煮 +▁cottage +アル +▁ஏ +▁cattle +ில் +arte +▁pole +luk +▁secretary +লি +▁leven +因为他们 +stä +困 +▁Aquest +豪 +功能 +▁peer +вол +两个人 +ມ +▁earl +偷 +▁möchten +▁kuko +▁گ +ost +тен +▁прав +▁manager +▁пыта +▁Robert +த்தை +ject +iten +ғы +本当 +异 +▁faster +▁interior +füg +вя +▁Wert +▁cel +frage +مة +baka +目の +▁Energie +▁leap +muntu +的新 +▁margaret +▁weakness +▁steam +▁souls +정 +▁danke +▁Ма +▁eventually +ché +我们就 +哥哥 +▁약간 +安排 +lant +扔 +▁guests +ско +▁click +頃 +▁Gruppe +organiz +ნ +水平 +lop +▁tanto +vý +பி +▁imagin +▁Peter +▁rosa +▁Tat +▁bai +成了 +uur +gio +▁Ac +haw +が多い +esse +そうだ +▁کنند +avoir +▁seus +国際 +ា +نىڭ +売 +▁spanish +宽 +聪明 +反应 +▁widow +不敢 +▁unit +アメリカの +▁suc +質 +▁unhappy +▁flame +对吧 +▁tide +▁dijo +ậ +▁shift +帕 +韓国 +azi +▁déc +经验 +达到 +▁notes +랑 +▁fare +怒 +▁catholic +技術 +资源 +▁Nous +bila +▁stared +▁tied +quest +各位 +▁thirteen +vano +对方 +ağı +▁abge +ssel +因为它 +▁veil +▁chat +▁또 +establish +以外 +ި +raj +மாக +▁auszu +გ +lance +▁anzu +غير +kara +答え +晓 +மே +▁essential +当時 +번 +nyuma +▁Stimme +lage +ै +ört +を持って +▁anderes +亿 +▁Sol +игр +兴 +リン +த்தி +wachsen +ってこと +▁plu +▁partners +▁eggs +▁largely +▁hadn +▁enjoyed +ው +aid +상 +▁despite +▁Os +房间 +▁Union +кр +五十 +▁distribution +▁pues +人々 +客户 +▁intellectual +▁cred +▁buildings +国王 +▁Show +ios +▁baş +▁wholly +▁parent +▁neat +лын +▁ehhe +▁braucht +▁stud +入れ +▁verloren +▁guest +wyr +ちゃう +enti +sak +ران +▁kr +аа +简 +شا +gegeben +▁mate +亲爱的 +增长 +意义 +あり +▁đang +▁delighted +婚姻 +trau +▁handle +▁مح +ゲ +伟大的 +مت +▁steady +健 +▁Cal +▁Bank +ances +▁Tôi +▁physician +his +pren +ambi +ڭ +laden +▁stayed +などで +▁patience +▁utterly +▁오 +▁Dieser +牙 +▁primarily +▁Grunde +▁esper +كون +י +ony +▁context +kaj +தா +▁sud +là +Le +▁іх +▁Mer +▁annual +сил +中の +▁fro +цу +вали +▁contrast +▁Technologie +爷 +▁lernen +泰 +burn +有一种 +দি +禁 +An +和他 +uld +▁будут +幸 +史 +coming +▁entwickelt +ache +呼吸 +hara +▁trump +▁hey +post +子さん +▁beste +asa +▁Zo +füll +这么说 +挂 +▁arranged +悲 +一つ +ics +лек +▁coup +办法 +மி +があり +一边 +▁pink +▁расс +保证 +▁follows +▁scar +ировать +御 +▁retail +另一 +ダー +эс +文件 +▁symbol +جر +爸 +现场 +透 +diri +след +teur +σ +というふうに +给了 +▁contained +放送 +ddle +▁budget +▁"" +өл +▁kamen +▁Met +wag +▁کل +▁biggest +▁gross +▁feature +Л +fun +圆 +▁distinguished +▁studied +kunda +▁dispose +人を +▁Hy +得到了 +▁Af +Ar +fus +バス +rai +▁obwohl +innen +▁shoes +eme +そうなんです +او +kra +▁sensation +mission +▁всегда +raga +▁hoffe +心理 +▁ŝi +했 +▁properly +▁pala +那边 +大統領 +▁prophet +▁parliament +нова +tera +fil +というところ +就不 +hou +▁consum +▁tomb +ު +uze +ていく +羊 +▁lit +适合 +▁Gesellschaft +としています +▁созда +▁desk +▁হ +▁አ +rek +▁đến +带来 +твор +题 +год +▁russian +に出 +▁Luft +22 +dank +再说 +斗 +వ +▁jedem +▁பா +▁knife +反正 +開発 +▁crying +▁moet +sser +▁operation +▁confusion +ರ +に入って +master +缩 +▁этих +▁continuing +▁rival +ły +▁articles +▁кажется +▁remark +▁damage +ご覧 +nto +▁Google +▁strip +銀 +お店 +tse +▁iets +▁devoted +絵 +▁jump +园 +女士 +世界上 +▁log +丈夫 +▁traffic +▁所以我们 +ünde +▁deu +▁abandon +▁tale +审 +şa +▁bah +▁тот +bble +寄 +▁tis +▁musical +开发 +▁deposit +阅读 +two +のような +كن +项 +决 +▁num +tiva +中に +▁چه +ıyor +▁persönlich +kta +ён +▁Mc +that +ander +▁perceived +東京都 +▁Ter +▁hunting +▁companions +▁emotion +cious +부 +升 +さまざまな +记者 +绝 +್ +▁ends +▁الإ +细 +ias +thro +▁bor +fei +▁Inter +的感觉 +任务 +▁surrounding +▁хочу +▁tar +▁mixed +▁Schüler +▁স +さま +▁spending +▁Parlament +see +пор +一段 +我和 +guru +▁beau +еш +аш +▁என்று +zor +▁sisters +вать +ის +bei +ites +▁yours +лось +▁друг +▁Just +▁expedition +▁utter +▁செ +▁transform +▁hollow +lev +▁lonely +▁sonra +క +▁zijne +үү +▁erkennen +▁té +▁هر +▁komen +ktion +сло +利益 +真的是 +ड +tzen +▁mare +late +▁shake +▁servi +▁homes +しながら +भ +法院 +▁multiple +▁Fri +あまり +▁exception +▁reader +潮 +▁discussed +什么样的 +▁trop +▁две +nä +irwa +▁uko +塁 +hing +sack +いただきます +肯 +盛り +ological +▁Facebook +▁poco +cles +schauen +出し +تن +她说 +чит +▁spi +zelf +沢 +▁helping +খ +▁Dat +价格 +看到的 +▁деле +▁kap +▁accordingly +ӹ +▁operate +▁wer +委员会 +▁meng +▁literally +tari +左右 +лом +▁bus +▁permanent +效 +四十 +хий +pol +vous +rè +こうした +▁arise +こっち +▁lại +্যা +teri +▁driver +十五 +▁American +соб +ù +▁heap +▁barn +nger +▁Cas +すれば +▁rifle +▁Produkt +▁After +▁まず +中间 +▁stem +▁background +stehen +▁Tage +bij +▁schließlich +▁কি +rte +кай +▁writer +額 +▁duties +▁hungry +▁wegen +▁piano +▁pretend +運転 +▁sleeping +mpa +大脑 +iw +部门 +▁doctrine +▁define +dian +美元 +mmen +提醒 +▁efficient +▁続いては +ו +eo +▁plötzlich +ສ +▁несколько +きょうは +denken +дә +▁President +▁occasionally +不喜欢 +▁James +▁perd +▁eigen +今日の +▁nombre +under +津 +▁estaba +▁бел +▁rod +▁mala +▁sovereign +今回は +anno +▁понял +مە +▁tiempo +平均 +▁initiatives +▁Tro +▁тре +got +▁industrial +uro +▁Weil +▁beast +▁spell +ことに +▁conviction +▁sorts +▁sistema +▁visited +lines +▁olma +enz +寝 +伴 +▁《 +状态 +▁tele +▁quit +▁poder +registr +▁你怎么 +将军 +战斗 +leben +途 +্য +触 +▁absolut +朱 +bis +懂 +▁cells +里边 +stadt +▁kings +はず +▁divi +▁bless +▁einge +不需要 +် +▁queer +bir +▁свет +ич +alter +çe +先月 +▁lawyer +▁кур +now +еж +▁formal +▁город +▁extended +▁poverty +許 +буд +湿 +bringen +贴 +▁từ +▁verlassen +▁Folge +▁lest +那天 +▁composed +▁innovation +quen +▁вз +▁striking +锁 +▁fellows +サー +▁Team +▁lieutenant +ряд +▁loro +▁gefunden +▁Freunde +▁Minuten +地震 +▁これが +▁generous +▁толькі +rib +経験 +ヘ +hap +家的 +pid +iente +丢 +chel +mod +▁sagten +enge +▁exciting +되 +月に +▁spielen +▁destruction +▁すごい +接近 +ович +▁stiff +constru +pur +想想 +▁Wochen +岸 +tsi +▁premier +见过 +▁Non +▁possibility +▁responsible +ší +▁expand +স্ +ị +Be +▁strain +ڵ +▁интерес +ister +dau +▁singular +▁location +▁prospect +変化 +▁suo +▁genannt +▁stress +лд +ubwo +検 +るの +бли +жээ +▁Sein +▁cả +相手 +▁вторая +▁Morgen +comb +▁troba +вин +igo +那么多 +▁должны +いで +ās +▁Dis +▁那我 +昨天 +geld +▁acts +▁Trump +▁boats +ジャ +▁eigene +隔 +输 +іць +лин +▁Schule +▁যা +пре +▁association +▁trembling +猜 +вая +ரை +loop +▁recall +どうぞ +buch +300 +▁gibi +▁stretched +ட்டி +▁россии +▁нэг +5% +▁performed +グループ +ıl +▁proposal +▁semi +捜査 +▁sehe +隆 +▁accustomed +したのは +▁schlecht +长大 +▁unusual +ress +很快 +▁frequent +activ +gezogen +▁germany +▁ça +bound +▁باش +▁Fla +ifica +▁anni +یو +▁brings +▁вельмі +лог +▁individuals +maz +» +걸 +▁Ordnung +лё +大阪 +▁یا +ேன் +erte +不断 +தான் +▁ale +кла +▁glanced +jya +pis +是不 +aro +▁Yo +我们必须 +sprech +چی +▁nav +graph +▁großer +uten +温度 +▁Cre +▁modo +▁mewn +▁wearing +figur +uye +▁North +chung +▁kay +▁european +るのは +▁billion +служ +細 +▁hunt +▁responsibility +▁ও +▁говорит +▁grateful +太阳 +▁fragen +抢 +▁অঁ +▁dice +▁riding +▁tard +dition +ファン +▁있어 +▁sports +π +▁india +ья +বি +cum +妻 +无论 +意外 +produkt +やっぱ +而是 +ありません +症状 +▁Op +bio +▁victim +▁wanna +owa +▁Ak +▁самом +▁Glück +rse +سه +我们已经 +rede +sept +霍 +▁Gre +dwa +nant +仲 +rack +▁thì +我将 +▁butter +▁hace +▁Š +特朗普 +át +bera +▁делать +力量 +▁yok +▁داد +het +gis +▁Leuten +다고 +för +▁agent +ป +監督 +تح +誰 +anc +▁mehrere +作为一个 +▁değil +瓶 +▁지금 +下午 +▁katika +同学 +▁سا +▁invited +▁spare +▁represented +eld +印 +撞 +▁swept +▁wishes +之外 +などが +▁maiden +▁الف +▁prize +ase +phone +問 +خر +▁concluded +▁repair +gos +ню +liz +ее +有可能 +▁ак +▁neben +造成 +▁nennen +▁Cy +▁oak +овский +rif +lern +ezi +▁Gemeinde +▁guten +▁hid +▁poetry +▁mano +▁такая +▁plot +▁selling +▁gekommen +▁Maria +▁Min +导致 +ີ +gelegt +操 +fod +就算 +لب +家人 +墙 +ところで +脑 +▁Komm +版 +なの +▁yap +▁proposition +eze +▁latin +喂 +gebaut +cinc +politik +▁そこで +aquesta +▁але +gala +▁actor +ggi +тя +არ +unu +荷 +ĩ +ээр +▁sil +▁поселок +▁Pat +了一些 +uren +found +摇 +ент +▁signed +くなる +▁display +不一样 +やつ +内部 +▁tema +演讲 +▁select +▁ashamed +決勝 +户 +▁elder +寒 +jin +发生了 +wyn +स् +孩子们 +ちゃ +▁rude +▁именно +әй +生气 +販売 +▁yw +▁movements +好き +▁feared +实际 +▁dun +▁creation +▁pied +腕 +point +жил +யி +Bri +▁cad +genda +▁kissed +标 +▁chest +▁cheeks +避 +冒 +宗 +kwi +▁Tal +▁cycle +▁geschrieben +られない +lian +映 +lebt +帰 +▁adopt +たり +kola +▁payment +ான் +▁hol +త +▁bible +▁achieve +意味着 +hü +пят +▁rail +おい +▁действительно +▁Platz +اط +卵 +▁materials +رت +ッと +ware +sses +▁disposition +▁glücklich +tial +fund +▁continu +stimmt +話を +kur +▁attached +▁mild +▁locked +染 +フェ +▁recover +▁Qu +顾 +办公室 +▁sou +kata +hak +立て +桥 +ள் +лт +バイ +グラ +▁shout +一切都 +忍 +▁comments +▁United +аться +үүл +▁transition +▁manufacture +所以你 +aine +習 +Ge +accord +▁przy +▁leurs +▁jsem +▁verb +也可以 +就要 +你去 +▁brush +lov +шта +▁jobs +份 +▁appreciate +ガー +围 +▁maj +emo +▁supported +▁abroad +▁unu +▁thấy +▁sc +้า +▁못 +pes +▁Mag +ின் +▁salut +tatu +▁juga +් +ох +つまり +几年 +▁நான் +▁font +▁Kirche +▁knee +работ +▁Zwei +▁distress +▁Bau +猪 +wur +hof +▁blessing +ழ +mera +▁heavily +▁الص +cover +逆 +磨 +려 +签 +強く +гра +含 +▁behavior +وان +▁pine +bewusst +▁neun +▁bones +▁それが +▁armed +▁quant +нут +同志 +るか +▁refuge +说过 +ирован +播 +见到 +いった +▁Bill +▁reserve +▁farmer +roy +没有什么 +▁intimate +شن +சு +▁essentially +▁aquest +▁corre +▁sala +▁ändern +郎 +んじゃないか +▁Tages +▁ここで +▁сама +厂 +▁хар +错了 +ளி +▁june +▁competition +▁fois +ilen +リア +我不会 +▁ruth +▁opposed +▁penn +▁هستند +拖 +▁antwortete +▁jeune +إ +▁repeat +▁greek +就说 +ș +!」 +▁teachers +▁sy +あなた +看来 +isation +▁rya +一段时间 +▁belong +obu +ാ +▁traditional +▁painted +ことも +чь +▁Mrs +сов +▁settlement +いろいろ +▁کنید +load +▁massive +▁zag +▁alternative +dá +aren +メートル +▁retired +▁consult +▁feels +njye +训练 +▁charming +hop +▁尽管 +wl +▁sole +gad +▁karo +nez +tec +我告诉你 +国の +jon +▁bio +крас +tali +▁việc +▁reasonable +制度 +▁kate +bw +юсь +نش +▁schaffen +搭 +▁slipped +気温 +tī +ゴール +ّ +▁adopted +更に +para +となっています +ind +▁etc +んでしょうか +▁scan +▁ambition +iques +▁basket +rau +▁bark +鞋 +させる +dora +igu +éc +ían +▁supreme +يف +krat +mund +卷 +avo +暴力 +▁seldom +hack +urt +▁approaching +幼 +др +▁murmured +kni +▁goodness +▁Так +zeug +合わせ +Po +腰 +▁Val +▁consistent +▁rever +▁gap +▁gehe +▁dame +witt +▁handelt +ści +dreh +▁pages +يو +另外 +ě +nach +▁unfortunate +headed +恨 +path +ましたね +主人 +▁совет +rī +▁aren +ять +▁depends +flo +miss +▁таки +▁zeigt +▁terre +▁commanded +▁noi +bell +▁Tatsache +cycl +رك +mani +் +▁muito +duk +lir +▁tidak +▁regiment +izo +ほか +▁clerk +▁vào +▁года +雄 +▁bullet +tree +▁sempre +hlen +дэг +erin +rimo +银 +▁teams +▁foi +ums +▁shortly +▁cure +atge +恢复 +▁Hol +づ +▁Test +▁drinking +▁released +tics +▁eastern +St +▁zaman +作用 +▁versus +ense +সে +aught +▁жив +라고 +押 +▁reflected +イギリス +▁Hund +கை +وع +交易 +▁blank +▁Situation +▁жизни +▁minor +大変 +으로 +▁obvious +环 +攻 +▁useless +▁blieb +のほう +▁slaves +材 +▁également +fal +сын +▁tras +овой +▁wherever +рез +▁contest +care +▁institution +дав +гло +的那 +▁contribution +这边 +нне +▁administration +互联网 +了啊 +▁donde +она +▁Demà +ление +▁也许 +▁jour +▁বা +ес +打算 +▁быў +awa +mere +रा +我不是 +platz +私も +pè +geven +▁ensure +▁importante +彼 +▁داشت +表情 +тру +ところが +▁vital +bab +給 +nio +▁nutzen +ją +泡 +不得不 +rend +یان +柱 +▁glorious +ensi +这事 +ாக +abu +有一天 +▁feast +동 +▁olan +把这个 +▁inhabitants +キロ +ließ +资金 +庄 +▁Tas +area +気が +gues +يق +шин +積 +bug +練習 +▁stroke +▁Sy +▁või +狂 +迟 +▁Tot +arse +▁plum +不应该 +▁handed +▁earnest +勤 +对此 +我来 +敌人 +佳 +▁acquired +lak +жал +▁fever +▁impulse +任何人 +南部 +▁dove +▁ihres +저 +nega +前面 +готов +▁newspaper +ックス +rait +мар +碎 +老公 +所做的 +▁otro +▁difficulties +開催 +▁owner +批 +bü +aver +дать +▁trace +▁gleichen +தை +weisen +aɣ +▁coin +شه +드 +例えば +agon +▁print +▁treffen +اً +乗り +法国 +ذا +▁hombre +隐 +不足 +▁Spa +kı +▁departure +的方法 +老婆 +▁хотел +▁creating +nten +台風 +人も +▁وجود +▁Sk +ates +▁tough +▁ўсё +▁unlike +flu +▁zweite +冠 +oba +以上の +一件 +sell +ova +▁accomplished +ально +てください +峰 +pati +住在 +▁ignorant +事实上 +▁deeper +▁travers +▁venture +予定 +らず +病人 +يك +হা +▁Wirtschaft +是由 +ワン +cola +صل +妻子 +▁我在 +▁reputation +▁entfernt +trieb +▁fiscal +▁combined +การ +▁plainly +▁closing +▁og +غر +▁eher +押し +▁فقط +тры +多的 +要去 +イメージ +欧洲 +och +ṣ +▁reckon +▁granted +際 +ể +▁italy +熟 +ļ +淡 +▁whisper +лай +▁painting +▁poi +▁smoking +▁понимаю +ёр +krank +▁insist +うまく +▁fairy +但他 +アップ +мест +цен +quis +まさに +tör +▁mono +試 +続 +▁orange +キャ +你不能 +お金 +▁Sohn +гд +哪儿 +网站 +你怎么 +amento +icia +深刻 +тр +▁mist +تو +▁weder +以降 +乳 +▁attractive +漂亮 +广 +▁sue +▁咱们 +にとって +追い +ден +▁Cla +▁такие +始まり +ках +حق +▁Ali +内心 +▁jemals +▁suspect +次の +▁wollten +▁hunter +▁slope +lee +agenda +▁spre +ká +供 +▁pond +你了 +になり +还能 +▁risks +ものが +▁Av +юцца +▁Because +▁мой +usi +叔 +▁seeking +▁momento +▁margins +近く +▁General +▁epi +hö +▁compelled +так +тон +mä +▁وأ +艺 +▁pound +์ +▁admiration +▁songs +行動 +▁dein +館 +▁ښه +▁abuse +▁Stück +▁pope +ois +▁Umu +كي +▁igihe +になっています +ấ +ッド +manda +hush +▁interessant +▁hörte +▁bya +▁jean +的手 +▁infinite +▁entonces +ают +感兴趣 +ける +一体 +foot +дол +ому +эв +chas +ând +rück +zia +▁이런 +难道 +▁adapt +▁Kor +心配 +▁regions +▁eagerly +▁Mensch +一项 +sab +殿 +▁Kol +▁communities +▁kaum +odor +わり +▁Kla +而言 +ń +▁yard +dine +ино +▁lunch +武器 +▁我现在 +▁forehead +▁Bon +▁fame +Ж +▁那是 +▁withdraw +▁mask +▁تع +▁dag +liness +佩 +三年 +▁всем +▁aho +レン +哪里 +полит +냐 +▁idle +▁dealing +bern +的信息 +▁روی +ご紹介 +ками +geze +eti +has +▁Mary +▁planning +сь +每次 +ュ +控 +阶段 +▁Kunst +iff +لى +liga +▁جو +▁remove +老人 +▁mister +準備 +▁islands +▁erreichen +多い +▁characters +▁Bis +▁вся +一致 +祖 +stieg +▁mom +▁само +geri +boy +▁Rwanda +▁estat +印度 +▁client +wacht +收入 +▁Mes +bles +jä +▁acting +▁infrastructure +▁predict +ổ +щи +ロン +cido +grav +▁мог +▁burned +▁gebracht +▁shell +▁australia +cult +金融 +▁steep +▁rang +出生 +假设 +▁مر +▁anirà +сен +▁まあ +这是我 +▁되게 +voj +—— +▁organic +छ +的影响 +▁gather +对话 +很重要 +ât +ffen +dauer +ват +tons +跟着 +并不是 +今晚 +▁Sinn +▁nghĩ +▁Bericht +▁É +cono +lose +辞 +こちらです +▁일 +爱情 +だな +说明 +ях +▁tag +▁اون +▁electric +昔 +▁commander +凡 +கு +▁chin +det +続け +▁fy +比如说 +▁thrill +一千 +证据 +だったら +▁яны +▁causa +▁insult +▁fou +час +实际上是 +莎 +▁Rück +▁vessels +▁junge +▁eens +▁inclined +▁opposition +計 +▁Forschung +spec +▁unfortunately +▁towns +▁الر +提到 +▁shirt +▁сделать +执行 +野菜 +快速 +hole +▁இரு +isiert +▁ella +▁Richtung +▁wedding +▁Viele +▁leadership +義 +你觉得 +销 +逃げ +▁ali +▁institutions +nā +aven +▁billy +▁schrecklich +licher +▁icyo +ब +▁descend +答应 +判 +eck +▁gihe +注意到 +情感 +dha +35 +▁undertake +▁extrem +拼 +▁Unterschied +won +▁equipment +لم +多く +år +lässt +▁philosopher +▁uttered +毕业 +主任 +星期 +施 +▁sed +маг +再见 +▁Yu +我跟 +长的 +やった +いか +发现了 +くん +▁shared +租 +ların +▁doubtless +aires +كل +යි +가지고 +ソン +的吗 +▁Einige +▁vrouw +不够 +▁intense +fol +▁glow +▁permitted +▁pis +quelle +ёт +成长 +طور +lib +跟我说 +最後の +価格 +逼 +▁settle +结构 +stände +κ +fallen +▁negro +▁♫ +chin +▁лучше +য়ে +schein +нул +▁While +ike +▁tijd +▁học +्या +▁emotional +模 +city +zed +▁passat +▁avons +래 +tah +▁человека +是一 +говор +ҡы +▁desde +▁deny +▁obligation +ভ +رق +異 +stad +▁providing +专家 +▁Ag +zak +▁Sand +▁lighted +▁baba +hall +ografi +▁nella +stab +▁substantial +иль +கோ +▁vague +一方 +▁cease +▁Erfahrung +严重 +λ +的眼睛 +▁ありがとうございます +去找 +▁historical +олог +踏 +▁Name +意识 +何で +将来 +域 +یس +どういう +したり +gura +▁curve +▁Aufgabe +▁fence +▁dancing +▁flung +▁investigation +folge +▁evolution +▁და +▁Мо +گە +▁conserva +нии +▁load +▁nhiều +▁parole +尊重 +," +psy +効果 +▁egypt +geht +たちが +ulu +ús +表演 +候 +そういった +▁speaker +▁East +▁utiliz +记忆 +▁wooden +▁beloved +一度 +▁allows +▁pursue +keeper +環境 +leh +胜 +▁phase +긴 +更好 +没想到 +ím +tě +▁lecture +▁응 +订 +犬 +▁vorbei +▁Mü +▁lately +nosti +▁bod +一定会 +programm +▁arme +▁irish +ữ +恐惧 +생 +idade +按照 +佛 +▁Gesetz +▁rabbit +钟 +▁wilde +国民 +west +ה +我々 +慢慢 +刑 +頼 +tun +搜索 +note +▁grandfather +larını +▁decisions +▁murmur +▁terra +▁할 +▁explore +▁Ven +していて +கள +▁TED +tivo +文字 +メンバー +bà +驚 +▁staring +電話 +满足 +支付 +pac +▁cliff +erson +のため +穿过 +插 +пал +▁trunk +▁league +▁acest +▁Tan +orient +cele +▁desperate +▁彼は +tical +ना +▁expensive +ڕ +适 +▁stuck +▁Stunden +▁dared +▁Jahrhundert +gres +ஹ +▁cheerful +かどうか +oor +議員 +更新 +益 +һы +▁Rest +分かって +创 +▁après +▁إن +иде +Q +ông +▁obey +しても +iad +tje +nner +zimmer +ますよね +▁sistem +▁workers +▁거기 +员工 +▁spain +▁nad +▁rend +▁observation +▁llama +▁volumes +地下 +北朝鮮 +ந +gir +▁declare +▁upward +極 +طر +▁deserve +▁klein +▁defence +▁increases +▁simp +▁tramp +台湾 +对他 +bord +▁camera +ancy +▁jacob +▁kwe +ată +问题是 +実際に +▁Sche +welt +▁Arten +gla +▁Bürger +የ +ộ +▁Worte +ever +梦想 +bec +▁begged +▁wretched +▁hơn +▁хотя +些 +ስ +ант +▁sending +降り +▁gilt +lando +że +▁India +▁questa +grün +手を +qi +▁Mel +▁assure +这意味着 +あって +смотр +iber +ナー +шка +ця +▁entering +▁prze +tak +▁hervor +ages +▁offset +اج +▁今日 +▁cũng +▁consumer +zzi +신 +▁adding +▁virginia +▁capture +▁pistol +▁curl +▁accounts +律 +▁Zahl +rut +なん +紧张 +▁pursuit +▁Michael +ası +▁Far +▁Berg +itza +stück +mira +▁besonders +▁enhance +fulness +dhi +யாக +▁چې +ube +肩 +▁jews +▁أنه +▁ils +▁swear +▁erreicht +▁sentiment +▁reaching +илась +かり +▁cents +중 +让她 +▁volta +▁yell +今天的 +ские +▁expansion +▁notre +▁torture +▁purposes +她们 +▁disgust +ެ +▁aktiv +▁highlight +yol +้ +▁pit +所以我们 +力を +▁magazine +▁America +rance +它会 +崎 +▁saddle +▁pont +来た +blau +ક +tama +ვი +▁Richtig +▁depart +dag +▁只要 +▁Trans +lagen +▁кан +になっている +思って +不起 +▁indulge +polis +鳥 +▁четырнадцать +▁тэр +ভা +gabe +▁langsam +በ +▁должен +▁leverage +▁bench +摆 +▁distinction +/ +大雨 +地上 +ने +куп +▁biết +действ +tore +east +▁brook +brach +issa +해서 +▁lesen +▁Erde +▁bari +▁quelque +say +sinn +▁vend +階 +rand +نە +▁damals +рак +▁recovered +過去 +の大 +▁verd +ники +运行 +▁begins +дум +▁mbere +圧 +▁alice +范 +▁cutting +▁rescue +бар +奶奶 +▁incredible +理论 +▁grain +▁habits +なし +▁merry +▁جا +ったり +уме +现代 +نس +▁whereas +▁cloth +▁havas +ää +时期 +启 +▁gesture +▁belonged +▁Ко +تە +▁случае +jet +拿着 +▁journal +▁rien +暮らし +活躍 +èrent +得多 +合わせて +vuga +▁lodge +是他 +▁gingen +தே +ロシア軍 +してきた +يس +ação +ата +一方で +▁tat +観 +一名 +▁بد +▁irre +▁خیلی +過ぎ +▁sowohl +歌曲 +nett +▁früh +▁Та +▁гэж +宋 +荒 +掌 +kad +▁Reise +▁dread +▁fog +没错 +bled +うわ +积极 +▁Verbindung +▁sensible +▁mounted +▁interes +mur +设备 +音楽 +2000 +▁никто +rug +ಾ +We +承 +▁shadows +▁vin +nung +被称为 +▁Weißt +▁arrow +jal +زه +▁misery +狼 +lets +的机会 +wig +glich +遗 +fehl +▁komm +▁なるほど +信任 +▁brachte +iel +▁editor +▁Alter +他对 +ости +▁gegeben +над +جي +نم +gard +lja +傻 +лав +ť +、3 +▁padre +厳しい +我不能 +んじゃない +▁observ +उ +▁prepare +珠 +tanga +でございます +▁bowed +▁Super +27 +iers +ись +▁Sen +不如 +▁jumped +▁Gal +▁permet +仕 +很少 +ރ +投げ +了这个 +▁troubled +▁sufficiently +我不想 +hun +▁cars +rzy +▁그래 +欢 +gelijk +erlei +▁whence +рук +și +▁Martin +stelle +▁Van +▁باید +塩 +▁schl +采取 +ング +让人 +为什么要 +▁lamb +진 +▁fired +▁Wissenschaft +沿 +多了 +daki +れない +▁señor +dura +zahl +▁zeer +▁external +▁كانت +mour +失去 +▁Vereinigte +▁муж +ર +cchi +فعل +▁schreiben +▁Deshalb +▁falls +▁disc +▁drum +▁нибудь +▁рэ +革命 +▁faut +離 +みると +▁dalam +▁Eis +▁helpless +bbi +闻 +▁голос +的脸 +▁schöne +电脑 +▁scorn +没什么 +正解 +spann +▁Danke +飞机 +▁runs +▁includes +assa +▁gedacht +▁fins +verse +aged +enzi +bé +mento +▁Arbeits +fang +▁straw +▁Schul +訪 +▁experiences +▁beam +▁rendered +データ +▁lesson +おり +▁verse +▁mirror +زا +▁cheek +カメラ +▁Gegen +ял +部队 +穿着 +▁leads +ત +▁technical +▁conceal +▁zeal +▁authorities +▁losing +arri +我们是 +▁wagon +▁Bett +▁reports +▁weapons +spel +▁kick +▁그게 +▁assumed +▁qualities +あげ +魅力 +▁dwell +マイ +▁peak +見せ +▁jug +▁endlich +▁tio +我没 +▁stretch +À +falls +្ +пі +nih +▁aufge +公開 +аз +lju +گاه +▁eve +谈谈 +მა +▁namens +▁করে +ジェ +وو +aging +tered +вай +▁zit +とこ +ස් +iah +▁discipline +ര +미 +Re +bara +▁exposed +شت +▁infant +▁Ä +▁email +▁owe +期间 +▁icy +一句话 +徐 +ょ +▁yara +▁Ana +▁carbon +行了 +eja +あす +▁pile +▁planned +kita +▁railway +▁знаете +一句 +製 +üb +今夜 +▁ahora +▁naj +?」 +dou +şte +正是 +▁ultimately +沖縄 +bahn +vine +减少 +▁پس +▁Washington +▁considering +▁Era +▁persona +nimmt +有时候 +▁bara +用的 +▁tomorrow +ifa +他们是 +看了 +を中心に +front +ayı +▁primary +的心 +过程 +▁spur +▁distribu +要么 +уш +▁nk +戦争 +fir +▁измен +案件 +▁neighborhood +意識 +▁drunk +▁よろしくお願いします +黑人 +▁tran +▁мир +▁extend +▁USA +神经 +时候 +▁그렇게 +که +▁raw +nus +学会 +mpel +impo +军队 +▁Gericht +arra +▁winds +▁jungen +ప +▁Lassen +▁деньги +▁sabe +▁mobile +пло +ති +▁cub +illo +ecek +▁こちらは +▁Gri +ി +▁rằng +▁Mil +piece +▁mucho +处于 +▁pier +▁aloud +▁Gold +ద +▁Hilfe +قي +▁americans +geno +▁gates +vio +早期 +▁separated +▁நீ +ન +出す +最新 +▁mam +illes +▁ведь +▁avant +▁заб +уй +▁এই +更好的 +key +▁kannst +▁quantity +▁свое +▁toujours +▁ages +ു +ませんでした +▁opinions +▁images +Se +窗 +setzung +开放 +就能 +みて +tritt +辺 +range +運動 +▁wander +вет +費 +▁haste +正式 +▁sexual +ṭ +▁Gedanken +▁reli +それに +▁100 +▁weird +ದ +细胞 +▁همه +▁portrait +▁chill +生活中 +чер +纽约 +estra +▁sera +全く +anz +▁слова +▁County +もん +▁det +وج +▁deed +▁claims +▁delightful +▁vroeg +▁яе +ข +別の +▁тех +면은 +ark +▁scattered +▁gazed +rado +гром +वा +Any +обра +仙 +ality +▁missed +▁prin +宣布 +▁flatter +都没 +▁essere +▁personally +子里 +後ろ +离婚 +▁magnificent +▁miracle +▁rolling +▁thread +述 +▁fuel +▁altar +▁قبل +دى +お母さん +行く +▁daughters +өг +▁crash +ະ +ू +▁challenges +его +哪个 +介 +▁rồi +tron +akt +▁ص +undzwanzig +▁gens +maid +できます +plaats +▁bosom +ロシアの +▁mm +▁methods +staan +兄 +ection +握 +▁그때 +ான +كى +せる +بع +colored +▁ĉe +нда +mbre +▁robe +マスク +▁Mars +▁concert +mov +you +▁midnight +▁missing +分钟 +▁drag +ার +▁joint +nost +つき +▁Ён +▁于是 +sini +▁Jag +ương +历 +ables +▁restrain +▁africa +▁horizon +以至于 +خت +▁reduction +▁совершенно +▁insisted +邀请 +欲 +坦 +bru +▁Anfang +▁zeggen +우 +▁Feuer +freund +bwira +减 +ண் +▁Afrika +▁außer +这么做 +宅 +hearted +legt +長い +にお +omen +▁trou +▁Brief +▁anna +▁vest +▁你就 +ских +▁bestimmte +▁sia +练 +▁raising +竹 +规则 +▁ignorance +cep +dek +▁گفت +▁einzu +敗 +▁führte +▁хорош +حل +▁이렇게 +成本 +撤 +▁consequences +▁factor +旁边 +▁patron +▁involve +pas +风险 +erie +cap +宿 +够 +▁Ф +一生 +られました +▁sink +建造 +▁valor +▁против +▁cock +▁نیست +年龄 +ティー +严 +izza +▁момент +mäßig +▁这是一个 +▁province +▁convert +tina +cup +tiques +▁breed +干吗 +rb +gefallen +▁paint +▁foe +ulation +沃 +▁kugira +igh +っていうこと +▁அவ +plic +koze +亡 +▁prote +pok +▁primera +▁Sun +▁Volk +▁entra +▁другой +▁aufzu +емся +▁cards +のよ +куль +改善 +▁perché +执 +▁Dingen +▁mainly +wohn +ドル +▁cet +ヒット +ವ +▁folk +onde +このように +劲 +明らかに +▁trên +থ +旗 +봐 +ަ +▁மா +▁significantly +▁chase +▁مثل +振り +当初 +儿童 +▁nam +会議 +剑 +ӓ +▁Richard +날 +▁absent +რ +луч +载 +▁هناك +▁appar +せて +▁Band +▁我不 +後に +oedd +De +▁минут +没有任何 +距離 +竞争 +▁Ö +▁Fahr +gaben +▁15 +sert +危 +▁кого +本人 +ά +▁Air +▁Kultur +yal +▁lust +漫 +▁developing +26 +▁boots +あとは +stream +▁ບໍ່ +弾 +dress +▁quelques +▁Bewegung +▁messenger +жен +▁roads +ų +▁menschen +gender +deck +▁molto +mart +学家 +▁basic +也不会 +▁nag +チャ +を受けて +ի +有的 +▁firmly +提高 +▁одно +団体 +ender +▁Bezug +kura +wort +▁inclu +لار +作家 +話題 +住民 +bura +çı +▁crowded +diği +▁outcome +有效 +volle +▁May +َّ +▁honey +行って +чет +boot +分かる +یی +家伙 +boat +wara +stimmen +公平 +発見 +▁Вы +的情况下 +ర +▁sana +▁ram +▁тысяча +▁especial +▁hastily +されます +▁Vielen +和其他 +或者是 +▁hai +▁nearest +▁multitude +kraft +үүд +minister +ivi +▁rất +▁plays +▁clay +销售 +▁porte +周围 +wechsel +ууд +▁erzählen +▁ernst +▁оно +▁系 +市民 +▁leaning +▁overcome +长期 +melt +▁Groß +үр +▁innerhalb +▁scrap +cita +▁returns +▁april +奈 +gehalten +应用程序 +dela +▁kri +amp +滚 +▁grasp +▁cách +软 +▁corps +elde +▁lincoln +▁lee +全て +▁continually +▁Rus +▁خوب +一步 +人と +一九 +▁đầu +▁lokal +▁молод +に対し +ege +▁disorder +▁implement +吐 +默 +nick +足够 +者が +▁twin +▁между +餐 +下的 +タイ +iment +自分が +▁reveal +ờ +schlagen +uki +richten +тельно +相关 +▁kadar +▁cosas +▁chinese +▁Paris +▁rebel +挑戦 +▁এক +▁humor +▁improving +һа +いただいて +ваць +▁fühlen +▁cerca +āk +▁ornament +▁Wahrheit +带到 +科技 +找到了 +真的很 +euse +▁purple +聞き +外面 +▁deshalb +▁amid +▁Mac +疯狂 +ления +颜色 +▁clau +ுக்கு +▁continua +职业 +ネット +張 +کرد +浪 +的行为 +kleid +ல்ல +▁september +▁Schiff +tava +软件 +遠 +也不是 +▁Este +思う +▁confirm +tete +になると +乌 +istan +どれ +äre +皇上 +▁oath +愤怒 +دل +朗 +▁apparent +ồ +▁khác +▁shaking +▁acquainted +▁citizen +stav +▁biz +陸 +得很 +权力 +▁lieben +▁fost +▁badly +▁King +▁mankind +util +▁هیچ +ҳ +tele +sucht +戻 +Da +▁centuries +ようです +нар +▁urged +чен +matic +▁throwing +▁outlook +▁loves +▁religi +を感じ +OK +gab +▁Nähe +▁issued +zioni +▁đây +iriza +gesch +裁 +aud +▁Universität +さっき +lika +▁studio +рат +聴 +чин +分からない +▁зада +▁afterward +lerini +▁conta +ましたが +逊 +트 +▁있는 +▁Tr +▁illness +見え +▁alter +▁sounded +posta +▁Job +▁significa +下降 +▁третий +nyo +elen +▁کنیم +avuga +▁poem +▁Sur +变成了 +ख +再び +sili +早就 +نج +greg +絶対 +▁First +trac +▁photo +当年 +greifen +iĝas +▁wären +▁caso +ode +45 +能不能 +Me +らしい +▁enthusiasm +マー +▁bene +警戒 +انه +ừ +krieg +ř +爬 +▁شهر +▁preserve +▁Kur +震 +▁spear +浅 +▁bwo +▁moeten +imba +▁comparison +したこと +▁câ +食べて +胖 +拡大 +▁право +▁kw +▁الخ +蓝 +臣 +什 +▁recorded +▁rational +▁estimate +你知道吗 +▁thinks +見た +▁arrest +ssy +▁trend +表面 +eke +▁durant +▁contain +▁Dy +ற்க +ைய +一件事 +临 +кә +sicher +人都 +▁gathering +▁transaction +coll +▁explo +▁maria +ovan +▁当我 +ног +什么事 +ला +同事 +▁toch +議 +▁vorher +说是 +▁Wat +▁genuine +リーグ +ckte +jahr +▁madam +ध +مون +タイム +▁sig +scribe +购买 +premi +Pa +▁হ্যাঁ +ога +识 +▁Fern +日子 +斜 +분 +ника +▁hook +ania +▁schwa +▁Zeitpunkt +▁год +▁meadow +▁charity +▁نام +▁column +ministr +▁Kraft +ঁ +的钱 +▁revealed +宣 +▁fearful +▁melancholy +▁daher +机器 +▁первая +まずは +vesti +把自己 +▁ansehen +▁lugar +▁Geschäft +交给 +▁leaf +зо +腹 +虎 +No +ქ +▁compliment +但这 +▁trot +▁lands +▁Fuß +報告 +ொ +巡 +iš +▁manners +جد +治療 +等待 +خط +▁brow +▁mock +овая +tico +生き +▁wet +怎样 +passen +lur +▁Yuba +シー +不在 +embro +ধ +▁zonder +ន +Ü +▁craft +nji +档 +فی +য +▁misfortune +kaba +вес +ക +flow +▁Pero +さんです +アウト +чым +过程中 +ppel +これで +cce +вае +▁alike +阻止 +しましょう +▁blu +嘉 +▁senior +▁stellte +version +药物 +▁然后我 +忘 +вала +▁gloom +复杂 +的节目 +▁mejor +ča +wende +演员 +▁borne +センター +▁спа +▁ebi +▁requires +杜 +▁پا +▁fac +医療 +pher +第二个 +▁switch +yne +▁theatre +作った +信号 +体验 +лам +你需要 +▁sixth +▁abandoned +▁tipo +類 +▁noted +规 +▁initial +上去 +شار +▁charged +宇 +돼 +▁ciudad +当たり +为你 +▁cares +އ +活着 +▁encourage +門 +tures +간 +▁Би +▁referred +erde +▁leaned +дом +▁Blut +▁шо +非常感谢 +انت +画面 +▁marks +▁flock +ะ +以下 +▁công +▁saß +▁originally +▁sowie +kti +▁encouraged +cm +psi +▁жизнь +▁hunger +ता +我今天 +忠 +stel +уп +自信 +قى +▁volen +acco +▁acu +▁яшчэ +▁而是 +lation +aks +nish +angan +芸 +гад +할 +ям +ี +ogni +▁hoping +約 +紙 +出版 +さんも +▁Hat +▁likewise +치 +▁contempt +▁Seiten +▁свою +我我 +▁wanting +ไ +య +anze +こそ +▁operational +вести +سر +▁gaan +کس +maß +民族 +仅仅 +阿姨 +فل +▁тысяч +rò +DNA +工程 +▁stout +毎日 +▁senses +研 +dil +▁fuhr +aca +担当 +▁говорить +▁dispute +rgi +▁landscape +tima +▁الذي +сте +▁brick +بول +jer +َا +▁examples +对我们 +▁Hin +▁großartig +▁gir +▁engineering +▁cau +▁monk +mona +ځ +上班 +作者 +▁má +▁الط +зов +伝 +▁chỉ +dern +▁provisions +28 +ales +▁Bal +创建 +atory +▁introduce +▁назад +bart +好きな +mother +üz +▁engage +гон +лад +▁champion +子的 +食品 +見える +SNS +▁inferior +▁gratitude +九州 +▁trained +▁mensen +可怕的 +闲 +走吧 +stern +view +玛 +开了 +単 +▁finance +▁Gebäude +führung +是这样 +の影響で +すでに +的关系 +▁personas +▁bride +▁occasions +自分で +▁priests +と同じ +搬 +imiento +сем +▁То +呗 +iche +used +стаў +▁chicken +▁Straße +好处 +是非常 +hom +公司的 +away +▁temperature +▁sob +▁darling +▁knock +tick +术 +甜 +franc +▁гол +▁Quan +based +不得 +しっかりと +▁artificial +sburg +メディア +大きい +නි +增 +▁आ +られている +өөр +tät +很大 +▁todas +工作的 +aş +听说 +所说的 +vali +schied +▁objective +سو +区域 +じゃなくて +avait +likuwa +鹿 +▁laut +ではなく +▁monta +▁swell +主席 +▁anderer +▁ellos +是吗 +▁determine +的第一 +▁Familien +▁threatened +のも +灰 +我的意思是 +▁شو +▁utmost +miz +▁nacht +▁arts +束 +▁commit +▁backward +▁efficiency +▁surrender +ebe +とともに +نده +通知 +ەر +这些人 +baha +▁sonst +git +vale +▁зам +iness +▁Preis +お伝え +▁imagined +内で +▁visual +의 +▁Bedeutung +んだろう +まった +чат +wang +▁probable +他也 +▁conclude +▁Ili +財 +設 +वि +ots +dium +eerd +▁employment +的女人 +ຮ +梁 +変わって +民主 +quent +十六 +uge +▁retain +ச்ச +▁monarch +▁receiving +かん +utse +▁dreißig +▁Anne +▁employ +оз +▁attempted +▁july +▁nào +tief +すぐに +ēja +▁draußen +▁könig +我们也 +رج +▁detective +kup +▁geç +そのまま +ぶり +வர +▁childhood +кал +▁ciutat +ении +▁bloom +かも +▁wilt +koj +▁poured +んの +▁hinzu +節 +ager +附近 +▁femme +才是 +cco +▁ramp +によると +buka +▁уг +▁eki +▁monument +▁contains +公众 +öz +▁items +Mo +поль +▁kleiner +从来没有 +が入って +▁instruments +▁thine +▁essen +侧 +habit +桃 +をお +▁suchen +敏 +▁Region +shin +تل +▁Tiu +尚 +葉 +ators +наход +డ +▁могут +zik +ステ +态 +wagen +▁recognition +mez +フィ +▁safely +▁Jack +ija +▁телефон +овка +▁commitment +跟你说 +▁wage +зда +සි +тын +好不好 +▁мало +▁alleen +▁பு +▁hasn +スの +ってきた +悪い +▁relatively +▁Mur +▁Bru +▁relationships +▁rat +るように +▁Doch +▁noon +同样的 +▁integr +简单的 +▁seal +гляд +▁Uhr +我怎么 +▁dining +▁gebe +culture +師 +他不 +▁kot +▁huis +帮你 +大家都 +▁solve +fur +▁poll +▁jamais +meri +▁cared +bonne +思想 +数量 +一半 +▁furniture +▁territory +▁verbunden +gaan +Imana +herr +▁estar +▁revis +hale +▁Kü +▁lucky +账 +▁pursued +の皆さん +っていうのが +▁mondo +瞬間 +スポーツ +dě +▁ugly +秦 +資 +▁ولكن +▁gering +пас +始めた +▁cries +ありがとう +裂 +▁amor +alis +haber +ë +巨大 +гер +たの +kee +وە +▁groot +▁प्र +цев +新たに +谱 +ары +نفس +▁ваш +▁кры +maal +▁mum +iter +▁mig +bá +盟 +向け +▁betty +▁никогда +▁кү +гэ +どの +ブラ +北部 +йн +▁peasant +gren +很容易 +下さい +ไม่ +▁Ek +▁Are +friend +▁invisible +evi +▁climb +lek +rika +tua +▁terug +эк +▁mijnheer +▁decir +▁Mill +とおり +▁studi +▁shield +伸 +assi +▁award +需 +pira +禁止 +▁autor +▁contre +▁entend +给他们 +▁hugh +!" +▁passa +▁erwähnt +公开 +▁zweiten +iau +▁Ok +mitten +ৈ +喊 +dle +来る +inu +▁ئە +▁freely +汤 +なんですよ +▁nuestro +▁couch +▁mistaken +400 +▁expecting +攻击 +▁landing +你对 +的就是 +▁größte +▁那就 +这对 +点击 +ried +▁bowl +裏 +და +kah +بط +face +lekt +▁urbo +▁solchen +距离 +вели +▁drama +をした +chip +اص +mouth +▁statt +antwort +kho +โ +她是 +▁literary +▁بیا +fassen +▁michael +▁nights +▁jag +都可以 +▁Geschichten +дын +出来的 +yê +模型 +▁آیا +▁пятнадцать +▁belle +ピー +▁Stra +бит +▁merchant +▁russia +骂 +▁Amb +今は +youtube +수 +▁grade +▁ɣer +ც +撒 +▁pipeline +聚 +▁Möglichkeiten +たのは +▁julia +容疑者は +微信 +▁얘기 +くなって +▁umuntu +sprung +などに +খা +▁vorstellen +▁decent +動か +もいい +的力量 +トン +▁acted +▁Personen +恐 +大型 +▁reproach +エン +▁nhà +▁Heute +に対する +マーク +▁Street +▁toutes +▁hinein +▁двенадцать +даа +▁ब +▁Ah +ера +▁kama +▁hob +▁abzu +黑暗 +▁hated +▁steal +▁더 +▁yıl +▁事实上 +volu +▁powder +Ch +klu +针 +ং +▁Entscheidung +▁mail +话题 +▁otra +rir +▁rhy +▁сразу +你可能 +cija +там +dow +摸 +rite +ienne +感染者 +play +lick +▁denk +▁están +若い +▁verändert +チャンス +红色 +▁bade +ây +mt +nych +世代 +▁johnson +▁fears +som +什么呢 +去做 +▁prompt +最終 +▁capabilities +ுவ +▁Anti +▁harder +在那 +ides +▁examination +▁invitation +▁Erfolg +小的 +定义 +测 +▁això +住了 +赫 +▁авто +▁apt +▁Roman +wahr +hard +▁irà +▁toute +会場 +▁spectacle +個人 +德国 +حد +别的 +けて +▁näher +mpe +用意 +▁کی +▁bedroom +▁puc +▁nascut +一日 +▁30 +▁meantime +ということは +▁Charles +▁shareholders +明白了 +국 +故 +ыз +තු +十一 +usta +ೆ +▁parla +اخت +▁inches +power +的这种 +ずに +berry +品牌 +引起 +▁historia +▁pret +▁fantastic +威胁 +kru +当他们 +ؤ +esi +▁occupation +rose +ር +▁statue +決定 +ясн +ો +▁Ton +▁blij +uɣ +ogo +▁favorable +我从 +▁outline +atur +んじゃ +▁বি +▁conception +▁comun +大谷 +меш +었 +▁session +▁fed +今まで +▁ridiculous +妹妹 +бр +▁maig +フランス +▁2017 +ترین +▁глаза +▁её +▁Computer +▁vanished +kauf +▁Unterstützung +▁gukora +做的事情 +业务 +▁schm +러 +▁gotten +▁pār +▁rece +▁zuerst +கா +猎 +▁vergessen +▁weet +ný +▁Japan +▁pointing +▁estos +▁unconscious +だけど +னா +▁permission +هایی +вел +一定是 +头发 +ине +悔 +▁Zum +ッシュ +杀了 +様子 +▁blush +▁sharply +做得 +▁befindet +▁cyf +▁football +▁alguna +пов +泥 +ghi +十八 +▁treball +▁inspired +▁pattern +▁crystal +効 +▁cultural +▁monster +▁Bücher +▁என்ன +сел +▁pomp +▁これで +記 +eyed +mati +トリ +boo +庭 +commerce +pru +▁records +取得 +culo +▁Mau +ようと +▁Ban +特殊 +ฉัน +采访 +дра +ош +イベント +发出 +▁prayers +▁employees +klo +count +▁panel +▁crossing +擦 +这是我们 +▁Frank +▁kinda +ghan +reichen +▁shone +có +▁tutti +真实 +▁avenue +ちょうど +kultur +在我的 +▁iyo +▁fetch +essen +▁detect +▁England +▁село +▁난 +▁reaction +特定 +采 +person +惊讶 +▁strangers +▁gemeinsam +тыр +▁beard +▁gleiche +▁Africa +周り +▁сколько +▁steadily +voca +两年 +zira +▁startled +▁muttered +寄せ +你应该 +策 +▁jud +在他们 +闪 +개 +▁millor +▁vein +に向けて +香港 +播放 +▁accurate +扬 +살 +▁Website +ফ +覚 +▁whirl +よし +ope +ລ +英雄 +▁我会 +▁gek +фі +是怎么 +▁rap +ますか +▁attacked +▁endure +▁tie +يع +rp +rash +▁specifically +▁collected +nahme +uous +න්න +dru +稳定 +oid +と思った +▁каб +how +▁以及 +▁anchor +行き +▁pia +ingham +▁также +礼物 +▁Typ +理想 +▁lleva +ないように +角色 +uck +ી +▁abstract +▁Steve +Pro +▁secured +▁бес +mist +生意 +▁consequently +▁vriend +的世界 +▁führt +ໄ +▁railroad +▁ticket +igis +▁Ji +道德 +▁disgrace +소 +▁compare +我必须 +▁wandering +▁knocked +▁tant +liter +▁procure +▁oedd +media +▁offensichtlich +都市 +fed +▁続いて +کار +▁resistance +▁ئى +▁menos +▁maken +空气 +제 +stock +負け +▁disappointed +fee +選手の +▁admire +่า +▁marie +立即 +質問 +▁directions +eron +▁Jean +ясь +يات +კ +汁 +兴奋 +▁egg +كا +▁erinnern +▁Polizei +ய் +▁È +吸引 +iere +ຍ +▁dip +▁starts +▁свой +cir +ক্ষ +兴趣 +्य +fekt +▁Marc +▁coward +匹 +▁உள்ள +▁dalla +とした +▁brutal +▁traf +holen +肥 +gian +鲜 +课程 +会儿 +▁resumed +ຕ +▁территория +schul +▁complet +▁sighed +限制 +▁elsewhere +ança +质量 +ノー +▁Versuch +образ +kwe +▁virus +天気 +筋 +的书 +▁timing +熟悉 +促 +▁дома +对了 +▁Damit +我给你 +▁Bel +ối +▁Chance +জা +ルー +快点 +これも +anca +▁frau +周辺 +▁pierre +干嘛 +▁فکر +教堂 +▁確かに +香り +道理 +agit +有多少 +指示 +ம்ப +▁patch +スーパー +▁tonight +▁Markt +رم +▁Regel +migrant +miş +sió +巧 +kha +Ha +mination +▁astonishment +▁asia +má +kota +дээ +▁Fehler +▁Dieses +▁persone +cant +▁aquel +消防 +▁perfection +cció +rren +门口 +fest +▁viz +粗 +▁nonsense +schätz +ができる +程序 +▁говорил +▁Clo +siz +▁identify +ós +▁omu +祝 +続き +▁род +ock +表現 +▁slightest +aĵo +豊 +▁пожалуйста +ски +▁Lehrer +▁erfolgreich +moor +பு +▁players +▁vì +▁descended +qual +xo +▁hopeless +▁conducted +手术 +▁Ay +▁12 +っちゃう +生活的 +▁dragged +▁بعض +нет +▁inte +мон +▁teu +тө +▁liquid +▁hip +find +moni +▁State +Е +▁shooting +▁legend +埋 +▁revenues +▁unglaublich +abel +слав +▁” +听起来 +所有人 +▁düşün +了他的 +残り +fro +▁bend +▁wirst +▁akk +▁hitherto +成長 +こうやって +▁dirty +metri +分の +▁perceive +▁jur +vra +خا +▁năm +晴れ +酷 +▁poste +лер +lais +▁sav +认真 +毕竟 +with +▁regional +▁scholar +苹果 +改めて +因素 +டா +кы +▁sembla +zustellen +▁pupil +ifying +缓 +手に +名前 +▁совсем +相談 +▁ал +▁kendi +▁promote +▁стороны +了我们 +发生的 +прост +▁mateix +▁дума +ково +▁Green +自动 +lima +もらう +ели +▁departed +▁belonging +▁Star +وز +テーマ +யின் +▁hesitated +▁Om +评 +▁Hoch +正确 +協力 +ikan +はどう +▁lane +machen +reba +▁ব +逮捕 +在美国 +▁гру +osi +1000 +泉 +▁examined +方は +▁disco +▁Ale +▁terwijl +▁dig +避免 +▁leisure +worm +▁depth +卢 +▁worried +做好 +出身 +生まれ +▁قرار +废 +ám +zzo +culp +▁Gebiet +ibya +ач +▁scenes +王子 +gelegen +基于 +▁partie +lhe +▁belt +রি +änder +▁compassion +♪ +下了 +ями +▁devotion +ろう +他の +ケット +▁monitor +▁häufig +検討 +tö +enta +▁sido +補 +聊天 +我一直 +▁гэтага +▁называ +蒸 +▁当你 +shyi +houden +conc +▁device +この日 +凉 +▁Del +mica +剂 +ドイツ +是要 +隣 +▁narrative +▁Medien +▁francis +Р +▁beaucoup +▁whistle +她在 +▁kumu +▁droit +我们正在 +nahm +etta +▁fille +Do +▁owned +通り +もらって +写的 +疼 +ל +ām +пра +них +gali +shya +▁France +▁cord +だし +rab +▁estava +▁folgen +遺 +位于 +▁sä +▁Sport +▁kui +页 +の方が +nata +▁facing +▁பொ +もない +He +▁inventory +实验 +uter +raten +Sa +▁drank +قی +伺 +▁Barcelona +▁keeps +▁하고 +▁mult +gni +금 +▁astonished +▁readily +▁unexpected +▁mug +どうして +ҙә +跡 +еб +▁Hill +面临 +onia +▁cinema +čas +创业 +▁зап +rücken +▁silly +▁facility +▁除了 +用于 +▁Monsieur +ばかり +▁collect +▁انجام +▁gifts +▁doctors +▁emotions +▁republican +▁maintained +▁snake +▁سي +身份 +▁ней +▁models +▁gracious +ibwa +leigh +بت +▁meines +警察は +stall +▁percentage +خوا +▁crop +▁ainsi +忘了 +cide +▁killing +▁tool +的好 +teria +▁mutual +剩 +▁wreck +▁chiefly +▁values +▁strengthen +▁cómo +같 +的能力 +▁wunderbar +steigen +▁heir +▁2018 +кат +zī +▁அது +▁கூ +breite +▁guter +▁duck +相对 +承诺 +叔叔 +▁bana +使う +زار +组成 +lö +としても +kap +操作 +物质 +Ba +入って +halte +▁tau +▁weapon +▁байгаа +rok +▁graduate +心情 +ブル +▁höher +leu +するため +▁vai +ころ +五年 +▁landed +闭 +▁след +▁selected +放心 +秘 +等着 +nol +gling +▁对于 +▁lend +▁povas +券 +▁sources +▁Kampf +はある +▁Gro +▁jemanden +要做 +▁peaceful +як +规定 +dolph +追求 +univers +添加 +▁pump +バン +特徴 +多年 +easing +枝 +▁Louis +▁Rob +改革 +一本 +▁climbed +▁bueno +▁analysis +важ +シン +▁roger +sein +▁riesige +organ +▁plat +▁seventh +imper +ика +ニー +▁breeze +▁slavery +モン +▁Seg +cru +这个时候 +zte +nici +▁grandmother +这是一种 +最後に +厉害 +ề +▁usted +▁split +的儿子 +速度 +gers +▁heavens +شان +▁planta +奇怪 +▁Sed +▁yüz +дай +▁saturday +うれしい +奇怪的 +联邦 +جو +ydi +▁cyn +▁зах +üste +agne +мол +ায় +▁bwe +бира +toria +尖 +好多 +undu +▁urban +гч +ыч +穴 +▁hiding +▁loan +ແ +▁kant +▁complain +▁apa +▁точно +抜け +建物 +▁Win +يب +재 +政府は +▁Professor +▁naked +期間 +▁essay +翔 +▁propose +▁circumstance +めた +不见 +tour +使われ +гар +我妈 +▁zuvor +坚 +mik +财 +▁museum +▁건 +▁engineer +日から +uß +▁solar +nın +▁gesamte +▁后来 +となって +写了 +▁agreeable +▁canoe +▁rug +▁Hor +جان +什么呀 +▁marble +meister +ەت +▁dorothy +▁confused +ноў +лат +ffi +née +否则 +Applause +ண்டு +▁complicated +▁guerra +キー +你不是 +▁最后 +class +▁swiftly +lton +滴 +▁vollständig +▁будем +▁gleam +▁finest +ザー +▁fiel +▁gusa +▁motive +時の +▁circ +timo +▁こんにちは +rated +هی +ect +▁moins +▁rested +fau +dden +elijke +鼓 +ough +kub +▁quart +ຫ +菌 +skri +まれ +▁Juli +جه +▁dorm +▁selfish +混乱 +▁佢 +なんですか +▁examine +▁insurance +гай +一开始 +▁disturb +cción +政権 +伏 +征 +▁Foto +▁stati +讯 +xed +▁chemical +ром +ships +ligen +▁halb +▁introduction +▁дальше +▁dish +联合 +posa +积 +基因 +ይ +商店 +粒 +不去 +▁Fran +彼此 +▁nieder +▁mache +都要 +три +気になる +▁основ +▁achieved +▁نظر +込む +زم +高的 +Di +使い +某些 +▁Joe +пам +▁cloak +投入 +▁captured +週 +就这样 +сс +所谓的 +▁arī +▁spoil +nuncia +▁ɣef +word +▁materially +▁thực +▁öffentlichen +▁яв +gum +▁ئۇ +▁quote +▁indicated +▁stor +tare +▁kaufen +▁google +▁unterstützen +对自己 +▁wichtige +▁recovery +mensch +▁Ehe +▁lessons +neɣ +던 +怎么回事 +octubre +頑張って +أكثر +▁testing +އި +ști +dır +▁byose +▁polite +рова +imana +▁exhausted +▁rivers +を行う +帝国 +oval +▁例えば +▁Rom +这不 +▁Yn +▁patent +動画 +рас +▁mole +不必 +cura +▁anh +▁überall +美国人 +▁disappointment +▁soup +ktu +▁transformation +▁Verhalten +後半 +▁байдаг +合う +▁Sil +ぜ +扎 +trud +ży +▁shepherd +▁возможно +レス +cier +▁sunshine +▁Telefon +愉快 +▁havia +aşı +のだ +进行了 +农 +▁continuous +▁públic +▁poz +▁давай +满意 +悲伤 +lma +▁curse +reb +空気 +قال +▁player +安定 +maker +的那样 +▁ntabwo +▁способ +heben +▁hecho +wide +Ho +then +ありました +▁pendant +▁咁 +但它 +能量 +▁Himmel +十九 +有些人 +年的 +▁свои +▁practically +ость +▁deserted +说他 +▁buying +▁thorn +▁holds +信仰 +lings +▁glimpse +▁CA +▁Kal +slav +ҙа +思います +何も +ँ +regen +ッチ +druk +قص +▁preferred +续 +بة +▁мин +fälle +▁travail +▁他是 +ழு +▁matt +ít +eği +勝ち +মি +▁ваше +するのは +ෝ +出した +▁bite +黄色 +مال +▁preparing +▁há +ử +digit +▁World +かせ +ieron +答 +遇 +カル +ファ +بن +화 +▁priv +kaza +▁giờ +ப்பட்ட +▁bé +▁چند +kut +▁darf +▁دوست +具有 +fes +еть +▁Cette +konstru +▁thứ +▁jako +ছিল +organisation +▁Essen +▁surprising +渴望 +资 +浦 +isieren +▁байв +▁Ideen +స +▁größer +besitz +bour +ән +werfen +▁Ebene +dah +美丽 +监 +ドラマ +じゃん +▁калі +独自 +時期 +▁cose +▁چیزی +▁joining +▁confession +天天 +▁processes +보 +▁比如说 +也就是 +ーム +是我的 +▁Stil +スピード +少年 +▁fühlte +予 +vig +ики +▁nap +▁angels +▁schedule +rán +▁boston +▁oude +まま +душ +腾 +ху +咖啡 +валі +▁лес +刷 +▁suspected +▁inquiry +▁amusement +ordnung +▁Klasse +食べる +我记得 +连接 +فق +▁precisely +ープ +▁왜 +▁Thomas +場合は +schlag +னர் +▁instructions +turi +▁passieren +▁medium +姓 +▁укра +にする +wasser +▁cigar +▁pessoas +▁thirst +▁gö +がこの +▁norman +geni +拜 +rina +اک +出现了 +纯 +ffin +忘れ +戦い +效果 +こういった +kõ +▁مق +▁روز +妙 +▁jones +▁During +碰 +这条 +っちゃ +рон +pack +gina +が起き +▁sins +gelassen +prä +▁Wand +istes +plat +▁telephone +conf +桌 +▁shine +不知 +جل +▁Red +▁pearl +▁prec +家の +▁Süd +▁într +牧 +agu +お話 +▁sym +意見 +case +▁2016 +▁tenía +▁Netz +lusion +▁sola +なくなって +克斯 +习 +енно +▁lucy +日間 +단 +መ +肺 +Sch +文章 +▁festival +нае +дам +ppy +▁glaubt +ило +漏 +सा +は何 +rico +吃了 +▁première +移動 +▁River +穷 +▁sensitive +今週 +▁provides +нуть +今度は +获 +▁attract +▁durante +桑 +▁கு +を作って +volv +ື +▁armen +現 +abwe +세 +ých +隊 +chet +▁euro +kula +▁hoofd +▁visitor +▁nooit +ятся +にした +▁August +每年 +▁هست +▁colors +▁buri +▁definitiv +▁Wu +かない +eno +গে +▁لكن +egi +▁своей +▁Jordi +pfen +▁solicit +▁goods +▁composition +gine +第二天 +までの +▁intellect +▁vow +现在是 +▁frown +▁furnished +▁обе +য়া +收到 +▁sicherlich +▁setzte +▁harsh +専門家 +▁Тэр +社長 +的一切 +ハー +迅速 +hend +られています +毁 +ന +順 +▁lunga +最初の +anta +▁expectation +▁أي +ью +▁дээр +▁মা +udo +▁jail +计算 +▁나도 +お父さん +fä +* +▁Studenten +▁Gut +▁你可以 +合同 +рус +zam +rul +帅 +▁Why +▁moderate +块钱 +හි +alia +▁timid +▁cigarette +没关系 +ologist +rufen +legi +دید +▁முடி +敷 +方も +刺激 +误 +▁fortunate +▁crow +kehr +ーション +▁nut +你认为 +frei +▁mình +▁existed +烈 +lij +agost +▁partnership +ู +▁ده +▁così +▁hebt +fire +▁país +druck +Ә +▁demon +▁improvements +这样一个 +▁jealous +化学 +連絡 +医学 +huit +▁transfer +گیر +▁favourite +强烈 +お伝えします +卫生 +▁jerusalem +ঘ +ارت +化的 +▁parallel +ções +概念 +我们知道 +anu +したと +▁我不知道 +候補 +在他的 +iens +적 +مى +▁Jud +に戻 +▁Gleich +▁dynamic +▁arrested +母親 +▁establishment +何を +▁père +▁Regi +لف +科学家 +▁xwe +갔 +▁Fan +▁television +bach +zes +数学 +கே +ってくる +ớ +▁граждан +下一个 +▁стран +loj +▁是啊 +▁masters +лез +▁какая +オープン +▁option +ັ +▁identity +▁submit +▁jusqu +抑え +gefühl +▁medio +bira +我应该 +勝利 +ĝis +▁handkerchief +夫妻 +孩子的 +▁vue +▁sober +阵 +▁lightly +clos +▁laten +chie +şti +那个人 +informa +rough +▁links +▁distinguish +tego +▁civilization +▁jaar +▁drugs +▁convenient +いると +ನ +▁например +dock +▁disturbed +würdig +▁deutlich +hri +destin +免费 +zina +▁revenge +zogen +чка +瀬 +▁concealed +rwanda +▁باز +fahr +ilo +한테 +奶 +いるんです +аба +得点 +institu +нан +▁hedge +▁Every +違い +▁Ly +▁بس +свя +你这个 +▁dressing +猛 +俗 +ச்சி +▁Ang +问我 +▁بزرگ +▁chapel +ходит +▁kiu +ений +我跟你说 +堡 +utter +躲 +▁ໄປ +▁fabric +▁frankly +を出 +漁 +队长 +▁هل +的歌曲 +쫌 +baar +还有一个 +▁boast +▁Pf +▁bunu +▁Kas +сол +rock +元気 +お願い +▁Santa +imento +抜 +▁чувств +ණ +書いて +▁dwelling +聞いた +▁Laufe +brechen +stol +也在 +раж +给她 +▁arrangement +▁Са +zat +jung +29 +minded +▁vivid +▁18 +走到 +去看 +▁weren +うち +▁Mir +背后 +abilir +ホームラン +ures +上がる +nischen +bridge +lara +hound +▁technologies +▁accompany +დ +tempe +▁cream +▁anticipated +même +лей +▁Linie +が行われ +▁Pres +言った +past +ruf +▁trait +uche +모 +▁scotland +▁struggling +▁vậy +posit +患 +ミサイル +▁preserved +▁зачем +▁defeat +avu +▁aby +▁pint +iji +leute +known +済 +サービス +▁ёсць +実際 +的国家 +▁são +▁copper +宾 +▁Partei +ziel +▁illustration +ими +politi +ハン +▁US +bry +▁verge +öd +法官 +itud +番の +差不多 +很有 +▁jury +▁Pas +知道了 +▁объ +edifici +雨の +类似 +▁stamp +stimul +我们应该 +▁monte +ީ +称之为 +细节 +ote +▁номер +ライン +日中 +赌 +ctive +页面 +gion +▁creative +始 +▁Venim +▁beings +schloss +▁influ +它在 +▁гэтым +传播 +子どもたち +▁Vous +mış +▁sino +fach +▁Stelle +対象 +个月 +big +▁autumn +chron +▁давайте +▁eaten +▁crept +цэ +値 +▁defense +激しい +▁echo +nelle +▁owing +▁Black +▁moest +▁behalf +▁происходит +impa +▁minimum +niz +▁investiga +着急 +▁october +られます +▁virgin +▁lean +ළ +▁ответ +えた +▁звони +いけ +享受 +äch +你们的 +onge +▁Hände +trat +▁outward +这里的 +▁notwithstanding +▁volunteer +▁Smith +чная +去吧 +湾 +帯 +きている +вез +制限 +maya +どうですか +▁clothing +性格 +▁Baby +bbing +වා +花了 +аю +▁entwickeln +▁approval +▁irrit +他没有 +▁Alles +▁associate +▁kenne +▁bolt +永远不会 +lug +▁perfekt +gué +nutz +想知道 +▁bestimmten +▁nail +ビー +ыми +▁hatred +glia +保存 +▁answers +▁hefyd +不懂 +催 +aeth +▁math +的一种 +ounce +eco +қа +ĝa +regel +うん +▁betrachten +பா +nyama +起き +玛丽 +▁Fort +願 +▁Chúng +wald +moto +▁sustain +명 +▁founded +▁bringt +工资 +undi +Emp +▁isso +▁pris +と一緒に +eaux +ủ +aĵoj +ても +海洋 +▁passes +otto +▁Gesundheit +կ +先週 +unga +зал +▁immortal +▁covering +▁wash +ích +bula +казать +wak +issen +担 +泽 +nico +▁hyn +▁react +▁мор +mol +▁definite +▁decrease +▁scarce +▁beating +print +強化 +▁Wind +egu +▁справ +леп +gga +▁nhưng +▁poc +是最 +ங்கள +▁compete +かかる +▁territori +hana +続く +ground +経 +就是我 +買 +وری +邦 +ミリ +▁Gib +nă +▁segui +种族 +gung +▁formerly +▁gün +ents +யும் +кие +▁Kindern +▁farewell +▁cotton +пон +▁mechanical +▁enabled +थ +wesen +▁prejudice +과 +▁Organisation +کان +▁beasts +敌 +▁breathing +▁đề +▁dues +▁grandes +▁letting +wegen +▁provision +▁fishing +▁ongoing +ŭ +地位 +▁그러 +和平 +▁länger +▁canada +过的 +▁alma +▁Pal +cular +வெ +▁elegant +司令 +かね +▁interessiert +▁feu +▁violet +маш +▁Landes +▁gazing +gestalt +一个小 +нат +klar +ló +▁gallant +pä +▁tutto +▁În +kore +正确的 +lever +▁restrict +▁Lösung +▁applications +▁witch +ительно +yong +会在 +تج +彼女 +stärk +たちは +гре +▁Spi +▁tribes +η +six +sitz +komen +rê +▁geboren +▁niets +▁prominent +けどね +诉 +添 +发生了什么 +tamente +▁unver +韩 +ỗ +▁viņa +heure +ያ +兹 +るんだ +巨 +дж +ඉ +ři +▁upstairs +▁entertain +цию +▁indicate +kab +▁rarely +株 +▁imperial +pression +дем +应用 +形で +crib +▁replace +▁beaten +阴 +▁আছে +平时 +立刻 +一群 +▁Außerdem +джа +▁seltsam +▁ته +유 +いわゆる +দা +▁dimension +▁Bob +岁的 +思い出 +open +孤独 +▁disaster +களில் +baba +▁touching +をかけ +▁tribe +kati +航空 +▁Nation +▁maxim +留在 +방 +となり +手が +▁ähnlich +ēt +▁strict +いきたい +により +гән +▁wives +▁политик +クラ +どちら +▁Herausforderung +这一切 +▁sailed +lash +▁hanno +тка +月の +▁Vorstellung +sible +участ +倾 +namen +हरू +込まれ +daw +揚げ +っていく +nsen +▁collar +ނ +hill +▁petite +alität +▁grab +▁Kam +▁egal +绿 +事业 +ores +▁bewegen +besch +▁Titel +了她 +きょうの +这两个 +危険 +labor +▁funds +十三 +갈 +▁jaw +▁senator +▁doorway +ationen +્ +зар +litz +dó +▁определ +▁あれ +▁accent +yana +▁wrath +Li +▁moses +arna +▁Hay +ええ +▁interfere +▁Text +▁можна +臭 +なんですけれども +embra +zó +лич +描 +发表 +ぁ +itor +▁cheese +▁stato +돈 +▁Mitarbeiter +▁label +কার +▁spun +▁propos +▁speaks +在家 +赞 +ór +▁finds +市で +眠 +ነ +flor +ニア +▁мяне +▁اگر +▁operator +tention +▁definition +見事 +вра +▁büyük +tribut +порт +非常非常 +вяз +rov +▁walter +oti +▁marched +▁restored +ells +▁trug +好啊 +onda +▁riches +▁Hoffnung +太太 +ுடன் +lob +▁belongs +▁hans +非常重要 +▁présent +分子 +某个 +讨厌 +▁attracted +しまう +▁encounter +nnes +zzle +レイ +▁attain +▁вами +▁mutter +开车 +바 +▁funeral +щу +اره +▁shiver +创新 +▁стал +treiben +保险 +▁lightning +▁complaint +▁african +重大 +你跟 +▁같은 +چى +对他们 +▁quel +▁sama +▁обо +遊 +aves +▁manufacturing +汗 +教会 +做一个 +▁wid +мент +▁november +▁месяц +▁elbow +▁tank +ほぼ +лем +ति +NHK +кин +▁Bilder +▁zeker +стве +一个非常 +▁curt +ტ +▁asset +破坏 +anye +▁differences +▁нашей +clin +ウクライナの +行われた +▁Shi +dors +▁democratic +▁Obwohl +صف +هر +▁feeble +leş +这种情况 +ssin +を受けた +kai +▁robust +▁besondere +▁elected +▁Modell +▁seconds +lauf +ダイ +ګ +セット +時は +Applaus +白人 +▁свобод +病毒 +损 +ජ +▁Mat +▁executive +▁onto +lag +▁важно +ან +▁concerns +ء +ebbe +▁Tru +▁seed +推荐 +▁Staat +祭 +▁cleared +მო +eixen +让它 +သ +wiesen +Ro +train +▁acknowledge +取れ +風が +依然 +▁indifferent +人数 +▁generate +▁frost +itaj +▁reminded +▁romance +隠 +▁ireland +▁Ха +最多 +▁layer +柳 +就有 +▁caution +▁bezeichnet +▁denied +سە +▁profile +的位置 +tato +▁politische +▁Dra +高度 +ちゃった +▁Bay +成立 +▁stephen +laş +変わり +neb +ält +oza +coloured +рок +▁independence +▁traveller +接着 +utu +许多人 +▁leather +这项 +进步 +▁exists +kia +进一步 +ړ +▁Char +▁English +cional +maakt +▁zá +▁wereld +▁дэ +他们都 +▁Sicht +出来了 +وك +▁christians +種類 +gone +▁говорят +▁danach +▁positions +问你 +यो +▁daylight +wall +えない +不住 +▁echt +脳 +搜 +▁consists +děl +人在 +▁Adam +umva +▁formula +anzi +▁тысячи +▁casual +ины +▁eighth +plica +guer +世界的 +▁استفاده +▁German +▁بیشتر +▁Ŝi +ează +反対 +▁determination +时刻 +iller +히 +不愿意 +▁republic +respon +alen +liste +▁outer +▁echte +对待 +私たち +▁которых +って言って +你先 +่ +▁aveva +nym +acions +▁然后他 +▁democracy +填 +▁гэты +▁Bruder +▁characteristic +▁Kris +▁neuro +politic +▁visitors +ໂ +▁gale +tır +▁protestant +▁befinden +▁одиннадцать +▁Schi +いまして +öhn +연 +そういうこと +arbeiten +лас +▁porter +做到 +cun +нер +nette +atan +▁zweitausend +ల +ట +öö +▁relevant +鼓励 +很棒 +fford +▁dios +▁Tak +个小时 +我发现 +▁Ul +rating +▁creek +▁aggressive +▁трэба +それでも +手里 +へと +بح +нік +一个问题 +公主 +见面 +▁saa +始め +崩 +ivo +Mi +▁extensive +▁спасибо +▁properties +▁Asia +▁Gran +序 +애 +posing +发生的事情 +想起 +十七 +▁Anwendung +лө +▁Member +トー +孔 +▁наши +▁span +▁swung +▁perception +हा +▁ox +劝 +▁laying +▁carpet +wch +vē +はもう +赚 +▁Demo +mala +daten +მე +quar +▁تمام +anima +▁radical +▁власти +anı +▁Ils +証 +00 +hub +ало +の姿 +るのが +раў +読 +% +ваў +监狱 +すいません +▁execute +bred +▁profess +▁Fenster +不上 +exc +▁torment +互相 +▁unge +着我 +ரிய +の一 +▁sci +設置 +versa +▁größten +vê +▁graceful +popul +夺 +ಸ +採 +とにかく +name +▁Partner +あるいは +▁nuestra +▁impressed +ức +对不对 +IT +方便 +pek +一周 +ਾ +ම් +▁California +▁assembly +▁bran +жда +可以在 +▁lei +在她 +有趣的 +▁divide +直播 +nemen +の話 +求め +彼の +▁trends +▁veröffentlicht +илось +助け +க்கப்பட்ட +▁دې +▁rapport +▁tones +nego +怎么说 +ົ +也很 +grat +träge +▁großartige +▁cape +▁successfully +سى +علم +撮 +jah +安妮 +▁whit +inin +▁Funk +他自己 +▁funding +jär +女朋友 +ホテル +▁poly +▁awkward +iyorum +wich +lish +▁Jung +cata +جم +▁Then +bby +embe +▁Kein +防止 +访问 +▁blanket +鉄 +▁andrew +▁grounds +▁چا +▁Israel +▁pap +出てくる +▁convention +றி +えっ +▁Wieder +充满 +▁Australia +fik +аем +▁schlechte +▁Tier +▁febrer +屈 +肖 +課題 +idas +▁milli +▁parish +borough +進め +▁Zeug +عب +En +▁exceedingly +柔 +砂 +郑 +▁таксама +leb +最低 +当て +▁japan +你把 +ächtig +sort +▁shudder +▁profitable +如果他们 +▁放一下 +クロ +ände +他们说 +▁Durant +很高兴 +pare +artig +schlossen +▁ora +▁அந்த +cà +掉了 +fè +▁canal +▁administra +▁bears +出现在 +▁shriek +▁знал +ebilir +▁schrieb +contra +▁roar +間に +液 +相互 +▁package +でお +▁Maar +식 +けども +▁romantic +▁tales +▁gelernt +▁invent +大体 +▁anyhow +を作る +stoß +▁podcast +▁Пра +ლი +奔 +lp +män +кар +mesi +的观点 +gani +Mail +▁mwa +サッカー +▁alien +tiu +是真的 +計画 +りの +診 +医疗 +明确 +▁parece +десят +иш +哇 +▁meta +CO +lec +▁但是我们 +argent +炸 +我先 +▁studying +shaped +的样子 +▁anymore +▁attendant +可怕 +▁erfahren +nade +▁zona +▁Dame +▁containing +▁Patienten +▁болон +統 +ר +▁ჰო +▁соглас +মে +目に +▁gyda +▁endeavour +那时 +発射 +бур +▁cael +จะ +言われて +▁meg +観光 +▁envelope +▁говорю +▁snap +▁truck +电子 +ຊ +▁endeavor +▁stole +▁beheld +焼 +这也是 +energie +▁acid +▁communicate +▁Хо +估计 +怎么会 +зем +මා +▁Australien +fish +嫁 +igheid +odi +区别 +нев +liko +tale +▁Camp +文学 +krit +hielt +▁tube +▁карт +igne +ді +我再 +的身体 +obo +告诉我们 +▁dhateng +▁invention +ări +▁அவர +▁Herrn +าย +▁cunning +folk +をしている +▁Fra +▁ignor +▁Denken +付き +▁слуша +実験 +patri +▁Ganz +▁kurze +▁saving +東北 +韦 +るのか +▁baz +▁Freude +▁километр +責任 +▁restless +ском +▁Ty +▁факт +▁whip +收集 +となります +スタン +▁folly +▁wool +▁uses +મ +▁Unsere +全員 +стат +▁regards +▁Flu +El +▁recommend +るような +tering +ству +ీ +cope +每天都 +harmoni +▁کرده +▁appointment +下雨 +广泛 +ehr +für +向き +cell +юр +വ +设置 +这只是 +▁erzählt +publik +▁nämlich +经理 +▁senate +▁perpetual +的研究 +昼 +ற்று +▁Grand +和我们 +ものです +まって +hra +▁laura +可能性がある +▁Cho +▁mama +▁Cam +chair +▁chart +▁опять +▁injury +scheid +ambo +▁gospel +projekt +cı +▁elephant +▁наверное +nisse +▁dislike +▁stomach +▁amendment +応援 +▁barrier +▁upset +独特 +白色 +▁dedi +無理 +▁extract +時間が +小说 +▁pains +就是你 +観測 +▁所以说 +粘 +選手は +yin +▁этому +▁lass +湯 +指挥 +▁illumin +rush +進んで +দের +élé +▁helps +fia +▁Bildung +▁Jeder +亏 +億円 +ご覧ください +gress +▁romans +▁Haben +トラ +国家的 +mato +hut +支え +▁tudi +▁disappear +ына +▁Gesundheits +▁ነው +▁Beziehung +cam +▁Drei +扣 +▁celebrated +▁coisa +▁convey +▁aussehen +weis +▁Hon +止め +碗 +▁acquisitions +关闭 +▁Ба +超级 +▁tables +ໃ +▁ndetse +一面 +▁واقع +ีย +ibility +載 +ilor +信じ +وف +раг +grade +上の +▁Viņš +ӧ +手段 +бил +▁damp +▁Alex +▁taxes +▁chez +▁50 +▁zumindest +がいい +盤 +brau +歴史 +kopf +▁wordt +▁ເອີ +두 +차 +เป็น +茨 +▁cable +▁grows +▁constitute +▁یې +▁interessante +てしまう +備 +▁despre +▁promo +回目 +那个时候 +▁imbere +探索 +phon +途中 +▁machines +▁Handel +▁salvation +▁parted +▁punto +алі +▁moja +壮 +halb +▁corporate +者的 +▁flank +勇 +▁relieved +ますよ +ена +drückt +Н +▁churches +めちゃくちゃ +自民党 +进了 +仁 +▁swim +▁loĝ +▁الآن +hnen +也不能 +▁eben +とっても +ټ +▁getroffen +▁stake +kou +▁Fisch +schap +太好了 +zwi +▁vive +如果他 +最重要的 +γ +ますが +軍事 +▁woe +ウェ +息子 +▁Steuer +肯定是 +▁tay +▁boss +граф +rons +lasse +灭 +க்கும் +lini +体験 +▁delivery +▁temptation +忘记 +ウル +奴 +▁thành +▁په +▁writers +▁assistant +▁Tam +кө +我爸 +▁boom +чный +だね +اپ +weil +uwa +▁facilities +▁monkey +私たちは +صور +▁тому +સ +真相 +这就 +削 +▁Sim +▁squire +▁britain +败 +۰ +しかった +ちなみに +ستان +▁trifle +dist +▁options +empat +敲 +▁Monat +会说 +стой +しようと +▁langen +ப்பி +▁Az +焦 +ますので +ছ +sters +糟糕 +erei +▁subtle +胎 +に行く +▁яна +▁времени +スタジオ +▁сообщ +普遍 +yim +pē +▁sitzen +プーチン大統領 +你没有 +— +▁Monate +▁dive +▁Fre +各地 +▁bias +ml +▁bị +▁gardens +▁ceremony +▁roots +غل +geschichte +▁Ĉi +▁minu +▁имеет +来年 +iaeth +小さな +饿 +▁можа +▁Hall +帽子 +کش +▁pense +▁Tisch +эконом +ufu +の世界 +▁Leistung +▁steer +сю +hul +ーク +ですので +爷爷 +вон +▁wax +违 +дь +一个月 +▁isabel +向你 +ె +lari +▁peril +メッセージ +すぎ +것 +▁общем +▁Ken +▁natives +邪 +▁Anda +nice +结合 +把她 +chang +кро +▁Kunden +首都 +地点 +▁launched +▁cran +вен +фер +開始 +ப்பா +▁Dum +的意思 +▁dragon +▁silently +なければ +荣 +▁Junge +▁searching +这将 +▁erklären +▁scratch +▁ehrlich +emba +▁Liste +応 +까지 +▁fitted +とする +GAAP +▁limits +რი +を使った +배 +ovi +eight +раш +▁marine +▁Tar +▁Many +壊 +년 +▁troubles +▁nuclear +▁lodging +خص +▁termina +多分 +Weiß +有所 +acak +wise +prof +num +英语 +abana +胜利 +cada +autobús +▁residence +ولا +▁zeg +▁Jim +抵 +▁Bö +▁Hauptstadt +京都 +iling +我把 +▁appetite +▁oameni +▁cardinal +häng +地元 +▁doubtful +reiz +リスク +来て +慌 +ғ +しょう +▁bother +算是 +▁reverse +▁dearest +ของ +▁занима +▁giả +不像 +▁newspapers +▁boil +のうち +μ +▁мужчин +一声 +ār +▁fury +かわいい +ầ +api +ố +ở +▁Aufmerksamkeit +shore +堆 +▁центр +議論 +ได้ +ですし +如今 +▁passions +▁limbs +▁producer +verein +▁مج +▁glen +▁natur +rade +▁verrückt +版本 +回転 +lica +▁hinder +▁hastened +▁anticipate +大事な +の問題 +▁zwölf +先に +▁그니까 +▁erstaunlich +▁assault +发生在 +▁vede +▁bust +▁binnen +▁lloc +は今 +tré +といった +court +▁exquisite +wunde +ның +▁Lee +▁bundle +duct +高速 +▁nas +mac +▁достаточно +体育 +チャー +さあ +▁desires +▁Geschäfts +gana +辛苦 +略 +交谈 +的那种 +bí +レベル +▁brass +说得 +무 +dala +歯 +▁shalt +kuba +スタ +▁взгляд +对象 +▁clinical +目を +殖 +industrie +戈 +的主要 +▁Sel +ԥ +enne +▁ralph +▁resting +ась +aran +body +▁esteem +▁hail +ඩ +▁вместе +仔细 +▁rip +▁Aquesta +▁Welche +Bo +されていた +▁multe +锅 +否 +▁наша +▁export +▁vigorous +▁Phil +мын +▁scandal +炮 +カレー +▁Gla +▁بازی +تان +▁prevented +▁tranquil +▁tobacco +▁thence +집 +▁tire +▁schwarze +リング +▁embrace +▁schu +ほら +▁rural +ҙы +▁skirt +▁каждый +るという +▁Bitte +仍 +ຄ +▁wrap +vara +ەوە +者は +воз +нал +▁offers +έ +恐怖 +安心 +▁geweest +▁dumb +▁municipal +фон +上げて +tē +小组 +▁Carl +▁golf +▁Position +▁después +绑 +2019 +▁scientists +▁但是你 +경 +▁دیگر +▁excess +লো +erweise +pence +▁prey +把它们 +قة +そこで +▁fünfzig +пле +微笑 +▁cabinet +▁accused +muzi +確保 +▁решил +▁Büro +的最 +كر +▁formation +▁princes +ですけれども +still +әр +▁баш +▁entertainment +ິ +奉 +800 +▁собственно +放下 +ということを +bird +システム +ток +▁Tochter +被告 +▁uncertain +▁нельзя +▁شخص +ほん +arma +▁insight +▁ruler +▁altijd +▁habla +ären +▁Here +zunehmen +▁passionate +▁nunca +▁typically +童 +와 +▁supplies +räum +温暖 +anche +▁lustig +stop +▁ascend +かし +▁Stunde +▁начина +وار +றை +ර් +▁marquis +▁Quin +伙伴 +▁إذا +▁Pop +惠 +кую +のない +anne +していきます +友達 +▁retire +来源 +almente +frau +▁ўжо +mates +няя +нич +▁seda +消失 +ısı +▁wrapped +வில் +▁política +行われ +見えて +▁mau +lager +▁při +上来 +lett +ލ +dang +▁bez +енный +哲学 +ены +جز +▁barrel +相反 +▁neighbourhood +パス +zeichne +esten +メダル +▁Kosten +▁relativ +коп +▁älter +编辑 +الي +gründe +голов +体を +ஷ +有机会 +▁nobles +这件事情 +が発生 +ということなんです +告诉他 +往往 +▁دارم +ũ +yah +五个 +న +▁argue +ශ +ピン +imos +▁trusted +▁прямо +рог +▁depuis +idades +Ч +▁যে +ではありません +ていて +億 +▁unpleasant +smith +わない +▁latest +рг +んじゃないかな +nische +▁pulling +を持つ +puesto +乘 +酒店 +▁такого +▁Gelegenheit +rats +▁svoj +▁viva +这就是为什么 +杂 +▁مورد +পর +▁pushing +▁depths +しよう +ヨ +Ne +gles +▁guards +均 +▁hadden +▁maison +▁sketch +вых +宝宝 +弁 +▁surgeon +▁aŭ +▁siempre +sea +除非 +▁далее +quí +感觉到 +capacit +▁advantages +▁chant +umwa +bä +森林 +▁foul +مار +矿 +跨 +▁staying +热情 +мысл +▁paw +▁Straßen +▁forecast +▁собира +اری +互 +obli +енные +ப்பட +▁fum +▁cá +▁distinctly +ада +wari +飲 +一部分 +市内 +怎么能 +gge +▁عنوان +出演 +▁sterben +▁reproduc +▁register +▁Mitte +tiga +bron +▁Software +▁knights +たちの +▁место +▁menschliche +ising +▁repent +▁mechanism +taka +▁haut +需求 +▁stopping +ợ +▁breathe +濃 +不容易 +stick +sagen +▁guarantee +这些东西 +詰め +缝 +▁sabi +所在 +ランナー +▁представи +▁является +特别是 +شي +Đ +▁després +辺り +也要 +▁образом +听着 +▁earnestly +▁Tim +воль +就没有 +ост +▁oleh +何が +▁donne +فة +trägt +▁brains +幸运 +▁deadly +станов +valu +ürü +いえ +▁skull +gebiet +Mar +敵 +攻め +▁spielt +source +baren +▁Bevölkerung +都能 +▁stirred +▁commonly +▁pang +▁Before +角度 +▁tener +▁winning +▁öffentliche +截 +نة +▁parce +dler +させた +уль +▁Größe +▁nei +▁conservative +▁туда +というもの +用の +▁boxes +▁reception +▁Şi +▁timber +▁Druck +発生 +мир +適 +弃 +▁Sud +解決 +க்கி +▁baga +からも +وح +▁comprend +在你的 +工人 +划 +ложен +原则 +史上 +klä +ե +markt +荡 +kari +walt +オン +▁neues +▁Ergebnisse +▁courts +нг +버 +shot +ең +▁blew +haltung +▁Herzen +грамм +▁participate +▁competi +ちょ +알 +▁gerek +▁президент +▁esti +ண்ண +공 +교 +▁fatigue +▁fatto +▁aquella +altra +▁blossom +恵 +鮮 +瑟 +▁jewel +▁Rock +帝 +ось +▁remainder +▁راه +特別 +▁technique +▁pillow +opa +많 +▁category +▁таким +ませ +▁monday +それぞれ +pio +läuft +▁zunächst +▁Second +volg +motiv +▁nerves +▁programme +omu +tious +▁Bell +▁augen +дон +一把 +инский +▁ஆஹ் +▁omdat +▁dutch +سته +▁profitability +affe +▁standards +付近 +俄罗斯 +kreis +▁gelang +овых +кор +▁procession +ơ +将其 +他有 +爱的 +很有趣 +▁Omu +кія +▁summit +▁fünfzehn +چه +生活在 +コー +情况下 +▁gesamten +海岸 +非常好 +家长 +écri +▁murderer +▁Он +▁مست +▁accelerate +itas +cía +▁diejenigen +▁contracts +▁commun +高中 +hte +▁delivering +たっぷり +kala +▁popula +公园 +▁domain +▁journalist +▁repar +crit +ための +▁Auswirkungen +▁былі +▁Papier +所以他们 +lē +பார் +外交 +▁Bundes +我们家 +そんなに +▁stolen +低い +附 +zaba +иа +▁egyptian +ା +달 +脏 +▁uwo +lă +会不会 +▁Web +▁olduğu +дор +regul +時点で +必ず +ță +wissenschaftlich +▁scripture +mper +を示 +▁alterna +kke +حر +shuri +▁format +amerikanische +ння +▁serving +▁doll +▁resemble +▁slain +走进 +美丽的 +展開 +▁wilderness +▁creo +kind +▁Stein +▁mussten +gramm +▁абсолютно +ని +film +不好意思 +▁sailor +我看到 +笑声 +嘅 +火车 +便宜 +gid +うまい +也就是说 +中継 +▁cats +ango +wehr +чил +▁flashed +小孩 +으면 +▁occupy +不对 +▁victims +rink +▁shan +▁dife +▁должно +あんまり +чай +▁وقتی +谈话 +珍 +庁 +コース +rechte +▁компани +后的 +▁fem +▁utili +struktur +付出 +mount +▁humour +ții +▁respectable +を迎え +бри +▁бог +myaka +mast +▁accomplish +оро +什么意思 +▁allowing +▁streams +扫 +mming +▁Pferd +▁aya +ގެ +▁Canada +chief +▁erhielt +▁scared +▁burnt +▁gloomy +▁выбор +lha +▁さて +нулся +▁Link +ımı +ベル +ிருந்த +仪 +睡眠 +▁God +▁Vorteil +▁Stellen +ístic +を作り +▁Reich +重点 +氷 +つい +лийн +早速 +▁số +▁стол +▁Haar +ゾ +説 +▁equity +▁grove +▁زندگی +お客さん +选举 +妮 +फ +ывать +開かれ +kamer +хай +▁adjusted +парт +▁insanlar +垃圾 +ան +だが +您可以 +mena +▁suitable +ދ +fähig +bikorwa +上升 +▁needle +▁hawk +มี +ベスト +▁prend +▁clima +poko +地元の +▁jos +قابل +▁prudent +什么是 +▁agony +▁inevitable +losen +▁таких +▁wages +▁otros +date +双方 +诊 +▁cluster +桂 +杉 +インド +▁meaningful +iet +▁fruits +継 +▁status +的男人 +▁trage +▁polly +zehn +でしたが +▁самое +amour +和她 +ufer +▁transparent +rier +tero +スク +を入れ +▁offence +▁இருந்த +ライブ +▁washed +▁obscure +esso +規模 +▁resident +▁resolve +▁betrachtet +▁foarte +幻 +正好 +▁damn +zugehen +那儿 +ஓ +წ +tian +層 +▁assembled +中国人 +▁chairs +夸 +▁сур +解除 +▁Dit +終わり +To +▁menyang +tanz +▁officials +▁libro +▁Glauben +ibu +▁prim +гы +▁Most +构建 +▁entweder +▁bauen +是关于 +動物 +▁Mund +ambu +かけて +rop +▁generations +▁Joan +▁dash +▁masses +▁mögen +بات +oud +込んだ +▁brows +演奏 +一気に +防衛 +cula +▁Interesse +еры +方針 +和他的 +mog +ຈ +輝 +▁disguise +▁varia +▁leaped +नि +▁leer +шь +zieren +ļa +ına +rique +彼女は +ளை +雑 +amendement +这本书 +▁confined +不久 +将在 +▁nephew +imit +бан +缘 +gado +我们今天 +ereza +墓 +▁domina +买了 +体制 +稳 +صر +一万 +競 +浴 +的结果 +時から +पा +▁hopefully +▁còn +什么都 +▁poe +▁fastened +▁brands +▁ấy +烂 +▁florence +▁legislation +gari +▁высо +barra +▁Plu +aciones +dna +一首 +賀 +▁december +▁valid +cine +▁erinnert +pole +familie +琳 +strat +▁humans +gā +▁kinder +▁scri +ampl +▁blast +琴 +曹 +▁dispar +绿色 +挣 +▁продолжа +кру +▁steamer +▁arguments +▁toda +を超える +▁kullan +tli +▁Zustand +▁suspicious +脉 +▁obstacle +競技 +椅子 +▁Maß +▁temporary +的任何 +▁persuaded +如果你想 +逐 +▁cambia +ウン +ό +▁abbiamo +▁vary +▁понятно +ぐらいの +ものの +辈 +▁commenced +▁Schrei +ligt +主题 +都知道 +schule +▁separa +web +▁Kaj +飞行 +thon +▁nnyo +ump +▁Service +▁irgendeine +eus +件事 +这么大 +的老 +▁protected +▁effectively +分かります +dür +主要是 +кус +▁enorme +ष +エネルギー +▁sunset +нэ +wah +▁призна +кино +▁deinen +▁costume +くない +کو +▁homo +▁کردن +tò +ума +もありました +いきましょう +▁seats +▁Dort +▁mars +▁supporting +▁replaced +▁hammer +▁Two +▁interven +sley +▁машин +把这 +▁genauso +مۇ +нская +▁furnish +▁units +的爱 +▁strangely +먹 +steuer +受伤 +関係者 +是这样的 +失去了 +▁اینجا +分け +ທ +▁globe +市場 +播客 +иг +资本 +▁contents +hanga +zicht +▁großes +还会 +▁jove +кер +▁saints +丰富 +▁Vol +▁fazer +▁mou +دون +▁Ntabwo +▁Pass +▁fires +▁devices +▁tienen +нымі +▁mademoiselle +ガス +taba +▁achter +鬼子 +还真 +買い +▁rays +▁Cent +▁buryo +▁cual +▁amigo +▁murdered +んでいる +▁vulgar +elte +▁seas +▁либо +пуска +▁aceste +申请 +そば +▁Brit +▁bitten +的历史 +▁Natürlich +▁Texas +炭 +▁Schwester +▁блок +▁neighbors +ாள் +一時 +▁двух +rita +▁effet +▁часть +מ +▁speziell +▁групп +われ +亲自 +جی +ashobora +▁armies +tuk +▁succession +上昇 +▁Minister +一些人 +ৃ +究 +▁wing +いう +的呀 +anthrop +の一部 +▁fountain +兼 +▁minut +りとか +初の +把他们 +ว่า +▁Design +▁familia +神秘 +lui +▁testimony +教えて +▁abruptly +▁Une +▁decidi +riet +类型的 +▁meetings +받 +월 +рай +space +iadau +▁pall +▁antwoordde +職員 +مز +каў +think +▁insbesondere +▁solitary +ヨーロッパ +▁responded +中国的 +▁puzzled +逆に +▁Mul +赢得 +గ +сөн +不是我 +▁sauce +ついて +▁diferente +life +民主党 +▁pronounced +までに +公民 +▁hohe +▁diverse +▁namely +▁weigh +pian +这张 +▁thereby +வீ +▁tragedy +が出て +▁但是他 +谷歌 +іцца +ök +nika +▁chứ +剪 +▁offices +你们俩 +▁channels +zette +sozi +▁twi +公園 +gize +rata +養 +▁scott +▁grip +▁longing +▁texas +▁diamond +事業 +这场 +▁Kä +bou +想过 +ுள்ள +一遍 +尝 +schutz +▁clara +▁уу +вяр +善良 +▁memories +üyor +▁producing +▁sadly +▁wink +生存 +现在的 +协议 +▁scent +ىنى +hine +▁veces +▁pří +▁Ng +购 +▁Werk +▁cog +行政 +ワールドカップ +▁Schmerz +▁milit +liği +▁neglect +pier +黑色 +▁என் +▁functions +▁harvest +시간 +▁floating +が今 +▁metro +lingen +яць +▁partially +▁indication +▁Rei +スタッフ +▁Sub +予報 +▁guilt +gesehen +的学生 +▁sergeant +mari +ады +Wa +平等 +房间里 +않 +▁documents +▁cavalry +▁பல +fashioned +▁sets +бой +▁nehme +த்தின் +▁پیش +क् +广播 +ае +动作 +▁integration +石头 +▁результат +▁amas +▁brig +দে +饼 +▁fiction +題 +▁кстати +▁shu +▁பிர +しまって +flex +eorang +made +рал +shop +領 +scheiden +ĉa +旁 +舍 +ї +不是说 +truc +schiff +▁Scott +ія +▁roses +▁但是在 +胆 +▁Ра +داری +我们想 +Ab +▁trabajo +に関する +▁defect +▁Gil +ერ +▁wandered +会談 +ckle +勝負 +Au +meli +▁bose +飲み +šo +植 +▁애들 +所说 +vian +▁لقد +作って +▁satisfy +ffle +▁Arzt +▁wann +▁deeds +▁myth +▁Nummer +▁criticism +▁Kro +故意 +单位 +▁맞아 +ستا +▁guardian +▁indignation +Ver +▁recollection +会見 +▁whoever +break +気温が +সি +▁gleichzeitig +陛下 +▁delicious +开始了 +读者 +beeld +起了 +▁illegal +地面 +▁yeni +▁enjoyment +▁outrage +并在 +▁flee +屏幕 +больш +▁interact +▁momentum +▁hano +▁inspiration +liches +ලා +iser +▁glasses +加上 +暑 +орон +耐 +▁dramatic +▁равно +hla +gó +协 +障碍 +倉 +▁sunk +▁шестнадцать +▁tendency +▁Island +するなど +预测 +よい +▁unbedingt +▁bleibt +▁шмат +▁disp +angira +arca +▁crimes +onne +▁loyal +▁apostle +▁betray +оны +▁inward +ilia +烦 +的日子 +▁사람 +lg +見る +rinner +沉默 +▁seize +ஞ்ச +iler +▁правильно +なあ +▁بسیار +媳妇 +▁говоря +主意 +물 +▁ruhig +▁Turn +不出 +сом +▁Nel +紫 +unddreißig +を務め +unta +▁Autor +▁diana +▁alexander +▁telegraph +▁ساخت +нен +▁amen +焦虑 +▁Artikel +аар +حة +▁seves +▁пост +һә +天下 +Un +明显 +▁لدي +лаг +▁Rand +▁personality +hart +abandi +っていました +zek +▁arrangements +بد +▁sermon +が多く +的照片 +▁ruined +ahu +なと +智慧 +ัง +▁теле +tou +▁geheel +ению +▁своих +▁virtues +▁widely +▁mingled +▁Kir +我们没有 +ccio +▁Club +我们不 +езд +してた +▁rider +teilung +كو +一片 +▁женщин +سان +重复 +生日 +▁approved +绕 +機能 +ishi +ograph +讲述 +危机 +広がって +获得了 +رە +意见 +妇 +▁loaded +cation +いいですか +▁fran +услов +▁pastor +统 +提供了 +再開 +▁puff +ն +障害 +▁financi +给大家 +kund +▁tune +arro +▁없어 +▁levi +lade +今も +▁yea +▁serpent +▁endless +いいですね +いき +▁Where +▁Beste +riz +离开了 +径 +ränk +ному +伸び +▁Fähigkeit +▁Schlaf +▁duchess +你和 +▁لأن +就这么 +▁executed +▁heels +▁chicago +성 +▁vader +zahlen +▁periods +called +just +▁тринадцать +さい +dron +改变了 +रि +▁vera +▁sharing +inta +▁Feld +負 +▁ihe +кров +dog +▁чт +pool +▁dreamed +▁heilig +▁slender +在家里 +▁uncon +മ +▁그리고 +▁Kandi +Union +英里 +▁chances +ryo +场景 +遥 +链接 +移民 +十四 +▁sac +fact +▁selten +▁Arab +谈到 +▁feather +▁inch +尽可能 +都被 +日常 +▁attorney +human +▁helpful +劳动 +经营 +▁mă +▁Cro +▁languages +▁Esperanto +лев +▁sustainable +タン +生産 +纵 +うちの +▁promotion +lateral +stamm +making +華 +▁risen +geist +▁vehicle +大量的 +сна +▁careless +ваю +村さん +一刻 +育て +▁Ча +取り組み +▁passengers +雇 +း +▁chimney +▁엄청 +▁abundant +ใน +调整 +場で +moc +▁sao +▁Generation +男女 +▁provin +▁funktionieren +▁limp +▁calmly +gesellschaft +▁Ram +▁quello +▁tv +▁agents +、4 +あら +和他们 +▁беларус +▁Bezirk +どっち +▁villages +▁intervals +▁cooking +▁printed +▁revelation +▁Gene +也就 +ǧ +今シーズン +女王 +▁mwen +我们对 +стер +上で +链 +▁politique +▁sunlight +▁differently +god +보고 +暑さ +对她 +▁dost +图像 +▁poden +igno +çu +▁holes +かれ +多久 +▁consumers +▁sweat +bac +喝酒 +▁کم +▁movies +▁одной +τ +テン +arian +▁verdad +قول +司机 +承担 +▁exceed +низ +今日も +措施 +▁clan +uso +▁Last +回应 +▁nowhere +ência +▁islam +ɣa +gende +بان +報 +quir +▁Lehr +Ц +▁nerve +▁january +批判 +很大的 +男朋友 +通信 +کت +栏 +いきました +▁путин +町の +混合 +▁absorbed +wami +もともと +èn +有趣 +▁hinunter +state +▁fathers +▁sweep +情報を +▁alcohol +bonye +ggy +රි +fitting +isierung +aq +▁exposure +紹介 +iker +indu +▁friday +цыя +brü +▁faculty +▁convict +▁tad +誰か +نظر +新型コロナ +업 +ို +遺体 +▁addressing +什么的 +たって +▁veu +▁presents +▁depression +ハイ +▁Suche +财产 +▁Ту +前半 +▁joan +を引き +стрел +田中 +▁user +▁constitu +▁Publikum +▁Tour +ەکە +機関 +▁muốn +овал +▁moonlight +▁welke +まだまだ +▁которой +▁participa +彻底 +▁discussions +▁году +idée +醉 +出して +▁Nachrichten +fordert +▁proces +高さ +▁Esto +예 +切って +▁Inhalt +▁fortunately +ево +ndre +▁قو +arı +你都 +فه +披露 +market +▁сами +tano +了一下 +平衡 +150 +gekommen +多大 +ተ +▁lieber +zas +▁demands +多少钱 +べき +飛び +шә +▁stare +他们有 +abantu +하지 +▁hı +魂 +▁supplied +豚 +шен +▁preparation +bing +▁heavenly +規 +▁nhất +selt +▁გა +▁gig +▁можем +銃 +ضا +▁raus +▁Ergebnis +▁forests +▁erstellen +▁Fle +ஸ +▁behaviour +年轻的 +lder +энд +тел +யான +▁Please +▁travelling +多么 +volution +더라고 +▁größere +を変え +▁procedure +遭 +▁Material +▁campus +を行って +級 +руу +roch +▁Mä +現在の +你已经 +чын +▁erwartet +▁requirements +就不会 +専門 +médi +转向 +Lachen +未来的 +▁commune +▁Fluss +孝 +tega +▁Zimmer +我认为这 +▁Cra +レース +状况 +▁جدا +一大 +不是你 +зор +▁choses +▁Tie +▁representative +▁pent +▁knot +有点像 +െ +▁slim +▁Sho +っか +чных +法案 +ța +▁barbari +▁Sto +▁promptly +камі +изм +oog +▁verme +▁adorn +やめ +▁commence +▁Hör +schritt +emt +ところに +▁vz +▁тип +债 +леч +がん +▁добра +abend +excel +▁aceast +のもの +你真的 +▁invented +矛盾 +▁neutral +と思うんですけど +erna +rf +zima +规模 +ワー +喺 +▁currency +▁eagle +lom +magn +▁claimed +▁pockets +점 +etto +的目标 +▁হয় +▁blade +▁laŭ +евская +重要な +dī +▁кабинет +▁zéro +▁francs +大多数人 +вил +▁identified +你可 +▁logic +你给我 +تس +axe +▁achievement +▁contribute +▁Ober +反応 +宝贝 +もあり +▁itu +基地 +▁admiral +nydd +shyira +中学 +drin +teen +こんなに +رات +脸上 +ში +▁colleagues +同情 +▁random +覆 +挤 +声が +▁bewegt +结束了 +安静 +영 +▁weiteren +▁okul +▁начальник +erfolg +▁grava +▁pove +▁Pod +的数据 +▁typical +クリ +schaffen +也好 +▁wrought +জন +kommt +だったり +dust +terra +講 +▁bushes +▁muß +ユ +▁хэл +▁waist +我一 +跌 +工业 +▁dave +ئو +回头 +▁Radio +600 +▁confirmed +ということが +外国 +来讲 +ža +chal +▁mouse +仲間 +▁alert +ላ +▁Council +肌 +▁beginnt +铺 +▁Day +▁hired +全国の +だい +伟 +ук +▁condemned +いよいよ +▁stap +▁música +ithi +▁conform +performing +▁incredibly +▁cresc +▁lingvo +扭 +胃 +▁thumb +▁honestly +isk +ffel +▁specimen +glass +はこちら +▁spark +munt +西方 +▁grupo +你不会 +▁söyle +histoire +વ +随便 +rama +ಕ +なきゃいけない +▁circuit +の声 +▁Rue +练习 +▁prayed +更大的 +納 +برا +ほかの +회 +▁entdeckt +▁команд +фор +这也 +▁nasıl +nehmer +相关的 +原谅 +рыв +送到 +▁deutsche +IS +▁purse +上有 +▁soziale +▁rhe +代码 +ует +輪 +▁Hallo +比我 +iest +かかって +▁tid +posició +▁daring +してくれ +sprach +東部 +毎 +▁agency +poj +知って +gamba +▁carr +指导 +▁yeux +飛 +▁followers +贾 +▁obedience +▁spät +▁mischief +報道 +川さん +action +迎 +▁resort +▁deals +▁warned +摔 +丑 +▁Einzel +லாம் +ほどの +▁mob +ああ +もんね +jed +하면 +precia +百万 +▁represents +российск +▁entitled +▁derived +▁lace +▁resource +▁certainty +▁gott +又是 +▁gallop +ジュ +iwa +電気 +这就是我 +руч +▁dolan +npr +Il +▁coarse +▁процесс +みます +▁tenderness +▁charges +野さん +▁emerge +umber +喊道 +检 +▁satu +▁sahen +є +▁notwendig +தோ +▁flames +士兵 +▁Seele +خبر +▁Nhưng +▁från +▁کښې +▁아니야 +▁affectionate +▁curtain +▁detailed +やら +我叫 +一系列 +▁пара +oce +▁exempl +范围 +がいる +sions +▁artists +ària +凭 +▁divorce +▁хоёр +▁corridor +▁lofty +最高気温 +roma +陷入 +開け +▁nivel +集团 +waka +ב +▁Feind +损失 +▁орган +mite +polo +内の +▁Zugang +使って +▁fein +▁numéro +▁allí +ற்ப +▁pressing +afrika +ষ +dores +可以看到 +▁roughly +▁стара +技能 +▁savings +▁farmers +▁theater +glück +magnet +▁când +▁barely +▁briefly +вялі +போது +ôn +児 +احت +と呼ばれる +cloth +▁aka +和一个 +▁painter +▁challenging +初めての +▁borrow +完美 +▁pillar +ί +ரோ +▁Frei +军事 +▁advertising +▁solitude +ことができる +やってる +力が +▁bargain +のではないか +不少 +ジャンプ +ბა +ビル +жо +▁sees +يح +▁normalerweise +bih +▁před +▁telefon +▁injured +▁marsh +uburyo +▁правда +就把 +▁газ +瞧 +▁moves +के +▁writes +▁advocate +なんですよね +▁sebagai +▁wherefore +▁hoop +maga +▁sphere +来月 +guin +咬 +▁underlying +▁olduğunu +にいる +主动 +▁plusieurs +みんなで +ً +nwa +燃 +lijke +私人 +▁Studie +例子 +ূ +牢 +▁happily +따 +ciò +▁идет +▁парти +を入れて +▁ranks +īt +ctic +就是这样 +▁blows +有用 +▁colon +吵 +找你 +▁pensar +кім +彼は +迹 +▁organized +柄 +дог +▁countess +niu +liest +▁construct +ో +▁newly +▁Kontrolle +▁சிற +▁nahe +▁тү +стей +指摘 +▁announcement +▁tenant +▁mexico +おはようございます +vuit +突破 +▁видел +terie +▁energ +houd +봤 +▁harbor +տ +▁verlieren +avaient +aquest +▁Dal +优势 +▁deja +ember +讨 +竟然 +▁slecht +initiative +ehrt +るんです +ativ +▁Studien +letter +观点 +到底是 +▁stond +▁penetrate +▁dividend +▁investors +警方 +▁иван +面白い +っちゃった +▁বল +▁revolver +ateur +руш +misch +▁vengeance +シュ +quatre +▁wheat +shaw +▁nawe +trop +cret +があると +指出 +рә +▁simon +创作 +▁thither +ивать +▁beschäftigt +▁brethren +igita +▁Nie +这个词 +▁Brown +قط +ribu +▁bitterly +▁sofa +▁component +▁ventured +これだけ +bora +很久 +았 +▁Religion +缺乏 +▁Pin +咱俩 +▁panic +很明显 +zorg +的父亲 +▁survive +一辈子 +▁gravely +▁Tagen +▁counted +▁positively +召 +дым +ූ +▁dacă +関連 +ினார் +沿着 +▁bisher +はありません +だろ +▁elf +ް +共产党 +▁clutch +anten +咲 +▁casi +یل +▁conversion +知道的 +▁warten +ьте +▁پای +feuer +瓜 +▁بۆ +▁tenir +▁Ну +不明白 +▁napoleon +の映像 +两种 +自从 +幸せ +hib +jwe +▁podemos +▁pirate +▁bedeuten +лова +我得 +切れ +orden +つ目 +▁weeping +をつけて +ছি +衰 +▁интересно +▁tradu +▁сме +互动 +ស +행 +がい +▁versuchte +恒 +르 +▁Anzahl +彼ら +▁practices +▁мед +menti +▁weiterhin +▁restore +ologia +▁computers +▁algun +用来 +干净 +school +аза +▁vivo +▁Grundlage +ukan +なくても +▁estado +▁attempts +▁Ĉu +▁sample +bund +▁analog +▁celle +▁salva +▁providence +すばらしい +▁House +▁trim +▁erkannt +▁rushing +旋 +ゼ +▁bulk +はおよそ +世界中 +▁findet +cultura +زو +▁instances +зан +ගේ +であり +енных +▁santa +▁jewish +gele +▁gusta +▁condemn +5000 +司法 +führer +▁sais +үл +東京オリンピック +に入り +诚 +ධ +▁nouvelle +▁invite +ovat +▁treaty +▁navy +urteil +minate +іх +襲 +▁mexican +ggle +اي +▁germans +▁aqui +在我们的 +▁canvas +▁selection +ijo +送り +▁blaze +lığı +▁gesund +gora +▁آب +▁Who +知り +nız +▁ôl +▁suck +▁displayed +えば +▁undoubtedly +的过程 +طة +▁Así +▁warrant +▁ursprünglich +▁کردم +пен +婴儿 +蛇 +▁هغه +▁illustrate +事実 +▁bureau +fata +なか +▁Richter +mbwa +费用 +那就 +▁Teile +▁Daniel +▁nên +▁Ад +▁deploy +ký +Č +純 +▁entscheiden +▁چیز +▁Reaktion +▁можете +währ +アイ +က +▁acquire +лив +▁caesar +有事 +ské +▁doth +▁tête +蓝色 +▁conversations +▁wept +入れる +▁politischen +▁jerk +▁elaborate +然后你 +▁весь +▁ladder +に行って +分开 +▁advancing +macht +▁které +電力 +Wi +дыр +▁hamwe +とう +▁lasted +タイミング +▁afite +报纸 +事態 +▁Ker +漂 +▁employer +▁discourse +▁cannon +▁Kommission +yat +shim +▁которое +valo +даў +istoj +breng +▁prevail +ニング +▁julie +nine +ljen +вым +▁pension +縮 +▁сум +▁kleines +▁publish +lden +▁alex +▁niece +閉 +に来て +▁simplicity +もらった +吃的 +▁idol +ester +ਰ +はね +ээс +针对 +阳光 +たく +書き +▁brood +୍ +が続く +craft +专门 +調整 +んですけども +批评 +▁dependent +沟通 +全面 +两千 +掌握 +▁других +kere +으니까 +基金 +iska +▁kang +empresa +▁daniel +▁четыреста +着你 +반 +utilitza +会被 +▁riu +主張 +نية +philosoph +▁munsi +▁помог +طل +▁measured +稍微 +▁وقت +第四 +▁flows +▁hogy +都很 +▁Act +までは +朋友们 +▁trials +▁schlug +符合 +目標 +▁shower +シーン +チョ +нные +分手 +▁kent +ެއް +ින් +▁владимир +▁Angelegenheit +▁ascertain +▁gaat +▁الث +oja +▁birthday +続いては +▁robin +緊張 +▁Fol +▁сделал +▁amused +plex +刑事 +我还是 +储 +▁Zahlen +やす +▁frozen +ごろ +このまま +▁sailors +▁önce +lite +▁eerste +补充 +走向 +▁». +現地 +愚蠢 +Lo +gă +artagnan +▁suite +іў +有两个 +机器人 +▁relate +▁fisher +财富 +▁vanity +尊 +凶 +ɛa +谋 +umba +きています +▁Wild +▁magistrate +▁مرد +Ich +مب +appel +姿勢 +疲 +પ +yez +工程师 +乎 +მი +▁exemple +▁Even +▁ample +混ぜ +▁Poli +▁Ari +皇帝 +▁schr +▁picking +庆 +▁quella +يز +保護 +結局 +блі +▁Cur +窗户 +ическая +মান +31 +你来 +▁семнадцать +▁scout +▁Lebensmittel +收听 +Qu +上次 +قوم +கால +جميع +wür +▁Good +建设 +世界の +δ +▁raison +▁Mike +нный +шо +idio +るため +ვა +fällt +▁declined +geza +如果您 +大声 +すべて +いるのは +赢 +▁obeyed +▁depending +▁colony +側に +стью +ក +워 +osten +▁flourish +是如此 +を奪 +▁كنت +▁swing +脾气 +▁garments +前进 +brid +▁Și +▁sarah +鼻 +▁Ny +Ja +▁swallow +▁entreat +pran +▁angesehen +警告 +▁experiments +坏了 +援 +kunst +▁correspond +▁быстро +首相 +ziert +ですからね +▁judges +▁passe +▁frontier +玩儿 +▁байх +の影響 +gericht +zeichen +bari +两位 +▁colours +唯一的 +実現 +鳴 +寻求 +評価 +▁impre +▁aspects +▁zeigte +▁compte +▁secrets +ması +句话 +ifik +ň +策略 +▁Henry +一口 +▁Бо +ប +ං +▁chính +gier +বার +нию +ケース +▁fanny +▁curs +烤 +wedd +bian +▁twist +▁mère +▁почти +сим +日本は +▁idiot +▁hoog +лиз +▁comprehend +▁Wald +可怜的 +引用 +统治 +тик +▁들어 +▁lawn +きっかけ +práv +らし +なと思って +▁ceiling +ijwe +▁그럼 +▁susan +側の +のところ +▁проект +だという +汇 +▁Freiheit +좋 +▁تت +▁trembled +▁Bil +祈祷 +樹 +estima +cze +▁goat +ße +ことです +▁sai +俊 +▁сюда +▁Rose +▁install +威尔 +bett +▁Indian +▁luxury +聖 +芝 +投稿 +▁Dun +▁повер +などと +dec +▁emma +▁uncertainties +lok +っしゃ +▁signor +频道 +딱 +▁ئۆ +▁servir +復 +仅 +ብ +委員会 +agira +ாய் +我们能 +▁ministers +を加え +使用的 +paga +▁urge +▁phenomena +翼 +ahan +指導 +bruch +标志 +abord +osos +▁essence +ए +atori +▁dried +fica +▁ratio +いますが +▁Lang +半年 +裁判 +▁drops +▁вось +▁Änderung +芬 +▁Beginn +▁emily +▁дур +▁investing +ديد +әк +운 +▁skills +▁potentially +▁herunter +リード +▁revolt +▁soit +▁Bor +メン +权利 +▁vertical +▁believing +хі +自治体 +▁считаю +金メダル +▁groan +ることができ +演出 +களுக்கு +үн +rog +kubwa +веч +ifer +▁emphasis +卓 +getragen +▁ليس +▁pacific +なくなる +▁bisa +扇 +▁Jen +▁страны +▁alarmed +署 +▁Sorgen +係 +▁كما +▁باشد +▁wheels +最後 +共和党 +▁tho +ива +鼠 +半分 +yum +分かりました +ugi +はその +フレ +▁September +▁вечер +と言って +takse +▁voller +šu +éra +涉 +banga +▁bass +▁Diskussion +eres +station +▁forming +▁attacks +▁renew +▁centro +ggs +ყ +▁diminish +▁faded +▁instruction +ルド +сал +▁wach +▁sozialen +的部分 +増加 +相似 +净 +泣 +在这种情况下 +味道 +bourg +を確認 +叫我 +▁steve +师父 +kumi +▁Meer +一代 +▁Städte +▁erwarten +小子 +▁folded +▁Mut +fähr +اخ +▁sleeve +ড +▁subsequent +▁bessere +トロ +rong +▁лично +сту +ест +▁weer +▁giới +▁назва +▁sara +▁acknowledged +bier +▁Boston +▁مد +孤 +姨 +▁Risiko +غان +犯人 +▁transmit +▁regularly +▁власть +做到这一点 +確かに +спор +▁finde +грам +可以说 +▁highway +非洲 +▁crush +▁tett +横浜 +月份 +▁gelesen +なくなった +▁whale +fällig +▁ripe +▁wherein +이랑 +ダメ +勉強 +▁nang +▁Mitglied +▁famille +繰り返し +カード +智能 +dain +ехал +罗马 +複 +訳 +99 +实在 +楽しい +이야 +発言 +命运 +aktiv +▁dense +▁Up +▁reside +大家好 +▁dug +▁genetic +方の +の間 +▁primitive +▁condu +听听 +▁dropping +進出 +या +まい +тек +▁lowest +▁хүн +▁Kann +▁trova +妇女 +шир +▁sandy +▁Això +▁которую +▁gossip +▁Ме +随时 +▁adventures +▁jsme +对手 +特征 +ミス +▁repose +▁Gruppen +▁jackson +▁cage +▁Gewalt +▁Armee +систем +▁rigid +ంట +▁trink +大卫 +မ +▁tumble +сә +到现在 +我们如何 +▁summon +▁lên +gesetz +クション +そこから +サイ +관 +▁그랬 +帮忙 +▁lantern +▁Klein +果たして +fusion +hild +wirtschaftliche +去世 +цо +present +▁users +▁pelo +сид +▁sağ +▁Schuld +老爷 +出席 +▁license +臨 +ину +▁neglected +▁Stu +දි +▁maka +▁Zusammen +▁harp +mill +是从 +скай +彼得 +度过 +schte +爽 +漫画 +杀死 +保留 +عرف +▁emergency +他已经 +▁plead +するという +▁destiny +解放 +午 +まさか +そんなこと +滞 +pell +▁presume +ތ +▁Chicago +ический +▁crois +▁plastic +linda +▁consist +▁jolly +uke +董事会 +يى +▁dedicated +ຂ +▁проста +体の +ფ +交代 +いただく +▁genoeg +边缘 +▁ninth +▁flushed +他想 +▁impatient +hst +гын +▁agua +▁basin +▁prosperity +今朝 +posto +罚 +▁lease +ические +▁idee +▁shouting +▁soixante +▁oogen +リスト +▁frog +两次 +ونه +区の +trouw +▁consisted +郊 +▁Ibi +▁Standard +▁partir +声明 +čč +▁cordial +▁brute +▁rond +ほしい +几个月 +▁denkt +消费 +road +kül +ደ +א +▁знаешь +▁ruins +زان +▁segments +lise +あなたの +着他 +还得 +思った +俺は +▁incorpora +ウィ +▁принима +其中一个 +▁induced +▁lively +кән +▁recruit +▁viola +雨が +▁động +▁peep +fter +▁Sommer +是很 +を探 +让自己 +▁occasional +лах +▁выход +kud +స్ +▁верх +▁nouveau +▁amerikanischen +▁ross +▁взял +▁questioned +▁Begriff +▁anfangen +imwe +вис +▁eby +▁irregular +inya +▁April +мах +物を +hafte +男が +▁sites +事を +▁Jahres +▁realm +纹 +▁erinnere +kosten +成熟 +仗 +ِي +捨て +մ +ತ +입 +はまだ +▁luego +▁dunkle +三百 +▁Pot +کاری +▁deaf +物の +其实是 +iam +▁impacted +цый +生徒 +▁thankful +melde +36 +▁situated +食材 +barkeit +рем +给你们 +为此 +他妈 +ču +冲突 +▁confessed +альный +墨 +▁친구 +固定 +主义者 +▁spy +驾驶 +ises +▁exit +lep +しまった +ர்கள் +▁discern +▁preparations +群体 +▁menschlichen +zieht +▁institute +其他的 +▁neighbor +gte +他们可以 +hängen +гаар +رک +zier +呐 +পা +▁jewels +誰も +jj +▁terme +жив +眉 +ansah +带来了 +iumenge +handlung +电台 +少ない +▁Farbe +浪费 +▁Jugend +▁чуть +行為 +ард +neuf +ガン +lch +mö +ukuri +▁gewinnen +得了 +remo +弥 +▁tại +▁Mai +当局 +link +黄金 +тели +的家庭 +▁suburb +▁captive +▁summoned +堪 +葬 +不说 +▁bump +▁camel +まとめ +▁checked +一回 +ത +イル +▁ebenfalls +gust +gic +▁luna +▁austria +▁exhibit +ög +▁francisco +únic +seven +オミクロン株 +过去了 +石油 +racy +飯 +▁Wil +▁lado +▁flies +беж +ỏ +▁شب +idir +▁variation +聞く +▁doit +平静 +▁Hälfte +▁aujourd +woman +▁мои +▁stran +▁convince +▁prendre +lī +▁geschickt +▁perfume +头上 +▁конце +里克 +▁turk +▁divert +没人 +حي +郭 +▁benutzt +ですかね +nier +Rh +适应 +▁trebuie +▁сай +前から +▁pledge +が必要です +冷静 +▁fist +咯 +▁Gefahr +懸念 +▁брат +予選 +cock +つけて +fond +▁кому +▁cô +为自己 +▁täglich +チェック +强大 +ела +さが +uzu +拉斯 +▁banda +遍 +▁Länder +ັນ +களின் +▁guessed +ソース +hoff +掛け +在哪儿 +වෙ +拔 +▁threshold +▁advised +▁Behandlung +тора +▁chaque +▁varied +kay +カン +lā +▁jerry +kunft +ип +▁publication +▁Gründe +艺术家 +لە +▁Vergangenheit +冇 +深い +ốc +▁pueden +▁sentiments +西日本 +▁readers +▁Element +▁төр +▁gebruik +lisa +▁factory +▁kau +▁Mitglieder +将是 +▁вдруг +工場 +风格 +ации +▁interna +▁recalled +▁scream +twitter +解説 +xes +専 +▁Stern +▁няма +▁visitar +▁owners +0,000 +▁gefragt +さすが +▁خواهم +▁shoe +▁dashed +▁zelfs +bola +ӑ +▁Schlüssel +ວ່າ +ĝe +高级 +▁persuade +думал +ということですね +▁celui +聞 +री +他人 +▁Ini +নের +▁pře +▁estan +▁recognised +伟大 +からです +知道你 +▁reeds +கின்றன +陣 +zugeben +▁downward +総理 +▁plen +商量 +杆 +▁nosotros +▁vater +▁Ва +▁Ell +唱歌 +▁права +学者 +▁recollect +▁representation +▁Gefängnis +િ +▁Erinnerung +他被 +▁арт +ẽ +ać +▁moss +luft +置いて +▁Akt +سف +心脏 +▁babies +tekereza +食事 +කා +торы +блюд +のみ +分から +رى +▁drain +aidd +▁Abantu +ģi +行った +詳しい +▁opge +▁deiner +メニュー +mula +得意 +▁struggled +窓 +偶 +▁Besuch +ங்கு +▁enfants +▁Bern +▁perish +千葉県 +▁від +困惑 +▁آخر +▁Fue +க்கா +できて +kond +▁სა +▁christianity +くれ +▁nka +ڪ +▁segon +lique +强大的 +っぱ +▁gains +那时候 +카 +& +▁rechts +TV +日本代表 +他们没有 +lice +▁наших +▁Beruf +兆 +лес +▁shrink +▁Albert +ayi +▁forbid +▁miteinander +奸 +靴 +uloj +州的 +▁ashes +クト +дов +▁refresh +тат +▁freundlich +lista +▁rings +▁fancied +aktion +▁diseases +▁bekam +東京の +▁quien +上下 +我又 +しょ +▁Як +▁biblioteca +▁jemandem +事物 +ckey +суд +▁overhead +どうも +جمع +▁Parti +▁pill +قدم +▁Insel +るから +▁sobald +▁Kap +උ +▁aga +▁என்ற +▁Ни +いている +险 +▁Berlin +▁victoria +rato +simil +сек +▁categories +▁Quelle +▁Lake +seb +dama +▁восемнадцать +antoj +が高い +▁лишь +▁año +bring +▁그렇 +нні +▁дня +ற் +当時の +▁renewed +corn +▁goals +小学 +两天 +▁Gesetze +▁estamos +どうやって +▁livre +案子 +landa +провод +ម +別に +▁красно +七十 +ごはん +атор +▁yonder +听众 +acre +▁uncomfortable +sätze +▁programa +bê +▁observations +▁muse +кли +大幅 +他把 +▁beef +ঠ +▁dialogue +▁marvel +请你 +▁awakened +▁Iran +automat +▁чалавек +வில்லை +实施 +▁contributed +▁richtige +它们的 +みました +▁сказала +▁кем +▁escrit +▁hierher +他现在 +▁indifference +யே +亡くなった +方面的 +数は +川の +ಮ +▁Objekt +シーズン +▁teatre +制定 +钢 +▁Ressourcen +箭 +▁augment +担任 +丰 +▁escort +iris +月から +ница +▁wenige +пут +ız +▁footsteps +▁Umwelt +شى +▁mixture +呼びかけ +南方 +▁erg +岸田総理 +ି +cem +▁tests +неш +mura +gré +▁менее +há +▁pepper +ங்கி +代の +▁разговор +yamba +等你 +▁indignant +했어 +▁энэ +▁contented +▁speci +▁Staats +ție +その時 +ුව +▁alliance +上学 +おっ +前線 +చ +▁schönen +分かった +ация +緑 +勇敢 +▁thoughtful +жан +▁trouve +сно +▁Rechts +ର +▁february +一辆 +举行 +ères +▁minha +toxic +牵 +释放 +▁gallery +кажу +▁bestand +▁fils +▁Charakter +▁Sinne +sache +▁Gast +在这些 +▁sper +ヌ +ái +▁Wood +六十 +▁simul +しかない +仮 +医師 +▁Florida +▁distributed +▁flour +oxid +ன்ன +の部分 +出る +▁saat +▁giá +▁reporter +就没 +▁amy +▁profund +▁International +▁framework +ვე +zir +ложил +加速 +しまいました +▁Ты +lion +伪 +杀人 +准确 +値上げ +▁Organ +することで +▁funciona +нак +どうしても +夕方 +▁вс +为我们 +▁gezeigt +ponent +ワクチン接種 +▁velvet +▁attraction +と思いますね +巻 +購入 +▁Spaß +▁här +▁Baum +必要な +▁instruct +▁lordship +知らない +▁arbeitet +稍 +怖い +▁Ehre +실 +覆盖 +▁ладно +▁absorb +▁tread +踏み +cate +誘 +空港 +▁patriot +িয়া +trust +▁Beth +▁transactions +▁tạo +firma +▁Gö +实践 +teg +とり +▁claro +もので +かというと +打了 +我需要 +▁admired +▁bronze +duction +Bu +▁одного +yla +Ş +的女儿 +جن +▁стала +▁conceived +цей +▁akan +biologi +▁palabra +▁stolz +デン +wärts +▁jsou +▁twilight +▁Brazil +▁verbracht +reka +▁понимаете +つける +ppi +▁calcul +general +▁igual +▁wealthy +usia +оо +▁harmony +▁Code +協 +▁принят +强调 +пала +▁symptoms +▁trading +▁chef +▁answering +降低 +著 +▁expedi +这个地方 +▁swimming +▁froh +▁roused +車が +フォ +▁chatter +brun +Univers +▁earliest +hita +▁max +▁awoke +農 +ladi +▁scor +垂 +教练 +vollen +▁уверен +儿啊 +pfel +Ko +▁bate +慎 +夫婦 +▁tunnel +▁visto +あん +▁uncertainty +有限 +▁conquer +▁decades +▁Lü +▁Mach +▁Sehen +чыць +差し +▁warriors +なさい +四年 +под +illon +狠 +感激 +vik +▁decade +▁lime +的确 +▁Elizabeth +선 +ボー +▁plunged +实验室 +▁Nachricht +ühr +泊 +▁Viņa +▁managing +▁seul +heden +▁Höhe +▁robber +▁testament +bereich +medic +ipun +トラック +cott +antic +ބ +▁собой +发挥 +мін +▁Mond +▁carro +どうした +aco +ていきます +▁Després +凝 +计算机 +▁Podcast +▁получа +▁fais +▁mould +▁полу +паль +想像 +▁Schutz +step +相比 +いち +けん +ną +బ +ーター +▁principi +二零 +mail +▁hire +▁legte +▁degli +▁плохо +کا +会長 +ランキング +хүү +盐 +▁limb +▁mineral +最喜欢的 +取った +▁proven +mack +▁Themen +▁democrat +才会 +通報 +new +▁satan +▁yaptı +▁jene +koll +შ +▁retro +▁عم +2015 +払 +▁Ces +▁innocence +間違い +▁array +▁yid +▁déjà +▁şekilde +始まった +あなたは +▁electro +邮 +文明 +入院 +داد +当她 +▁upright +▁jours +ポン +▁Cel +すこと +▁ekonomi +▁suicide +きっと +كت +▁corruption +▁tue +▁Karte +危機 +мас +▁الل +っこ +▁apprehension +磁 +worthy +▁constrain +lwa +▁jacket +problem +▁anxiously +▁hohen +▁কর +angi +▁subscribe +▁проблема +▁цяпер +篇 +好看 +▁lösen +▁parson +গা +ש +廊 +天然 +▁своего +联盟 +üü +▁cob +赖 +▁Sä +▁rattle +тин +おく +ޭ +华盛顿 +messen +▁göster +▁muchos +зон +拆 +▁tracks +不确定 +▁المن +ランド +▁niba +ไป +▁resulted +这个国家 +もあった +leta +▁multaj +▁classic +梨 +ކު +empre +վ +▁matthew +▁strategies +▁Rad +セン +ねぇ +屋さん +旨 +▁amazement +ږ +▁같이 +mbang +▁Max +曜 +▁terribly +schütt +▁адзін +と発表しました +▁Gottes +拿到 +構 +クイズ +▁hideous +▁مهم +▁каза +타 +tzt +▁çalış +来吧 +平和 +▁twe +▁mule +クリーム +成绩 +▁vrij +というのも +▁weißen +▁cathedral +▁viņš +▁pobre +构 +てくれ +issement +শি +▁tenth +▁pretended +朵 +дт +▁thief +▁planted +▁persist +喷 +▁долго +▁zufällig +ddu +的精神 +たった +анд +钻 +郡 +▁завтра +▁eminent +▁losses +▁drie +棋 +annya +楚 +▁причин +▁flick +▁bekommt +▁pode +▁unterstützt +▁Tiere +的内容 +が出る +▁какое +▁Ball +するために +▁mwaka +回目の +▁visits +hne +▁australian +▁oldest +▁variable +ssystem +▁rely +▁стоит +客人 +altro +亡くな +▁dispers +被害者 +bber +▁Kerl +裤 +等我 +▁Mikro +▁Barr +овый +▁occup +ች +くり +我确实 +ையும் +▁situas +洁 +finanz +▁gewe +徳 +داخل +▁threatening +失望 +▁Beweise +ろうと +▁holl +准备好 +▁bells +啲 +▁shakespeare +拳 +скую +kasi +推动 +▁Schlag +ým +▁oncle +▁dorthin +▁assert +ಲ +培训 +▁unwilling +位の +▁bills +▁drivers +▁instru +弟弟 +各国 +tip +▁avail +kade +瞎 +公子 +历史上 +エリア +▁tierra +▁старо +皆 +▁headquarters +翻译 +組織 +▁Feder +ood +экс +▁videos +为我 +ception +官员 +審 +▁자기 +▁Kollegen +imbu +nywa +▁raven +▁sultan +ffy +guha +阻 +шым +рек +▁Chan +夏天 +対戦 +▁derzeit +けば +自分たち +▁einzigen +2020 +籍 +▁pluck +▁Allgemeinen +▁Einfluss +为什么不 +▁environmental +сць +▁separation +siniz +▁Fal +娶 +▁මේ +▁induce +▁ebenso +▁donner +▁снова +orde +打席 +概 +收拾 +▁Finger +▁Schwarz +やすく +▁linen +▁filling +贡献 +震惊 +▁Präsidenten +▁proceeding +地图 +champ +issabte +▁быць +带走 +зав +▁kämpfen +捜索 +▁policies +演技 +лап +思いました +▁egy +▁плат +分配 +驱 +耳朵 +降る +▁sally +▁gotta +氏は +どういうこと +عتقد +繁 +バッター +▁decree +をかけて +▁deinem +▁beggar +ジョン +tino +▁gehören +hwa +授 +łu +▁strongest +▁recommendation +▁nchi +zil +了个 +▁prepara +电子邮件 +知事 +▁trabaja +arak +覚えて +前回 +▁habitual +cky +耶 +▁செய்த +cina +łem +▁pencil +▁ĝin +そもそも +였 +▁triumphant +tiği +▁visiting +▁recording +变得更 +牺牲 +▁hesitation +▁erschien +千万 +kende +rrington +ùng +▁conquest +▁openly +▁sali +▁herauszufinden +▁особенно +бод +せい +▁sulla +ņu +弯 +▁tug +▁européenne +▁gewisse +čin +ением +てた +▁promises +дат +ırı +▁buiten +ızı +▁inflict +mädchen +▁ermöglicht +▁maintenance +▁curiously +خواه +▁hình +▁третья +▁кир +战略 +лон +▁rocky +来週 +straße +问他 +▁mächtig +炉 +纪念 +́ +ホントに +antwoord +完成了 +コーナー +▁musician +▁Chinese +キュ +信心 +▁mansion +奏 +ąc +娱乐 +▁extension +▁decay +▁arbeitete +▁dood +很好的 +やん +▁hoy +근 +▁anguish +僕が +が見 +▁electricity +espera +▁cove +▁feathers +lif +说的话 +なります +▁hilft +entes +有问题 +▁reuni +安慰 +ирует +diplom +ję +deki +anja +找不到 +цвет +brand +闘 +有着 +居民 +නා +したもの +troph +▁purely +▁troop +ずつ +рост +▁nicholas +шей +▁moeder +ショ +▁Sonnen +▁aucun +してくれる +物語 +乾 +முறை +▁landlord +▁interval +一套 +unternehmen +怨 +宏 +部长 +▁менән +▁lagi +▁historian +්‍ර +▁erect +▁waved +кнул +▁plains +мал +rce +tuvo +残って +泳 +图书馆 +▁inclination +kamp +▁такі +出发 +にくい +▁verde +盯着 +▁jimmy +▁messages +▁liebt +点儿 +▁lifting +пры +▁productivity +پل +креп +▁witnesses +яз +るんですけど +师傅 +année +▁Mehr +▁equivalent +▁regi +ën +زي +てくれる +突き +▁wütend +▁translation +回忆 +▁هنا +導 +▁partit +▁maintenant +cela +▁außerhalb +のことを +▁turkey +▁які +有任何 +▁disciples +終 +なと思います +梯 +kole +▁Künstler +▁konzentrieren +▁crimson +енко +私たちの +▁Sonne +符 +▁garrison +യ +▁furious +金属 +出于 +ssé +▁durchgeführt +▁victor +dele +▁packed +漂亮的 +▁madre +aggio +үүр +ついた +在外面 +长得 +▁cần +▁blowing +දු +▁Mari +▁strictly +ющих +lessness +▁Prä +ajo +资料 +▁Lord +くれて +肚子 +▁wounds +▁nếu +チーズ +carna +ホール +들이 +ску +だんだん +克里斯 +▁бүр +▁demonstrate +haga +寻 +追加 +рей +头脑 +立つ +芳 +जा +▁Oku +西部 +期望 +▁saber +れている +柏 +▁девятнадцать +거 +инг +うちに +▁nhận +▁sommes +なのに +▁betrayed +Ç +つもり +るんですよ +त् +▁herein +りたい +nium +人気の +现象 +抬 +的公司 +ნა +hali +▁admirable +髪 +这里有 +▁ultimate +▁devas +つけた +募 +▁warmth +▁reject +贸易 +警視庁 +簡単に +感受 +▁organizations +▁realmente +▁schwarzen +▁Glo +75 +▁unjust +居然 +的例子 +▁Jungen +▁Què +ования +▁retra +一些东西 +ishwa +▁dingen +▁nime +▁què +цов +取って +komeza +躺在 +▁gravity +▁Таму +▁englishman +▁artistic +▁housing +在于 +▁allan +温柔 +amerika +的时刻 +fahrt +▁schätze +▁Opfer +伦敦 +▁greeted +▁ranch +▁tú +▁exile +小时候 +董 +▁illusion +▁Finanz +▁willst +▁Come +▁geheim +▁weep +▁Waffen +bó +vā +昏 +▁underneath +dığı +▁Jane +▁вопросы +▁dopo +杰克 +主義 +gesprochen +▁groote +▁история +受け入れ +負担 +▁масс +awo +▁cứ +▁advise +涨 +笑顔 +plu +▁আর +兽 +▁stroll +哪些 +▁conceive +なった +▁nachdenken +▁precede +先輩 +graben +▁Einer +▁Boot +バック +ілі +дова +скі +无论是 +eira +▁comedy +你得 +▁Però +入れて +роў +▁narra +ography +味が +帰って +拍摄 +评估 +▁inquire +类型 +گان +▁bestehen +▁nacional +▁fremd +天空 +▁opponent +gebildet +ものは +escent +▁blown +▁unterschiedlich +▁substitute +我只 +▁withdrew +▁Kri +込め +▁From +▁explosion +fragen +▁exclude +女性が +papier +▁heiße +▁praktisch +▁mga +▁foster +滋 +▁Earth +▁troviĝas +教室 +到时候 +けが +▁frightful +▁nationale +在那个 +ланд +▁firing +ора +たん +存在的 +镜 +trakt +術 +اث +▁那我们 +▁scarlet +▁exhaust +хар +▁circum +▁ancora +皮肤 +替え +充满了 +づけ +放心吧 +你看看 +▁ажил +▁yourselves +串 +做一些 +▁enlighten +تاب +▁vierzig +统计 +▁harris +kanye +ثر +申 +▁moan +▁impressive +▁Tele +кур +цыі +导演 +你说的 +いなかった +ставить +▁blend +▁wretch +▁descent +seid +▁stages +剤 +▁정도 +我知道你 +▁Holz +▁boven +ルール +▁هە +▁adjust +続けて +海上 +▁Argument +chau +勇气 +洪 +見ると +▁motionless +が必要 +▁Schulen +▁Spitze +▁tenia +明け +遅 +投手 +chain +跟踪 +▁Zeiten +▁mọi +待って +haupt +daj +的妻子 +▁urgent +tack +▁publi +桶 +盆 +夹 +▁crushed +これまでに +▁oriental +てくる +▁reverence +在过去的 +▁heroes +arlo +▁toilet +しゃべ +クラス +ünü +paro +することが +mela +▁jealousy +fant +挡 +▁significance +系列 +灾 +▁gym +завод +気に +▁tipp +▁barbara +▁Actualment +▁Today +態 +ющие +▁discussing +能源 +▁granda +▁спросил +onic +ือ +▁Neben +さない +アー +▁아이 +▁hizo +いたします +外国人 +มา +klop +反映 +wirken +すと +フォー +ьян +そのあと +▁кара +▁jeff +死者 +ሰ +▁violently +読み +giving +▁하나 +чик +之下 +回り +조 +တ +umbi +▁convent +▁altered +成为一个 +▁conven +으 +▁affirm +▁المح +▁Kern +angka +ஃப +听见 +的经历 +燕 +赔 +」「 +▁pav +▁starke +▁tiger +且 +的发展 +pois +▁busca +らが +ыт +ความ +ologische +▁другие +の上に +▁comrades +ゅう +ত্র +充分 +tez +▁petition +人群 +руб +tafel +到来 +▁sailing +ఇ +▁милли +超え +▁Hü +▁четвёртый +取决于 +yobozi +لق +写作 +strahl +るために +▁edition +▁possibilities +社交 +▁attribute +▁enjoying +サイド +ured +手指 +叛 +istische +▁tự +法庭 +▁бизнес +开玩笑 +▁academic +▁позвол +贷款 +为他 +▁Vall +比例 +princip +ەی +▁increasingly +爆炸 +▁heartily +▁japanese +êr +巻き +enfant +ından +▁collabora +undvierzig +尘 +▁whither +不怕 +ką +mēr +▁그러면 +▁diversos +▁medal +ifies +стары +valent +▁ungefähr +쪽 +▁dagegen +高齢者 +▁তিনি +ড় +記念 +larda +态度 +▁leisten +▁связан +▁assez +▁stove +白い +ებ +痴 +▁mới +殺害 +創 +▁align +特别的 +ildi +▁Karriere +▁laat +richtung +真っ +adores +疫情 +といえば +맞 +▁proceedings +不一定 +▁throng +дает +美国的 +▁genom +企 +泪 +▁greeks +▁compound +▁reporting +escola +どおり +▁butler +▁groupe +ట్ +дад +めっちゃ +年前に +three +ҵ +闷 +詳しく +著名的 +▁envy +一眼 +もらえ +▁punish +يرة +骄傲 +デザイン +▁menjadi +悩 +を得 +দু +進む +好事 +一座 +▁cargo +你再 +聞こえ +작 +▁ваши +でしたね +▁platforms +▁clair +るんですね +▁personne +现在我们 +において +▁madness +본 +▁Wesentlichen +▁konuş +▁откуда +tius +енная +вит +يج +▁shops +zep +ží +▁Botschaft +▁devant +▁abraham +▁respective +马克 +شو +здоров +▁motives +ības +▁encouraging +辣 +還 +▁möglicherweise +▁Realität +国外 +尼亚 +larında +挺好的 +▁거지 +▁Ding +exist +再生 +ހ +揭 +高橋 +gression +▁zusätzliche +▁karşı +做的是 +▁beobachtet +õi +▁Genau +үүн +▁anim +徹底 +キン +下げ +▁şu +失敗 +▁Hab +பட +▁Quel +rono +▁Cer +▁تلك +の動き +感覚 +続ける +mania +bala +给自己 +લ +▁Strom +▁Што +精彩 +▁jew +▁Entscheidungen +▁customs +▁dismay +大学的 +视为 +なお +ஐ +▁lachen +ドラ +ото +▁porch +寄り +▁consul +▁dusk +全世界 +▁diverses +ພ +▁excellence +她会 +رن +▁concentra +議会 +▁Over +ழ் +我们看到 +▁mach +▁Regen +万一 +▁Пер +すべき +▁Frieden +▁шаг +oph +▁viene +若者 +▁hostile +拿走 +注意力 +į +spiegel +ていない +中国の +dige +万美元 +发明 +dorf +▁россия +tesse +зве +шло +▁скоро +▁dentro +▁ngày +してきました +▁metge +▁echter +聚集 +劫 +ٹ +▁Führung +ɛe +▁villain +▁deceived +▁eenige +的变化 +つつ +sieg +▁traurig +▁membres +ận +もう一度 +站起来 +ありがとうございます +tòria +▁trente +▁Imp +čen +▁protested +试着 +▁welfare +福岡 +▁oui +гр +病気 +某人 +roning +中には +▁encountered +浩 +真实的 +▁vile +▁battery +提升 +ου +ира +摘 +▁Amerikaner +ր +▁ambassador +に入る +▁بش +这个故事 +▁tengo +▁fragments +舌 +タイプ +ิน +▁relatives +提前 +▁secretly +晴 +我们俩 +rührt +▁Center +▁martyr +邻居 +▁süß +▁exceptional +ほうがいい +魏 +嫁给 +床上 +这真的 +ダンス +park +▁eigenes +▁naught +▁yapı +道歉 +▁catching +这份 +▁verstanden +透明 +тся +的生命 +▁wichtiger +沮丧 +65 +▁montre +▁tarafından +依赖 +▁aufgrund +ホーム +▁swarm +全力 +終わ +▁earthly +捉え +ပ +▁expanding +懒 +▁Uganda +辆 +▁morris +唉 +有钱 +gero +▁només +孟 +▁Nó +▁cơ +できるよう +▁haunt +かって +しまいます +▁satisfactory +你为什么 +差异 +てきました +▁unmöglich +▁давно +▁Wohn +做过 +厨房 +ışı +到这里 +▁compensation +▁teh +▁aroused +kulu +cava +▁verses +▁каким +▁deliberately +▁zullen +爱你 +lje +▁carl +▁계속 +消费者 +日本で +schluss +lıyor +広島 +▁أنا +常见 +▁Joseph +▁muscles +▁tarde +向上 +▁проблем +ัน +▁cao +瞬间 +onym +バラ +▁Journal +緊急 +▁Winter +▁моя +更有 +▁بخش +的房子 +ceea +mişti +ライト +▁calculated +▁général +茂 +심 +▁cuatro +生まれた +▁travelled +成就 +かつて +▁joc +▁parting +▁hört +▁sống +stup +meze +щен +▁адна +ским +▁attending +▁crest +把握 +▁cellar +▁الناس +beck +男性が +好吃 +னு +▁justified +້າ +рв +动力 +▁Straf +どのように +लाई +▁woke +▁fascinating +صح +▁vrai +に住む +cite +▁Fest +狱 +▁tumult +かく +けない +්‍ය +▁дух +▁holland +仇 +▁inspector +▁Dol +大小 +誉 +▁Jahrzehnt +みましょう +▁Gall +▁hiện +停下来 +居住 +wandel +мел +މ +悠 +▁slaughter +肝 +の前に +粉丝 +▁swamp +を集め +▁befand +▁пятьсот +▁Edward +加油 +▁femmes +geschlagen +▁wilson +▁failing +▁Früh +▁manuscript +めの +▁000 +情报 +quadr +▁observing +ถ +▁tommy +看过 +するよう +▁twas +▁Labor +▁jahre +▁cruelty +▁flowing +писа +▁Other +▁trenta +▁corrupt +如果说 +厅 +계 +igihugu +▁ກະ +▁causing +шча +少爷 +▁severely +▁dünya +leiter +ティング +အ +yel +ических +▁nineteenth +ማ +成功的 +的看法 +▁Traum +▁Gui +▁edit +▁exterior +思维 +held +色の +▁sincere +لىق +▁sever +▁considerably +有一点 +logi +▁också +团体 +ходят +▁colonies +berries +kunde +▁oldu +determin +▁poets +与此同时 +貴 +▁incremental +bereit +▁lowered +ໍ +激动 +▁Gas +富士 +зер +▁Sar +なるほど +▁cooper +قب +轻松 +ographic +▁uneasy +▁ancestors +ște +core +▁colli +▁okw +ının +損 +経営 +変わる +modul +valuation +说的是 +தன் +状態で +bû +▁مخ +lò +▁должна +▁confine +насці +▁devour +▁shaft +▁purchased +mwi +物种 +僕の +찮 +阿尔 +▁paradise +▁glare +альная +евич +▁rejected +▁стать +シェ +▁Glas +艰难 +▁lily +▁flora +之一是 +▁aliaj +▁starb +働き +▁Seit +.000 +▁Zweck +▁Fähigkeiten +災害 +なこと +迈 +▁commissioner +フリー +피 +▁verändern +冒险 +adel +▁begonnen +小学校 +后果 +32 +ubuzima +的身份 +▁allah +▁screw +早い +▁Strateg +ách +▁fram +igte +▁заяв +▁dritte +പ +▁iemand +хә +两人 +рым +jja +▁vot +われて +▁nuevo +▁erklärt +せず +އް +▁zufrieden +歩いて +▁declaration +AI +的文章 +▁مردم +おう +technologie +▁книг +rani +保守 +▁confer +▁questi +affi +▁mijne +▁hither +这些事情 +▁twentieth +▁White +▁hue +jih +garde +დე +▁greeting +ebwa +▁Sachen +▁gladly +稿 +▁encuentra +ウイルス +خی +سة +▁sour +▁equi +▁tempest +▁провер +rava +द् +伙 +تها +▁psycho +▁blocks +▁Öffentlichkeit +暂时 +▁shopping +他要 +▁disagreeable +▁dominion +井さん +வாக +▁marketplace +▁compromise +浜 +いただきたい +作る +위 +YouTube +ziehung +▁terrorist +随后 +▁seltsame +血液 +وش +▁tragic +▁danced +▁excessive +мыш +fari +sail +็ +是一名 +▁gaf +▁invested +深入 +奴隶 +ੀ +▁destined +▁böse +夕 +ается +人士 +▁gulf +そうで +很快就 +▁eldest +▁Angeles +従 +வின் +我非常 +prüf +車の +纪 +▁placing +営業 +▁lovers +▁tornar +leistung +東海 +苦し +kuza +▁然后呢 +vuze +虐待 +فن +trans +▁membre +したということです +maschine +▁Ash +laba +▁Stre +そうか +ையில் +恐怕 +▁footprint +▁gush +kiza +گیری +公式 +▁Ruhe +▁imperfect +▁posted +prop +的目的 +▁prospects +▁Version +このような +ކ +ո +கிற +▁arrange +▁мяс +▁transportation +装置 +▁Dü +itel +ļu +คุณ +你喜欢 +▁basa +vro +▁নাই +▁Euro +praw +▁militar +▁Fel +теп +▁twisted +筹 +▁fosse +▁юу +▁Fred +▁harbour +slov +pov +▁கட +ອງ +你没 +лэг +▁недо +▁wishing +上げる +扱 +▁retorted +疑い +▁އެ +ivity +Ra +cado +不管是 +无论如何 +即将 +▁aange +ாத +▁lifetime +вання +哎 +kräfte +irira +▁defeated +დი +▁llega +▁слово +▁آل +▁Kurs +▁lebte +▁Med +گرد +制裁 +다가 +歇 +▁broader +quant +▁slate +▁запад +を終え +▁crawl +алт +нула +▁рыб +▁verstehe +зм +严重的 +▁mereka +要不然 +ありまして +▁Central +▁amazon +▁دارند +ниц +▁mater +▁regulatory +▁Verfügung +丘 +已经被 +▁offerings +▁Tio +லே +一路 +ёл +ర్ +▁gevoel +お天気 +▁chorus +▁shallow +祥 +▁дерев +的其他 +amaga +▁trata +іст +Reg +▁Monaten +▁schwach +▁Bio +rew +▁cinco +▁Vertrauen +オンライン +辩论 +说到 +▁dön +宣言 +ってきました +▁roi +ないか +下载 +这将是 +ω +▁phenomenon +اغ +売り +кас +▁foam +▁tako +▁trumpet +kür +野球 +行われる +旦 +ķ +▁platja +خانه +打电话给 +▁bloody +かける +▁attentive +▁reckless +倒是 +のほうが +▁publicly +教师 +пля +護 +不相信 +山口 +▁gefährlich +▁johnny +▁punct +فهم +形象 +▁lump +神奇 +不是吗 +赚钱 +有意义 +জি +▁йо +▁bonds +겠 +糟糕的 +▁shaken +ປ +estudi +▁prose +▁chains +伝わ +cac +▁wist +قت +▁spectator +庫 +▁comparatively +▁zulk +▁notable +▁Пры +cida +▁sustained +volk +▁сторон +▁Kongress +いたのは +ần +▁pow +▁waving +▁breathed +供应 +▁höchst +▁получил +▁juda +僕も +▁Manchmal +▁banner +үз +▁corpse +心中 +▁einiger +确实是 +bericht +▁Orte +▁Angel +服装 +柴 +▁Аднак +三天 +▁Umgebung +▁Flor +▁corte +▁migra +▁expanded +▁positioned +始まる +▁تش +▁Бу +线索 +чал +▁Big +的父母 +融 +▁philadelphia +▁concrete +▁hacia +いるので +▁niemals +gyn +▁schneller +▁compris +ることで +有一次 +凤 +▁tribunal +▁engineers +таб +drücke +▁voran +▁dumm +싶 +вшись +▁anstatt +ront +なんとか +garten +恐らく +коло +34 +等于 +acqua +觉得自己 +▁manier +▁voz +ことが分かりました +だけでなく +▁بالا +▁большой +的第一个 +누 +整体 +яў +这个世界 +▁dishes +たくさんの +▁över +▁shocked +经历了 +栄 +▁pleasing +ابت +物理 +koresha +▁ojos +▁Parliament +いらっしゃる +பதி +一杯 +標 +难以 +▁dien +▁buena +▁якія +の間に +▁naval +▁teori +责 +▁plato +өрө +kera +▁searched +▁remembering +▁ceva +▁interpretation +▁месте +▁deemed +▁positiv +azioni +▁exhibition +▁davant +▁dome +少女 +geschäft +难过 +sanga +▁loudly +▁sinner +werp +马上就 +rima +▁থেকে +玻璃 +رح +▁begannen +▁cherish +▁bail +่อ +▁Ara +потреб +ආ +ເ +보다 +preis +▁McC +▁creep +▁behandelt +フル +▁fees +اك +打破 +ستر +лены +▁drowned +卑 +▁unabhängig +ৰি +きれい +▁mô +知道我 +treffen +▁People +你今天 +还可以 +最初に +新型コロナウイルス +▁announce +▁ocup +▁решение +请求 +issant +trek +▁bout +▁Great +自ら +▁نوع +▁ribbon +おいしそう +ペン +▁ibintu +ziri +нский +るんですか +▁திரு +ancia +▁exploit +厳 +▁contemplate +كە +工厂 +foc +▁inquiries +▁observer +▁entry +cora +িত +ивает +ҙе +hield +equip +を与え +相同的 +▁practic +▁smallest +年度 +▁unity +値段 +就像我 +ৰা +一篇 +▁reducing +▁مص +▁wrist +小さい +遇到了 +▁injustice +ච +就是我们 +▁gasped +之中 +▁zouden +home +它们是 +▁مختلف +蔵 +▁Madame +▁manche +婆 +intel +ようになった +▁দেখ +▁controlled +▁fazla +▁coral +remos +▁bending +瞒 +おっしゃって +▁Não +▁provinces +▁peng +▁мала +你可以看到 +▁florida +▁Estas +▁disclose +说服 +错过 +浸 +認 +ត +▁flexibility +▁entertained +実施 +▁diamonds +あんた +这首歌 +▁frac +生きて +46 +ግ +の名前 +▁thorough +▁multipli +ким +▁dahin +尸体 +▁seeds +遅れ +asso +boj +bě +grand +▁Mini +因为她 +යක් +仔 +岳 +▁Lass +liku +ием +花园 +▁besoin +▁anos +诸 +▁oogenblik +ニューヨーク +▁può +▁British +提到的 +इ +出口 +▁legacy +▁fraud +▁corporation +見えます +ัก +歌手 +بخ +ј +藤さん +▁있었 +找我 +▁Hinter +並 +▁vraiment +▁bann +வ் +টে +デビュー +▁consolation +欣赏 +変わった +摆脱 +我当时 +这句话 +▁loans +▁verkaufen +飾 +▁Sex +飲食店 +валь +▁alexandr +▁нормально +所谓 +▁вещи +余り +υ +▁drill +▁preceding +斗争 +我们从 +▁Stand +的母亲 +länder +imiz +一些事情 +▁zweifel +▁quanto +▁salon +穆 +▁misschien +▁Motor +▁prev +qü +ebla +指定 +szcz +▁ambitious +面包 +uganda +雾 +営 +بور +рин +▁tribu +元素 +▁alongside +哀 +했는데 +▁negli +▁أنها +第五 +▁Rede +▁Nova +ซ +始めて +▁fuck +にとっては +问问 +▁tenemos +狭 +το +人たちが +▁kya +▁Ing +▁हो +こうして +obten +▁العالم +我才 +▁antaŭ +▁yielded +▁treu +说说 +ында +slag +▁bella +▁руки +편 +劇 +▁krijg +700 +输入 +▁erzählte +▁quasi +▁hommes +何度も +lý +逐渐 +▁банк +▁komt +咩 +насць +▁dürfen +▁прад +▁இட +ங்களை +noma +რე +かれた +ыць +邪恶 +▁ĉiuj +怎么做 +地域の +▁cough +▁многие +膜 +دام +▁calculation +▁студ +农民 +に向かって +▁machinery +fühl +▁jonge +这就是我们 +活用 +长时间 +Ө +モデル +▁mandat +▁neighbours +狙 +వా +рот +▁clue +▁mentre +алга +شون +这样的人 +▁fanden +▁weekend +▁heroic +▁Kamera +▁recommended +▁Komp +▁geschlossen +▁Hintergrund +▁normally +▁viu +感染拡大 +▁كۆ +eqq +代理 +▁زمان +بدأ +alde +▁түүний +▁elector +看一下 +▁thor +لند +▁побед +うえで +竜 +▁проблемы +▁стране +aggi +چە +▁selle +ストレート +Ү +燃料 +▁constructed +▁henri +stricken +▁прошло +▁misma +шке +рош +èl +▁ehemalige +亿美元 +orna +тая +న్న +ということになります +青年 +gezeichnet +ረ +Ingenieur +ショット +▁tricks +我可 +ßen +▁glowing +노 +▁hymn +▁olive +▁towers +莲 +sponsor +自体 +энне +фо +▁feeding +▁nueva +下一 +▁کردند +makers +biro +合法 +在线 +andra +▁spraw +再来 +პ +培养 +乔治 +いただきました +▁знает +▁mason +gence +umbu +どころ +▁داشته +போ +▁downstairs +▁بم +出た +是一个非常 +▁judged +ល +muka +▁ashore +▁Ausbildung +opera +hour +بوو +祸 +▁collapse +的角色 +2% +挨 +ŵ +脂 +vallen +急に +▁campo +fili +ბ +тары +mien +ศ +▁intercourse +ผ +▁Rahmen +пита +▁gast +好奇 +轨 +乐队 +ование +没有办法 +脑子 +▁traveling +ural +笑话 +▁polític +どこに +这些是 +면서 +▁Wy +ически +话说 +jó +過ごし +ической +鈴木 +に入れ +jährige +kurs +▁formidable +▁pinch +▁assigned +▁Können +▁verdienen +уют +werte +▁fluid +▁پێ +брос +▁avoided +чих +▁memiliki +バランス +▁kell +▁Anem +▁richtigen +сси +▁amazed +برد +بال +▁Quant +▁могли +вест +▁supplement +▁Werkzeug +暴露 +unch +▁terrace +voor +戏剧 +大好き +ète +姜 +▁어떻게 +▁Figur +raba +▁sina +最佳 +廷 +八年 +▁Rücken +大夫 +lustra +▁flush +▁difícil +▁rejoined +▁Oni +رز +▁reinforce +女的 +▁patterns +ありますね +avais +▁ceux +çar +膨 +▁triste +場面 +ちゃって +луу +шиг +கூட +成分 +▁senza +▁опас +▁negoci +flamm +wirtschaft +もそう +五百 +标签 +▁Auge +woord +を守る +坑 +アジア +▁것도 +▁vaccin +隐藏 +▁côté +теля +复杂的 +bö +▁shells +크 +履 +それだけ +prise +control +zwei +▁parlament +Italia +邓 +▁alto +▁chuck +していない +ならない +▁yaşa +ให้ +альна +шёл +▁Obama +▁Road +▁exclamation +▁tới +شكل +给予 +有利 +現実 +跟我们 +世界各地 +astro +▁More +▁Vergleich +だということです +晃 +爆发 +父親 +elimina +▁completion +▁kostenlos +▁wussten +年以上 +这么多年 +たかった +▁acute +таў +▁conquered +▁benshi +▁Sau +▁torch +▁мире +▁maintaining +▁spider +child +▁baker +▁тийм +鍋 +▁dasselbe +▁Best +▁offend +▁язык +▁insects +踢 +ਸ +ئی +لَ +▁agitation +Alb +▁Bord +▁göre +▁Quer +▁attach +▁sinking +这可能 +呼び +朕 +彭 +▁reluctant +ியா +zukommen +ике +▁좋아 +国防 +掘 +▁Museum +▁saba +▁Zug +▁mußte +лена +▁لن +▁độ +老鼠 +▁öffnen +▁vorne +▁batter +できません +Vi +资格 +▁hazard +gata +▁nancy +▁гос +▁economi +太平洋 +んじゃないですか +▁выгляд +▁الأمر +▁marvellous +西班牙 +ходить +▁Party +▁stack +دىن +但我们 +▁muchas +▁ҡу +čí +▁halbe +葡萄 +▁Pil +▁dwelt +▁havis +▁adoption +▁différent +各种各样的 +당 +会社の +gebrochen +ség +的消息 +勢い +ின +▁participation +▁fühlt +灵魂 +叹 +дея +指控 +▁möglichen +schlaf +icio +lili +▁aufgenommen +各地で +▁logical +目が +▁котором +▁competitors +待ち +配合 +▁لأ +▁adjustment +足球 +▁muti +▁germ +▁이거 +の情報 +labora +っち +古代 +пат +▁cai +自杀 +打击 +▁charlie +лага +くれた +▁север +kenntnis +可爱 +公里 +看起来像 +▁virtual +▁guitar +streit +gawa +▁Such +1% +▁weiße +▁ivan +▁خلال +▁Wohl +▁leise +ansi +逻辑 +하게 +▁oxford +ште +▁revel +▁sahip +bintu +▁tien +▁trauma +▁trước +▁honourable +▁probability +Est +▁Mak +gereza +矢 +▁lớn +回復 +▁brisk +rende +プレ +emis +我开始 +▁potent +客气 +几次 +还记得 +това +▁mevrouw +▁eighteenth +ывает +▁fing +wohl +こちらは +是对的 +iện +jana +得更 +连续 +▁süre +ائل +தாக +在里面 +走り +▁ardent +的事儿 +buk +▁chuyện +wuchs +زى +▁allgemeine +肠 +吻 +抱歉 +得太 +ゼロ +这个东西 +▁March +听说过 +▁زمین +▁fragment +▁بودند +舒服 +ジャー +öpfe +▁dieselbe +要請 +▁reasoning +modell +لات +xxam +斯坦 +的天气 +▁خل +▁cùng +introdu +有名 +Й +稀 +meni +▁Proto +这是你 +vocation +大丈夫です +▁плане +なもの +▁Erfahrungen +しましたが +賃 +▁welcher +▁riep +▁legisla +けた +▁мной +hong +▁você +▁baseball +▁slap +objet +▁Nda +▁شيء +ಯ +ijas +vēl +ĝo +mada +▁mystic +EC +課 +▁experts +杂志 +昭和 +因为这 +▁yose +▁preference +▁Flug +簡単 +▁impatience +쓰 +プレゼント +หน +▁ولی +▁slay +▁så +今後の +▁числе +▁ຢູ່ +▁хотите +▁никаких +▁நட +lette +mong +していると +▁več +▁dismissed +▁Wissenschaftler +▁liquor +▁pursuing +を目指す +glaub +бро +▁buff +下班 +▁ilk +▁Untersuchung +▁Tradition +▁linked +▁knit +▁successor +linie +▁Matt +▁количество +▁French +センチ +நேர +ário +▁insect +aigua +qq +アフリカ +ރު +キング +の一つ +▁converted +▁vault +wain +schel +samkeit +ỉ +▁personnes +▁staircase +咨询 +▁slumber +▁Со +corr +schicht +▁clasped +sigur +▁concur +姉 +▁hẽe +▁pueblo +▁Cat +任何事情 +▁جهان +去哪儿 +нных +marin +kaya +▁Todes +ләр +▁Gan +ੇ +▁routine +竞选 +如果是 +生病 +▁punished +▁libre +قات +▁bamb +▁demonstration +▁retained +▁nhìn +▁엄마 +▁Worten +kapa +ල් +▁siege +▁üç +を伝え +女生 +▁schützen +▁família +严格 +▁singer +青春 +▁Besitz +▁poems +しております +考试 +わら +女の子 +バル +▁Merc +▁scope +なきゃ +不是一个 +▁loyalty +躺 +研究所 +▁juffrouw +英尺 +▁verkauft +груз +▁jongen +贝尔 +▁أع +▁pai +读书 +现在已经 +问道 +很长 +щих +esca +ckel +▁thanked +▁Produktion +▁Milliarden +子供たち +▁bodily +gada +鉄道 +گل +显 +▁Both +▁carrier +fér +aime +的许多 +arrêt +profit +▁breathless +いたら +妖 +が一番 +▁verbessern +瘦 +▁mall +ないので +▁traces +▁timp +后悔 +téri +向前 +یز +範囲 +▁dealt +乖 +▁desirable +去看看 +考える +▁erster +лик +▁рассказыва +サイト +ıldı +клон +即使是 +▁Home +ngingo +際に +▁abode +してます +▁всю +▁près +興味 +街道 +wè +ški +▁precaution +芽 +▁원래 +解决方案 +▁이러 +届け +▁collective +▁pious +kina +▁Struktur +tata +든 +▁trotzdem +AR +▁offensive +おき +Tech +▁Ал +最后一个 +▁Dorf +▁Deutschland +ちゃんの +してほしい +▁streng +வும் +▁horrid +▁Kontakt +▁molly +牧师 +sprache +▁Haushalt +昌 +▁Fünf +▁regain +▁Ländern +考えた +一起去 +ህ +▁terrified +▁learnt +▁witnessed +▁trov +▁keiner +▁Beziehungen +把我们 +زل +▁amafaranga +起来了 +▁franchise +▁abundance +▁atlantic +▁airport +كس +せない +kong +▁conclu +的态度 +的音乐 +▁Sind +蜂 +▁nữa +たんですけど +回报 +ுடைய +▁domini +▁shillings +▁encara +▁entgegen +ţă +виз +▁обще +ަށް +▁Verwaltung +▁شروع +▁Aktivität +癌症 +yandi +▁seulement +得好 +esprit +yaga +想办法 +▁Francisco +の予想 +▁Wein +晶 +ït +تنا +▁serie +▁characteristics +▁mesmo +▁Schulter +阔 +▁کے +laki +nood +的状态 +sett +フト +▁Virginia +メーカー +▁acum +▁Vila +muş +кана +カラ +▁tract +▁шар +fordern +スマホ +季節 +▁داده +ново +減少 +任何东西 +▁части +ები +යේ +へん +▁consolid +惩罚 +▁Krebs +▁pregunta +▁дараа +▁barri +▁кроме +▁поле +受欢迎 +коў +lux +柜 +iek +店舗 +itari +参考 +भा +▁договор +▁recess +atura +识别 +▁bieten +▁என +換 +▁Fortschritt +▁trotz +▁youngest +कार +对对对 +க்கிற +跑了 +予約 +颗 +▁lawyers +▁своим +▁Nya +嫂子 +▁mining +▁submitted +▁кил +▁guided +女性の +안 +迁 +ทํา +▁bắt +ওয়া +温泉 +नी +▁bike +▁tossed +ஸ்ட +▁Brand +▁ثم +▁Ти +纠 +▁சரி +었어 +▁emerged +▁versuche +これまでの +包含 +▁offended +▁già +▁passer +您说 +锦 +klin +▁rechten +地球上 +тара +▁machten +下次 +▁privat +疾 +ను +▁slice +தற்கு +▁destination +てしまった +дали +你可能会 +▁comprehensive +ワイ +数が +τα +amiento +рать +▁Theorie +らせ +Music +▁columns +▁зрения +坊 +▁incapable +내 +一根 +▁Jun +▁guerre +▁prudence +▁spielte +жим +kiwa +කි +▁relax +ifiziert +▁Slide +▁errand +▁drawer +年生 +落とし +てない +▁reserved +▁мира +惹 +鶏 +▁suffice +▁premium +▁handful +été +▁олон +であれば +party +▁истории +看待 +▁работы +▁اینکه +▁borders +最大の +енным +終了 +čno +▁winding +加拿大 +あんな +▁Johnson +ってください +beera +▁dreaming +▁tropical +方案 +ویل +▁georgia +සා +▁있고 +▁amidst +扯 +เขา +▁emerging +▁Roger +▁projet +ستی +▁Gel +▁drap +▁spit +hund +мак +议员 +际 +zusetzen +ピッチャー +意大利 +விட +رض +▁rép +▁хө +▁Long +带来的 +▁слож +扮演 +нк +▁அறி +▁converse +超越 +引き続き +JR +大手 +fowl +pata +▁goddess +妃 +▁commend +ディー +рис +▁Hotel +ラスト +ním +rän +gah +多个 +教え +佐藤 +▁boldly +悩み +▁которого +自転車 +ちゃんが +核心 +vacu +▁resent +▁último +的大脑 +发言 +cule +▁wählen +― +辱 +강 +ruka +傾向 +еду +▁reicht +▁répondit +дин +绳 +雕 +你知道我 +工作人员 +▁boiling +▁моск +顺利 +▁polic +terior +▁sect +荣誉 +хэн +わせ +irdi +itatea +▁draft +的衣服 +تور +3% +堵 +யோ +ාව +να +raub +悟 +侯 +▁entschieden +▁Zeichen +感謝 +▁Planeten +▁fueron +就知道 +▁loi +iteit +▁gestern +▁otras +▁Öl +▁neighbour +▁standpoint +сар +完全に +不舒服 +VTR +▁spaniards +▁Sozial +▁dirt +▁hwn +颜 +晨 +abanya +рий +▁chiar +斤 +▁getötet +▁unnecessary +bizi +brew +▁پار +Plattform +▁gewonnen +規制 +发送 +を使う +▁priority +▁Geheimnis +▁suspended +同時に +geteilt +▁willingly +▁seien +▁Unser +不动 +▁Fund +AS +▁nama +ކަ +感动 +ţii +american +你们都 +▁justify +▁steward +▁Kim +舅 +мур +袭击 +اشت +▁реально +正直 +没问题 +līdz +最後は +阶 +남 +▁bản +▁이게 +▁இரண்டு +歴 +▁нэр +▁Wol +▁clung +大使 +▁Flo +▁Industrie +udge +▁massa +▁此外 +▁clergy +のもと +免疫 +▁работает +相撲 +▁থাক +▁candidate +かなと思います +跟大家 +ordre +hala +▁canadian +小朋友 +aña +▁coordina +teeka +plin +といって +抗议 +羞 +ង +▁spreading +▁sadece +▁einzelne +的任务 +▁Tā +▁sinh +▁allies +▁behave +▁wildly +▁generated +パラリンピック +这段 +明星 +سبب +時間を +▁strand +presi +준 +抱怨 +首脳 +▁Market +▁Harris +▁Unit +atrice +boden +清晰 +ماذا +大学の +ţe +விட்ட +▁innovative +▁database +肯定会 +▁capa +▁actua +morph +▁einzelnen +bali +▁juan +いだ +忍受 +▁creator +▁Denk +urwa +ս +▁artillery +މަ +▁توسط +▁gilbert +んや +stürzt +▁telah +あい +▁situé +笔记 +ってくれ +ضحك +▁anthony +wissenschaft +しゃ +▁tante +一点点 +▁большая +menya +ӗ +ရ +规划 +▁vilaĝo +合って +▁preacher +▁ноль +▁verder +从事 +▁spreche +▁potatoes +▁corpo +था +▁faz +ਨ +▁geliebt +放松 +的产品 +▁Angriff +▁thật +▁irgendwo +curi +高校生 +▁petr +▁Their +проч +ニュー +▁spared +ފ +这个节目 +戒 +▁Nachde +千葉 +ibyo +τη +就好 +▁fortnight +周末 +見ていきます +我想知道 +хам +▁consumption +▁আৰু +▁sympathetic +▁Konzept +んだよね +▁Geräusch +んだって +▁subsequently +▁Russia +▁کسی +ことがある +▁afforded +ự +まえ +pfa +flug +▁queste +▁progressive +似的 +mita +кет +▁sentir +桌子 +▁хочет +▁Rasse +▁Fällen +anın +があるんです +築 +рван +と共に +▁Dick +マジ +此时 +▁Spo +▁bonnet +ҥ +āju +扩大 +这两 +体重 +ෙන් +шил +مَ +也能 +tiere +但在 +唤 +▁çocuk +▁heutigen +冬天 +▁Put +彼らは +▁guarded +▁نشان +向我 +قام +stained +▁estoy +靠近 +▁protein +ப்பட்டது +争论 +ați +่น +▁buchstäblich +▁усё +▁Lor +тура +▁pensi +まん +وض +▁evangeli +是非 +полага +原始 +عي +ிலும் +мян +不信 +afi +ድ +拓 +ふだん +消失了 +▁يتم +▁amusing +▁punch +▁när +听到了 +资产 +▁Kath +哭了 +▁tremble +▁leiden +ánh +有助于 +▁prosper +itse +▁عليه +рев +சை +▁Haut +▁внимание +详细 +▁있잖아 +投資 +▁garanti +град +▁가서 +▁другом +ごと +新鲜 +▁faintly +▁Amazon +▁Ан +耀 +▁Erklärung +IC +反而 +quarter +▁来一首 +性别 +罩 +▁charlotte +▁attained +▁детей +▁profond +▁نیز +▁Яны +但是如果 +▁Männern +▁поскольку +配置 +gespielt +▁eran +▁Fur +▁algunos +▁unua +▁отношения +菊 +姐妹 +選手権 +护理 +▁strive +wright +誓 +▁halted +Argent +▁поводу +▁morir +▁Gewinn +▁seguir +▁requested +37 +▁Alice +我跟你 +▁schlimm +▁генерал +挖 +χ +▁кооператив +蓄 +自動車 +▁merchants +▁그래도 +autor +▁Те +▁wichtigsten +考虑到 +нә +▁Ray +埼玉県 +ź +咪 +▁удар +広がり +叫什么 +或许 +ûn +▁November +geworfen +ধা +▁assuming +▁Außen +▁Debatte +▁nhân +利亚 +▁muslim +гээ +Michel +▁serait +山さん +ன்று +bris +▁telegram +笨 +陶 +عرض +198 +調べています +会发生什么 +▁smash +▁петр +盲 +ෂ +▁вроде +▁sólo +▁Times +信用 +술 +파 +訪問 +▁mı +komst +ඳ +▁александр +▁happier +毫无 +▁Roma +▁kalt +niveau +қә +kurikira +終わった +твар +poro +аваць +你就是 +▁deserved +īja +33 +¡ +陰 +▁speculation +警察官 +大きさ +八十 +visa +▁rey +十万 +seks +也得 +去年の +▁Andrew +我刚才 +这可能是 +tausch +继 +▁conspicuous +▁remembrance +gebung +▁скажу +旅游 +▁jedno +schreiben +相处 +▁respectful +▁plague +すべての +不幸 +чна +ென் +kuta +▁vehicles +stell +每周 +之处 +给您 +ацион +▁Anna +わけですね +म् +▁tempted +おととい +▁جای +而已 +赤ちゃん +covid +page +ระ +▁fig +ッツ +年前の +▁theories +究竟 +− +wanga +prost +▁pony +▁heures +▁samuel +seitig +就跟 +▁дуу +どうなる +かかり +整天 +もう一つ +倾向于 +溪 +▁prevailed +▁یاد +▁climbing +пот +▁sõ +führt +чо +▁investigate +sobola +jski +忧 +दि +▁mike +▁Song +wish +▁Tä +形状 +စ +asyon +▁roast +haired +▁vais +記者 +тим +▁luke +ඒ +ặ +▁confederate +올 +▁masa +credi +ەکان +Work +udio +▁disagree +向他 +傘 +kämpft +▁довольно +Смех +▁vraag +drag +▁proto +▁sûr +的建议 +▁seeming +حمل +耍 +▁whereupon +▁carries +抵抗 +の結果 +陵 +▁Zwischen +매 +菅 +博物馆 +六个 +werken +すぎる +▁darunter +▁intervention +を示しました +▁implementation +共有 +cji +▁embargo +줄 +▁negotiations +▁torrent +rilla +都已经 +更重要 +水分 +డు +▁شوند +▁null +خارج +▁usage +をしていた +扶 +문 +산 +列表 +▁suited +улы +▁выступ +それも +袖 +次は +始めました +▁approximately +を続けて +这座 +ێن +▁compass +ций +▁quaranta +▁tym +▁bibli +مات +▁بىر +klad +ировал +你不要 +▁необходимо +▁promising +▁Meilen +lege +loge +▁figured +申し +ときは +▁equality +之类的 +▁erhob +ケーキ +認識 +▁reconcile +▁yabo +▁debat +コード +haya +那我就 +惨 +昆 +▁слишком +お互い +交渉 +▁Daher +▁plea +▁habia +会让 +чны +孕 +笑了 +喜马拉雅 +訓練 +▁говорили +▁места +編 +рма +組み +就开始 +त्र +▁تخ +вший +▁Grenzen +我以为 +注册 +伝統 +ரே +▁Sendung +▁souvent +绝望 +▁gesicht +гьы +かけた +▁franz +砸 +▁ఆఁ +▁pauvre +▁rejoice +本周 +lamp +נ +▁cuộc +▁donald +行きます +这是一个非常 +тав +上がった +就是一个 +istischen +ή +кина +に行った +▁Nick +నా +▁clearing +▁tinha +에는 +タル +乃 +zeichnung +▁товарищество +桜 +卒業 +يه +▁luz +왔 +▁qo +ladı +baum +完美的 +疗 +いるという +▁verdient +오 +▁слыш +ище +▁tact +middel +迎えた +玲 +お二人 +▁curtains +alimenta +▁tooth +のですが +▁foresee +Risas +àtic +コメント +产业 +▁Lager +gewalt +んでしょう +حص +▁fühle +▁respected +宣传 +行吗 +たこと +चा +bürger +▁alchemist +▁Jones +чака +▁шест +ľ +俱乐部 +▁денег +繰り +karte +黎 +比你 +▁shrill +піс +▁accordance +තා +▁بشكل +营销 +▁halo +▁washing +▁heath +ワーク +▁mature +▁Wohnung +▁representatives +information +ھا +material +▁rosy +▁regulate +▁cinquanta +▁veteran +dov +只需要 +▁hull +▁但是他们 +跟她 +产生了 +時には +一颗 +▁riot +这并不 +▁pagan +▁veux +▁evolu +luck +▁será +▁übrig +▁resta +负担 +▁başka +▁пример +▁parle +ন্ত +estro +▁Regeln +vió +尿 +ුණ +素晴らしい +▁தொ +pí +phra +▁efter +糸 +ု +楽しめる +▁persian +▁Fil +▁возник +了下来 +▁willkommen +饱 +糟 +畑 +▁gigantic +▁buffalo +▁meditation +ユー +▁solemnly +よろしくお願いします +▁explica +溜 +ਦ +▁wünschte +備え +lige +ubwi +виду +我不认为 +очка +خان +ancien +▁supposing +▁gloves +▁lahko +▁работу +访 +sional +所以我想 +ከ +ገ +และ +シリーズ +てくれた +▁смог +▁Lied +の方に +▁confront +▁சில +▁parler +▁agnes +坎 +撕 +▁medizinische +少数 +Man +正义 +微博 +ıcı +▁jungle +طب +▁vicar +▁Grad +▁thereof +像你 +lach +38 +▁Verständnis +▁энерг +ギャ +▁blog +一个新的 +▁samo +IP +▁junior +▁kümmern +▁commis +burger +機会 +▁хол +ブリ +▁توان +อง +沼 +▁calendar +▁angefangen +▁கொ +这时 +敏感 +▁tlie +というのを +▁fürchte +excursió +ራ +ツアー +天堂 +▁oficial +達成 +bouw +▁forbidden +全ての +価値 +▁bruce +ジー +胶 +▁Lernen +我有一个 +野党 +обр +あさって +いるのか +▁nützlich +▁partial +▁tempt +يون +シュート +▁dachten +平安 +▁ruled +▁integrated +新型コロナの +▁grind +vina +▁сильно +▁месца +んだから +可以用 +▁dernier +сет +cato +▁голову +raient +▁ayuda +くなった +開幕 +baye +▁гри +所以它 +及时 +プラス +ნი +驾 +▁mortgage +▁awesome +怀孕 +▁нават +дела +▁float +▁Revolution +一看 +違います +▁садовое +槽 +▁invasion +▁особо +▁splash +相手の +عاد +▁dla +国連 +▁contend +▁bubble +ਹ +只会 +▁tính +▁martha +▁چرا +你不知道 +risti +▁хто +の天気 +paka +▁المت +建て +коммерческое +▁tersebut +細胞 +▁snapped +حدود +进化 +natured +围绕 +toren +臓 +稼 +我们认为 +新型コロナウイルスの +▁adequate +监控 +▁precipita +▁lorsqu +venue +股票 +ったこと +▁inspire +▁verließ +▁Га +▁sensor +空中 +ठ +ਕ +▁Aspekt +▁intens +শা +見つかった +▁remedy +みたいに +ったのは +▁greatness +▁comunica +гул +ఆ +かさ +っていうか +楽しんで +立法 +▁müsste +licit +BC +▁دهد +▁Ansicht +▁sozusagen +▁awhile +த்துக் +▁Apple +▁obliga +▁dolor +іль +ுள்ளது +▁Vari +批准 +▁components +▁Latin +▁rebellion +预算 +▁genial +ক্ত +爆発 +▁Mannes +tawa +▁சொல்ல +炒 +▁thursday +මු +гур +▁gasp +▁focusing +▁June +拿出 +▁Bald +▁естественно +▁настоящ +棍 +記憶 +▁chariot +▁comrade +▁лицо +▁rachel +メント +九点 +▁altri +有更多的 +▁nuit +㗎 +エル +▁resolute +ensemble +চি +就得 +的项目 +ருக்கு +▁nannte +̣ +▁Verantwortung +所以这是 +将会 +▁lemon +gänge +涉及 +ョ +kili +eṭṭ +▁Antrag +▁blanche +されていました +▁Gru +戻って +▁تنها +ことによって +▁Town +▁leider +mali +▁yep +你妈 +塗 +梅雨 +▁добро +的速度 +▁которым +芸人 +選手たち +kord +bald +▁Bol +plant +agh +伸ばし +кала +我们不能 +欣 +▁preach +▁breit +▁இருக்க +▁செய்ய +▁pilgrim +▁voix +▁alguns +▁veya +请问 +заў +どこか +ического +ती +rauch +的概念 +PR +щие +ranye +▁één +▁fé +政治家 +drop +取消 +とみられる +▁accomplishment +▁vegeta +▁camin +アプリ +▁assumptions +mütig +ailleurs +▁Во +wadde +prozess +▁resulting +жды +こん +открыт +асці +ފަ +ensor +zaam +▁actively +ksa +▁Ці +juk +эш +körper +インタビュー +来来来 +yama +чным +issait +▁uncommon +▁despatch +但他们 +▁klas +▁Valley +▁часто +▁tế +奪 +▁Open +န +▁façon +なんでしょうか +▁gag +▁Start +▁отдел +说法 +▁добры +いこう +grä +▁louise +▁gewisser +reiche +崩れ +▁fulfilled +措置 +这话 +▁gedaan +いたい +▁wail +diye +近づ +▁тобой +▁sheriff +限定 +校长 +運営 +▁gyfer +adju +そうですよね +柯 +▁occurrence +ട +这一次 +▁folgte +过得 +的专辑 +夜晚 +事務所 +惜 +▁aunque +等到 +ボールを +夏の +▁falta +▁frühen +▁daraus +▁saith +▁Mira +▁sanft +尴尬 +んですかね +▁religiöse +▁nennt +дель +▁شک +▁childish +▁мнение +▁stalk +▁خوش +Һ +▁bởi +見込みです +▁kişi +▁acaba +▁Live +ruff +▁approve +ေ +賛 +züge +রু +工夫 +铜 +▁همچنین +형 +▁reflecting +入れた +也不知道 +醒来 +related +аас +▁filter +▁sunny +▁cuenta +蛮 +熬 +▁catherine +▁respekt +尽快 +▁vertraut +▁cautious +겠다 +kami +▁États +▁warrior +▁circular +▁orang +チェ +▁specially +قان +▁doom +裔 +▁kubi +▁raid +わず +你又 +▁erklärte +われた +hurst +▁strait +弄清楚 +▁класс +它可以 +ありますか +拐 +체 +バイデン大統領 +揺れ +gibt +reise +いただいた +▁dump +▁meek +▁hayi +proof +fassung +▁Stock +坡 +煤 +遗憾 +▁Experiment +トマト +协会 +▁contribu +东北 +▁aynı +sız +▁geschaffen +▁secondary +▁pitt +auto +гуля +mies +lohn +離れた +сот +所有人都 +スペイン +維持 +▁Tema +▁আমি +日まで +銀行 +整理 +原子 +殿下 +вернул +▁goede +▁relates +近くの +▁клуб +▁douglas +仪式 +▁paz +▁implica +কি +korera +试试 +▁translated +▁тое +单独 +ியது +▁algorithm +몇 +▁случай +▁anterior +俳優 +▁comic +▁candidates +もうちょっと +一緒 +ość +▁nước +▁thay +▁policeman +足を +測 +▁combine +ார்கள் +▁Pour +▁gaining +更容易 +▁bloß +▁Punkte +જ +▁chocolate +ည +労働 +それぞれの +▁robbed +▁fourteenth +专辑 +物価 +北方 +یده +▁commanding +বু +▁joyous +▁drehte +▁товарищ +▁eingesetzt +▁sullen +五千 +姑 +▁девушк +我以前 +▁elderly +を取って +けさ +日目 +织 +▁elektr +▁hearty +▁trigger +トル +▁waarom +▁zač +หล +▁schaute +▁starve +erade +▁yapma +▁precise +▁kinderen +▁حول +rolle +▁productive +мова +▁bằng +酬 +▁შე +ulin +▁regulations +直後 +▁насколько +祝福 +结论 +▁Kanada +▁philosophical +▁slash +dynami +他是一个 +くなります +▁shelf +95 +ますけど +▁deprived +▁stray +出门 +小屋 +そうそう +вался +▁mujer +ու +泄 +▁моей +窃 +▁überrascht +▁diğer +▁حتى +▁loin +雨雲が +▁importantly +▁fiery +▁contradict +▁Яна +▁balloon +ając +▁einfacher +▁bestowed +島の +город +▁moyen +浪漫 +▁தலை +▁fortress +▁lebih +schild +nimi +coli +というような +▁sprak +▁fright +▁benutzen +吞 +▁Schwierigkeiten +▁estão +▁vide +▁frederick +延長 +的城市 +ināt +貌 +▁Hey +雰囲気 +▁aggr +▁wiederholt +າຍ +▁musket +▁swan +TO +▁Gang +cala +ێک +look +▁الْ +社員 +▁wales +▁problème +こちらも +zusehen +▁پو +sichtig +▁electronic +гээр +把你的 +▁server +▁exertion +屏 +ല +▁ejemplo +▁invariably +fugi +外部 +gruppe +mord +為 +ந்தி +▁señora +двига +▁exert +諸 +▁كبير +▁feedback +▁Terra +大切な +ющий +そこまで +чар +▁Var +食べた +▁glancing +薪 +还有什么 +▁compact +审查 +原さん +▁хоть +▁أحد +mén +絶対に +▁merge +ってきて +▁swallowed +▁Wachstum +▁Technik +مدينة +▁fossil +▁organiza +把这些 +引っ +を見つけ +阁 +てほしい +нө +▁impart +いますね +▁numero +あふれ +立場 +kutu +▁correspondence +增加了 +▁ragged +А +▁hindi +▁dyn +▁successive +がこちら +▁verdammt +严肃 +▁barren +▁prairie +లు +▁Ora +▁понять +▁vamos +▁conventional +に参加 +▁vegetables +▁стали +▁تغییر +希腊 +▁kelkaj +算了 +48 +ацыі +▁kitty +踊 +▁Wahrscheinlich +meza +▁swore +▁cheerfully +zego +▁storage +تك +▁bezahlt +muz +五月 +jol +дей +oğu +icamente +▁hinauf +син +▁prova +▁letzter +▁temperament +▁rencontre +▁influenced +ラーメン +▁некалькі +▁parlour +▁Mariya +fläche +▁Meister +提出了 +を求め +有意思 +няў +▁polar +▁Verwendung +▁стен +ەم +的作品 +▁verstand +所以如果你 +▁mieux +▁요즘 +▁diversity +бак +恐れ +案例 +洲 +▁tamam +▁salary +▁возможность +它将 +kret +氧 +龍 +▁industries +chá +▁Vier +▁swinging +▁bacon +пись +▁edith +诶 +ັດ +▁знаком +фу +ою +ừng +▁impress +立って +ões +хад +锐 +▁resemblance +罢 +拯救 +我也是 +▁tightly +けがを +лева +货币 +▁beautifully +యి +▁Histori +▁Harry +訴え +集団 +даль +短信 +可以通过 +лаш +苗 +▁summary +프 +▁первых +企画 +oxy +っつ +▁celebra +准备好了 +▁обрат +大胆 +tuig +θ +▁mabel +бла +метр +50% +▁fugitive +▁babe +だよね +名单 +▁haunted +做到了 +lerde +white +▁technische +意味で +脂肪 +▁dissolve +zze +▁일단 +▁loath +▁intensity +提案 +提交 +▁steckt +耶稣 +▁orbit +▁русски +▁fiercely +年後 +只是一个 +Ex +▁sakj +查看 +▁آر +▁Ost +▁stump +▁enthalten +▁bitterness +会合 +他又 +▁hesitate +神奈川県 +键 +كار +鹰 +▁درباره +жиг +▁cabeza +lada +▁bidding +тыш +▁cautiously +主播 +Gelächter +▁erlaubt +▁reconciliation +崩溃 +وارد +pion +▁fapt +協議 +▁gemeinsame +키 +▁دارید +▁Qual +東日本 +三千 +▁میں +▁venus +▁undertaking +所以我认为 +克拉 +▁câu +われる +гэр +aurait +▁никак +かわい +别说 +hilfe +▁writ +beug +▁sombre +ptic +如果有 +NG +limi +的事实 +▁cảm +rott +▁район +▁desolate +▁picturesque +বো +晕 +ذهب +ることができる +▁weinig +▁siya +▁stain +惑 +▁pourquoi +▁строительный +▁doğru +▁Institution +送给 +▁Indien +干啥 +design +ゆっくり +近い +▁Sicher +▁раньше +용 +▁effektiv +NATO +▁incentive +▁assisted +什么东西 +▁stirring +▁corresponding +हि +复制 +窝 +▁Füße +▁tất +ències +▁Ati +钥匙 +▁mysteries +▁bietet +▁gegenseitig +▁எழு +▁tej +庆祝 +เล +▁நகர +るもの +மீ +نز +sinde +サル +になってる +上空 +言われた +▁Julia +ۋا +▁grundlegende +▁comte +pida +▁speedily +我们希望 +respect +普通の +▁thoughtfully +▁Är +宜 +sorge +▁betrifft +▁dụng +ար +你如何 +地址 +▁يكون +лета +都说 +赏 +強調 +▁Sab +лос +tijd +▁bezahlen +▁Serie +イタリア +▁flexible +▁isolated +▁angrily +ゲスト +被认为是 +人工 +tauchen +▁точки +張り +▁Right +borg +ligi +about +匠 +さんから +▁passive +▁delayed +かす +ダン +জে +想着 +▁vacant +宴 +▁congregation +分かり +خور +▁juice +ستخدم +るべき +子どもの +▁poble +三振 +けれど +緩和 +▁pigeon +сны +▁большое +▁Westen +әһе +сни +▁ensuite +▁agencies +▁remorse +▁смотрите +الات +工事 +터 +▁отвеча +igkeiten +▁Universitat +bwiye +という感じ +통 +▁identific +男性は +冻 +▁quá +日曜日 +▁সেই +ミン +ído +▁parcel +▁êtes +▁ringing +癌 +▁baixa +▁благо +するか +组合 +▁predomin +reisen +hnung +▁கரு +贪 +▁Häuser +▁nowadays +▁Victoria +ثلاث +imecres +▁ошиб +保健 +▁goose +▁nieuwe +▁consented +匪 +▁geloof +▁Würde +▁pup +集まって +▁parade +これらの +周围的 +美好的 +bildung +▁plank +▁blink +▁behalten +▁сказали +▁каких +▁දෙ +佑 +呂 +▁bestimmt +▁بده +ţa +但她 +寿 +▁ўз +iera +▁shrewd +▁рядом +меж +毎年 +▁persistent +▁addict +▁mogelijk +▁Christian +▁disconnect +▁dadurch +gisha +▁politicians +▁audio +让人们 +▁Harvard +▁Niemand +fí +ড়া +▁digest +同一个 +契約 +▁corona +kku +広い +以色列 +▁Kreuz +陪伴 +ゃ +▁Gü +▁uitge +▁seasonal +▁sanction +Th +යා +vär +幻想 +▁Kate +麦克 +榜 +▁exchanged +▁verfolgt +メジャー +▁jardin +▁Kritik +▁Islam +心态 +侵 +▁console +▁الان +▁fulfil +多数 +fiel +▁voraus +conscious +sohn +부터 +時半 +▁canon +▁zahlreiche +盒子 +মু +länge +pila +▁линия +偶然 +▁whatsoever +转变 +▁eleventh +暗示 +心理学 +▁albert +表现出 +蜜 +▁pennsylvania +새 +らん +たくない +tev +плы +扑 +▁taun +手中 +▁onward +імі +空間 +▁thời +▁евро +▁tuesday +▁scotch +▁смысле +しているということです +▁redeem +čni +評 +лык +▁Divendres +ประ +▁tested +▁passar +偶尔 +▁Group +▁знаем +二十四 +想定 +▁Satz +淘 +摧毁 +▁dapat +▁helmet +▁historic +特定的 +▁youthful +▁relieve +▁chris +▁argued +十几 +▁eerst +▁документ +▁poate +мор +退休 +你有没有 +帰り +▁මෙ +হু +鎖 +長く +▁deliberate +казаць +違 +▁shed +ographie +舒 +▁jaun +▁wanneer +▁ببین +燃烧 +taking +▁Schau +发现自己 +出てきた +comm +وجه +▁contro +▁angenehm +চ্ছ +▁awaiting +عَ +▁watu +▁overwhelming +宠 +▁peuvent +▁erlebt +が好き +仕事を +体系 +vidi +▁relating +▁sweetness +▁rhai +▁круг +カリ +▁هستم +▁disput +発達 +schnitt +▁Bü +▁recognise +▁tracta +只是为了 +通過 +ではなくて +始まって +▁discharge +不出来 +▁inventor +▁bog +▁français +贤 +锻炼 +びっくり +аваны +公正 +ゅ +▁страна +安装 +▁kwenye +ніка +urage +在网上 +▁drown +年ぶりの +terri +zellen +ת +セル +いかがですか +授業 +▁morgan +▁miller +ほうが +▁neuer +论文 +▁wunder +▁Fach +▁skies +标题 +▁Sitz +zional +خواهی +見てみましょう +▁transformed +没办法 +▁melted +▁encontrar +▁genre +擅长 +▁Middle +说实话 +ática +ności +グル +▁cultivated +▁pioneer +基準 +生态 +▁இல்ல +▁neden +スープ +▁Questo +▁pry +食感 +▁Wall +▁regulation +锋 +我认为这是 +近くに +gemeen +▁hospitality +▁erected +▁Have +▁interaction +greif +ಂ +▁tissue +▁таго +▁элек +不要再 +▁Brun +▁gill +っちゃって +what +変え +▁adapted +铃 +マンション +جار +▁frighten +▁Gw +▁Top +▁juist +▁Jeff +▁wrth +▁frisch +好听 +▁penalty +▁څه +▁marion +▁Front +▁Arch +▁dicho +ော +▁optimistic +▁Zusammenhang +әл +铁路 +▁accounting +▁vocal +оби +▁representing +▁cancel +ĕ +转移 +రి +七年 +▁kubera +饮食 +▁unfold +无聊 +▁Stephen +▁bestow +▁регион +▁terrific +监管 +場所に +وک +▁matin +▁conveyed +▁склада +ペース +▁adhere +ついに +And +▁underground +tuvi +▁apenas +▁allowance +▁противо +Rires +▁нашего +▁نیاز +▁begon +▁harold +ことから +定期 +返し +ベース +▁кост +测量 +▁deceive +ダウン +部署 +应对 +找个 +命名 +▁bucket +▁traitor +ඇ +ʻ +ވަ +gá +▁அமை +▁Zweifel +овым +殺人 +落下 +▁Tell +▁стало +跪 +▁Lieblings +▁earthquake +రు +рик +処 +▁pavement +我真的很 +離れ +▁mora +開いて +十个 +ww +indre +eerde +次に +否定 +▁violin +▁numa +ドリ +加州 +ましたけど +▁моему +vēr +▁enfin +いける +▁plunder +grado +ジャン +▁podía +били +▁mourn +▁circula +▁screamed +▁eternity +▁privi +ほう +▁되는 +正面 +▁üle +ombra +▁வரு +pane +åg +▁entlang +团长 +驻 +マル +残る +ných +思いを +▁Jackson +ҭ +も多い +▁එක +を行い +achtig +的证据 +▁geschehen +慮 +▁gentil +▁найти +わし +分裂 +impi +悦 +▁định +弁護士 +陽性 +zubringen +早点 +▁autonom +手術 +種目 +我说的 +ޮ +审判 +年纪 +▁其实我 +▁gris +▁показал +▁tourist +быт +机场 +▁interrupt +守り +筋肉 +▁manière +ユニ +作戦 +▁proced +響 +▁morality +▁Wunder +igeze +▁awfully +▁gesti +▁Allerdings +▁학교 +▁dwarf +上市 +▁futbol +кен +▁construir +疯 +大雪 +▁physics +▁beteiligt +オーストラリア +▁hearth +эння +▁cavern +бат +евский +路线 +іі +▁Donc +ና +▁appreciation +▁trousers +基础设施 +▁gewissen +城镇 +你看到 +▁организаци +悬 +抹 +▁hinzufügen +▁brillant +▁Donald +ご飯 +▁dominant +рах +伙计 +meɣ +▁benim +鉴 +выше +郁 +捷 +クリスマス +▁ມັນ +▁اسم +その中で +看不见 +ывают +らせて +饮 +йын +かぶ +掌声 +ори +▁puzzle +្រ +队伍 +▁carved +ది +▁admission +слуш +鼻子 +ouvri +pta +▁yani +▁extending +ப்படுகிறது +தில் +官方 +шчы +▁пойм +皆さんに +रे +▁minim +▁forgetting +rseits +طي +日々 +unterschiedliche +teko +bewegung +▁coffin +▁Information +挥 +いきたいと思います +▁arribar +kubernetes +▁nachzudenken +55 +狙い +3000 +▁ultra +лым +業者 +▁تحت +▁menace +▁Instrument +いかない +▁Boy +گا +▁Gehen +ەیە +▁capability +양 +dział +වේ +经典 +の仕事 +abri +都不知道 +的家人 +луг +游泳 +▁owl +仍然是 +▁attachment +今から +▁Apo +▁наступ +Oh +所以当 +▁тихо +▁casting +然后在 +常に +▁laatste +weza +тир +マス +▁bộ +▁luther +▁عام +▁скажем +▁меньше +溶 +▁делает +▁Hinsicht +▁ambient +▁бя +一号 +illion +▁Zweiten +ajja +▁подобн +▁sylvia +縁 +ごめん +▁trở +▁crude +すみません +fanya +灾难 +นี้ +▁dritten +▁transferred +▁freight +▁chemin +▁milieu +他认为 +を発表 +▁cruise +▁deepest +нап +леш +▁Ecke +▁Kreis +要不要 +öß +▁Minute +▁процент +广州 +▁sublime +▁получается +▁Brad +然后是 +▁allgemein +农村 +▁болно +▁Eigenschaft +比較 +▁grandi +drängt +ۋ +▁அதிக +▁Cri +場所で +سك +▁çek +щий +纽 +冯 +▁живот +▁مې +便利 +krimin +当然是 +▁kicked +MS +友好 +▁Krankenhaus +▁Trotz +じゃないか +成果 +剩下的 +▁Vision +▁verdade +▁pê +▁Түүний +▁پیدا += +▁пусть +▁Privat +マネ +▁Quar +物体 +▁ນີ້ +ませんか +单词 +触れ +山上 +ママ +koloni +bogen +▁đổi +▁Tanzania +在我看来 +太陽 +нец +生长 +▁Dev +▁scrutin +نَ +▁девятьсот +llah +の裏 +trum +に加え +▁fulfill +▁regardless +▁surpass +▁வந்த +▁seixanta +▁inflation +▁augenblick +орд +▁infinitely +▁ufite +时光 +▁Lauf +精力 +ēr +が確認され +மெ +හා +▁பேச +schmerz +unterricht +reɣ +创造了 +▁veure +▁sechzig +steller +▁retour +▁untersucht +に入った +方がいい +▁constitutional +号码 +▁educational +มัน +▁Those +▁Quando +▁herbert +以便 +▁années +▁acres +帆 +▁maître +▁langer +罗斯 +▁syria +office +▁nebo +▁контрол +▁everyday +▁ähnliche +▁diferents +නවා +密码 +▁Blue +▁broadcast +žu +дают +أن +pik +月亮 +stimmung +▁Krä +▁satellite +▁weltweit +▁figli +▁tailor +くれる +腐 +ሽ +の写真 +▁كه +変更 +▁negroes +▁همین +▁Acht +strom +مەن +勾 +妨 +一夜 +働いて +▁lachte +▁persisted +perto +larga +படி +▁Wirkung +▁gezicht +▁فرا +geladen +овые +vana +▁bemerkte +▁beliebt +▁гаражно +싸 +ないといけない +▁provoca +▁Ausdruck +两者 +▁canvi +▁complexion +гран +▁vedere +DA +ӡ +häuser +とかも +留下来 +▁چون +Atlanti +schwer +姿を +死去 +▁bewildered +▁refrain +▁verfügbar +▁dije +▁praying +▁fuera +代价 +▁Selle +হে +▁hyd +全身 +يين +▁немного +▁أخرى +▁Qualität +护士 +年齢 +▁tension +Prince +ième +шет +谦 +ẩ +ucu +▁ними +ছা +▁Ky +知道他 +蔡 +拦 +instagram +ovitch +▁orphan +телей +▁hablar +▁subsist +▁grape +アナ +давать +фан +▁välja +を使い +汽 +另一种 +нікі +排除 +▁scientist +ভি +лыг +▁tribute +таш +▁lind +低気圧 +▁ohio +▁universit +简直 +zaj +▁Letzte +țe +abaye +▁nke +週末 +仏 +主持人 +▁먹고 +▁recherch +▁wohin +▁pulse +▁lazy +▁impatiently +▁invalid +ىدى +を巡って +富有 +▁identical +霸 +刊 +responsabil +違反 +▁futuro +▁داریم +ителей +▁Zeitung +سون +置き +▁pete +基督教 +щения +時代の +上げた +▁военкомат +赤い +安全保障 +▁descri +▁Cle +▁Kapitän +▁regelmäßig +▁verfolgen +脅 +高騰 +▁Einrichtung +itarian +大规模 +是个好 +âr +▁Brust +▁herausfinden +▁privacy +▁важны +▁Out +mitglied +▁dedicat +廃 +▁signature +▁பகுதி +▁arriva +▁quiero +この時間 +abba +▁Nehmen +▁enlarge +ாங்க +▁Lady +趁 +▁greece +▁surgery +▁dunkel +dokument +▁quiere +ってしまう +雨が降り +▁hause +▁discretion +的风险 +ほんとに +▁Universum +▁Foo +kê +▁Pala +▁exclusive +крат +▁assumption +▁sev +を持ち +▁exhibited +▁такую +▁hỏi +▁produziert +▁jersey +▁Schönheit +额外的 +▁Vorstand +▁sotto +▁eagerness +funa +▁unseen +▁jumping +▁legitimate +▁physically +▁hafi +▁poetic +iyordu +唱的歌 +崇 +▁rubbed +▁humility +启动 +▁accessible +▁hoarse +▁nơi +▁bois +үй +حب +cari +▁Fleisch +▁Для +singa +犹豫 +▁Bedingungen +▁englische +▁sneer +を挙げ +▁sentimental +运营 +▁jaroj +覧 +我一直在 +潘 +▁ingredient +真ん中 +▁Alexander +▁brigade +▁oxygen +相同 +过度 +校园 +何だ +ключа +شە +تُ +▁Rang +远离 +相次いで +▁byinshi +▁tätig +umugore +▁dictate +▁nhau +ția +船长 +▁năng +侠 +誤 +となっている +但是如果你 +▁hyper +该怎么办 +大学生 +ればいい +这很 +тоў +ság +▁fifteenth +▁đâu +길 +▁известно +▁glacier +einig +сво +那一刻 +に乗って +ẻ +罐 +▁arriving +▁který +▁закры +べる +革 +▁retirement +▁marching +ှ +▁annoyed +▁üblich +yerek +говарива +kampf +දා +提议 +▁Western +なぁ +▁kubona +▁کجا +gezi +疏 +进展 +▁города +▁hurriedly +▁kiuj +年ぶりに +▁appearing +NA +▁elfu +鸡蛋 +涛 +▁bernard +▁manual +бед +▁banc +美しい +schneiden +لعب +▁Maßnahmen +▁superstition +speicher +▁embark +観客 +koko +▁manipula +お話を +▁joyful +হি +▁incessant +▁courtesy +ҳа +▁fain +imbi +[ +为他们 +▁determina +本部 +民間 +もらいたい +裸 +أت +做了什么 +лыш +kiye +bleib +▁şeyler +売れ +▁Germany +我很高兴 +ありますよね +呵 +▁вокруг +专注于 +▁sequence +予算 +▁indirect +▁bilden +lässig +合适 +ຽ +ჩ +You +所属 +▁tries +▁speeches +カット +▁trivial +▁posterior +見通し +▁rhan +оруж +去过 +ҩ +▁monstrous +遊び +▁hàng +▁союз +都不会 +見られます +▁ernsthaft +▁Tatsächlich +▁мозг +しん +beho +horse +▁breach +ファイ +▁když +▁muscle +▁comparable +▁grasped +誕生 +▁Nta +▁zyn +▁Они +有几个 +碑 +Ю +▁Firefox +▁carolina +控え +່າ +布莱 +gruppen +澤 +▁круп +働く +نق +볼 +▁yake +▁tiek +冠军 +পে +baho +▁Streit +晋 +▁Brü +▁направлен +维尔 +fär +presa +についても +▁tõ +▁administrative +▁communicated +ubah +реп +க்கிறது +老大 +選ばれ +▁благодар +▁desperately +corre +šķ +▁sweeping +怎么可能 +ggie +▁recur +▁உட +▁floated +推出 +прэ +在上面 +織 +◆ +▁twelfth +腺 +女孩子 +▁counting +▁hurrying +如果没有 +▁Abschluss +▁stealing +▁Deck +稲 +▁Bevor +कि +みてください +▁کمی +▁Verkehr +▁Martí +▁assess +逮捕された +▁حرف +gekomen +天才 +类似的 +▁Online +ď +▁እንደ +订阅 +渋谷 +▁už +サイズ +支配 +чку +▁advertise +▁wanjye +urile +丧 +▁aussieht +▁общественн +▁Like +▁kirk +▁tennis +▁журналист +▁сторону +▁دنیا +온 +လ +▁главное +▁fiz +funktion +lå +▁fotografi +шат +対策を +かれて +缠 +ወ +▁вполне +▁Flugzeug +▁trường +grond +▁echoed +▁phát +だいぶ +▁Sara +▁conversa +▁stimme +▁Quina +指数 +祖父 +wahl +▁klug +righteous +рап +▁mujeres +的痛苦 +六年 +全都 +▁clasp +浏览 +топ +▁horizontal +坚定 +▁wengi +▁bored +局长 +▁travaille +த்திற்கு +fluss +岗 +現状 +▁但是当 +▁Operation +فور +▁junto +你到底 +▁convenience +抑郁 +▁survived +▁образова +公寓 +लि +▁mesure +ització +パラ +▁mourning +▁dart +▁Grün +ސ +ਿ +▁wednesday +外出 +▁hasty +完整的 +▁compre +வரை +议会 +ఏ +會 +▁farklı +kracht +你可以在 +カップ +无数 +▁Gute +гийг +▁llarg +▁elevated +▁elsie +▁Kommunikation +あたり +impine +特殊的 +ழி +тере +▁そのため +нием +▁armor +▁Weiter +在中国 +ško +É +යට +▁thyself +沸 +▁achtzehn +▁extinct +太多了 +▁dresses +▁Prime +▁carrera +ுகிறது +不认识 +▁expenditure +▁innumerable +気象庁 +公安 +grown +不开 +▁infantry +▁abide +に合わせて +39 +疲れ +▁schuld +スキー +▁jog +وضع +▁européen +▁seria +合格 +いら +ာ +伐 +▁உம்ம் +రా +无关 +▁diffus +দিন +的语言 +▁Sarah +书中 +storm +受害者 +仕組み +▁banquet +早餐 +кос +亿元 +10% +供給 +アイデア +технолог +▁diwujudke +่ง +▁energetic +▁bunny +从来不 +burgh +ிருக்கிற +▁glittering +嘘 +8% +留言 +二十五 +CD +さえ +▁geändert +▁увидел +▁roedd +你这么 +BA +▁spray +ことができます +有能力 +alina +▁disposal +▁système +▁dreary +▁quarante +▁بأن +▁vient +第三个 +▁vacation +▁Ohne +币 +倡 +▁unnatural +결 +少なくとも +▁Another +みんなが +▁fuss +▁خواهد +▁patro +▁personage +▁жыв +▁ddim +альным +▁scheinen +▁probabil +▁Bewusstsein +▁Militär +裙 +▁কথা +▁Sagte +▁whe +pola +▁missus +我觉得我 +▁quaint +viel +▁telescope +涵 +▁тупик +在某种程度上 +言うと +传递 +的灵魂 +दा +▁töten +事务 +▁demonstrated +教训 +maro +▁figura +しろ +痕 +▁предлага +▁metrics +ண்டி +▁Iyo +を前に +4% +▁marian +hagen +▁ради +цеп +▁слушай +▁демократ +▁ситуация +▁Drogen +▁dose +افت +▁اول +▁suppress +bril +▁beschlossen +涂 +謎 +ಪ +badde +▁있는데 +▁drunken +▁seule +▁afge +囲 +爸妈 +棚 +峡 +▁bacteria +▁erscheinen +が続き +ț +قار +хоз +紧急 +好朋友 +рада +▁examining +同性恋 +韩国 +很高 +▁спец +ヘル +ере +一歩 +batu +▁automobile +執 +を含む +▁gerecht +▁welcomed +▁agricultural +っていうのを +▁tudo +相信我 +喜欢你 +▁woorden +彻 +তু +ارات +这都是 +模糊 +逆転 +ダブル +▁мае +ショー +▁dirigi +检测 +哪怕 +我父亲 +▁eric +із +▁parc +dodd +饰 +រ +▁December +겠지 +▁yali +▁gordon +▁Stamm +बा +▁ikintu +مین +ச்சு +美好 +▁interrog +Aplausos +EM +警報 +▁Treffen +▁Tau +▁rive +を食べ +▁sử +▁останови +▁oliver +onian +▁Ez +stuk +逛 +▁внутри +▁decisive +▁unglücklich +の様子 +広がる +这个项目 +▁Klima +▁primero +jang +▁Betrieb +▁sealed +▁insane +۔ +▁gewoon +为您 +▁tenderly +▁самый +▁oppose +▁ответил +eremoni +саб +▁correctly +FIL +าน +▁어디 +▁realidad +behörde +gerufen +уха +房子里 +▁sujet +▁classroom +▁hübsch +▁sekolah +▁گروه +▁Gli +足以 +▁Carolina +yorum +▁epidemi +áz +liwa +ボン +▁feminine +▁które +▁primo +▁verdi +кот +▁graham +mele +你们两个 +िक +感受到 +无人 +될 +▁knelt +▁tìm +▁hebrew +▁Meter +กล +▁clothed +使える +陽 +amazi +Kanal +▁бага +心灵 +逸 +▁klingt +▁видео +лоб +撤退 +景色 +nect +▁vorsichtig +ಗ +▁bachelor +▁хочешь +▁شرکت +見ていきましょう +もあって +6% +▁Mah +▁Су +லோ +வேண்டும் +浓 +▁carpenter +▁shrub +▁nourish +始める +ようになって +しまして +▁awareness +闯 +▁невозможно +▁나오 +boro +▁strife +▁dismiss +综合 +িয়ে +witz +حدث +pür +图片 +놀 +鍵 +▁subdued +spoonful +▁Finally +看不到 +运动员 +کات +▁rector +的角度 +▁faculties +麺 +円安 +緊急事態宣言 +▁molecule +▁plough +▁вчера +▁tiến +Pierre +مند +市では +▁Ми +bika +▁obstinate +▁saviour +庞 +pflicht +大海 +▁habitat +这是我的 +urira +識 +ですとか +hani +▁candid +屁 +▁ممکن +▁এবং +▁ລະ +tsinda +شته +农业 +不同意 +▁Februar +లో +ிலிருந்து +太子 +kleri +▁яму +▁draught +前提 +▁envia +▁também +▁crust +▁Калі +▁Verfahren +▁manifestation +▁verbringen +▁честно +做饭 +今天晚上 +▁видите +kò +▁marshal +▁Bäume +▁astonishing +▁conjecture +▁embarrassment +畅 +眼泪 +koli +альные +▁concentrated +岩石 +ười +▁amiable +▁hiyo +ধ্য +自行车 +▁societies +舰 +▁አዎ +▁realise +▁pouvoir +mico +に移 +就行了 +合适的 +▁setanta +fenster +▁dismal +▁Wunsch +▁wolves +lil +建設 +▁rwose +annu +▁aircraft +イチ +拥抱 +電車 +▁sixteenth +▁Kurz +Episode +▁فیلم +ību +並んで +三点 +cò +▁yella +знача +▁حا +この辺り +альных +いくと +▁Album +▁radiant +▁nossa +层面 +хим +▁diversaj +▁imitate +谋杀 +▁resentment +▁shark +总结 +進化 +运作 +▁assertion +ູ +▁Praxis +にあります +▁confidential +uğu +wego +▁Ро +▁embraced +nutri +与其 +▁buzz +▁camino +يط +视觉 +achtet +良い +▁скорее +珀 +っていうふうに +继承 +你刚才 +▁صورت +▁países +имся +是一样的 +тэн +▁гэтай +▁находится +▁voilà +▁startling +我想要 +维持 +▁tray +රු +▁повтор +的主题 +contin +的人来说 +▁demanda +旧統一教会 +▁inspection +先ほどの +▁Senat +▁breadth +sehn +ального +明明 +▁respira +جنوب +落在 +耻 +試験 +▁explaining +确 +▁perdu +▁gorgeous +陌生人 +▁Absicht +ولد +遇见 +шан +高級 +▁parlor +хлоп +ษ +▁Dijous +▁schlafen +改造 +▁miriam +▁Té +▁shipping +そこは +äck +ステージ +十分钟 +太郎 +▁pasture +ワード +▁nicely +増えて +▁beobachten +网上 +▁fröhlich +▁އަ +தொடர் +モー +льны +▁стоял +дзень +▁газет +名为 +を認め +但这是 +决心 +origine +느 +Gelach +foje +▁charter +这些问题 +▁vinden +▁Nieder +yumba +பர +が出た +▁everlasting +▁trouver +zí +成年人 +▁keer +▁Anwalt +kaka +▁nosso +▁asserted +овали +AD +接到 +କ +ĥ +疫苗 +这一切都 +理性 +▁polished +▁flavor +смотрел +産業 +你爸 +▁பய +逗 +▁Unión +▁rumor +そうですか +我就不 +▁attributed +ツー +kları +▁passenger +▁bliss +喽 +ሁ +▁verheiratet +▁mindestens +▁پنج +▁highness +verfahren +تَ +利润 +▁funkci +▁readiness +▁escala +▁канал +▁система +ராக +抛 +▁Demokratie +いただきたいと思います +arbre +在此 +▁vind +我们有一个 +▁واحد +▁gosh +拨 +▁depressed +ṛṛ +▁unlock +の前で +俺が +▁거의 +小麦 +▁whereby +▁tint +mizi +▁stretching +趋势 +名古屋 +ภ +ấu +▁putea +试验 +▁clergyman +劣 +équipe +খে +決まり +ший +▁motiva +▁Atem +▁ئەم +遮 +천 +煙 +▁Bildschirm +パパ +回到了 +▁await +▁voted +构成 +滅 +▁Hari +▁righteousness +▁женщина +白天 +▁gerald +旋转 +我想说 +▁surf +酱 +▁Tief +দ্ +▁உள்ளது +尸 +ứng +boek +brook +▁Erwachsene +激励 +щик +▁acceptable +▁món +▁enthusiastic +▁upside +่ว +umuryango +収穫 +欺负 +▁engaging +▁Reform +▁chop +үнд +的需求 +很简单 +loch +▁EBITDA +ނު +龄 +▁Spring +▁logo +▁engel +▁fry +私たちが +▁stammt +焦点 +▁Mexico +▁kerja +都内の +For +大厅 +▁noranta +einheit +ちゃんは +我们开始 +▁Option +▁사람이 +足够的 +んだね +SA +ई +▁gewöhnlich +炒め +▁squeeze +技巧 +▁tyrant +▁کمک +▁animated +▁coverage +獲得 +▁кап +▁Schrift +ауы +見えない +▁그치 +カフェ +が流れ +亲密 +▁purity +等一下 +就好了 +▁foremost +▁niedrige +కు +halen +ட்டை +zünd +▁olur +▁eliminate +pez +▁xem +重视 +▁konzentriert +▁extinguish +▁cursed +▁louder +▁disdain +strich +の中から +フライ +Krista +▁الأول +▁plantation +▁eindeutig +▁einzigartig +弦 +訪れた +рю +盒 +▁hauptsächlich +▁Тэрээр +保障 +▁সং +▁Norden +▁stamped +ехать +verkehr +wszy +▁pleaded +忌 +熱中症 +empi +арга +一分钟 +▁kadın +адзе +我妈妈 +živ +袭 +▁меч +▁квартал +▁Garten +▁frantic +▁Hij +▁iraq +がついて +▁ئې +凌 +▁squirrel +▁denomina +▁imposed +цэн +他们已经 +▁Theater +▁yiwen +▁Pap +央 +▁tüm +▁depended +亦 +▁gerçek +▁berühmte +hize +▁Veränderungen +▁unworthy +feind +дох +Instagram +▁Benutzer +▁dernière +▁Biz +▁زیر +ießen +▁attempting +▁процентов +が見つか +接受了 +▁связи +▁слышал +你有什么 +யூ +ცი +نے +▁nearby +踩 +▁nhw +▁درست +شعر +▁waiter +容器 +серьезн +前後 +schijn +ӧр +environ +▁tiuj +壳 +▁افراد +▁Muster +会发生 +▁아무 +ली +से +はどんな +eeuw +сидел +娃 +睁 +sammlung +குறி +▁shit +пыт +营养 +просил +रो +chè +▁complained +▁Szene +оф +▁imitation +цам +runner +保罗 +▁بدون +▁Mol +痛み +iĝo +▁tackle +скіх +▁mehreren +vance +▁öğren +本质上 +ボード +隔离 +▁encouragement +政党 +▁үйл +文本 +konna +weiß +辜 +担忧 +third +อน +бач +▁devote +おいしく +▁January +▁consumed +▁pyramid +▁verursacht +▁banking +コロナ禍で +決まって +▁realised +▁Syn +向こう +轩 +▁международн +▁orchestra +账户 +▁أيضا +▁привет +▁digo +▁мере +▁reaches +▁nhiên +▁aktuelle +stow +あそこ +况 +紀 +ǧǧ +▁retten +▁stability +▁mož +▁يُ +▁waking +▁Cada +됐 +车站 +你想要 +並み +ەڵ +▁collaboration +歳で +더라 +ਤ +▁skeleton +▁Church +▁duration +clav +▁другое +▁frère +▁Institute +▁quina +இன் +rijk +最新的歌 +我刚刚 +актив +▁phần +▁wandte +▁Power +▁région +▁வந்து +▁cierto +基本上是 +▁Back +が生まれ +▁whispering +▁страх +▁copies +▁rouge +▁убийств +▁eloquent +▁Hong +▁kuva +ющим +Net +晚了 +▁nostra +我们一起 +然后他们 +движ +的反应 +这样的话 +考え方 +舒适 +あるんですけど +லில் +意味着什么 +locat +▁boiled +不明 +▁fashionable +▁proprietor +複数の +框架 +▁beantworten +▁segundo +導入 +альной +おなか +▁cinquante +札 +▁guinea +▁gabriel +的作用 +買って +わかる +▁geschah +aquell +▁fino +درا +সু +▁Händen +kamera +▁expertise +▁scenario +▁حيث +次々と +連携 +打って +我心里 +嫂 +を出して +诈 +太棒了 +を目指し +扩展 +▁concentration +修复 +▁boca +fay +机制 +లే +▁дверь +底下 +侦 +栗 +▁Interview +▁agitated +沃尔 +みる +▁curios +āka +▁solely +хгүй +발 +▁Gedicht +▁klicken +到处 +不管你 +提示 +覚え +zah +▁ayrı +捡 +▁warfare +▁colonial +▁аан +▁superintendent +▁放一首 +一顿 +这些都是 +▁répond +小学生 +でもいい +가지구 +▁lawrence +ایت +legung +sexual +詰ま +アリ +敦 +验 +மைய +してしまう +谨慎 +▁difficile +▁конкрет +▁describing +jährigen +▁bastante +诚实 +▁exercised +furi +▁facile +ี่ +▁celebrate +Risate +金曜日 +▁Mission +▁спас +umunsi +对他的 +zelve +星星 +▁erano +▁Osten +▁gael +慧 +▁ප්‍ර +朋友圈 +▁tusschen +yita +今度 +周年 +聚会 +дні +漠 +耗 +毫无疑问 +轰 +▁скажите +▁sandwich +▁chambre +▁traveled +▁decidedly +▁حالا +▁despise +nesi +ŝa +▁Schauen +水果 +▁herald +婚礼 +▁overwhelmed +▁heathen +一堆 +netz +▁mississippi +土曜日 +▁internacional +あすの +hydr +跳舞 +▁enthält +▁reel +按钮 +有效的 +mayı +▁resigned +▁quantities +▁submission +ваецца +▁stärker +倒れ +estructura +▁Gegensatz +▁llibre +走过 +▁reminder +وں +щение +Wow +▁içinde +还想 +▁contrived +▁ignore +我也不 +져 +▁gregory +▁hejuru +▁korea +▁realiza +娘娘 +▁cooked +▁Stimmen +▁satisf +脆弱 +▁vaguely +顶部 +误会 +無料 +受到了 +的时候呢 +把手 +▁subsidi +▁necesita +假装 +▁persecu +▁dintre +▁endured +lender +étais +▁litter +愧 +なのです +我们发现 +▁Tamen +▁hopeful +check +声称 +意义上 +僕ら +各个 +▁vertrauen +පා +▁khu +▁pathetic +不清楚 +側は +一个很好的 +六月 +kker +▁hả +▁harness +▁vanish +geblieben +塚 +▁orchard +争议 +තර +的核心 +▁bland +▁heftig +▁terrorism +并非 +நிலை +中午 +衆 +▁arnold +貨 +▁gehabt +7% +فكر +演唱的歌 +分布 +戦闘 +▁spake +▁negativ +▁kimwe +畏 +眼前 +▁بۇ +▁sorgen +圣经 +只要你 +▁flowed +当成 +▁önemli +▁zurückkehren +砲 +▁Soldaten +はっきり +energia +言われ +が大きく +▁plein +éré +彼女の +▁kasuta +战士 +▁repeating +invest +▁virtuous +▁laboratory +ネタ +руп +ად +贼 +殴 +▁буй +▁இர +Video +ىلى +fydd +几乎没有 +山田 +гуль +▁Pel +任命 +▁discontent +▁ຊິ +▁winner +可爱的 +▁verbreitet +星球 +▁ааа +耐心 +▁overtake +災 +▁подумал +▁hände +打扰 +வெளி +▁wonderfully +▁staatliche +的房间 +に来た +▁nursing +▁dunia +笼 +▁chưa +▁Verlust +Domin +kommst +монт +逃跑 +估 +你还是 +▁stepping +驱动 +▁сначала +しばらく +衝撃 +▁blake +▁Frankreich +▁exploration +と思うんですが +▁clinic +違って +寒さ +▁какую +▁soort +meid +▁slack +▁күр +ց +▁Ozean +ić +退出 +▁historically +▁punika +画像 +▁weighed +本地 +ấp +济 +▁pouvait +ヒント +레 +▁vuitanta +▁verantwortlich +▁neunzehn +hampton +alist +▁склад +時ごろ +Comp +47 +▁Cafodd +amategeko +▁mnie +ওঁ +▁öffnete +デー +あなたが +▁enorm +明治 +今大会 +` +▁archbishop +▁иногда +▁прежде +▁göz +▁entrar +▁знать +числ +奇妙 +▁kuvuga +▁grub +▁rubber +坐着 +に関しては +▁preaching +işle +▁psychological +▁survivor +▁Oberfläche +这个想法 +脖子 +观看 +▁Verstand +▁кож +▁нужны +▁diff +integra +▁Hinweis +▁maakte +我希望你 +循环 +▁Simon +中止 +▁crucial +▁праца +▁thông +дук +▁ownership +ந்தார் +▁Paar +▁carta +大変な +▁hayat +់ +▁ситуации +欺骗 +▁regime +まるで +مُ +وص +一个女人 +資金 +ം +▁kompliziert +▁Geburt +衝突 +▁Play +▁Ärzte +▁snatched +خنده +īgi +vè +▁küçük +▁navig +両親 +تحدث +▁attire +▁Pause +連れて +▁Einsatz +kî +▁Free +认识到 +லு +扩 +男生 +仓 +▁Laura +▁magnitude +ацыя +torial +▁tercer +岸田 +テスト +بى +état +▁máy +schläge +激烈 +▁같은데 +▁kep +这就像 +পি +φ +肩膀 +▁psychology +▁wünschen +▁wiped +を求める +ظهر +▁streak +▁Aktion +لې +▁vấn +▁owed +▁assessment +▁solomon +魔法 +▁digging +▁Kleidung +▁волн +піса +직 +ښ +叠 +垫 +▁provoke +▁disturbance +范围内 +教学 +▁труб +▁Deutsch +ێت +▁করা +▁Englisch +fluent +▁какого +陪你 +sulta +▁applause +▁тэгээд +ას +▁mmhm +▁rascal +тәр +▁honesty +▁Phase +Risos +▁постоянно +申請 +ັກ +▁hängt +▁affecting +▁Veränderung +▁опыт +હ +▁اليوم +▁друж +碰到 +▁Bühne +▁порядк +ҭа +新聞 +▁Stimm +▁Süden +مام +演説 +世界上最 +leitung +遣 +北日本 +감 +碳 +▁collecting +っぽ +ができて +やりたい +▁vardı +▁reap +背中 +▁Farb +焼け +ないよ +摄 +하다 +외 +▁appealed +ッキー +▁prick +上手 +お届け +kono +▁мэдэ +顾问 +很清楚 +斑 +▁интернет +刃 +һын +▁نور +awal +▁flashing +▁Since +大师 +▁macro +เก +▁unconsciously +▁passé +▁dreaded +ძ +▁cependant +초 +▁Там +▁бело +▁personnel +犯行 +▁priorities +шев +▁grote +neuron +▁treating +âme +▁Bach +有许多 +සු +▁Pic +▁Ereignisse +感染対策 +▁discoveries +spoiled +lith +喝了 +ታ +▁Geschlecht +▁excursion +保険 +▁fonction +場に +maktadır +▁judicial +安倍元総理 +▁Sobald +lardan +кажет +ディング +▁harmless +这么一个 +▁ministry +▁ຫັ້ນ +▁cotxe +嘉宾 +を取る +ىسى +lomb +という話 +▁siaj +ambul +▁referring +小小的 +▁utterance +角落 +▁kehrte +パリ +捐 +▁provincial +想出 +▁benefici +▁Aku +▁исслед +▁Kong +ıp +激情 +周期 +▁Ruf +坐下 +▁ewig +▁African +▁çünkü +▁academy +▁Maybe +无限 +čči +▁connu +这孩子 +▁banker +村上 +▁authentic +寂 +郷 +▁kết +ヴィ +▁luncheon +▁알아 +冷凍 +▁resume +андр +▁refined +clus +这样的一个 +ாளர் +鲍 +▁nobility +▁Ул +ໍາ +を重ね +▁嗯嗯 +談 +▁awaited +فَ +▁Aussage +ღ +▁vermute +涌 +హ +月曜日 +▁tốt +esque +▁جدید +選んだ +▁Wann +身后 +アイス +カ月 +▁beschreiben +诱 +▁chwarae +附近的 +inclou +什么样 +請 +කු +ल् +▁initially +期节目 +▁roaring +▁Ар +▁другим +▁oven +必须要 +20% +▁saloon +▁врач +せん +▁lewis +▁vicious +▁Zentrum +▁brazil +的权利 +美味 +不许 +▁பயன்படுத்த +▁вульф +▁видимо +先発 +きれいに +▁ужас +▁obtaining +▁Aufnahme +▁podría +▁sadness +拿出来 +必要がある +лыҡ +作业 +采用 +▁vya +▁feat +▁Although +なければならない +大規模な +推进 +我只想 +▁durum +还有其他 +どうする +œuvre +▁eloquence +▁бөгөөд +栋 +鏡 +būt +günstig +开会 +▁Grab +▁அவர்கள் +ロシアが +voja +▁felicit +▁attendance +否认 +ぇ +ლა +わずか +▁hunted +ようやく +爵士 +ހަ +然而 +▁mournful +長期 +wamu +期限 +询问 +▁установ +▁rainbow +騒 +▁diligent +▁vergangen +▁asylum +▁yanjye +koht +▁comfortably +gerät +凶手 +▁armour +pari +▁dignified +▁cuerpo +▁Prinzip +associa +つま +▁excite +▁matches +▁brauche +▁كې +ddling +▁baggage +▁outstanding +秒钟 +▁vierzehn +克服 +▁blazing +பின் +下がって +▁руку +jící +わたし +න්නේ +▁consegui +他们正在 +▁qualified +▁tradi +统一 +人が死亡 +buah +▁защит +▁donkey +新幹線 +欲しい +クル +ifuza +miento +▁lumber +jye +▁meteor +▁gradual +களும் +▁crowned +quisition +ショート +糊 +ही +チャレンジ +னும் +▁एक +▁sydney +▁Taylor +克莱 +拿起 +リーダー +兔子 +其他地方 +▁Graf +▁ужо +ël +өнгө +▁fünfundzwanzig +▁estimated +一趟 +▁quoted +த்தா +spruch +激しく +▁Был +čil +トラブル +пустил +▁seventeenth +▁thirteenth +▁compelling +▁seemingly +▁نگاه +更好地 +▁bunk +のまま +nev +借り +▁кре +krist +七月 +▁Atom +spezifisch +一直是 +Orient +йтесь +▁meilleur +120 +▁habt +▁liking +▁legislature +どのような +一块儿 +いくつか +▁romp +▁trench +▁сильн +凑 +鸣 +登録 +▁frail +获取 +▁Main +いること +広く +プリン +親子 +段階 +豆腐 +很长时间 +▁Castell +真理 +▁треб +▁endeavoured +Institut +萌 +Infrastruktur +堀 +诉讼 +▁прекрасно +ってほしい +キャン +徐々に +▁يجب +▁vall +ზ +eisen +▁Gewicht +▁العمل +▁contemporary +戦略 +▁wesentlich +కి +予定です +っけ +▁bello +▁socialist +ということなんですね +▁cement +▁그걸 +▁shifting +▁Sup +▁дене +▁governed +schäm +▁jurisdiction +▁giorno +▁triple +funk +▁sneak +院长 +食料 +чныя +vira +▁spoon +сця +▁silenci +出售 +几十年 +geordnet +▁Philosophie +▁congratulate +リズム +▁scheen +▁пятый +▁tidings +▁podem +北陸 +大姐 +▁hệ +▁Lind +accus +иров +另 +付いて +▁vegades +▁কৰি +▁inherent +räumen +▁Vorschlag +▁Dabei +ッジ +▁Interessen +得很好 +неп +▁keel +一阵 +▁treasury +▁sculpture +▁vật +▁Beach +できなかった +ちょっと待って +巨人 +▁Verein +乗せ +▁Ple +冲动 +休み +syll +ත්ත +ോ +▁غیر +ロック +чки +回答说 +うまみ +ලි +thorpe +其中一些 +をつか +▁outdoor +に向けた +▁amuse +К +▁bantu +uwen +辅 +lulu +নী +ativa +網 +詹姆斯 +懂得 +太空 +四处 +いずれも +▁Vertrag +▁verbinden +脊 +ఎ +▁обычно +▁dispatch +切った +と指摘 +▁komplett +火事 +▁migration +kintu +働 +札幌 +▁касается +告诉他们 +▁ingenious +だとか +عادة +金钱 +ضع +般的 +▁fling +正如你 +▁durchführen +コーヒー +スケート +的意思是 +很多事情 +▁crisp +▁grunt +▁kutoka +ES +爵 +▁dự +▁catastrophe +▁tưởng +▁disregard +▁gezegd +▁Kredit +強さ +▁بودم +OS +beruf +▁handling +▁pesca +根本不 +▁Champ +▁девят +晒 +▁evaluate +▁Dewi +▁ответствен +щего +认知 +ovna +▁paragraph +決めて +▁roared +▁Quindi +毫不 +름 +▁Sitzung +கிறது +▁willow +欢迎来到 +船上 +维护 +▁tanta +▁Europäischen +▁Molt +শ্ +tiene +種類の +を超えて +▁terminal +▁consulted +▁portal +алды +▁المع +assassinat +証明 +标记 +يار +一起工作 +▁ئەو +▁Pflanzen +▁embarrassed +kawa +▁serene +▁streaming +▁jason +▁stride +▁лиш +多次 +භ +▁almighty +▁hurricane +▁Science +▁سره +fashe +quadra +常常 +国民の +▁dạ +põ +▁discount +を出す +到目前为止 +fähigkeit +谈判 +スパイ +▁patiently +▁lautet +▁болох +惊人的 +fleur +▁prosperous +委屈 +ică +▁Brian +两百 +▁ভাল +▁brandy +实在是 +àng +▁produit +палі +客厅 +を示す +▁gezwungen +исто +stairs +▁lapse +镜头 +般 +▁Està +operative +▁Veranstaltung +二人 +දී +▁moll +▁courteous +رَ +▁Oberst +谁呀 +車両 +анг +▁série +▁behandeln +பட்ட +とかそういう +лок +▁کړ +▁Austr +看起来很 +酒吧 +▁বলে +пок +インターネット +天皇 +▁estaban +зур +极端 +▁distrust +بری +去哪里 +▁сельсовет +▁نحن +▁erhöht +▁mặt +軒 +▁Abendessen +▁accusation +领导人 +льная +▁görün +年生の +伊藤 +支払 +肌肉 +▁zitten +したうえで +chimp +恋爱 +▁ег +▁зелен +动机 +▁Konflikt +군 +▁sabbath +"."" +▁kapit +セント +▁polish +▁simultaneously +की +▁kugeza +相当于 +▁годы +علوم +итесь +▁expressing +іла +美女 +umugabo +قطع +▁schickte +▁реша +▁Fälle +ெய் +migr +己 +ální +▁людям +▁некоторые +バーディー +fungu +▁executing +بحث +schieben +引发 +质疑 +▁Gründen +grenzen +▁persecution +▁Zitat +土砂災害 +▁besorgt +▁unfair +到这儿 +인데 +عات +▁ребята +ouvre +第二次 +рыс +ших +▁тус +しまい +思われ +鹅 +▁Katze +▁strengthened +kamu +▁Royal +ombro +▁folgt +▁destaca +▁همان +خورد +倦 +スポット +rechnung +▁inheritance +ىدۇ +▁பிற +▁Kevin +▁behaved +数百 +明显的 +roving +▁наконец +稚 +구나 +犹太人 +确认 +▁தீ +لِ +二十年 +为何 +ходил +жат +märk +ұ +▁الوقت +▁depois +▁цар +▁despised +商人 +ొ +▁besuchen +詐欺 +スタイル +▁überzeugt +ここの +wili +▁Life +特别好 +▁ziet +ラム +を続ける +rinda +호 +kanya +▁chairman +木さん +トイレ +крыва +▁stooped +▁Schatten +▁kuwi +一本书 +ebene +вец +▁занят +▁garment +▁Danach +▁ăn +▁Как +が続いています +遂 +क्ष +▁acceptance +▁körperlich +義務 +该怎么 +ائي +▁krista +ителя +ымі +▁Neuro +▁semble +を進めて +見られる +遭受 +▁Einheit +▁ditch +▁Sydney +▁üzerinde +葛 +▁российской +▁шестьсот +▁advertisement +▁lucruri +伯特 +小林 +▁bamu +հ +▁Pakistan +▁hành +わからない +▁historische +kiem +▁nghe +かつ +约会 +もらえる +tsiooni +▁preached +울 +胳膊 +▁exaggerate +▁subscription +▁sworn +▁evolved +认可 +verhalten +▁hạ +нде +▁путина +▁accumulate +いくら +▁Dž +先頭 +▁berlin +僅か +▁Knie +数据库 +▁жест +▁زیادی +▁envoy +▁самого +väg +录音 +جعل +タイトル +▁protecting +brian +緩 +勘 +もしかしたら +▁shrugged +willig +▁иә +නය +三个月 +時代に +音频 +来看看 +මි +▁vicinity +▁choosing +▁வழி +奇迹 +▁Schreiben +лээ +croft +▁kontrol +бот +▁izmanto +▁좋은 +пуск +parent +▁container +疯了 +尼斯 +確認された +▁thicket +▁верн +▁dankbar +并将 +大陆 +▁comercial +▁vorhanden +jev +对面 +▁tiefer +▁cama +不能再 +だと思う +則 +鸭 +▁soutenir +幺 +▁Schlacht +▁chaos +▁meisje +を行った +▁conjunt +▁Ansatz +皇后 +环境中 +님 +世紀 +も含めて +98 +ობ +त्य +▁derecho +▁davis +▁Шу +お酒 +▁verhindern +▁komunumo +▁mochte +こだわり +设施 +天使 +▁schade +позиц +9% +пай +▁richmond +▁посмотрел +eusement +meester +ỹ +োৱা +久しぶり +候选人 +ங்களில் +ন্দ +▁Zusammenarbeit +少しずつ +▁Tausende +东方 +いただき +aquestes +▁gefällt +гада +薇 +▁mathematics +▁처음 +lago +amara +zentrum +▁forgiveness +▁Each +▁அதன் +▁Deci +他にも +▁mirth +建立了 +Ɣ +сор +▁Wörter +Bahn +▁bajo +▁carne +可怜 +thought +größe +ガラス +▁screaming +▁ändert +培 +给了我 +અ +▁thôi +▁indicator +▁alfred +▁کنی +▁gezien +جلس +▁disciplined +▁housekeeper +体操 +还挺 +▁submarine +いきなり +كرة +▁erneut +▁Medizin +资助 +vå +▁lucru +▁разные +▁oars +ливо +可惜 +▁Oxford +Kampagne +▁generosity +▁무슨 +ญ +縦 +偽 +ível +パワー +▁moviment +尽量 +▁universitat +ME +ễ +▁нравится +▁понимаешь +▁böyle +学术 +こんにちは +▁kvar +摊 +棵 +▁hereafter +Franc +▁prussia +ஷ் +天哪 +▁Hügel +最新の +▁Korea +▁мөн +▁হয়ে +▁kaiser +ático +▁mooi +晩 +ึ +▁cambio +holm +ственно +▁implied +▁év +我个人 +▁jenny +就是因为 +Ĉ +を通じて +▁değiş +▁borrowed +是否有 +▁Tout +▁festgestellt +きょうも +▁تک +短暂 +▁franklin +▁piled +还是要 +自主 +یەک +▁contempor +狩 +불 +نظام +亲戚 +活跃 +真心 +会让你 +▁کشور +ování +▁stesso +бег +临时 +八点 +いろいろな +घ +螺 +க்கை +▁consultation +▁Wut +▁Personal +▁quedar +▁こうした中 +▁Ку +▁prolonged +▁folgenden +▁temporal +▁bleef +ăng +バター +▁Saya +▁detected +▁Про +▁translate +信念 +асць +ないんです +▁کوچک +両方 +▁contrari +▁அத +ோம் +お肉 +ņa +▁Einstellung +したいと思います +▁встреча +wyl +侵攻 +我刚 +۱ +房地产 +ষ্ট +▁ஆனால் +收藏 +مثل +▁Philip +▁reliable +▁conspiracy +▁indispensable +日本海側 +の歴史 +▁কোন +▁superiority +子弹 +的意见 +▁conqueror +帖 +迎え +▁одоо +優しい +ическое +wyth +▁одну +wirkung +▁financing +▁ascended +كتب +八月 +▁zoals +ヶ +▁கட்ட +▁petty +▁cricket +すぎて +得起 +cross +加强 +crypt +▁jünger +▁ຫວາ +▁considér +▁Studio +вд +另外一个 +▁kennedy +▁castell +าม +▁abrupt +▁buli +identifi +▁disadvantage +▁නො +▁arasında +ража +▁хотят +▁apron +▁damned +不在乎 +▁horace +帮助我们 +communica +жин +貸 +たちに +▁complement +▁والم +джи +▁Rick +கிறார் +▁maximum +อา +▁ҡара +▁lebendig +▁счита +毫 +▁mechanic +ෑ +ナンバー +餐厅 +援助 +▁khá +▁creu +apport +▁continual +了多少 +ところです +但我认为 +▁Villa +▁reagieren +▁нічога +筒 +贫困 +▁puerta +▁pathway +效率 +津波 +▁Europ +▁бесп +▁счет +对抗 +生物学 +writer +認め +▁extravagant +▁umbrella +▁jullie +▁distressed +▁precisa +称为 +▁honorable +ూ +伊斯兰 +尊敬 +▁clinging +▁бала +льных +pā +▁civilized +出てきて +BI +▁apparatus +▁затем +にわたって +道具 +▁Grenze +▁велико +печат +▁babi +▁blunt +▁محل +漆 +ছো +▁vegetable +regierung +かき +▁ocasi +▁lacking +颤抖 +▁thereupon +另一方面 +最後まで +düğü +七点 +basha +bikora +共享 +存储 +▁clark +是什么意思 +▁schoon +▁Nahrung +▁Elektro +▁yapıyor +ことば +kibi +▁Tony +hér +粮 +起床 +:“ +Râsete +萧 +ハウス +partei +分别 +▁principalment +戴着 +▁پرو +occupa +部落 +▁favourable +▁expose +売り上げ +▁Marie +怪我 +▁практически +▁별로 +偷偷 +▁complexity +eût +vamo +▁automatic +mysl +ремен +dimensional +прям +▁Beweis +犠牲 +нең +anomena +строй +▁طريق +の間で +▁ethel +締め +只有一个 +分散 +▁alright +プラ +▁approaches +ြ +汪 +овского +человеческ +ượ +発売 +▁quindi +คน +▁diplomat +▁mulher +人才 +▁scold +灰色 +寸 +叙 +▁covenant +▁Mind +▁Four +气候 +▁kennt +сер +▁pew +guye +валася +▁instructed +▁இல்லை +地看着 +国葬 +▁газар +掩 +筆 +艾伦 +飛ば +ID +▁substitu +tracht +名称 +だと思って +▁mientras +相手に +▁Jason +appropri +▁höre +捜 +▁தனது +▁مشکل +بند +犹太 +ジョ +▁Dienste +武装 +ydı +▁இருந்தது +▁праз +gemacht +▁feder +炊 +合理的 +leuchtet +▁Bereit +▁taylor +そうと +ивают +惊喜 +知道吗 +▁constance +あげる +ворот +台上 +plau +剥 +古老的 +也知道 +▁strategi +▁amateur +▁mettre +日军 +んでしょうね +ゥ +▁orleans +说出来 +眼里 +▁blunder +あいつ +一个小时 +▁moist +▁teatr +以一种 +▁разве +欺 +▁vernünftig +疼痛 +রের +▁Kohle +géni +▁oyun +▁healing +brä +father +王国 +伸出 +就不能 +火山 +▁пару +最后一次 +▁Kö +巾 +abaturage +▁defiance +▁москвы +観光客 +够了 +▁olw +▁açık +▁primi +czas +▁المس +▁blev +▁sauber +▁voting +▁complicat +ณ +▁través +▁optimize +▁melodi +▁lavoro +▁подожд +▁войны +するのが +▁diminu +と呼ばれ +▁самых +▁bijna +▁bildet +つながり +棉 +روس +始终 +▁yacht +▁packet +šā +しているんです +▁Wid +▁hose +istisch +▁prezent +▁missionary +▁commonplace +駆け +プロジェクト +▁circus +クラブ +▁customary +▁exclusively +鑑 +枠 +吵架 +▁peine +一起来 +時まで +いいね +▁mathematical +珍しい +▁иначе +▁depriv +▁venice +▁sitzt +留给 +▁Court +▁zooals +ぷ +▁versteckt +▁stata +▁billig +TA +shima +树林 +▁iawn +▁plac +১ +▁memorial +在做什么 +▁thường +▁ladyship +world +危険な +▁До +の中でも +▁mostrar +昨晚 +▁appreciated +▁جنگ +▁bluff +庙 +▁emphasize +▁renown +沟 +陸上 +一点也不 +lê +сия +椅 +œ +函 +▁admiring +▁sacrament +财务 +节奏 +礼貌 +广场 +▁implore +ицы +マリ +这个事情 +いいのか +があるので +年级 +kiko +▁exam +っていない +▁diameter +▁Palm +бә +起诉 +▁ہو +大好きな +▁cetera +▁पर +もう少し +瘾 +涙 +вания +▁overflow +▁ожида +临床 +▁сябе +männer +▁contradiction +吊 +▁사람들 +▁ساعت +▁العديد +▁никакого +的思想 +▁obstant +andika +▁legion +▁cultiv +▁arriba +▁przed +võt +行う +ય +▁allerdings +ogene +schalten +demokrat +▁traced +▁считает +▁produc +春天 +▁burada +赶快 +င် +ં +ゼレンスキー大統領 +▁случилось +▁состав +Ҡ +▁bemerkt +原本 +現金 +Gerät +のようなもの +енә +▁Pur +▁kreativ +▁behauptet +▁للم +▁новый +▁hardware +свет +ければ +贫 +誰が +▁marque +▁stuart +を見ると +▁Menschheit +深深 +очку +ব্য +▁roam +▁kujya +二百 +行不行 +慣れ +▁savu +原発 +▁hakkında +规矩 +▁stubborn +▁полно +▁übrigens +▁offenbar +▁tipus +▁strained +madı +ドン +朝から +ロボット +▁verletzt +的说法 +ண்ட் +尤 +我听说 +救助 +体調 +▁cooperation +做了一个 +▁junger +一点儿 +▁dusty +开枪 +▁Angebot +珊 +▁Тэд +义务 +නු +interest +血管 +▁trouva +වැ +истов +▁ҡал +ģ +▁vulnerable +▁receipt +洗濯 +تعلم +厕所 +▁conductor +▁schreibt +▁Verbrechen +▁замечательн +▁adviser +▁hostess +挙 +ע +▁cylinder +▁امروز +▁treason +▁Sever +ıyla +▁Vogel +▁wertvoll +书记 +跃 +▁gravel +▁preliminary +▁bảo +証拠 +▁solved +▁будто +わよ +果然 +вацца +ことになりました +媒 +یں +▁accuracy +▁commodity +▁District +بيع +ĵ +▁implemented +三月 +バレ +▁краін +цией +能看到 +或其他 +嗨 +അ +▁belangrijk +舟 +포 +償 +▁komplexe +▁basketball +▁Sekunden +▁noisy +▁interruption +说完 +ケア +illus +▁compliance +▁اتفاق +▁psalm +▁electrical +ენ +▁vragen +▁shun +逮捕されました +▁severity +之内 +么 +half +找出 +ٍ +▁موقع +▁Signal +我问你 +▁pobl +цяг +契 +贯 +▁făcut +▁Đây +阴影 +南京 +▁pouvez +▁Spieler +евой +kipe +тап +花钱 +▁doktor +▁вперед +▁обязательно +▁صحبت +iyoruz +製品 +ஞ +抬起 +合意 +▁quả +▁coch +ковский +儀 +する方針 +▁fringe +geschrieben +が起きた +価 +▁государство +buye +▁внутрен +疑いが持たれています +▁мама +угл +ாவது +になれ +▁salad +什么都不 +▁ghastly +匆忙 +忽视 +▁universities +▁Handlung +cull +▁maggie +▁Papa +̀ +旺 +▁zerstört +▁vapor +▁bafite +欲望 +▁sicherzustellen +▁Voll +টো +▁материал +▁gemein +▁sorrowful +诗歌 +ibindi +保安 +▁đấy +不管怎样 +▁automatically +まっている +ムー +▁Shu +怎么着 +苏联 +▁Jersey +▁произошло +▁Bạn +▁Viertel +exclusi +售 +唯 +取代 +▁handeln +▁blur +相机 +种植 +▁hark +污 +▁псих +▁ritual +▁потеря +你放心 +▁rejoiced +طلب +▁visage +ぶつ +operation +▁камен +▁conseil +▁liable +蚊 +эргэ +▁यस +работал +üßt +ランク +▁occhi +▁Мин +▁beendet +▁kitten +▁зуб +▁Kenya +▁ikibazo +▁أيضًا +デジタル +▁abbey +会觉得 +ично +ிருக்க +を通して +那不是 +жыць +通行 +▁longue +▁Heimat +▁intrigue +قدر +бен +▁joven +bücher +山本 +▁priorit +承受 +结束时 +wezi +▁regal +▁emit +▁анти +判決 +ኝ +▁eyebrows +▁bicycle +▁çıkar +дина +みそ +பர் +争取 +个性 +五分钟 +ก็ +▁смотри +kontroll +밖에 +▁exalted +消え +▁gebeten +ER +▁прибыть +弾道ミサイル +▁решения +▁அவள் +火星 +怖 +预期 +衡 +störung +усь +グルメ +▁minority +▁neighbouring +▁Leidenschaft +▁oppressed +你会看到 +gène +▁tutor +陷 +▁äußerst +嘞 +▁començar +objekt +▁proverb +கம் +anstalt +▁holiness +▁шүү +▁государства +▁мус +▁pregunt +砍 +▁überzeugen +▁다른 +слух +▁twig +зад +analyse +そうした +战场 +网友 +ლ +Ḥ +▁njegov +▁repeatedly +▁اولین +▁любой +▁archer +▁اور +積み +étude +我总是 +▁zweihundert +▁komis +抚 +ごとに +▁resurrection +杠 +▁Mehrheit +▁squadron +frica +合理 +農家 +sensibil +ទ +▁структур +▁бүтэ +引き上げ +▁Innen +нікаў +加工 +▁производ +单身 +呈现 +▁Schnee +▁برنامه +▁gleaming +応え +▁creeping +▁ligne +▁працу +▁corri +เส +現れ +▁перш +очки +▁genutzt +皆様 +総裁 +▁robinson +▁часов +нена +▁kettle +诗人 +شاهد +äß +▁muerte +▁fake +▁société +▁микрорайон +밥 +ブラジル +▁desirous +一个男人 +▁spectrum +springen +孙子 +▁सम +りません +不太好 +stāv +▁prediction +したところ +▁coil +▁Fast +ゴン +コーチ +▁proclaimed +▁jugador +▁توانم +ஊ +体内 +▁interference +四百 +が増えて +打つ +wickelt +▁Мне +▁kvin +дро +▁crab +▁Literatur +▁shawl +▁outfit +倾听 +不良 +▁Chef +zuhalten +普通に +▁そんな中 +▁groaned +の方は +艇 +▁Petr +▁Wach +bole +еньки +难受 +発信 +及其 +▁scatter +▁drifted +▁rejoicing +▁друзья +▁karakter +是一件 +assemble +を進める +でしょうね +▁Befehl +直前 +జ +亚马逊 +社交媒体 +miseks +设计师 +▁majoria +很可能 +也许是 +испол +飘 +ø +أصبح +▁orthodox +▁thieves +鹿児島 +难以置信 +明天早上 +jū +национальн +热爱 +ுகிறார் +▁piety +あれは +农场 +AC +▁مرا +▁eleanor +▁prêt +▁کتاب +大谷選手 +行事 +▁allusion +▁yavuze +▁trá +▁суу +▁gọi +雀 +மோ +不然 +かしら +优秀的 +blé +リアル +gewinn +导致了 +辩 +旬 +リオ +iddwa +ブランド +内閣 +▁وقد +册 +▁concession +選択 +▁Cambridge +込 +لەر +▁ĉefe +▁dragging +▁sparkling +▁consistently +吹き +▁пакуль +holz +ドア +做得很好 +attend +▁benjamin +▁shifted +▁Spur +ваюць +▁hynny +▁elevation +軽く +▁trình +ボタン +ganya +операци +▁رسید +又不是 +▁frenchman +看着我 +▁suppressed +kijk +▁perquè +▁জন্য +▁remarkably +aĝo +▁ernest +军官 +▁download +mette +▁Microsoft +沖 +勧 +archiv +سرع +一支 +ひとつ +▁цаг +dessus +当前 +释 +wendung +されたのは +意志 +に近い +这是什么 +スペース +▁ruling +كۈ +genomen +▁malheur +سلام +▁выборы +県内 +▁australische +▁untersuchen +鎌倉 +促进 +▁Geschenk +诊断 +▁jeanne +waż +▁groom +を受ける +▁lettre +▁adjacent +砖 +挟 +эль +▁presque +远远 +地理 +的感受 +▁Eric +читыва +concili +▁basil +配信 +▁desenvolup +桐 +縫 +跑到 +同じように +▁freuen +諦め +雨雲 +▁selben +لج +三次 +平方 +▁vaig +▁Social +カナダ +▁москве +定位 +すり +▁getrennt +bbling +▁syr +▁integrity +UN +پە +エース +▁Verbraucher +舎 +▁caracter +見てみますと +விய +听过 +谁能 +深度 +术语 +と思うので +消除 +撑 +▁şimdi +▁savoir +代わりに +حصل +▁Medikamente +やっと +ຫຼ +を獲得 +▁pitiful +▁легко +▁besiege +有趣的是 +集合 +generation +▁publisher +жым +ಡ +穆斯林 +▁declaring +ビジネス +▁elkaar +▁visibility +争い +▁scary +慢点 +▁leiten +って言った +我也不知道 +ড়ি +▁westward +▁repress +▁fehlt +ृ +▁installed +▁сожалению +▁언니 +雇佣 +▁repos +▁парк +▁accuse +سپ +みたいな感じ +飛行 +阿里 +▁demonstra +▁ridicule +▁மிகவும் +脑袋 +▁Company +চে +▁Senator +AT +▁veranda +征服 +布里 +يَ +丈 +▁சேர் +崇拜 +ivamente +▁Water +▁glimmer +していること +II +衛 +喜剧 +手紙 +▁집에 +ējā +▁Block +▁väl +undneunzig +詞 +▁слов +▁Kalifornien +ει +haza +趣 +▁Basis +▁Cela +قۇ +动议 +是多么 +やろう +▁neighboring +▁Hast +алда +вание +どこまで +▁lavora +▁erstellt +▁кеше +▁Perspektive +▁cualquier +▁chemistry +ліз +▁inherited +もち +▁surge +消費 +ώ +▁erforderlich +須 +▁обнаруж +▁descending +avons +mbri +▁televisi +▁europäischen +▁Está +▁rocket +druž +ခ +▁맨날 +従業員 +▁среди +غو +穿上 +▁phụ +任何一个 +ぱ +вших +▁wizard +レシピ +谁知道 +▁batteries +historie +▁laquelle +▁svět +тыя +질 +▁hợp +▁tiếp +▁نزدیک +スイーツ +▁vermeiden +▁striving +▁aufmerksam +上课 +機械 +▁empower +決して +开门 +▁Gerechtigkeit +▁힘들 +療養 +▁Three +existent +abhängig +▁чём +▁peggy +пресс +ވެ +▁systematic +▁než +▁simplement +▁verwirrt +せっかく +されてる +赞助 +预防 +▁två +赋予 +▁существует +▁utility +▁Wesen +soever +▁Alors +業務 +爪 +▁beschrieben +▁supernatural +▁فإن +▁analyze +▁rezult +ອນ +流动 +▁listeners +▁futur +Liber +残疾 +厌 +험 +PA +輸入 +يص +▁automatisch +欧米 +▁Belgi +引导 +わけですよね +▁영화 +▁skilful +▁называется +ēl +دۇ +sparen +歌词 +▁Schließlich +芒 +分かんない +ப்படுத்த +▁Republic +公表 +ীয় +几分钟 +晚餐 +桌子上 +schlüssel +скія +▁Цяпер +▁музыка +▁Russland +▁найд +▁merciful +迹象 +▁printing +▁growled +▁речь +気分 +可能性があります +▁plunge +▁பெண் +▁melhor +ání +▁Fä +▁transit +▁гэсэн +▁Gesamt +ándose +artisan +▁Clark +кле +What +一个巨大的 +▁Dreh +raad +给出 +▁perished +▁overthrow +▁mantle +rides +studie +为什么会 +▁lingered +完整 +▁scroll +底部 +▁Treppe +provi +前往 +福利 +钢琴 +صنع +▁подход +だったので +遗产 +▁infirm +පු +するのか +▁Geschwindigkeit +▁contemplation +▁loneliness +芯 +토 +据说 +acca +நா +▁koran +▁schimb +ңә +▁Тут +▁plug +▁torre +decorat +preservation +ސް +▁трудно +を巡る +ائية +黒い +▁Mario +▁handled +▁biological +场所 +▁تأ +哲 +▁brightness +យ +▁October +▁adjoining +▁irgendwann +虹 +▁schafft +问一下 +▁ethics +微妙 +総合 +reißen +▁показыва +▁sparkle +▁faci +▁Brasil +marsch +▁entrepreneur +ucci +出会い +плеч +목 +▁Schauspieler +▁largo +评价 +▁sniff +▁recibi +こんな感じ +村庄 +губ +▁bölge +▁چطور +▁avenge +派遣 +▁đồng +▁новая +▁achtzig +齢 +▁practised +老百姓 +▁plaça +があれば +座位 +安倍 +车辆 +良く +▁друга +▁дежур +ौ +自動 +▁وهو +▁fué +legation +あした +▁pip +디 +▁intimacy +▁пункт +▁ecosystem +网站上 +ложить +凭什么 +▁aldı +▁wambaye +フィー +発電 +▁regent +になってくる +飛行機 +stunden +▁Emma +回事 +比尔 +颠 +▁Gouverneur +▁delicacy +▁обсужда +絞 +▁removal +歩く +getrieben +▁basta +▁ясно +ковская +▁sasa +ベン +职位 +盈 +▁furchtbar +致力于 +繁荣 +整備 +▁übernehmen +▁අප +われわれ +小型 +深夜 +▁Manche +児童 +仕掛け +▁একটি +▁Bush +ҡан +▁alleged +走路 +を紹介 +▁promet +େ +▁دختر +ホームページ +約束 +யு +を起こし +larına +prinz +▁بأ +奋 +四月 +你会发现 +福島 +墨西哥 +▁latitude +▁እን +我就想 +▁horseback +ரெ +рская +っていきます +哟 +▁psychische +▁dainty +▁inquiring +▁başladı +▁خاص +하니까 +好听的 +▁chiama +▁knocking +▁carelessly +达成 +▁понят +▁precept +േ +债务 +▁schlimmer +最重要的是 +姥 +枯 +見た目 +转身 +ħ +破壊 +▁Wichtig +典型的 +▁lawful +▁caravan +来找我 +▁самым +rühm +凍 +描いた +ޅ +新規感染者 +依頼 +不算 +▁forsake +密切 +schieß +▁semana +kuti +ীর +▁geschafft +▁président +▁socrates +頑張り +▁malice +က် +▁Million +▁revolutionary +моў +▁tavern +島さん +чала +▁Sco +څ +▁Griff +の様子を +▁fantastisch +▁максим +▁verlangen +▁verdict +キャンプ +を抱え +時間帯 +▁너가 +ื +ペア +▁шоссе +男の子 +▁Muslim +抑 +▁Dazu +моло +搁 +秩序 +▁Schluss +берег +▁რომ +▁поднял +▁athlete +慢慢地 +pharma +▁bobby +entreprise +すき +▁könne +▁realizing +交换 +▁metaphor +▁Investor +્ય +▁nadie +たいと思います +▁stitch +▁dimly +คร +即便 +一応 +▁pedra +▁interface +▁قىل +ància +把它放在 +アーティスト +▁wußte +spitze +很喜欢 +って思って +艘 +კა +を訴え +▁Umugabo +▁shattered +garuka +回复 +saison +友人 +biza +▁resign +▁renewal +ছেন +を止め +▁Dach +半島 +▁removing +是什么样子 +有人说 +ビア +会話 +学位 +▁racing +哨 +▁секрет +▁pubblic +скры +▁아직 +geschnitten +angwa +价值观 +czą +有这样的 +ウム +باب +өс +ホント +▁cynnwys +▁restructuring +共和国 +亚洲 +▁metod +▁نفر +▁thích +ビール +zieh +業界 +dringen +niedrig +と見られる +▁qualche +失礼 +ฟ +Ž +▁зүйл +▁measurement +фарм +เร +ਲ +▁гораздо +鹏 +▁ہے +sabye +īga +ходзіць +öffentlich +暑い +▁roland +▁tariff +皆さんも +▁我想听 +న్ +練 +冤 +阿拉伯 +幻灯片 +▁massacre +봤어 +▁Beine +سوف +▁kritisch +▁frock +▁разных +▁Mama +സ +拾 +録 +▁Đó +▁Betracht +同伴 +使命 +▁consisting +бло +▁daddy +▁matrimoni +プログラム +明智 +真诚 +▁rotten +▁convertir +▁смерт +墙上 +服用 +appelle +▁twain +▁Dunkelheit +▁Identität +▁pharaoh +▁structural +겨 +ธ +سط +▁будуць +多年来 +やってみ +▁Arthur +发行 +童年 +忘记了 +▁whim +æ +▁என்பது +▁quivering +先制 +依靠 +那天晚上 +тычна +兔 +kārt +stift +感染者数 +▁алло +▁влия +嫌疑人 +▁olympi +▁помню +▁توانید +▁keenly +▁Pflege +กับ +▁около +広げ +bido +▁Später +アナウンサー +린 +ছিলেন +ટ +▁supplier +▁geistige +解散 +▁нашем +深く +わかった +Direct +писать +▁ўсе +▁stimulate +六点 +稽 +おすすめ +拝 +әү +埃及 +▁avea +▁quoth +▁принял +simila +▁posible +추 +▁città +收获 +▁Pflicht +▁Sehr +▁constable +gaciro +通道 +▁jasper +된 +ۇن +▁Avenue +▁hurled +▁چهار +ıdır +▁пасля +сцю +▁falsehood +好消息 +▁Golf +斯顿 +▁boundary +恰 +ৌ +β +▁beberapa +銭 +uɣal +▁حو +▁stripped +ałem +சூ +▁Kommentare +▁countless +გი +下がり +għ +▁있다 +祈 +▁obedient +▁precedent +▁dialect +ště +を目指して +▁charley +веж +に警戒 +どうなって +玄 +얘 +ગ +▁Innovation +▁venerable +▁Schaden +గా +▁deployment +▁discharged +▁bribe +▁choked +เด +ницы +▁Бер +▁shareholder +▁irresistible +색 +▁ertragen +▁دانش +猜测 +håll +▁skr +▁начала +jú +حاول +ិ +▁شدند +してくれた +▁kombin +درس +▁cuanto +▁fakt +▁loaf +후 +予測 +治愈 +细菌 +escence +▁Diana +辰 +▁ermöglichen +▁области +▁apprehend +▁sincerity +▁Marine +▁conduc +▁глаз +मि +字母 +午前中 +不止 +▁atrodas +▁встрет +▁coneix +リップ +europäische +träger +日期 +▁splendour +準決勝 +▁Kauf +▁equipped +伊朗 +▁Verfassung +▁racial +▁wistful +يست +اقتصاد +▁begrijp +▁überprüfen +挣扎 +▁вижу +聊聊 +▁greet +躁 +ק +创伤 +▁ведаю +旅程 +▁llegar +етесь +▁mbili +寒い +▁calor +▁conoce +▁worte +undsiebzig +▁stumbled +剣 +▁займа +楼梯 +市长 +低下 +▁вспомни +▁holmes +未知 +ことになります +ډ +辨 +▁contemptuous +...... +▁darted +zustand +▁грани +ビデオ +▁soothe +짜 +创始人 +▁imprisonment +▁intensely +在乎 +leɣ +traction +ificació +fellow +ంది +foli +対決 +بِ +长官 +머 +▁Ankaŭ +纯粹 +▁unmittelbar +▁Ursache +овское +▁granite +▁avem +一生中 +گەن +анс +▁epic +▁virtually +▁tylko +を防ぐ +▁podia +▁snatch +替代 +費用 +购物 +組み合わせ +長崎 +▁لذا +더 +▁واقعا +▁maior +▁ieder +をはじめ +点钟 +ელ +▁Kontext +▁Verbesserung +サポート +geleitet +ތަ +▁wickedness +▁kugirango +装饰 +▁azul +コロナ禍 +集体 +▁Null +Europe +幹部 +▁Umfrage +澄 +স্থা +▁cafe +展开 +пак +▁приходит +携 +教えてくれ +晚安 +夫妇 +εί +如果不是 +谈过 +▁controversy +▁nyingi +▁lần +まとめて +につながる +ようになりました +▁beeinflusst +▁Italien +▁classical +スリー +bilidad +нув +ピーク +▁erleben +と述べ +▁humid +海军 +brennen +▁henceforth +▁گرفته +栄養 +йшоў +▁famine +之所以 +▁improvis +жә +▁المست +▁burial +ів +ешься +冷たい +实话 +▁Fou +▁przez +▁Mathematik +▁furnace +▁ອື +舞蹈 +▁Abteilung +ḥem +▁Fair +▁avut +▁dringend +▁Lincoln +▁вариант +▁bemerkenswert +困扰 +ంద +▁fertile +另一边 +▁sangat +基金会 +注文 +між +▁Sagen +告诉她 +ಹ +▁instinctively +อย่าง +恳求 +製造 +▁gratify +ぼく +▁grit +▁Anderson +▁turtle +▁unusually +赢了 +会导致 +▁Karl +▁Wetter +gültig +▁römische +摄影 +吃完 +▁declara +250 +团结 +每当 +知ってる +酵 +▁Kapital +职业生涯 +重症化 +вернуть +ambaye +洪水 +observa +ွ +スペシャル +▁equation +恭喜 +▁инде +宪法 +▁northwest +▁Müll +▁oyster +▁devons +几年前 +ந்தது +▁Verteidigung +ミー +▁Details +▁gewann +蛋糕 +▁Kleid +つながって +▁combina +被迫 +▁geldi +▁confronted +僵 +季节 +▁그건 +▁soothing +ത്ത +▁хэрэг +牛肉 +▁papel +▁Meeres +▁Fox +▁Darüber +偏见 +メール +お茶 +卡尔 +MA +Tool +扮 +▁crise +▁efficiencies +▁participants +▁refusal +▁알바 +ņēm +▁여기 +BM +école +▁upgrade +▁superb +ते +言わ +▁черт +▁господин +▁fireplace +▁Campus +▁Hollywood +▁experiencing +震度 +▁никого +▁системы +可靠 +klima +帽 +誕生日 +▁видим +ブルー +惯 +▁biology +▁annoyance +गा +回去吧 +に入れて +vogel +▁современн +▁Wolf +சோ +失踪 +▁spill +埃尔 +这让我 +大众 +チュ +▁ignored +变得更加 +▁beforehand +ై +▁anticipation +▁imprisoned +伴侣 +トランプ +▁ilgili +▁பண்ண +▁maggior +▁hydro +▁unexpectedly +▁opportun +▁jî +肢 +ባ +孫 +▁entscheidend +▁விளையாட +▁salud +英語 +▁смысл +কো +▁fui +▁pike +こんなこと +分野 +艳 +ը +▁staggered +▁League +னால் +不幸的是 +Datei +mdash +▁cedar +部隊 +おうち +▁biraz +慰 +拥 +Community +▁gouvernement +暮らす +▁drog +▁இசை +打印 +▁turkish +过程当中 +▁кел +М +这是关于 +▁barber +▁kinh +▁bezeichnen +松本 +▁subordinate +嘲笑 +まれた +包围 +非法 +買い物 +Ɛ +▁pequeño +忽略 +猛烈 +kundig +▁бич +▁stockings +終わって +бежал +王爷 +าร +▁அல்லது +▁moore +跟你们 +▁인제 +▁Kiel +▁lúc +▁apology +ロシア側 +▁eĉ +が出ています +措 +昂 +ແລ້ວ +▁phantom +▁població +吉尔 +わかって +getreten +▁exceeding +▁Management +▁Şimdi +虚拟 +这段时间 +▁communion +っきり +植え +这个过程 +ુ +お伝えしました +▁встреч +▁besuchte +ৰে +したのが +が発表され +胀 +▁remnant +したのです +нис +mıştır +▁شدن +▁colleague +抑制 +润 +▁президента +環 +伞 +▁tecnologia +▁последние +▁restoration +あらゆる +まいります +▁qualcosa +fleck +▁بیمار +▁vegetation +▁distracted +▁hamlet +თი +schneid +satisfied +నే +கொள்ள +bwenge +▁எனக்கு +玫瑰 +なければいけない +だからこそ +継続 +▁aufgewachsen +▁explicit +ული +▁nightmare +komeje +书籍 +려고 +burton +bär +▁chama +girl +பிடி +深圳 +▁Küche +实力 +govor +努 +▁собственн +▁або +俄 +▁affliction +▁chancellor +▁suivant +▁Beide +輸 +电池 +стоян +▁babylon +▁Ça +こともある +▁kız +▁scoundrel +▁vorbereitet +▁apologize +折磨 +▁pierced +ساعد +▁protector +▁lydia +▁connais +▁actress +患有 +▁tromp +▁rejoin +▁Kenn +▁quién +蕾 +격 +わかりました +を含め +反馈 +▁grandeur +▁maud +▁Pfund +几周 +格雷 +しません +ivität +▁brace +▁trọng +루 +tempo +گذاری +▁পরি +liegt +▁Bang +婷 +▁Vietnam +▁cœur +▁doppelt +へえ +言ってる +▁już +收到了 +幽 +▁nötig +▁четвёртая +민 +ים +介護 +▁людзі +گران +ங் +家具 +動いて +▁isaac +▁першы +সব +RO +坐下来 +▁Investition +▁verzweifelt +▁Maschinen +▁솔직히 +origen +だけではなく +▁خب +遭遇 +▁crave +更快 +▁effi +大爷 +黙 +▁Canadian +▁aufgeregt +绅士 +pathie +布朗 +▁devient +返回 +▁ooit +优秀 +▁Protest +▁predecessor +預 +티 +▁Stärke +▁dirige +▁sáng +ることができます +▁бывает +▁faisait +يقة +所以如果 +undfünfzig +尔顿 +彦 +built +้น +держать +▁хамт +▁prodig +යෙන් +ια +椒 +▁tyranny +▁않아 +▁evolve +▁proprio +▁없는 +▁bombard +▁Ohio +ырға +역 +gespräch +▁хамгийн +▁мистер +困難 +▁Thu +ほかにも +therapie +▁revolu +バイク +▁finanzielle +辩护 +▁scrub +▁judging +▁freue +▁крем +wash +来到这里 +逃走 +▁última +▁انسان +▁Lä +▁müde +加盟 +ணை +西安 +土著 +▁ministre +役割 +▁geholfen +▁hết +▁Madrid +▁Stuhl +疑問 +昨天晚上 +我的朋友 +跑步 +▁баб +corp +گشت +▁knapp +要素 +Restaurant +▁kürzlich +▁voluntary +▁член +▁angst +▁ubwa +▁wartete +▁inhabited +分ほど +汤姆 +▁трав +と見られ +初め +গ্র +ตร +▁پسر +▁woher +koop +technolog +stelling +巢 +▁Michigan +▁hamilton +浑 +iPhone +▁gekauft +▁아닌 +▁девочк +▁министр +озер +▁boundaries +▁exploring +シャン +фар +▁repel +バンド +▁volont +▁позвони +▁employee +▁trobar +▁paddle +黛 +▁обраща +▁identi +▁Einkommen +▁radiation +راض +动手 +▁chú +stehenden +递 +▁mcc +收看 +▁Clinton +▁Vorsitzende +运输 +900 +▁sincerely +▁Küste +matur +取る +던데 +▁specialist +ケン +搬到 +▁voet +zulassen +▁ankoraŭ +▁grinned +▁municipi +▁zweimal +▁үҙе +抗議 +▁gorge +▁имею +▁Weltkrieg +ируют +▁Patri +▁settlers +▁بچه +傅 +قليل +દ +▁Dimarts +▁오늘 +▁공부 +▁Вось +▁crawled +▁suspend +▁daudz +申し上げ +▁durfte +▁brake +チン +ぽ +▁Master +▁certificate +▁страшно +▁statute +▁Kaiser +▁Beau +有名な +ҟ +ẹ +▁profi +▁popularity +饶 +▁repetition +▁sechzehn +effizient +差距 +▁cobert +突出 +选手 +▁bleeding +▁рабіць +فرد +做些什么 +▁patrol +升级 +九月 +▁однако +味わい +微信公众号 +끼 +▁얼마 +▁фильм +▁drilling +ström +▁মই +話し合 +▁plateau +▁komuni +今天早上 +▁tumor +stritten +折り +当たり前 +時刻 +▁inevitably +▁kontraŭ +▁liệu +巣 +迷惑 +▁fascinated +ючы +発展 +解答 +▁Doktor +지만 +▁wolle +▁gerçekten +hagi +brett +寨 +▁انتخاب +▁battalion +▁Európ +岸田総理大臣 +▁средств +巴黎 +站着 +有很大的 +越多 +▁sigui +▁жар +认为这是 +▁Schön +ってきます +▁natuurlijk +église +贈 +ރި +▁specio +▁yankee +言われる +報じ +▁autour +▁Estados +也是如此 +сцен +IM +▁Pont +வர்கள் +▁Notiz +感知 +如果你愿意 +ỡ +▁어떤 +グリーン +▁специальн +▁2010 +▁delegate +▁Depression +▁wallace +你能不能 +神社 +赞成 +ībā +trekken +▁Stone +▁cielo +僧 +▁Haufen +بەر +▁nasty +▁placid +▁abbot +▁имел +这么好 +▁erfordert +▁отец +▁bên +▁trifling +▁angemessen +慈善 +▁legislative +كَ +ṭṭ +針 +▁Verkauf +▁Ле +江戸 +嶋 +ථ +パフォーマンス +猩 +▁взять +尽く +辉 +▁медведев +▁transcend +ங்களுக்கு +局面 +▁glove +▁приехал +▁violation +昨年 +脇 +▁Health +ক্র +企业家 +ҙар +住房 +lendi +▁mound +▁gestorben +▁ungewöhnlich +▁mouvement +ベー +無事 +防御 +▁elementary +▁kneeling +を広げ +öffne +七个 +важа +▁Pul +▁далеко +在这一点上 +▁reconstruct +▁одном +废话 +рина +▁opini +静岡県 +▁стане +指标 +狐狸 +ד +▁Ariko +▁Global +▁pretence +轨道 +▁magnetic +▁gravit +CM +楽しく +▁столько +▁refusing +きちんと +污染 +▁demokratische +▁принципе +布拉 +▁Dennoch +确切 +▁ivory +▁Bauern +▁Zucker +やろ +▁frente +▁сельск +▁petrol +影响力 +差点 +海底 +antrag +▁Bundesstaat +яўля +▁роман +রো +▁probablement +▁siebzig +▁antonio +guna +キック +▁strove +röst +ないこと +▁hiç +litten +▁начинает +▁Führer +▁introducing +▁miglior +ですもんね +▁apollo +▁relaxed +▁Го +sinzi +kunga +手臂 +▁домой +▁glitter +老太太 +▁dodge +▁бюджет +▁Fakten +گار +activitat +▁parecía +▁cradle +▁дуб +добав +خوان +▁viņu +prej +模仿 +▁bazı +коммун +写道 +▁treachery +▁vị +▁Looking +espècie +▁거기서 +కా +ના +性质 +LA +毅 +▁праблем +▁exclaim +▁aufhören +异常 +到最后 +▁courtyard +勢力 +▁prophecy +▁recipe +▁doomed +优雅 +迈克尔 +▁Ды +▁furiously +▁sicherstellen +尾巴 +tempered +这样的事情 +▁thức +抱着 +ۋە +▁американск +пэўн +▁hội +▁Jordan +人工智能 +▁trenches +レーン +ზე +▁bridle +▁suspense +▁Schriftsteller +匹配 +▁binding +プリ +▁heutige +感動 +▁depict +きれいな +dolf +▁Direktor +▁benötigt +등 +▁missouri +▁paradox +▁warehouse +▁Johann +forschung +やったら +いかに +发射 +▁compel +▁massachusetts +▁وهذا +▁conosc +▁entschlossen +▁gaunt +仕上げ +徴 +ơi +▁дети +▁dikontrak +▁néixer +▁долларов +塑造 +▁uplift +لىرى +教徒 +任何地方 +▁камер +chamber +▁marilla +▁Stell +▁haughty +▁sledge +▁facilit +▁каш +百五十 +在那儿 +sicherheit +案内 +久保 +ັ້ນ +වල +▁monastery +▁Überzeugung +▁crooked +▁эксперт +▁intolerable +掃除 +▁холод +弗雷 +вшие +ҟа +فعال +我第一次 +大楼 +kirche +ព +▁ammunition +▁applaud +давал +▁medicina +▁schooner +▁Christi +▁orienta +一体何 +っぽい +顺便说一句 +▁ເດ +▁necessita +代替 +浸水 +服从 +▁ethical +苍 +言います +▁многих +▁وإ +حاضر +▁говорите +▁emphatic +聞きました +困境 +▁سے +拠点 +不记得 +いらっしゃい +有什么事 +arrell +楠 +▁survival +▁өмнө +碰巧 +lož +抜き +▁outbreak +streich +任何其他 +▁держа +▁plaster +崔 +▁Если +キャプテン +來 +皿 +▁хотелось +步骤 +▁черн +▁hagati +▁surround +▁Twa +▁அதை +▁Nachmittag +▁baptism +▁секунд +ごめんなさい +决策 +▁reasonably +介意 +▁eky +という状況 +▁anfing +食べ物 +▁banyak +▁injuries +ނަ +失礼します +病例 +甘い +тверд +▁Fremde +▁الذين +keneye +▁zaidi +▁ravine +▁accommodate +朴 +▁biscuit +衆議院 +▁victorious +أخذ +▁Großteil +そうなんですね +▁augustus +▁вызыва +初戦 +能找到 +▁நீங்கள் +二零零 +mówi +举起 +服务器 +freiheit +structure +神経 +妥 +信頼 +ゴルフ +经历过 +默默 +▁Creek +▁aṭas +▁Guerra +宮崎 +▁siguiente +兵器 +▁replica +赔偿 +▁hiểu +過去最多 +臂 +▁resol +▁panting +жер +时尚 +मु +Qué +涼 +▁illustrious +▁indefinite +厄 +▁bedeckt +▁shrine +潜水 +▁exig +▁حتی +дзіць +▁спин +竞 +рист +と比べて +케 +▁preocupa +▁preĝejo +▁vẫn +▁behaupten +яўляецца +▁notamment +運転手 +▁weariness +▁rimwe +吉田 +そっか +▁flint +衷 +豹 +▁زۆر +▁заметил +gypt +▁Milch +大人気 +很多时候 +рожд +▁второго +卸 +祝你 +мель +कु +被告知 +▁correspondent +▁propaga +读到 +作战 +燃え +▁우리가 +▁passionately +▁För +▁хор +甚 +頂いて +ք +▁bệnh +▁offspring +▁Ancak +トレーニング +この時期 +買う +因为这是 +乗客 +强迫 +市長 +▁researchers +が行われました +freude +▁гэтыя +▁scenery +ignit +енько +物品 +紅 +▁Original +찍 +hypno +▁режим +▁ahubwo +honneur +行星 +▁imaginary +winkel +өгө +▁ваша +▁tâm +ޑ +▁Président +見てください +奖励 +▁giống +▁حيا +▁clatter +▁circulation +調理 +ございます +▁பாட +从哪里 +很酷 +对我说 +▁Urteil +▁Entdeckung +▁proclamation +查询 +▁wireless +なと思いました +▁deixar +▁거는 +مجموعة +rühren +协调 +活発 +schuh +რო +른 +そろそろ +支撑 +▁아니면 +有足够的 +品质 +になりそうです +لدى +裕 +▁grammar +▁lượng +▁преступлени +牛奶 +▁đường +▁만나 +▁ricevis +▁außerdem +▁wholesale +列車 +▁jupiter +和我一起 +▁acabar +液体 +▁있지 +cyaha +碎片 +▁crater +十月 +impuls +したあと +▁elektron +分ごろ +ある程度 +跟他说 +▁titre +▁своими +▁acuerdo +නම් +▁бүх +いませんでした +話す +大切に +認められ +▁хотели +放置 +illard +Mobil +그 +ニュースをお伝えします +监督 +ētā +aardig +▁discrimination +延伸 +รา +流量 +▁considerat +었는데 +▁pronto +贷 +素材 +▁алексей +▁caroline +屁股 +辞职 +占据 +我不得不 +ಗಳ +很开心 +eater +▁Ahnung +▁secular +理念 +貴重な +▁Abschnitt +▁hiring +寒気 +▁vigor +▁fick +▁decorated +ดี +跟随 +▁español +▁помочь +▁entsprechend +인가 +ächte +▁Zehn +▁quinze +双手 +▁đô +yorsunuz +共通 +▁tutta +仰 +▁sentido +▁accommodation +▁frequency +友谊 +▁Nigeria +邮件 +▁публи +ámos +就业 +सि +▁fiddle +▁أول +▁northward +很奇怪 +这就是你 +▁бүл +机关 +愁 +▁Tränen +▁airplane +சிய +▁moralische +▁දැ +▁luôn +spetta +▁fiend +干预 +▁potenc +勃 +ޓ +▁transparency +▁hypothesis +守備 +作为一名 +▁damsel +勝手に +▁fancies +▁bấ +RE +▁cruz +不允许 +お昼 +▁запис +працоў +ハハハ +한데 +▁realization +随机 +分解 +köz +▁характер +轴 +urukundo +▁surtout +印刷 +我从来没有 +现金 +オフ +▁chị +▁lascia +tropic +▁rwego +▁Carol +ött +と思っています +فريق +弓 +▁recupera +レストラン +މު +宿泊 +▁abolish +jumu +▁قم +▁diventa +▁chronicle +师兄 +▁умер +研讨会 +嘴唇 +一首歌 +որ +▁allocation +にならない +▁existiert +▁homeward +gewicht +马车 +▁beneficial +▁Hunderte +▁Thor +▁различ +धा +写信 +undsechzig +ಟ +随着时间的推移 +▁полностью +▁çoğu +駄目 +シャツ +kogu +▁mwana +てくれました +прыг +▁prolong +なんですけども +起源 +▁Matthew +限り +▁repentance +▁hermano +▁dinero +▁oscar +исты +氛 +▁securing +▁ukuthi +▁derjenige +▁Beitrag +上午 +난 +▁gibb +▁Evrop +コントロール +▁Records +牙齿 +▁Ні +▁ғой +▁jimmie +ultima +▁Earl +▁complac +相遇 +拘 +▁verlangt +ēji +玩具 +出発 +框 +▁deceased +▁причем +▁geöffnet +▁melody +▁få +▁있을 +▁مرة +important +投资者 +▁southward +▁உள்ளன +航行 +借口 +ční +េ +▁erheblich +視聴者 +▁heiraten +就是为了 +▁neunzig +復帰 +回顾 +▁dagger +言いました +▁feverish +尖叫 +▁Hass +▁fearless +▁programming +yonna +▁extremity +▁avere +▁minimal +гээд +こない +났 +▁wondrous +▁دیگه +すごいね +losigkeit +продукт +▁unaware +▁factories +კი +起作用 +▁millionaire +লের +черед +躍 +钉 +▁varieties +▁mauvais +▁vairāk +▁booth +▁dónde +ۇق +service +最早 +▁unkind +이나 +fisch +▁adverse +▁узнал +▁가고 +▁athos +ח +乾燥 +روب +न्छ +▁darkened +▁applies +亨利 +▁приказ +って言う +▁முன் +વા +▁spontaneous +▁দিয়ে +schrecken +stancia +ల్ +▁갔다 +gefüllt +普段 +▁speck +なんだろう +▁Вот +营地 +டெ +gelaufen +邻 +▁Acest +掲げ +▁corporal +おかげで +呼んで +নো +▁Fernsehen +▁galley +天主教 +▁precision +▁uneasiness +▁фотограф +▁pēc +遵守 +▁Again +▁kontrollieren +▁olabilir +▁luce +▁rubbing +bwy +▁decoration +▁repay +▁kullanıl +▁immigration +毯 +蒋 +▁volatility +▁похоже +쪼 +▁grievous +つなげ +マリウポリ +一个地方 +進み +反复 +▁tiên +▁Waffe +▁высоко +はありませんでした +▁expressive +増えている +皱 +돌 +▁نبود +▁Dutzend +と思うんですね +对你来说 +▁geography +steigt +▁variant +助理 +▁Vögel +▁احساس +▁Klin +▁residential +Imperi +▁modified +▁solange +▁filings +αν +وظ +▁splendor +▁Kaffee +әлә +eficient +豊かな +▁معا +▁старш +▁сложно +▁хва +หา +πο +▁Burg +▁федеральн +▁лож +▁prostitu +伤心 +▁Howard +опо +まらない +▁vieux +хватил +巫 +吕 +▁đúng +▁nightingale +选项 +同士 +に到着 +設定 +▁postpone +▁нужен +▁крут +绝不 +▁robbery +▁Му +▁snarl +▁cél +வான +▁Anthony +▁Krankheiten +▁reappear +あるんですね +清醒 +тянул +违反 +▁život +ക്ക +琼 +防犯カメラ +Effekt +▁elastic +horaho +思え +мәй +▁troy +てみよう +سطح +kombe +▁Tanz +▁wipe +漢 +▁cherche +粮食 +▁držav +模様 +知識 +▁trả +▁mold +ɣur +▁softened +絡 +袁 +▁기억 +忠诚 +预计 +▁descendants +結び +别忘了 +还有一些 +▁machst +อบ +▁modification +挽 +刮 +不断地 +klā +ذكر +这两天 +▁Philipp +主持 +▁sıra +上涨 +kreuz +▁அவன் +трымліва +▁ເອົາ +▁sprinkle +▁hesitating +目撃 +資料 +▁chinesische +▁transmission +▁trebui +风景 +cloud +かかった +疫 +ってくれる +傾 +ebɣa +▁pregnant +▁memorable +▁Unterricht +▁majestic +▁Transport +▁abyss +▁voce +挺好 +▁Station +主人公 +لىك +ganira +▁geeignet +▁kentucky +▁telèfon +茨城県 +酢 +よろしくお願いいたします +▁begeistert +にもかかわらず +▁profesor +清理 +▁사실 +▁rumour +▁Forscher +▁cupboard +見つけた +千万别 +と思ったら +▁нашу +▁хэсэг +翁 +キャラクター +▁ນະ +▁охран +ordinate +考えると +▁gelten +▁chalk +▁пути +▁competent +赠 +▁cecilia +▁спокойно +▁exempt +苦労 +▁cambridge +美洲 +ゆっくりと +▁краіны +減ら +下一步 +▁cripple +▁sunrise +没法 +▁vincent +かなと思って +毕 +ரும் +平常 +祖先 +▁நெ +lood +喘 +ಬ +ラジオ +منطقة +▁civilian +快递 +ัด +仆人 +▁liquidity +▁Onkel +地铁 +▁thiết +参观 +来自于 +وست +▁jelly +爸爸妈妈 +stunde +見ている +ON +▁Termin +ដ +嘱 +▁hudson +▁நிற +▁fraction +গু +দ্ধ +媳妇儿 +近づいて +ứ +支出 +すてきな +贺 +▁ceremonies +▁поддержк +▁безопасности +▁말이야 +▁regió +▁obstruct +▁mercat +转移到 +领先 +美容 +даецца +活力 +ី +▁shrank +▁mañana +այ +▁têm +NN +広い範囲で +乐意 +intensive +教団 +番号 +▁galv +약 +▁لذلك +▁ஆகும் +▁дахь +▁полковник +▁নিয়ে +谈恋爱 +▁nursery +▁flaming +▁Darwin +▁شکل +短期 +挫 +▁Georgia +霊 +▁negotiate +▁gahunda +▁fuerza +▁Kapitel +▁puritan +尊严 +▁এখন +▁இருக்கும் +ブロック +撒谎 +লাম +▁noticing +▁rebuke +▁vexed +年目 +ĝoj +вэр +生きる +▁выступа +赴 +▁очевидно +gång +明らか +liegenden +各自 +зву +해가지고 +ับ +▁Yani +▁матери +▁сделали +▁آنجا +▁Zunächst +▁Пасля +▁싶어 +▁наук +▁جوان +▁homoj +毛病 +几百 +重量 +ޔ +▁Lächeln +▁vijf +▁imperative +财政 +писыва +曲げ +なのかな +ハリ +▁Landschaft +дорож +ēju +につなが +▁betroffen +貧 +▁یافت +修改 +▁Porque +懸 +แล้ว +▁einschließlich +▁jüngste +▁übertragen +▁государстве +▁Мар +▁Señor +եր +国民党 +目指 +可见 +闺女 +些什么 +▁resignation +weichen +▁rusty +ているということです +指南 +祖母 +侍 +▁منطقه +▁பின்னர் +ވާ +▁utilization +▁nhỏ +野蛮 +▁Beck +我们确实 +▁hannah +飲んで +diğini +▁зараз +虽 +全国各地 +rigg +▁düş +督 +▁Sala +併 +époque +▁malgranda +▁proclaim +pferd +▁Anzeige +▁yardım +jyanye +▁gait +ନ +▁Bemühungen +洒 +翠 +▁싶은 +哭泣 +technik +清洁 +▁Fac +temperatur +光明 +ติ +▁Lippen +僚 +ばっかり +▁Roboter +ாட்சி +mahanga +▁dreizehn +站住 +▁Funktionen +自衛隊 +花费 +公布 +▁implant +▁murray +深处 +▁partake +цаў +琪 +▁excellency +▁insignificant +ご存じ +▁especie +▁deputy +দেশ +ъезд +物質 +▁verteilt +▁spinning +spirited +▁fairies +▁Bydd +ống +▁exerc +ワイン +yitibwa +いらっしゃいます +喜び +やってきた +▁humil +▁kumenya +ическим +作られた +八百 +えっと +▁alumni +▁отделения +▁kulturelle +▁headache +呼ばれ +▁zamanda +▁ekster +වන +થ +ใจ +▁així +gebunden +行列 +▁прошу +▁oblige +▁тады +amenye +判决 +是时候 +プレッシャー +▁Terror +▁jordan +▁погиб +ība +▁ведае +時過ぎ +▁Pep +转换 +を持っている +▁snug +▁долг +bourne +という意味 +尺 +▁Schicksal +▁hóa +ポーランド +ހު +agrada +▁utilisé +どれだけ +▁желез +▁może +▁oppression +因为它们 +自豪 +融合 +schossen +դ +▁grâce +▁посмотреть +枕 +▁foliage +むしろ +损害 +குதி +▁பிரி +dığını +▁restaur +婆婆 +▁inizia +▁Leiter +拠 +分离 +侄 +▁geoffrey +깐 +遵循 +▁begrenzt +riff +▁хозяйство +▁হবে +ющей +▁Public +ıyı +お子さん +Psycho +▁Glen +昨夜 +様々な +نامه +▁twinkle +strafe +▁healthcare +算法 +▁worthless +遠く +乐观 +▁vardır +著名 +象征 +▁مادر +显得 +▁worauf +▁چو +2011 +puesta +締 +▁மிக +āli +▁아빠 +▁fathom +▁новые +▁valiant +▁fanatic +很快就会 +бросил +▁gusto +▁procura +傲 +喻 +火曜日 +▁scruple +▁unbekannt +▁몰라 +▁chronic +▁முன்ன +▁ziek +誇 +▁folosi +juri +▁Anruf +恼 +▁оружие +▁eccentric +▁inconvenience +▁luxurious +▁đưa +▁benannt +▁puedo +▁defensive +同じような +▁звоните +たりとか +艰 +bearer +灌 +▁enclosed +▁lizzie +verhältnis +▁አይ +▁pickwick +▁Armut +▁nelson +▁allemaal +kumva +▁klub +▁commencement +▁discord +alphabet +▁nördlich +ポーズ +驳 +▁đối +▁чинь +‍ +▁südlich +郎さん +ክ +項 +▁erfüllen +▁Что +▁головой +嘴里 +ować +▁hinweg +拉丁 +▁самой +を求めて +食べられる +に当たる +прашива +シンプル +▁sarebbe +职责 +模拟 +国境 +▁다시 +▁titan +テロ +藤井 +builder +▁Massachusetts +▁gäbe +▁먹어 +▁сосед +▁heritage +早晨 +▁rappel +ণে +▁ehren +▁politika +▁facilitate +卫星 +▁lächeln +▁erhöhen +严厉 +おしゃれ +▁Pacific +康复 +暴行 +と思うんですよね +▁prostrate +胡子 +这时候 +ஃப் +▁antagonist +▁фед +权威 +眼镜 +▁Wang +▁депутат +▁существо +▁hubiera +ლო +▁olacak +孤立 +▁affront +予防 +▁Susan +klagen +▁parrot +日常生活 +▁měl +▁لطفا +茫 +▁موضوع +栽培 +▁Board +▁Northern +しょうゆ +市にある +▁prosecution +▁можешь +アニメ +边界 +dependence +американ +埋め +alytic +▁animation +▁وكان +農業 +尻 +จาก +ラウンド +▁magician +состоя +▁freak +再一次 +▁лидер +▁داره +子育て +▁verbal +▁benötigen +끔 +பெயர் +貼 +アイドル +fleisch +▁Point +▁پیر +▁Branche +計算 +▁burglar +খন +速い +▁furent +悪化 +▁wholesome +普及 +▁gaily +秘书 +Produzent +悼 +▁enforcement +ות +场合 +侵入 +▁nommé +▁아니라 +▁oggi +▁fiber +偉 +▁perceiving +▁dinosaur +チャンピオン +موسيق +සේ +yinza +▁들어가 +killer +▁plump +进攻 +いったん +婦 +▁HIV +▁haciendo +▁немножко +▁оппозици +▁thereafter +богат +سازی +会出现 +▁écrit +▁disappearance +▁хаце +百姓 +▁وهي +говорил +▁prakti +ต้อง +▁nerv +▁Kelly +▁Ausnahme +動く +σε +▁reverend +ホン +▁угодно +抄 +▁магчыма +▁எல்லா +▁Erstens +▁crag +▁машина +▁forthwith +携带 +වත් +▁earnestness +▁interposed +▁представлен +▁trẻ +記事 +hati +▁stieß +▁sponge +ೇ +▁Columbia +▁Großbritannien +▁федерации +ничтож +▁offense +Bomb +吉姆 +ێکی +▁estudio +▁darwin +▁viên +ຸ +▁возвраща +смеш +裁判所 +吾 +▁완전 +成千上万 +▁abilities +関係者によりますと +别动 +30% +武汉 +▁craig +▁economist +わけじゃない +▁ülke +▁fung +▁cyose +▁herausgefunden +▁допустим +脑海中 +▁맛있 +▁دقیق +▁Truppen +連勝 +▁perilous +骨头 +▁هنوز +カウント +▁unangenehm +▁exhort +▁heavier +රා +流浪 +我爱你 +你也可以 +▁kijken +処分 +2012 +▁Walter +▁reflex +関心 +▁Teufel +▁congratulations +▁Dilluns +鶴 +CEO +▁Tippett +▁achieving +▁Business +roost +永久 +замен +▁Clara +このうち +身材 +▁junta +輸出 +▁دیگری +▁vendor +が出ている +▁сёння +幽默 +▁Francis +▁regula +পুর +兵士 +▁Normal +sponde +たらいい +段階で +▁composer +▁Junior +▁leonard +されていて +▁Eindruck +solució +▁southwest +▁equipo +▁Metall +▁voters +வன் +▁mosquito +▁irgendetwas +▁següent +▁loại +င်း +現役 +alisierung +穿越 +▁fervent +描いて +电视台 +nachricht +主流 +广东 +waardig +필 +▁Toronto +▁alteration +▁diligence +閉じ +との関係 +государств +▁Wilson +στ +シア +мовы +▁curr +тып +主演 +▁neugierig +▁элемент +▁vibration +お弁当 +甜蜜 +▁nikola +▁chacun +登记 +▁flirt +▁rapidity +▁pourrait +▁ومن +быстр +avion +ব্ +几十 +▁людзей +▁Geschmack +構造 +日連続で +が必要な +続けた +כ +▁sequential +▁whistling +垣 +▁Gestalt +▁그래가지고 +交換 +▁compose +праў +▁estudiant +憧れ +▁infernal +▁věc +▁navigation +选民 +▁recap +享 +▁америк +▁Hungar +天赋 +▁emerald +▁पनि +▁شامل +▁Motiv +▁aufregend +此刻 +▁generating +وى +▁вялікі +▁оказыва +myśl +▁fácil +▁treacherous +湘 +そっち +▁harriet +雷雨 +一瞬 +▁pouco +特別な +智力 +ගෙන +▁hunne +绩 +▁Emotionen +ಅ +に基づ +威廉 +▁beseech +▁dramatically +落ち着 +非難 +見通しです +▁срок +んですけれど +ulira +プラン +搅 +▁advisor +▁knives +acağım +▁Ла +▁警察によりますと +几个小时 +是正确的 +▁schrie +ரின் +改正 +▁lyric +▁могла +ବ +▁penetration +▁Nächste +▁být +atrix +ساز +你为什么不 +▁konata +ётся +たぶん +० +▁superficial +▁unreasonable +▁điểm +▁grotesque +▁coroner +▁Beschreibung +▁다음 +▁refreshment +昭 +传达 +▁надеюсь +ំ +▁Ontario +▁divinity +▁vehement +▁settling +保育 +▁лучш +▁bekomme +っていう感じ +▁Witz +歩き +ضاء +diagnose +沿岸 +衡量 +げん +▁நல்ல +改进 +ிடம் +▁большие +▁Vä +▁Stress +▁транс +▁dauern +platte +ఁ +१ +▁humiliation +▁بیرون +▁Könnte +軍事侵攻 +ことにしています +लो +れん +டோ +ждения +▁dickens +江湖 +▁ansieht +▁insgesamt +▁вещь +▁دنبال +寒冷 +▁lobby +ハム +年ぶり +死刑 +在接下来的 +绘 +פ +▁thú +▁millones +▁Presse +コート +エイ +右边 +entrada +liselt +▁Engagement +芋 +▁worüber +▁regretted +首席 +そうなんだ +▁costru +を決める +fuß +റ +▁Margaret +亭 +参议员 +▁Nutzen +sluit +étend +gambi +▁workshop +▁Sprach +schleunig +બ +▁además +▁золот +聞かれ +▁endowed +▁strode +крыты +하면은 +4000 +▁kommun +ত্ত +总理 +▁миллионов +▁escaping +န် +ウクライナ侵攻 +▁முதல் +▁Provinz +▁Questa +有哪些 +▁occupant +▁rugged +調べに対し +▁البر +▁Gedanke +我只是想 +篮 +贩 +ঝ +▁arguing +▁хлеб +▁Certain +を巡り +▁پشت +生き物 +▁parola +▁수도 +主教 +包装 +遗传 +เธอ +举办 +陥 +艦 +▁shabby +透露 +скага +▁picnic +▁construcció +占领 +▁activist +işim +であること +▁davvero +▁crític +珍惜 +▁çalışma +▁другого +▁rogue +▁geliyor +্ট +▁todavía +▁ډېر +▁गर्न +おかしい +▁действия +こういうこと +ին +▁примерно +▁Greg +られていた +猴子 +▁adieu +▁готовы +▁akzeptieren +纱 +▁Bewertung +おそれがあります +▁вопросов +▁hybrid +▁único +▁کردیم +▁reprit +escena +▁Ҡа +▁hoặc +▁nostrils +▁champagne +やり方 +▁smote +圧倒 +ならば +▁babiri +セカンド +才知道 +連覇 +▁идти +▁imposing +Book +waarde +yczn +らっしゃる +▁hoorde +▁verbessert +▁zooveel +形容 +もらいました +▁inviting +іўся +▁volcano +新潟県 +▁eastward +froid +ніз +mauer +lösung +▁undertook +伤口 +ивается +▁زمانی +කට +イヤー +興 +▁militärische +マイナス +这部电影 +▁trifft +▁доктор +▁analytics +્ર +领袖 +▁notorious +▁piercing +▁película +▁compara +▁молча +▁commentary +▁Morris +станци +チュー +▁conscientious +坠 +▁Stoff +غۇ +对我们来说 +серд +受け止め +▁Brüder +皇家 +提起 +検証 +ގ +rechnet +ழை +▁yakın +▁alluded +▁Parlement +▁ripple +▁trocken +вуча +▁Saison +といわれて +▁Hugh +議長 +敞 +શ +▁erscheint +▁خاطر +▁нужна +sighted +做不到 +ふた +向かい +分类 +見たこと +▁comparative +翅膀 +丛 +▁necklace +交往 +建築 +大伙 +▁станция +▁geraten +▁Gebet +▁peuple +▁weibliche +重症者 +▁Vortrag +▁Раз +گذار +▁acerca +பை +してしまった +どうでしょうか +▁জান +▁disclosure +▁geschieht +▁здравствуйте +▁apprentice +▁Blumen +シングル +▁одним +入侵 +▁näi +に関して +▁wakati +▁качестве +ғыҙ +▁blickte +▁anecdote +ایل +▁secund +▁سەر +على +▁devout +整整 +现在正在 +dzē +脆 +羡慕 +▁Houston +▁Erwartung +ぴったり +▁genießen +▁شاید +▁nombreux +▁Bruce +▁genus +两周 +パット +▁лежа +gefahren +▁آس +อยู่ +▁Pennsylvania +▁છે +佐々木 +durchschnittlich +机械 +晴れて +▁humbly +▁afecta +▁тракт +屋根 +▁করেন +知らせ +▁diagram +▁evitar +くなっている +▁intuition +▁jonathan +blätter +▁default +▁measuring +зван +▁어제 +▁protocol +últim +してくる +処理 +ეს +发誓 +▁Mount +autant +如果有人 +▁миров +障 +▁анализ +▁அழை +如果你能 +停電 +的角度来看 +வரும் +친 +戚 +▁Präsentation +▁Festival +伊丽莎白 +▁Geräte +▁иметь +▁cherry +▁Vergnügen +▁بىلەن +▁때문에 +淹 +ヴ +▁Portugal +▁Crist +尤其 +▁Major +の様子です +趣味 +gesteld +糊涂 +色んな +▁اصلی +▁Ausschuss +వు +▁pluraj +室内 +ировали +構え +runde +棄 +▁گوش +▁михаил +医疗保健 +▁waarop +を決めました +体现 +▁voiture +▁Ufer +▁Route +もらいます +▁tác +میر +拒 +を果たし +▁nachgedacht +페 +▁комитет +▁ມີ +▁داستان +减肥 +геҙ +ジン +左边 +▁Sorge +▁чаго +▁incense +▁العام +旭 +▁đại +▁بنابراین +▁смотреть +▁دلیل +キム +말 +▁investor +塞尔 +小伙子 +屎 +▁Jennifer +ും +▁уровне +▁homage +▁видели +正しい +▁laboratori +に住んで +▁illinois +▁tiền +サラダ +▁boughs +▁russell +▁sagst +警備 +zuziehen +甘み +▁sinister +ரீ +ような感じ +ریک +姚 +▁Wähler +▁columbia +▁ekzistas +▁perplexed +▁братьев +渔 +▁grill +▁exalt +kontakt +▁feit +▁governess +▁kurya +▁Kindheit +▁sichtbar +پتۇ +เรา +▁hump +▁پول +spread +愈 +▁clumsy +▁plutôt +취 +▁Lewis +関東地方 +▁каманд +哲学家 +▁написал +▁jazz +そのとき +▁tiel +よろしく +▁Sekunde +پوش +甲子園 +▁Widerstand +jüdische +▁pretext +▁début +▁Standort +▁половин +▁shovel +йшлі +С +▁dennoch +schwäch +毒品 +救命 +▁tiam +▁forbear +▁convincing +▁miraculous +▁поговорить +▁mugihe +intérieur +睡着了 +▁여자 +100% +하기 +修理 +ruḥ +翌日 +▁siebzehn +▁waistcoat +继续前进 +▁cuán +▁urging +給付 +mıştı +茹 +វ +ピンチ +80% +缓慢 +▁Ли +保密 +镜子 +▁felix +あると思います +つらい +▁خودش +▁detachment +▁prescription +貢 +都道府県 +▁cavalier +もしかして +尼克 +▁petersburg +▁zunehmend +đ +layan +哄 +ō +▁zukünftige +▁declining +▁extern +சொல் +积累 +っていうのも +europa +स्त +▁starving +祭り +呼吁 +ٌ +▁corazón +▁сталин +▁eugene +▁participating +做生意 +▁condens +描かれ +łow +できれば +▁zacht +删除 +適用 +▁скажи +▁Definition +intérêt +滥 +▁Một +schloß +▁প্রতি +取り組んで +▁tolerate +▁điện +▁auction +ნე +▁Gefangene +zungu +▁hieß +董事长 +▁calamity +▁precipice +▁ایجاد +▁hoffnung +▁nuovo +囚犯 +▁două +タイムリー +主管 +▁Rw +▁حسنا +▁meditate +▁Fakat +メダルを獲得 +دعو +博客 +▁schweigen +▁cemetery +▁lloyd +審査 +啤酒 +成績 +nął +▁rook +▁Association +▁Perezida +▁baltimore +▁endurance +洛杉矶 +消耗 +物理学 +ющее +стреля +很多人都 +揺 +ច +这辈子 +▁Knochen +▁και +▁видно +▁Wirklichkeit +▁چشم +ソフト +ப்போ +弟子 +1,000 +干什么呀 +գ +▁অব +▁unreal +▁Kristo +gewandt +▁হয়েছে +сроч +▁volgende +▁gelukkig +하면서 +▁زبان +▁arbitr +ምን +▁Davis +書いた +ергә +▁marcus +を持った +尉 +▁hilfreich +▁вместо +▁څنګه +▁irgend +▁gambling +▁উপ +▁возможности +просить +▁unterscheiden +▁feststellen +ゴー +食堂 +▁gelebt +んでしょ +знания +▁estudiar +زده +▁норм +жир +▁shameful +열 +▁течение +▁stammered +阴谋 +уулах +▁ransom +kapital +▁franco +奈良 +顺便 +▁slipping +ığın +ალ +▁wichtigste +料金 +坛 +▁малая +属下的一个 +谐 +박 +いかがでしょうか +▁ماشین +読んで +▁шестой +Tabelle +۲ +▁algún +▁unanimous +▁thống +▁skupin +暮 +やめて +曇り +писал +驶 +▁fidelity +▁pouvons +▁mondiale +速報 +▁Überleben +離れて +lardı +▁quitted +ぴ +販 +▁느낌 +▁воздух +▁patriarch +沙漠 +▁развива +глядзе +優先 +▁Má +தான +你怎么知道 +▁dispense +変えて +ီ +鸦 +▁Eigentum +▁discouraged +這 +こういうふうに +阶级 +せば +▁leitet +theorie +▁cultivation +leihen +eceğim +巨大な +▁Lektion +มาก +らせる +торгов +▁Empfehlung +▁celestial +▁occidental +алтай +▁athletic +桁 +affaire +ものすごい +▁civilisation +▁اتاق +这几天 +▁Europäische +注定 +该地区 +析 +掏 +▁Mitgliedstaaten +▁recognizing +력 +▁казалось +▁Sturm +パーク +рабатыва +▁военно +▁sentinel +どうしよう +▁spike +良心 +временно +ຖ +甄 +抛弃 +▁получить +▁abgeschlossen +伍德 +残念 +▁collector +▁микро +▁joshua +▁период +့ +▁பெரிய +Source +ющего +くなっています +▁astronomi +汇报 +復活 +țele +デモ +хир +仙台 +囊 +舱 +▁coincidence +▁compromis +メイン +inspiring +▁politeness +碧 +▁வழங்க +扉 +▁pudding +▁baptist +▁Vull +▁epoch +▁combusti +entwicklung +▁дней +负面 +帰国 +▁байгуул +▁Nachbarn +▁대학 +espér +▁Disney +спя +ডি +なじみ +▁Bedürfnisse +极其 +▁بسیاری +▁zurückkommen +うどん +悄悄 +▁зохио +メダリスト +▁kesk +▁possono +棕色 +総理大臣 +වෙන +nummer +異なる +城堡 +ғына +▁relaciona +▁hobby +▁людьми +mektedir +▁caballero +▁του +▁ہے۔ +▁адрес +▁никакой +▁باشه +▁durchaus +▁außen +▁politician +höchste +を行いました +عامل +ણ +ቀ +যোগ +六个月 +▁sophia +endroit +どうでしょう +ێر +ファー +је +فضل +感染症 +让我们看看 +屋顶 +飛車 +▁ذات +drž +泼 +asanzwe +ား +厚生労働省 +▁dungeon +▁جيد +押さえ +▁vollkommen +క్క +zwingen +ведения +▁Mühe +▁seneng +нести +幼儿园 +磅 +腔 +烦恼 +▁Fahrzeug +眼神 +▁чисто +▁далей +を迎える +▁sexuelle +オリジナル +马丁 +▁aufbauen +ausschuss +における +周囲 +狮子 +できるだけ +gegriffen +▁langue +ウクライナ軍 +▁herzlich +▁suffi +▁İki +▁gehst +苦しい +توانیم +塑料 +▁chơi +▁khó +▁არა +▁самые +▁tedious +感染状況 +ước +▁întreb +每一次 +岭 +▁Vậy +▁discomfort +▁настолько +捐赠 +▁капитан +konsum +▁رجل +ポリ +ходили +▁다니 +▁économique +敗れ +génér +▁Cross +ルート +lumina +吸收 +▁косм +假期 +klapp +验证 +▁Fond +▁bizim +▁portuguese +▁rubbish +복 +oubli +干吗呀 +▁хот +运气 +тыўна +▁இப்ப +▁kanggo +ெட் +寡 +▁sanctuary +써 +よろしい +邸 +▁tradicional +▁bandage +▁ukrain +渡辺 +ミニ +というわけで +▁mängi +ちゃいます +▁рух +abash +▁Gedächtnis +▁pièce +医療機関 +▁immune +火災 +▁forlorn +genossen +▁хоча +räsentiert +▁horribly +▁безусловно +▁кӱ +▁семьсот +▁sweetheart +▁مؤ +解雇 +涉及到 +▁воды +況 +塘 +▁harvard +罰 +▁Speicher +▁benedict +▁fellowship +在这方面 +英文 +▁pronounce +ţ +▁proprie +▁болсон +リュ +▁celebration +▁Güte +正在进行 +蔽 +청 +膝盖 +▁радио +▁rustic +▁общество +▁pulpit +▁Fußball +▁Josep +cliffe +▁தெரி +現代 +podobn +▁fascination +▁który +▁devait +▁دهند +再現 +▁geographical +变革 +▁мисс +史密斯 +ニック +▁Egypt +строить +精神病 +▁모르겠 +▁русско +gegenwärtig +둘 +씩 +▁ĉirkaŭ +喫 +एको +神话 +▁titul +▁Träume +▁আস +厳しく +▁dazzling +▁erwiderte +▁Überraschung +▁gedanken +增强 +基督 +ાર +▁luggage +▁이번에 +täuscht +ড়ে +▁mwiza +әҙер +щим +▁marvelous +入り口 +wahrscheinlich +述べ +▁velmi +ർ +▁Londres +▁تولید +▁Sonntag +▁hôm +腐败 +갖고 +承認 +考验 +▁Chu +▁aisle +▁beauties +ambigu +ぼう +▁hippo +霉 +▁overlooked +▁Takže +▁moisture +తా +▁hoàn +ってみよう +太平洋側 +▁cultivate +▁wobei +▁ecclesiastical +édé +爱尔兰 +▁пространств +おばあちゃん +▁Training +పో +餐馆 +▁dripping +geschenk +▁auditor +▁unequal +amatu +白宫 +mutima +▁fisherman +疆 +ないですか +▁drake +判定 +▁disseny +kungu +買った +▁troublesome +Blanc +▁доступ +证实 +▁mẹ +▁மனித +▁Vermögen +급 +引擎 +づらい +Unis +▁Anspruch +房屋 +引退 +▁борис +માં +▁Kategorie +▁зусім +잡 +娅 +▁Spanish +▁thanksgiving +లా +▁хороший +▁honom +隐私 +▁flip +▁occurring +▁Ereignis +wheel +ウォー +生み出 +だと思うんです +quote +▁Despite +まいりましょう +tumye +▁humorous +女優 +▁Voraus +ってしまった +▁Köpfe +最終的に +▁rhyme +▁clump +▁видеть +▁luckily +▁رنگ +▁malaria +生涯 +патрэб +ప్ప +▁Foundation +▁secrecy +谜 +纤 +ŝanĝ +▁Provi +▁дүр +ご覧いただ +беҙ +▁audit +▁spice +▁süd +கல +吸引力 +色々 +▁drüben +▁schüttelte +▁completamente +決断 +▁думать +励 +塑 +▁novelty +龟 +▁Flügel +▁diferencia +▁cristian +▁urmă +▁jesuit +▁fördern +َلَ +と述べました +晴れる +を発表しました +言える +陌生 +▁medication +季度 +▁lächelte +綱 +ున్నా +gratul +▁моего +سې +▁اين +兄弟们 +▁ئەوە +卿 +荒谬 +弘 +▁제일 +▁будешь +适用于 +食べたい +40% +▁Ре +场比赛 +▁xả +▁kostet +▁bố +Werbung +▁Academy +▁mohammed +▁آمریکا +唐纳德 +罗伯特 +▁помощью +自殺 +▁Vì +▁Rauch +剧院 +▁curate +▁Moore +を越え +一件事情 +▁алма +▁distint +▁absolv +▁deceit +▁propriety +怪物 +根本就不 +度目の +▁Entfernung +▁Après +▁signifas +日ざし +▁Pläne +▁Nerven +▁güzel +ビッグ +▁hydrogen +▁winzige +farben +鞭 +▁thompson +ঙ্গ +▁griechische +▁хөгж +観察 +sloten +▁chunk +▁installation +クリア +汚 +빠 +ុ +▁elapsed +▁Government +毁灭 +▁rapture +しさを +▁Symbol +不思議な +gestiegen +▁practise +▁athens +▁recreation +պ +猿 +▁موجود +現象 +▁крайней +▁morbid +感冒 +ждение +引入 +▁делают +▁moustache +洗澡 +▁되는데 +選び +flipp +ならではの +▁chemist +▁rustle +▁Student +ղ +▁longtemps +▁verschwunden +讽刺 +▁sturdy +游客 +▁arising +▁irritated +ダム +▁твой +عالم +▁heroine +見たい +税收 +オレンジ +▁üret +耕 +恥ずかし +▁왜냐면 +▁sidewalk +▁никому +▁protože +▁involving +▁alguma +krebs +бель +▁geplant +ść +нюю +torium +▁abnormal +▁condescend +滤 +参议院 +別れ +▁Cousin +▁kansas +▁contributing +▁ஆன் +▁волос +带领 +▁constantinople +▁inasmuch +ում +▁Ähnlich +分かりません +▁spiral +▁tradici +追いかけ +睇 +水曜日 +ވެސް +▁reassure +▁Melbourne +▁gegründet +▁водо +北京オリンピック +▁voyez +介入 +获胜 +▁سمت +虑 +溢 +▁která +verwandt +▁බව +ピンク +میل +▁Kommentar +漬け +lassung +エビ +嫉妒 +▁Klimawandel +▁солдат +指责 +▁основан +▁implies +排名 +飼 +▁Rechnung +▁monotonous +▁spēlē +▁medieval +▁rhetoric +▁detached +▁Mountain +▁isolation +▁войск +解决这个问题 +▁хочется +articula +▁umutima +▁curb +▁liefern +伯格 +▁Multi +▁russische +矮 +▁Zuhause +▁malcolm +▁nevoie +läufig +▁shelves +落ち着いて +▁смерти +▁feudal +澤さん +あえて +klassi +▁constituent +▁другая +▁rabbi +ライス +▁Sklaven +▁الواقع +まもなく +▁dictator +丫头 +荷兰 +▁சீ +▁salmon +▁flores +っていうところ +初期 +卧 +▁hypothe +▁entfernen +▁insolent +不合适 +▁মানে +ρα +▁Dacă +▁Montag +▁чуж +рожа +準 +▁Folie +慈 +抖 +▁Colorado +▁Nutzung +▁cognitive +▁după +مدرسة +残忍 +요일 +sexuell +▁القر +尋 +▁kemudian +▁persuasion +狄 +줘 +お客様 +▁jefferson +▁pivot +▁машины +نقل +▁استخدام +ބަ +▁whipped +▁geleden +▁escucha +▁Could +▁остров +▁cavall +quê +须 +ជ +▁versteht +拭 +interesse +▁eksp +▁disappoint +▁även +钩 +katholisch +▁کودک +紫色 +▁cố +代の男性 +Time +收益 +▁чад +▁elevat +▁hacía +▁Alkohol +蔑 +褒 +从那以后 +▁извините +▁тело +▁spirituelle +யார் +▁sünd +设法 +▁geographic +獲 +முக +▁impamvu +▁хэдэн +▁Physik +▁umfasst +反抗 +▁concede +▁обща +▁zwang +取引 +ministerium +蹲 +০ +▁Prüfung +▁embedded +▁possiamo +タクシー +▁пятая +出てきました +▁discrimina +ェ +能做到 +▁clenched +▁pequeña +▁tennessee +哮 +煎 +かっこいい +▁请播放 +▁așa +▁Jemand +gehoben +befehl +▁mildred +▁disrupt +mètre +コスト +▁нашим +ใ +膝 +▁ausgewählt +▁nécessaire +▁eclipse +换句话说 +丼 +誠 +جنس +▁daisy +▁dzīv +மும் +納得 +kräftig +▁merupakan +コラボ +記者会見 +收购 +▁crusade +金額 +höhe +ایە +▁hína +▁snuff +▁социал +möglichkeit +ijoro +▁clamor +順位 +▁husk +▁Flüchtling +奥巴马 +▁duidelijk +▁குறை +twenty +▁discut +▁пройд +お待ち +发动机 +警官 +ତ +▁aufzubauen +这个样子 +넘 +▁сергей +愛知県 +▁shroud +コンビニ +行方不明 +▁люблю +▁rusange +▁твои +となりそうです +訴 +▁augustine +чёт +ものすごく +▁Society +动态 +▁vierundzwanzig +▁ocurr +▁mitigate +konomi +▁testify +▁чист +▁имеют +▁destructive +▁историю +▁мальчик +▁alcuni +渠道 +砂糖 +▁besagt +علام +waffen +原則 +▁agafar +▁supposition +▁diplomatic +▁marshall +fünfhundert +▁pilgrimage +今のところ +ālā +▁legitim +ித்தார் +▁мысли +ሚ +▁securities +辖 +▁bestätigt +umukobwa +▁Therefore +軟 +▁problém +並ぶ +ҙың +▁Họ +寄付 +ченко +gerissen +▁hâ +▁компьютер +▁முக்கிய +こんなふうに +媛 +놓 +▁vigour +▁apparition +▁imbaraga +▁gratified +symmetri +▁clash +▁milestone +hundertfünf +▁Doctor +ლებ +▁camí +عيد +鸿 +▁disponible +▁butterfly +▁teenager +▁carlyle +▁Mereka +▁хэв +ступил +とみられています +entendre +棘 +▁enabling +▁faltered +▁bizarre +▁nodding +präg +重症 +▁cartoon +▁hareket +とみられます +▁Republik +பாடு +▁width +▁риск +▁Runde +ẫ +ڈ +▁zugänglich +ျ +詩 +مجتمع +ゲット +散步 +dämm +▁eigenlijk +菓子 +飛んで +级别 +厌恶 +齿 +▁ingenuity +▁последний +▁руководств +▁NASA +▁muffled +▁theoretical +▁நிறுவ +女孩儿 +▁shilling +▁ethnic +▁сделан +合わせた +క్ +счастлив +茅 +▁Indonesia +▁مدرسه +▁정말 +▁Fehl +豪華 +▁chestnut +伙计们 +が止ま +新宿 +▁பெரு +了解更多 +▁серьезно +績 +面试 +结局 +pflege +Á +թ +▁crouched +フルーツ +최 +▁espacio +خصوص +▁eindelijk +悲剧 +zauber +physiologi +▁подготов +▁лепш +一个例子 +远处 +合計 +చ్చ +赎 +ຢ +▁ecstasy +▁نمایش +ӹн +実態 +rechnen +менять +▁новых +竟 +▁landlady +繊 +▁gutanga +▁ominous +▁voulu +証言 +演示 +▁junk +▁integrate +隠れ +▁Außer +▁Entschuldigung +▁Kommissar +扫描 +▁hoofs +wäss +اگه +▁лица +嘿 +▁merchandise +▁செயல் +▁elkander +▁spüren +▁clown +▁важна +▁calculate +収入 +続けている +灵活 +▁தனி +▁fügte +▁взаимо +▁갑자기 +▁Republikaner +▁infidel +▁desolation +▁längst +坚强 +▁cicl +行きたい +lehrer +▁literal +韓 +非常有趣 +▁marcel +▁Intelligenz +冈 +▁пошли +气候变化 +が必要だ +▁странно +με +种族主义 +の疑いで +▁yahweh +斥 +至关重要 +▁Kämpfe +▁detained +▁هنر +▁sovint +▁syllable +▁mittlere +schalt +aufnahme +トルコ +▁цели +▁judith +▁spacious +海滩 +کۆ +▁yazı +▁भए +▁Minnesota +▁использовать +▁languid +▁آورد +▁reiterate +▁Patrick +▁убива +▁توجه +Europa +▁تواند +崎さん +▁Richtlinie +▁kibazo +▁potenziell +▁deferred +▁பிறகு +ނެ +▁usurp +羽毛 +schwor +نوشت +▁appoint +▁sancho +▁குழந்தை +▁Үүний +▁línea +▁Studium +▁Ireland +▁Modern +病床 +льныя +▁кровь +査 +心疼 +렸 +▁يوجد +owski +▁konkret +▁பற்றி +▁categori +▁نقش +дзь +炼 +▁நிகழ் +▁indicating +▁Gegenteil +▁Emily +▁война +行われている +▁presidential +▁Little +கொள் +肤 +▁Existenz +拜访 +▁antony +▁Samuel +見つかり +▁může +垒 +慷慨 +▁Ernährung +▁displeasure +ッグ +捉 +▁говорим +▁değiştir +必然 +▁condicion +▁welsh +拜拜 +失业 +▁sparrow +アピール +▁sociedad +ދަ +ދު +▁사람들이 +▁mercado +見つけ +文書 +▁Auftrag +▁Annahme +▁Coast +ներ +霜 +▁boyunca +時半ごろ +▁asteroid +▁коротк +▁قانون +ிற்கு +nshingano +▁musí +边境 +▁riddle +伍 +謝 +▁Illinois +▁دانشگاه +schließt +▁पु +イラン +▁ĉu +ミング +ジョー +▁comunidad +▁companionship +轻易 +qqim +▁portray +▁үнэ +ёшь +好奇心 +になりたい +虾 +bitekerezo +▁Pēc +▁antiquity +▁científic +淋 +アルバム +▁acontece +おととし +師匠 +gemeinschaft +看一看 +きょう午前 +抜いて +谢谢大家 +▁bırak +versorgung +▁Konferenz +GPS +▁혼자 +▁gracias +▁athenian +▁persoon +▁inaugur +▁менш +群众 +▁northeast +▁vorgeschlagen +雨が降って +▁patriotism +档案 +luğu +ໃຫ້ +▁defiant +▁malicious +▁Kansas +▁chaplain +残酷 +▁bertram +交付 +消化 +▁Felsen +▁bathroom +おじさん +▁байр +▁palju +▁Alpha +▁Katastrophe +▁Respekt +▁обязан +ツイッター +▁oyna +▁غذا +▁أفضل +▁لدينا +filtr +层次 +主导 +속 +ጥ +▁sophisticated +▁буквально +▁façana +侮辱 +▁дороги +前两天 +将棋 +▁너는 +ريخ +ුරු +労 +戴安娜 +逝 +▁سیستم +̃ +剥夺 +▁ensued +这是一件 +schwimm +是不可能的 +辞め +▁pueda +església +süchtig +▁birçok +出租车 +귀 +麗 +적으로 +注射 +schränkung +▁snare +▁skate +▁retard +一生懸命 +▁ängstlich +▁vegada +ডা +あるんですか +起訴 +räte +徽 +▁Posteriorment +▁nyinshi +▁trabalho +코 +▁చె +▁Больш +ロンドン +▁verwandelt +▁bagian +設計 +zugreifen +▁பழ +语音 +▁naples +世の中 +括 +嚟 +ఫ +挖掘 +世帯 +▁scottish +見直し +ركز +現れた +▁Stich +▁refinement +▁keith +老虎 +бега +▁temporarily +コンピュータ +腸 +昆虫 +アート +1.5 +維 +▁straightforward +ঐ +凌晨 +繁殖 +ধি +beamte +▁руках +▁задерж +▁остава +積極的に +匆 +▁Interessant +▁законопроект +liśmy +▁cantonada +▁مرکز +杭州 +▁verurteilt +噴火 +▁адказ +▁Nacional +expliqu +▁rebuild +people +ıyordu +눈 +설 +キッチン +▁لطفاً +▁decât +▁일본 +▁prodigious +▁Jacob +散歩 +传奇 +▁klassische +▁существу +▁форма +釣り +▁подпис +风暴 +▁Opera +▁институт +ическом +▁michigan +バッグ +▁clinton +それこそ +весел +商業 +ハンド +ipps +▁spouse +▁trustee +▁площад +▁uzata +صاب +geheimnis +披 +ച +▁sorgfältig +현 +แต่ +▁discreet +chirurg +といわれる +ുന്ന +▁возраст +▁birkaç +schirm +环节 +▁intact +▁Então +طبق +亨 +forderung +階段 +教导 +auftrag +kümme +所需的 +▁Jimmy +▁kümmert +대로 +▁aquellos +እ +▁susceptible +痕迹 +▁fuerte +トレー +▁invece +ложения +静岡 +kündigt +▁hoffentlich +▁audible +학년 +▁Finanzierung +າມ +▁simbol +rätt +ாலும் +▁سخت +▁ĉefa +▁veröffentlichen +▁медицин +▁دوباره +アスリート +▁건데 +ordination +あぁ +▁utawa +判明 +マウンド +木曜日 +PCR +▁produzieren +▁tactics +可能性もある +ிங் +هدف +artista +違った +弊 +▁bijzonder +▁nghệ +▁boulder +逃避 +减轻 +唉呀 +▁Einfach +▁Hütte +▁Feli +▁Charlie +反発 +▁navigate +極めて +▁дожд +▁забыл +▁bourgeois +▁steadfast +졌 +ሆ +▁voulez +▁силы +فروش +▁Chief +想一想 +າກ +항 +芸術 +▁सु +▁implicit +▁duncan +▁واحدة +▁humming +muster +装备 +▁membership +کشید +▁bequem +▁vieille +▁begleitet +▁empfind +▁果啲 +▁impulsive +▁அரச +▁позвонил +▁düster +▁bunlar +▁Offizier +▁دغه +贫穷 +▁করতে +多长时间 +赞美 +▁boost +باد +▁успел +没见过 +変わらない +肾 +▁industrious +▁конфликт +▁беларускай +▁carrière +▁zgod +▁renounce +股份 +глянул +faktor +臨時 +拜托 +building +▁demselben +▁Spiegel +▁enchanted +▁그럴 +抚养 +▁아예 +▁conserve +姐夫 +▁erwähnen +▁influential +▁первого +▁кандидат +vermögen +▁penitent +受益 +▁wiederholen +atangiye +க்காக +面积 +▁aconsegui +▁columbus +▁verpflichtet +貫 +▁tournament +令人惊讶 +▁hinterlassen +▁servicio +▁словно +地板上 +ىرى +シート +キーウ +训 +ਜ +▁Ayrıca +▁bình +▁resembling +▁birlikte +▁আমার +▁vienna +▁retiring +▁Yagize +贵族 +▁mnoh +宿舍 +成为一名 +投降 +▁Zahn +▁Ня +عيش +▁fritz +крыл +▁execu +乏 +瓷 +ס +▁gobierno +▁westminster +▁Усё +책 +▁temporada +隙 +昇 +ಾಗ +▁мужик +ლე +լ +▁llavors +シュー +教師 +ランチ +▁тэг +сурс +早已 +▁Bridge +▁geleistet +▁mỗi +水準 +▁되지 +▁triangle +▁fuori +玛丽拉 +изова +▁Dichter +異常 +炸弹 +▁elevator +▁gateway +ルーム +观念 +▁signify +▁distraction +推广 +equilibri +▁wunderschön +哑 +弗兰克 +谣 +▁مكان +疑惑 +▁Bürgermeister +▁beetle +রাজ +ことはない +verbrauch +風景 +▁kaldı +zusammenarbeiten +▁appelé +kandida +▁compost +▁заўсёды +▁степени +▁erstaunt +▁tödlich +对他来说 +▁seguro +ッカー +怜 +を対象に +τι +झ +▁requiring +indirimbo +▁gufata +förmig +▁thrice +▁piteous +espai +百六十 +背叛 +▁برخی +チェン +▁Prinz +暴風 +ळ +▁развития +▁хүрэ +▁Firma +报仇 +▁chuckled +▁sacrifi +されていない +お疲れさま +▁Experten +▁республик +▁peninsula +乗用車 +▁좋아하 +▁parliamentary +ල්ල +ாமல் +简短 +▁forfeit +ङ +پذیر +畳 +冷蔵庫 +▁rôle +بناء +▁Summe +▁любим +▁spars +▁konkur +ើ +ែ +ੋ +▁Així +▁lấy +▁않았 +汀 +డి +打败 +▁unendlich +▁гости +▁сабе +▁tehnolo +بێت +▁posibil +揮 +逢 +▁chuyển +眞 +▁Kennedy +▁miliard +▁эфир +ọ́ +▁метод +なりません +schäf +▁роль +这项工作 +ېرى +虐 +恭 +▁Ukraine +▁gratification +▁सं +ěl +另一件事 +▁teilweise +新潟 +並べ +こいつ +ġ +▁কিছু +태 +▁perchance +グッズ +▁transplant +▁impartial +入ってる +小さく +んねん +的一件事是 +▁lehnte +▁distingu +▁metropolitan +처럼 +▁gegessen +呈 +▁trouvé +▁recurring +お菓子 +▁ຫຍັງ +ホワイト +담 +兜 +આ +阪 +塌 +锡 +ढ +२ +扛 +ỳ +雌 +忽 +偿 +И +捧 +釈 +滨 +ሄ +娇 +ូ +铭 +滩 +ャ +ύ +ޯ +斌 +절 +종 +託 +ޫ +缶 +崖 +ദ +潰 +緊 +ɗ +蔓 +仑 +ஈ +브 +ৎ +厦 +扰 +អ +벌 +증 +২ +ਵ +骚 +吨 +歓 +竖 +址 +瞥 +ള +渋 +挪 +暇 +掛 +յ +铅 +钓 +橡 +拡 +狐 +줬 +출 +ٽ +এ +柿 +络 +乙 +ቃ +幾 +亜 +嗅 +咕 +喔 +畜 +茄 +글 +ጠ +Б +學 +플 +勉 +咸 +锤 +ð +건 +능 +ఉ +歧 +叨 +ҿ +烫 +坤 +芦 +$ +監 +គ +践 +침 +蟹 +唠 +합 +ຜ +堤 +肘 +宪 +임 +梳 +霞 +薛 +병 +순 +攀 +驴 +灣 +甩 +邊 +妄 +론 +軸 +메 +脈 +튼 +蓉 +赐 +ਮ +葱 +魅 +盼 +ံ +秃 +甭 +է +란 +ぺ +ጣ +ৱ +窟 +靖 +颈 +壶 +꾸 +앞 +ኛ +浆 +ঙ +仆 +Д +叉 +亀 +猴 +茎 +삼 +嬉 +澳 +颁 +笛 +커 +稻 +엔 +筛 +魁 +閣 +渣 +蹴 +搏 +ੰ +肆 +ں +ਆ +蛙 +磊 +ସ +點 +汰 +棟 +陕 +憎 +绣 +歪 +頻 +趟 +岂 +О +ވ +胞 +ష +표 +噴 +堕 +圏 +咳 +淑 +庸 +疚 +嘎 +ג +滝 +譲 +炫 +ପ +蓬 +绵 +谎 +ዳ +碍 +巷 +驰 +ኔ +ጋ +ξ +평 +ű +ါ +詳 +圭 +顽 +蹦 +枉 +頑 +慣 +鋭 +鲸 +栖 +姫 +嫩 +큰 +渊 +掠 +ಳ +ਂ +衔 +憋 +癖 +顧 +확 +얼 +宰 +厨 +ડ +բ +ဆ +颖 +ੱ +碌 +駐 +覇 +禅 +肿 +乞 +們 +듣 +ਪ +匿 +梗 +幹 +ޖ +俘 +접 +彪 +醋 +阅 +紋 +ሉ +ୁ +國 +袍 +癒 +° +夷 +腻 +Î +愣 +堅 +賢 +沾 +贬 +绸 +먼 +맛 +灿 +끝 +吟 +ണ +駆 +镖 +활 +妆 +硕 +ჯ +硅 +몰 +纷 +彫 +渗 +陋 +賄 +陀 +셨 +– +ჰ +奎 +杏 +ڑ +ମ +译 +ט +盾 +盔 +贞 +溺 +坪 +잠 +육 +쁘 +竭 +佢 +辽 +袜 +栈 +ሎ +ፈ +ೊ +Í +ፍ +詹 +怎 +仿 +婶 +循 +백 +馅 +橙 +徹 +鍛 +ሱ +儒 +恕 +耸 +ೂ +淳 +翌 +餌 +庇 +捞 +斐 +膏 +۵ +럽 +隅 +啪 +辐 +熙 +ඔ +紛 +捏 +떨 +손 +駒 +愚 +椎 +朽 +̉ +踪 +ዚ +帘 +嘟 +颊 +惧 +ኮ +藩 +筑 +廉 +એ +ሳ +葵 +慕 +泛 +窒 +ધ +랬 +昧 +족 +屿 +죽 +팔 +ယ +粥 +ዋ +餅 +討 +廣 +붙 +씨 +犹 +叮 +萩 +歹 +咽 +湧 +侣 +蝶 +捆 +В +ڻ +శ +ખ +懲 +؛ +哩 +尹 +웃 +ỷ +망 +즈 +贱 +瞅 +斎 +П +ሪ +졸 +貯 +郵 +频 +囚 +鲨 +凳 +缸 +짝 +ۀ +ɓ +뭘 +홍 +옷 +쳐 +참 +痒 +혼 +眨 +揉 +Ғ +테 +ծ +咒 +绒 +厘 +변 +십 +厢 +琐 +਼ +ẳ +缴 +驼 +ዲ +嵐 +礁 +粹 +독 +俳 +妞 +쉬 +毙 +ዛ +岐 +闇 +肮 +ـ +債 +盯 +銅 +卦 +莹 +။ +ቅ +樱 +笠 +薯 +醇 +栓 +़ +崛 +ካ +刹 +奨 +迅 +њ +җ +릴 +투 +谭 +俯 +帳 +帐 +瑶 +떡 +ោ +溝 +ೀ +谍 +습 +噩 +ҷ +ੁ +淀 +勺 +簿 +曝 +ւ +饺 +棺 +斩 +። +貝 +鼎 +Ё +뒤 +Ŝ +별 +ိ +殻 +舗 +婿 +韵 +ੈ +충 +酔 +繋 +剛 +愤 +韧 +웠 +ಣ +ฐ +哺 +哼 +ඟ +嗡 +緒 +姬 +慶 +匈 +懐 +ഷ +挠 +氓 +இ +桩 +ۍ +ៅ +纲 +妾 +軌 +渴 +聘 +ם +衍 +랐 +ŷ +奄 +酋 +ူ +ହ +睹 +拌 +ຶ +绪 +瘫 +濱 +隧 +瞄 +ൂ +耿 +ൻ +吱 +喇 +ഗ +շ +嘻 +ಷ +ಚ +霧 +넣 +怠 +杖 +錦 +屠 +빼 +鞠 +眺 +藻 +栅 +矛 +冊 +ထ +聆 +ശ +怡 +宵 +악 +Ы +嚷 +패 +ァ +勋 +언 +慨 +赦 +萍 +ռ +막 +አ +ζ +豁 +휴 +肚 +捣 +ٿ +셔 +昨 +皓 +喃 +എ +喉 +貿 +趴 +迭 +謀 +孩 +ቤ +薦 +粛 +哒 +ീ +趾 +酿 +섯 +痘 +茜 +蚀 +菇 +எ +躬 +誌 +佬 +¿ +俵 +ċ +꺼 +渐 +卒 +鸽 +發 +ళ +ហ +亩 +唇 +壇 +ಶ +蝇 +ચ +蜀 +隻 +俱 +泌 +剿 +磕 +ቸ +அ +衬 +처 +垮 +琉 +墅 +쯤 +畀 +険 +扁 +橱 +창 +咁 +婉 +특 +沒 +倫 +噜 +钦 +傍 +ӷ +嗓 +枫 +답 +ਗ +茸 +兑 +攒 +צ +惰 +림 +숙 +榄 +氢 +喧 +览 +澜 +羅 +忏 +憩 +拱 +轿 +Ú +슬 +倩 +ਅ +剔 +距 +禀 +揍 +ޒ +嵌 +瞬 +憲 +蹭 +凹 +판 +ィ +९ +凸 +橘 +苔 +蕉 +浇 +৯ +獄 +穂 +„ +贸 +ʼ +읽 +聪 +료 +옆 +乜 +골 +對 +谨 +斧 +켜 +縄 +菱 +# +吼 +허 +嗽 +蹄 +拇 +ಜ +該 +텐 +북 +髓 +ਬ +浄 +荘 +Ô +죠 +ះ +栃 +몸 +瓣 +莓 +굴 +塾 +遵 +ן +۹ +甸 +娟 +蠢 +함 +獣 +缅 +ೋ +틀 +각 +啫 +屯 +經 +Г +餃 +ੂ +療 +绍 +槛 +ჭ +ధ +겼 +曦 +涅 +涡 +鄙 +霖 +麟 +ભ +冥 +谅 +희 +饲 +潇 +飽 +骆 +哉 +ఒ +ઓ +萎 +膚 +斉 +皂 +屑 +悯 +衫 +鉢 +축 +ሞ +며 +법 +芙 +疤 +帜 +罕 +蝠 ++ +향 +寇 +丫 +힘 +朋 +拙 +荆 +ஆ +늦 +황 +撇 +택 +戳 +랜 +撰 +璃 +釜 +혀 +盏 +ォ +択 +沛 +臀 +莽 +ሀ +酮 +록 +诵 +绊 +婪 +ૂ +硫 +품 +碁 +郝 +匀 +颇 +聋 +賠 +删 +阐 +ណ +妊 +Х +辟 +丞 +牡 +석 +익 +噬 +拟 +瞪 +刈 +坝 +嵩 +۳ +욕 +详 +ሩ +檬 +媚 +虏 +粪 +닐 +ҽ +蜗 +惦 +ൾ +鐘 +淮 +զ +베 +铸 +綿 +缉 +蘑 +垄 +粤 +슷 +풀 +맨 +骸 +٬ +唬 +绞 +블 +婴 +ധ +蒲 +넌 +ួ +У +综 +塊 +择 +խ +膳 +蒜 +蝙 +ਇ +嚼 +榴 +曽 +때 +枢 +於 +偵 +涩 +ആ +诡 +鳄 +矩 +溯 +贿 +검 +쓸 +칠 +厉 +責 +靓 +송 +炖 +疹 +肃 +咧 +ଲ +旱 +ඹ +魄 +哋 +○ +션 +꼬 +ञ +婢 +캐 +烘 +苛 +ջ +ខ +ਟ +肇 +栽 +熄 +馨 +ળ +紗 +채 +환 +窄 +禄 +탈 +권 +腥 +噌 +祐 +妓 +ୟ +訓 +淫 +懦 +昊 +磯 +糕 +贡 +篷 +ሺ +捍 +ങ +광 +铲 +۴ +墟 +粧 +娥 +৫ +ဖ +祁 +忆 +啸 +〈 +ෘ +懈 +ಇ +拧 +凿 +톡 +չ +녀 +ڤ +김 +汐 +糧 +谓 +瀑 +ޝ +寓 +ਣ +扒 +衅 +ఈ +ജ +۾ +剃 +腫 +勿 +ញ +奕 +깨 +卜 +꼭 +ඕ +砕 +澡 +嚣 +閥 +Ĝ +邱 +簡 +飙 +৩ +芭 +떠 +庶 +× +蛛 +麼 +औ +째 +철 +锯 +ぃ +鉱 +嗰 +鹤 +혹 +嘶 +舆 +穀 +冗 +诫 +恤 +箸 +鎮 +ז +ᱟ +巩 +彬 +嬢 +瘟 +诀 +埔 +砰 +舔 +ષ +밤 +詰 +顕 +ዘ +煽 +綾 +窥 +絆 +움 +宛 +撼 +ಧ +咔 +與 +陳 +芹 +陡 +掷 +廓 +逻 +ബ +唆 +寧 +怯 +鹦 +裹 +翰 +ቶ +ෞ +벽 +奮 +너 +齋 +승 +ዎ +ኩ +뽑 +ഇ +讳 +ភ +拽 +ଦ +못 +彤 +當 +퍼 +缪 +唾 +渦 +跤 +ዝ +掐 +峭 +梭 +ށ +兮 +窑 +應 +屉 +ঢ +伽 +џ +菩 +ฮ +潤 +辑 +៉ +께 +땐 +鈴 +暂 +廖 +ॉ +ഒ +屡 +峻 +鹉 +熏 +鞍 +呻 +雯 +곳 +搂 +蜡 +ฉ +৪ +깔 +說 +헤 +缆 +涯 +ធ +掀 +孽 +ഹ +奠 +련 +짐 +樊 +粋 +衙 +ҕ +녁 +叭 +ڊ +멀 +큼 +詠 +劈 +높 +আ +蕨 +掃 +భ +驯 +篠 +뜨 +痪 +窮 +騎 +ຟ +ሮ +Ř +촌 +歉 +ణ +ฝ +잔 +沦 +绽 +Τ +樣 +暢 +폰 +窍 +條 +봉 +泵 +ൽ +빨 +암 +纺 +寛 +悉 +潭 +ୋ +焚 +畔 +嘲 +捂 +껴 +輔 +棕 +饥 +ថ +籠 +ဲ +佣 +ଏ +ڏ +泻 +柠 +ഞ +류 +፣ +ƙ +۽ +钞 +呜 +葫 +។ +嶽 +ቢ +濁 +仨 +ӣ +飓 +ഭ +沐 +ಆ +邀 +赁 +冕 +哗 +禽 +酶 +侃 +锈 +呪 +熔 +揚 +奢 +Э +趋 +嗦 +ផ +衝 +窖 +阀 +扳 +摂 +응 +ඊ +쉽 +筷 +妍 +ओ +斬 +肋 +클 +胺 +亵 +叽 +咎 +桨 +ሥ +앉 +潔 +ዬ +錯 +극 +宙 +禾 +৮ +궁 +넷 +丐 +睦 +ଣ +끄 +딩 +ફ +赋 +蘭 +۸ +논 +徊 +徘 +Ш +琦 +빌 +颤 +颂 +착 +氨 +։ +썼 +擅 +‐ +ぉ +蓮 +৬ +쿠 +Κ +釣 +捅 + +拢 +鵬 +叱 +३ +• +嚎 +싼 +ഴ +苑 +놨 +啓 +冨 +嘢 +鷲 +ଇ +킨 +邵 +狮 +燥 +ޕ +ಭ +犀 +馒 +癫 +沫 +늘 +瑜 +љ +禧 +딸 +瘤 +咖 +抒 +棠 +५ +ቱ +噂 +舵 +곤 +凄 +抠 +Ņ +ሌ +拷 +蓋 +寮 +斋 +४ +ഉ +걱 +呦 +ሬ +俭 +蚕 +揽 +컴 +舶 +맥 +焕 +倭 +睿 +瞳 +鹊 +ಎ +ಥ +辻 +☎ +铛 +弔 +락 +兩 +钙 +崽 +Π +钝 +낫 +밀 +銘 +縛 +殊 +藍 +俞 +惩 +刁 +튜 +褪 +脾 +谤 +跋 +८ +쌤 +획 +Ф +呕 +雁 +躯 +迦 +恳 +啱 +梵 +關 +孵 +晏 +鴨 +ਉ +棱 +疎 +恍 +匂 +咀 +濒 +渲 +绷 +냈 +淆 +胰 +ሻ +實 +팀 +坟 +龚 +쁜 +谊 +溃 +ћ +髦 +诽 +拎 +醤 +曇 +阎 +찾 +娩 +ଥ +ሲ +渺 +骼 +蘇 +६ +啃 +揣 +椰 +嗑 +弧 +懵 +찌 +笘 +辙 +渎 +苟 +۷ +ቆ +빵 +ଗ +汹 +۶ +檐 +喵 +騰 +窦 +歼 +葩 +범 +Ș +억 +隘 +襟 +逍 +攞 +櫻 +ቻ +锚 +赃 +喀 +璐 +蔼 +ဘ +區 +範 +绰 +沪 +碟 +沥 +ଟ +딴 +쩌 +ኧ +७ +ਖ +胚 +篱 +幡 +嶺 +験 +掺 +蚁 +৭ +ਚ +篤 +暫 +聡 +鷹 +茉 +氟 +叩 +擁 +掰 +嗎 +乍 +Ṭ +溅 +煲 +Ở +உ +핑 +旷 +烬 +睫 +굉 +탄 +沧 +跷 +剰 +런 +๊ +ઉ +岔 +枣 +渕 +扼 +咏 +佟 +Ā +悚 +灶 +ẵ +靳 +Ο +醸 +褐 +愉 +媳 +筝 +觅 +彰 +逮 +逞 +矫 +殷 +센 +盎 +ঃ +巅 +聽 +澈 +亞 +姗 +赂 +鑫 +聂 +闸 +Ä +퇴 +螃 +冉 +簧 +疟 +갑 +З +倔 +绎 +翅 +搵 +僻 +眷 +藓 +ଅ +ኑ +Ǧ +ௌ +ଯ +萝 +İ +芥 +ٻ +壕 +謡 +媽 +긍 +ձ +褶 +鉛 +첫 +惶 +笹 +徙 +搾 +Ҳ +걍 +膀 +揪 +໊ +逾 +왕 +ഡ +렌 +씬 +悖 +痩 +裡 +揃 +挚 +娄 +眩 +氣 +ਈ +ጀ +膛 +ଜ +੍ +ፋ +甥 +驸 +荧 +雞 +灸 +焉 +琅 +煌 +唧 +戮 +뛰 +쩔 +팅 +춰 +骏 +凛 +볶 +欄 +镶 +墜 +猶 +械 +酌 +Α +듯 +瑛 +滕 +챙 +镯 +蠕 +丙 +灼 +訟 +鄂 +馈 +柬 +黏 +轶 +豫 +氯 +幫 +喚 +惚 +ઈ +渠 +镀 +ୀ +漱 +Ý +ӯ +皈 +咗 +莺 +ឹ +柵 +碱 +ጊ +徑 +隋 +啰 +ሊ +祠 +층 +诏 +텔 +찬 +箇 +钧 +뉴 +體 +痫 +麒 +փ +ᱩ +녔 +搓 +柚 +竿 +轄 +अ +ಒ +榨 +립 +蛤 +惭 +炳 +飢 +ဟ +ቺ +帧 +鳞 +곱 +헬 +ଆ +锣 +倪 +鸥 +錠 +ڳ +ဝ +ๆ +견 +琶 +饵 +將 +怂 +蔭 +蛾 +榆 +鎌 +揾 +탕 +ዐ +倘 +秉 +賭 +菠 +瑙 +囱 +훨 +缕 +ఓ +撩 +篡 +Ī +缀 +짓 +踝 +辫 +Σ +၏ +邢 +氮 +존 +탁 +硝 +萱 +拴 +烛 +ޗ +铝 +锥 +쇼 +暦 +焊 +릭 +腎 +瘩 +淼 +Μ +乒 +牲 +疮 +蓓 +酪 +霄 +ޢ +ኪ +搐 +츠 +绅 +ៃ +빡 +粟 +遏 +颅 +ጉ +링 +퓨 +磷 +耽 +祟 +瘍 +염 +謙 +霾 +臻 +猟 +诞 +៊ +蔷 +賊 +訂 +贅 +Щ +晾 +Õ +ଶ +霆 +喪 +剖 +嗒 +樋 +疙 +靶 +纬 +ਡ +값 +娴 +貞 +擒 +ൊ +跚 +厩 +烯 +炽 +आ +駄 +侑 +袱 +픈 +玮 +朔 +ኖ +ዜ +滔 +겁 +맘 +漬 +俣 +羔 +囤 +烷 +嗣 +峠 +ǎ +晗 +乓 +蹒 +髄 +ڙ +睾 +兢 +咐 +铮 +ೈ +睐 +蹊 +깝 +翘 +螂 +椭 +ઇ +鈍 +္ +參 +眯 +秩 +敛 +ଡ +鋼 +榈 +號 +掂 +磐 +萬 +裴 +阮 +蔚 +雍 +悍 +젠 +ޙ +駿 +拂 +腊 +寞 +穹 +悴 +憔 +琥 +琵 +밑 +恥 +ဂ +垢 +茬 +坨 +遛 +涕 +掲 +咚 +覺 +嘈 +峥 +꼈 +蝉 +麵 +٠ +땜 +祀 +譜 +ൈ +ᱱ +량 +酥 +橇 +靡 +槐 +Ấ +錢 +槻 +暧 +侥 +ଧ +척 +턴 +吠 +甫 +壌 +갖 +鳳 +ኦ +놔 +쓴 +寅 +麓 +Ö +ഥ +驭 +ቦ +ጅ +낙 +鹃 +Ա +屌 +壤 +Å +낮 +ဒ +隶 +讓 +豌 +憾 +噢 +闫 +ฤ +ժ +ٔ +岬 +萤 +ӳ +ճ +ଭ +匣 +효 +傑 +완 +瑾 +荫 +ଷ +ጨ +액 +諭 +છ +痊 +ऊ +羹 +漩 +砾 +岚 +裳 +규 +థ +ψ +콘 +惟 +렵 +짧 +钏 +窜 +臼 +闽 +Ó +內 +诬 +樂 +煞 +蝎 +弛 +從 +닭 +င +缔 +岌 +怼 +Ò +巍 +곡 +啼 +桓 +谂 +賂 +鳍 +摧 +ޤ +킹 +冀 +彗 +铐 +銚 +Ṣ +깜 +烙 +蜱 +梶 +胴 +莞 +Ọ +Ӱ +呱 +« +狸 +瑕 +痰 +纫 +臆 +ዙ +紊 +肴 +迂 +隼 +稜 +꿀 +茁 +淌 +ഫ +꽤 +믄 +赣 +๋ +洽 +농 +霹 +倚 +晦 +踹 +ᱠ +덕 +嗖 +濡 +猬 +낼 +덜 +Ε +撬 +呛 +þ +ጂ +珑 +瑠 +虜 +훈 +晤 +舘 +嗜 +渓 +瓢 +眶 +쳤 +瞰 +腌 +勲 +蕴 +韶 +뜻 +懿 +蕊 +ቁ +黃 +陨 +鳌 +匕 +籽 +냄 +帶 +稠 +餓 +裾 +梧 +̇ +ኬ +Ḍ +Я +় +닌 +荻 +ਧ +烨 +瘸 +蜿 +齊 +團 +姻 +ឡ +瞻 +ฎ +捎 +ሜ +嚇 +ଙ +殉 +ቼ +厥 +ਫ +ጎ +酗 +哔 +刨 +侨 +痹 +섭 +웬 +骡 +汝 +蜒 +桦 +嘣 +冶 +峙 +樽 +變 +湛 +雳 +呸 +數 +檀 +辍 +笋 +ៀ +崭 +꿈 +藉 +ຝ +悄 +օ +ଳ +ಉ +롱 +쌓 +ॅ +엽 +총 +寥 +՝ +롤 +沌 +允 +咄 +撂 +ኋ +苇 +賣 +엄 +恙 +碾 +蜷 +닥 +觀 +겹 +茵 +蹑 +吝 +璇 +໋ +័ +墩 +猥 +널 +잤 +玷 +薫 +蹬 +弈 +ፊ +俐 +頬 +秤 +ଛ +၊ +쎄 +獅 +橫 +ך +吏 +抨 +鯉 +腱 +ඛ +缰 +秽 +렇 +锄 +呉 +ሙ +찰 +苯 +람 +摁 +幣 +圍 +俏 +撵 +Ś +혜 +炕 +ଚ +猝 +쭉 +穏 +珂 +ਭ +멋 +喳 +狡 +嘀 +韬 +瞭 +惺 +ಖ +끌 +쌍 +讽 +缎 +庐 +拣 +槟 +侶 +嘆 +뻔 +單 +處 +殆 +噛 +庚 +뻐 +즐 +梓 +램 +빈 +雏 +諮 +嚏 +득 +蜥 +뿌 +鳩 +谕 +匮 +婊 +匙 +炬 +싱 +楓 +畸 +頓 +ஒ +噪 +犁 +懊 +谚 +畴 +< +ቡ +讐 +鮭 +꿔 +隷 +梢 +鯛 +坷 +晟 +簸 +疵 +閲 +낸 +컨 +흥 +眸 +侏 +臺 +> +짤 +胱 +Γ +沁 +墳 +襄 +蛎 +빙 +矣 +湊 +ಈ +믿 +잉 +ෛ +蟑 +畠 +셋 +槿 +嬛 +狈 +羚 +隈 +泞 +荐 +吭 +剁 +٘ +炙 +蟆 +牽 +翡 +튀 +ଁ +ᱤ +嗷 +绮 +簇 +娱 +幌 +犊 +漓 +ቴ +牟 +昕 +념 +诋 +俸 +翩 +钥 +淤 +玻 +绥 +칼 +澎 +٫ +攘 +溉 +瀚 +庵 +ઘ +塀 +茧 +哆 +롯 +挿 +殡 +荃 +釉 +窯 +伶 +爺 +瞑 +ڌ +厮 +汶 +풍 +팬 +兒 +絹 +薩 +祷 +慑 +憂 +ฏ +嫉 +輩 +拯 +淇 +馋 +ᱭ +啄 +猖 +絮 +Δ +穗 +녹 +맡 +켓 +Ē +辗 +ఖ +嫣 +Η +ዊ +轉 +惮 +傀 +儡 +啬 +颓 +渭 +筐 +ଉ +ዱ +샤 +ሸ +ឺ +鞘 +驿 +푸 +桅 +浙 +俾 +叼 +ቂ +愕 +聲 +넓 +赘 +蛊 +儲 +岖 +죄 +È +蛍 +朦 +ዕ +貂 +뀌 +폭 +權 +渉 +跺 +酝 +ጭ +焙 +渇 +筱 +ඝ +撸 +洼 +脐 +曖 +옮 +ኳ +翟 +쟁 +蘸 +稔 +紳 +喱 +蚤 +雹 +鞅 +鲤 +☆ +妬 +蹈 +捋 +矜 +ђ +털 +潼 +ኒ +ዶ +袒 +멘 +閑 +陌 +অ +玺 +羁 +卤 +渝 +戎 +ෆ +ჟ +坍 +邑 +昵 +忒 +砌 +磋 +汲 +웨 +젤 +珈 +綻 +镰 +暁 +敖 +槌 +踱 +堺 +ᱮ +摞 +ቹ +钳 +倶 +诛 +寐 +邹 +缭 +솔 +撲 +醍 +樓 +ः +胧 +讪 +醐 +ݨ +ඨ +蜴 +毗 +虞 +떼 +롭 +聯 +钠 +峯 +璋 +賓 +淵 +～ +蜚 +ޚ +湃 +̍ +ಫ +亢 +腑 +숨 +ౌ +枷 +檜 +谬 +岑 +袄 +铀 +Ì +鲑 +\ +杵 +韭 +콜 +烹 +ඬ +ኸ +ਥ +킬 +ඥ +熨 +擂 +赡 +滿 +ሷ +摯 +诠 +匡 +谟 +瞩 +腓 +黯 +ڼ +帚 +뿐 +엑 +흐 +ଂ +顷 +ឆ +潦 +탔 +ኘ +앙 +箔 +똑 +匾 +징 +ሴ +ጃ +邝 +딜 +ဉ +漪 +胁 +羲 +耙 +馀 +訊 +氪 +瘠 +١ +닝 +젊 +흔 +邉 +骤 +슨 +骰 +滇 +繕 +辦 +ஃ +抉 +渍 +彝 +曰 +顎 +랩 +슈 +씻 +냉 +율 +縣 +询 +럴 +Մ +亥 +樟 +樫 +畫 +홀 +尧 +骄 +饷 +걘 +얻 +浊 +령 +씀 +ぅ +鐵 +蔗 +遼 +谛 +杭 +毋 +၀ +땡 +ሠ +憤 +涟 +芜 +鸳 +콩 +椿 +怦 +鸯 +ઝ +၎ +ऐ +擬 +酯 +灘 +钮 +痢 +醫 +餸 +꽃 +凱 +忡 +酎 +냥 +吮 +弩 +續 +荔 +狳 +產 +ጆ +犰 +骇 +ଖ +噼 +紡 +줌 +짱 +趕 +峨 +컬 +粑 +攸 +ŋ +嗱 +ኤ +槙 +Ҫ +ዓ +몬 +拗 +營 +帥 +曙 +ጫ +锻 +浚 +幂 +俑 +笃 +鬱 +廿 +祺 +夠 +杞 +钾 +ݙ +舷 +購 +瘀 +萃 +蜓 +즌 +筏 +涤 +曳 +ฆ +랄 +蒼 +忑 +៍ +胭 +ቲ +ቷ +嬷 +釧 +鳗 +忐 +鼹 +緻 +轼 +벤 +傳 +悸 +렀 +訣 +暉 +锌 +哧 +娲 +禹 +窘 +蜻 +Ł +嚓 +눠 +덴 +똥 +춤 +唄 +諾 +楔 +薗 +錮 +楷 +遡 +ڀ +폴 +鱿 +嗝 +델 +ഈ +뚫 +켰 +柑 +啡 +漕 +凪 +蹋 +ഏ +─ +煩 +객 +專 +篝 +Ż +깊 +댓 +웹 +ੜ +迢 +钰 +芊 +薰 +ੌ +ᱢ +孜 +Ķ +渤 +绯 +碇 +諏 +Ĵ +帷 +涸 +蟋 +芮 +邋 +懇 +擎 +馍 +掖 +鯨 +ዩ +燒 +钵 +ૃ +瞌 +ഖ +沽 +蟀 +ќ +锂 +荚 +鼬 +덟 +딘 +쌀 +蟒 +嫦 +藝 +姊 +률 +ఐ +漉 +誕 +寫 +憬 +萦 +균 +낀 +압 +옥 +卉 +焰 +偎 +殃 +肛 +噔 +鹭 +ٺ +壺 +蝦 +멍 +윤 +컵 +픽 +Ê +榊 +總 +灏 +噺 +紺 +捨 +厕 +盪 +脯 +驹 +ᱜ +崴 +榛 +邯 +鬟 +Հ +ऱ +섬 +왠 +竺 +勅 +栾 +譬 +琛 +蕃 +홉 +骁 +栩 +攥 +俪 +刽 +笙 +遢 +삶 +걷 +눌 +Š +菁 +輕 +妳 +汾 +磺 +醺 +ሶ +ፕ +ᱚ +댄 +셀 +템 +憨 +錬 +喙 +氦 +땅 +릉 +肽 +颯 +黔 +锵 +릿 +밍 +绛 +ヂ +嫖 +炜 +瘪 +臊 +벗 +봄 +쟤 +폐 +蒿 +엘 +詣 +羨 +캠 +孰 +铬 +恺 +恢 +佰 +蚱 +渥 +纂 +纶 +벅 +叡 +捶 +綺 +眾 +憧 +ऑ +ڄ +昴 +誹 +謗 +棣 +汕 +沏 +ᱫ +빛 +馁 +鵜 +涮 +ঈ +଼ +앤 +玟 +芷 +妒 +柊 +琊 +竣 +斟 +騙 +Έ +ዮ +瀧 +艮 +ဗ +糙 +闵 +ጓ +腳 +蜕 +韻 +뮤 +ඵ +낭 +룸 +蝗 +蹂 +ਏ +腮 +럭 +쁠 +ඡ +诧 +镁 +鄉 +鍾 +窿 +蚪 +蝌 +疡 +ዴ +砥 +뷰 +엉 +皙 +撅 +犟 +娯 +掴 +둥 +헐 +혈 +砺 +ਯ +麹 +ฬ +籔 +럼 +捻 +벨 +홈 +嫡 +睛 +ぢ +遷 +伎 +᱾ +哽 +ឈ +堰 +磡 +焱 +翎 +矗 +翊 +Ν +ೃ +၁ +腋 +舊 +豬 +꼐 +썰 +펜 +坞 +ஏ +糯 +ޞ +倣 +凋 +엠 +헌 +흘 +諜 +ヅ +頸 +ሂ +ፎ +꼼 +둔 +삭 +♫ +貓 +踵 +惋 +價 +歡 +昱 +浣 +讹 +喆 +擔 +ף +龛 +艶 +苣 +涓 +躏 +窪 +屹 +恬 +裘 +糗 +绚 +錄 +霓 +噱 +껄 +槍 +蹩 +~ +孢 +춘 +힐 +햄 +夯 +潟 +漾 +偃 +咣 +癞 +訃 +딨 +Ն +찜 +촬 +춥 +罠 +麸 +獭 +镳 +铠 +ጡ +吒 +삐 +잃 +찐 +틱 +핀 +皐 +闺 +榎 +娼 +ୂ +ឋ +阂 +몽 +Ļ +Ս +ృ +詫 +铎 +僅 +菓 +៏ +卯 +噎 +榕 +馄 +樵 +랙 +ᱛ +괴 +낳 +힌 +疱 +舜 +祛 +箍 +劉 +枸 +盹 +觑 +ൃ +戯 +驗 +례 +핫 +Җ +Қ +醛 +嘩 +慵 +섞 +큐 +팩 +ઠ +ឌ +圖 +藕 +蚓 +呑 +喩 +곧 +닫 +밝 +앨 +毡 +跛 +秧 +嗮 +褛 +讷 +툰 +@ +虱 +蟾 +壱 +晖 +碜 +嫔 +Ă +Ģ +٢ +鋳 +협 +颚 +踮 +酰 +鳟 +禍 +阜 +挛 +箕 +ᱧ +腩 +꽂 +쏘 +탑 +碘 +잖 +彷 +鸠 +缇 +绢 +ฑ +猕 +밴 +퀴 +戟 +巳 +隕 +啤 +擢 +睽 +辘 +痉 +ፖ +熠 +鞑 +饨 +ሐ +褴 +阈 +묻 +烏 +酚 +惣 +ຣ +阑 +犒 +碉 +龈 +靼 +ਘ +蛰 +阙 +놈 +땠 +鬃 +또 +哝 +Ồ +낄 +싹 +첨 +蔻 +鑼 +毀 +痣 +釘 +偕 +湍 +燎 +钗 +咫 +덩 +箋 +罹 +孚 +宓 +ඤ +ቋ +燈 +왼 +꿨 +흰 +၍ +庾 +盡 +躇 +鎧 +幢 +浒 +胤 +荤 +鼾 +孀 +蹿 +裝 +獾 +皖 +蛀 +蚯 +颐 +좌 +棲 +^ +獗 +睑 +苞 +鳕 +腦 +뒷 +Ј +楞 +ଠ +ኞ +ዞ +납 +떴 +쩍 +斷 +憶 +泸 +勸 +铰 +洱 +緯 +겸 +ૌ +粽 +咤 +宕 +쿨 +ֆ +ڃ +‟ +鞦 +빤 +뼈 +슴 +엇 +칸 +莘 +挝 +韆 +夭 +腆 +Β +뚱 +칭 +閃 +蜍 +謹 +迄 +坯 +傣 +谏 +祯 +羯 +鹑 +ሃ +Բ +ഓ +寶 +戲 +轧 +拮 +椛 +佃 +蠣 +礎 +囧 +丕 +摒 +榻 +ヱ +扈 +薙 +렁 +‧ +啷 +舉 +侬 +邃 +垛 +怔 +闰 +ፓ +혔 +⁄ +氰 +끗 +덮 +證 +虻 +俚 +壑 +瞿 +藥 +衩 +ѳ +喎 +醜 +갠 +뒀 +멜 +컸 +핸 +뚝 +晌 +අ +ೌ +扪 +| +荨 +깎 +짬 +雙 +髅 +圃 +蓟 +鹫 +榮 +绫 +藐 +贻 +ኢ +亂 +禮 +賜 +샵 +측 +ฒ +胥 +骷 +앴 +褂 +較 +恃 +垦 +麝 +诲 +뜬 +갚 +턱 +ፅ +媲 +馏 +駕 +톤 +닮 +壽 +剽 +篓 +馊 +鹂 +圓 +壹 +잊 +Ե +٩ +亘 +缽 +翱 +貪 +얀 +펴 +ঔ +罂 +鳖 +黝 +汞 +痺 +佯 +稷 +恪 +彌 +砦 +ጪ +爭 +찔 +痞 +喰 +狒 +戬 +簪 +憑 +‒ +嗌 +嗤 +囉 +諒 +뚜 +팡 +罵 +楊 +噶 +凜 +≪ +〜 +匐 +芈 +鹌 +诃 +鳃 +】 +涎 +腼 +Є +ጤ +泷 +漸 +蚌 +끈 +땀 +띠 +爾 +脓 +髋 +ૈ +廳 +虔 +缜 +楢 +褥 +暄 +禺 +怅 +ፒ +阉 +끓 +렉 +벼 +뽀 +틴 +팠 +Ӹ +褚 +啜 +雖 +ୱ +【 +槲 +ଫ +雉 +馥 +烊 +ୃ +摹 +羟 +騨 +琢 +钊 +ൺ +٥ +ඈ +꼴 +댔 +豐 +廻 +沂 +啾 +埼 +徨 +剐 +唏 +轲 +牒 +ဏ +븐 +샘 +據 +峪 +錫 +밖 +漳 +炅 +荼 +၂ +玖 +絢 +镍 +沓 +뺐 +칙 +桝 +啕 +紐 +讀 +凰 +麥 +吆 +淞 +瓮 +耦 +佘 +喋 +孺 +螨 +ៈ +苫 +闩 +Θ +醬 +뷔 +篆 +鉾 +蔬 +桔 +锢 +讣 +辕 +鸵 +꽁 +Ԑ +赈 +遁 +隨 +掸 +暨 +陇 +宦 +戛 +睬 +፡ +嘚 +歲 +汛 +렛 +씹 +잇 +嚴 +檢 +흑 +麋 +佼 +랫 +鮎 +脖 +歷 +勞 +楂 +蚂 +Կ +兀 +ሏ +舛 +녕 +뇌 +릇 +짠 +힙 +冴 +蕎 +崗 +膿 +侮 +茛 +攪 +逅 +匍 +邂 +瘁 +Ի +ڇ +ឃ +△ +ঋ +ਝ +曬 +멈 +묵 +컷 +혁 +휘 +깃 +椋 +ヵ +潺 +螳 +鳅 +ಘ +ဇ +迸 +拄 +浃 +钛 +낚 +얇 +헷 +흡 +ਛ +搀 +렴 +黜 +闆 +惬 +帛 +戰 +৷ +ଘ +€ +蜢 +鲈 +遐 +뽕 +캡 +砧 +碼 +邨 +ឱ +溥 +咿 +锹 +砚 +熹 +Ả +‚ +珺 +紬 +Ẹ +凧 +戊 +곰 +畢 +鱗 +苹 +笞 +箫 +Դ +瀕 +Ū +ፉ +谩 +겉 +쭈 +탐 +Ό +廟 +怆 +絕 +꽉 +鬣 +塵 +羡 +Λ +댕 +뜯 +ጽ +稱 +覗 +꾼 +劃 +卻 +栞 +雛 +跆 +抿 +잘 +啧 +俨 +汴 +賽 +叟 +Ҙ +ଓ +渾 +糾 +긁 +“ +Ġ +ǹ +ٰ +ឿ +泯 +泾 +묘 +쪘 +쫓 +婧 +籁 +淄 +痨 +弑 +忱 +淨 +縞 +酣 +繼 +Ι +ѓ +ଞ +壞 +겪 +烽 +묶 +썹 +풋 +宍 +苷 +靜 +羌 +矯 +Χ +啮 +胯 +賺 +吖 +냅 +붕 +쉴 +ૉ +獨 +덤 +詮 +臃 +焖 +獒 +紹 +諗 +岱 +璨 +讃 +둬 +璧 +痔 +冽 +舀 +弼 +徇 +綠 +繭 +镣 +驮 +ऋ +搡 +搪 +砷 +닷 +닿 +땄 +욱 +웅 +찝 +ဦ +噗 +醚 +谑 +紘 +炷 +枭 +罔 +蚣 +颌 +璞 +닦 +ĺ +ሕ +馴 +긋 +랍 +咨 +粱 +ໆ +蛭 +骋 +囡 +ץ +劵 +濟 +纣 +荟 +蛟 +뀐 +밟 +Պ +膠 +ៗ +ൗ +狛 +琰 +畝 +觐 +擀 +蒔 +蚜 +귄 +빅 +쫄 +촉 +螈 +蚝 +郸 +飴 +鸞 +娓 +皎 +眈 +捺 +砒 +糞 +茱 +裆 +갤 +뺏 +쭐 +쿄 +팟 +赝 +犸 +蜊 +惆 +瘴 +笆 +讥 +钨 +驷 +宸 +戾 +賑 +ڍ +ሯ +ጦ +랭 +룩 +뺄 +샐 +숫 +팝 +Ո +桟 +罄 +槃 +捗 +轱 +濕 +谙 +ሦ +榔 +溫 +璀 +诣 +늙 +썩 +쫙 +톱 +爛 +铂 +奧 +鹈 +赳 +膵 +渚 +缈 +耘 +唰 +綴 +豺 +龊 +龌 +٣ +ඌ +犷 +葆 +颞 +馳 +릎 +숭 +쌩 +썸 +祇 +險 +蝓 +鴻 +熾 +蛞 +沱 +潍 +堇 +ਐ +尬 +粕 +辄 +껍 +넨 +룹 +샌 +쌌 +좁 +핵 +Գ +榉 +臥 +鹕 +蟻 +咝 +缥 +∞ +刍 +惘 +牦 +絲 +ጁ +屬 +讧 +돋 +맙 +౦ +ᱞ +啟 +뺀 +埗 +悶 +毂 +贋 +顆 +鲟 +孬 +昙 +薮 +壓 +狀 +缤 +藜 +鹽 +麩 +갓 +멤 +믹 +뱅 +붓 +윗 +쩐 +췄 +斓 +莴 +펙 +ヲ +釋 +袅 +躊 +阚 +囔 +铆 +Ț +ሑ +ጌ +兎 +戍 +涝 +诟 +铿 +쨌 +쩨 +Ĥ +Ӧ +ፀ +冑 +廠 +앱 +秆 +糠 +鮫 +桧 +垩 +耷 +镐 +엊 +夙 +宥 +濠 +繍 +ઢ +佗 +戶 +皑 +蝾 +쫍 +莆 +饉 +懷 +එ +啁 +赊 +鸪 +挞 +鹧 +ඓ +蔫 +뜩 +띄 +략 +뤄 +맵 +폼 +甬 +烩 +碴 +钍 +掇 +閒 +奘 +羿 +趙 +Ō +Ά +ഘ +၉ +ቪ +弋 +斡 +衲 +辿 +쥐 +쪄 +珞 +瓯 +壬 +鬧 +忖 +¥ +ဓ +肓 +薅 +靈 +靛 +ఘ +ಏ +轭 +윙 +ÿ +亟 +呲 +咻 +硒 +絨 +魯 +껌 +덥 +듬 +빽 +飒 +迥 +Վ +彙 +즘 +ϊ +蜈 +嗲 +觎 +轟 +귤 +낯 +쌈 +찢 +쾌 +팍 +ဥ +揄 +煦 +熵 +淺 +玫 +哐 +藪 +Ñ +Φ +Ԥ +٤ +埠 +拈 +炯 +굽 +뻤 +뿔 +셜 +Į +Թ +珏 +疽 +缨 +揶 +囃 +梱 +餡 +鰹 +燻 +Ħ +撥 +爻 +脫 +雫 +霁 +ኙ +擇 +踌 +鬓 +겐 +쩡 +텀 +텍 +ਓ +뭉 +햇 +鯖 +髭 +傭 +蛐 +鰻 +遜 +ഠ +› +怄 +裟 +啩 +恣 +斛 +檻 +谔 +踞 +닉 +맹 +잼 +詐 +櫃 +浏 +綬 +攫 +冢 +綜 +芃 +歆 +殇 +鄭 +鲱 +黨 +ፃ +ᱨ +Ụ +‹ +滓 +濤 +갱 +앗 +쵸 +캔 +抡 +輿 +擊 +苓 +歎 +幔 +愫 +萼 +檸 +嵇 +薏 +蘿 +Ӓ +ፌ +딪 +Ք +ሔ +憐 +洸 +燧 +珩 +껏 +셉 +즉 +펌 +珐 +瘙 +粵 +膽 +荏 +镊 +劾 +妲 +缮 +靚 +鳏 +Ţ +ఠ +ቄ +昀 +椀 +袤 +遽 +흠 +Џ +仃 +婵 +诩 +鍼 +쉐 +탱 +奚 +饯 +桢 +樺 +锭 +蚬 +跻 +ޠ +膺 +ԑ +ޏ +ဤ +哂 +攰 +葦 +錐 +” +ỵ +靭 +뺑 +엥 +탠 +帼 +〇 +姪 +晰 +摺 +ឬ +恻 +惡 +蹉 +à +၅ +궈 +멸 +빴 +쇠 +푼 +Տ +巌 +掳 +撚 +膈 +蛹 +胛 +舫 +缚 +舐 +鲫 +荞 +豉 +叻 +骛 +龋 +糜 +둑 +뢰 +륵 +얹 +煉 +痤 +蝽 +煨 +膦 +嚿 +蛆 +蟲 +钴 +顯 +} +ᱴ +歸 +湄 +Ő +Լ +Ռ +٦ +銷 +깥 +뱃 +嶙 +鄱 +錣 +烃 +謁 +炀 +潢 +煜 +娑 +痿 +၆ +ቨ +跎 +꼽 +댁 +밭 +섹 +숏 +쎈 +쥬 +츄 +칵 +콤 +ૅ +瑰 +襷 +楕 +瞠 +酉 +鹬 +叵 +婕 +庖 +觊 +謂 +闊 +٨ +偌 +挎 +锏 +룰 +뭣 +봇 +빔 +융 +찼 +퉁 +헛 +汎 +蟠 +ゞ +箏 +峋 +堑 +痍 +纥 +勵 +粼 +钚 +퀄 +ᱥ +窩 +螯 +髻 +鱲 +′ +巽 +谄 +꼰 +뇨 +뜰 +볍 +빚 +툭 +펑 +ਊ +涣 +淬 +稅 +魇 +姣 +疣 +胫 +酊 +檗 +猾 +跄 +踉 +瓒 +骊 +鬆 +ґ +咦 +肱 +臉 +鞄 +넉 +빗 +뻥 +얄 +엎 +칩 +훔 +Ə +ઊ +泱 +狞 +윈 +欽 +涧 +匝 +籌 +鲶 +嘗 +鰂 +鹩 +濮 +姦 +恿 +袈 +£ +撐 +曉 +聰 +蔥 +郴 +ʿ +໌ +၈ +ጄ +ឥ +戌 +蕙 +蠻 +贮 +铵 +깄 +앵 +혐 +檎 +緋 +桉 +骞 +坳 +箴 +桀 +鏑 +瀛 +礴 +芪 +ঊ +倖 +谵 +{ +Þ +၄ +喹 +燔 +芍 +詢 +遙 +깡 +뀔 +넥 +젝 +핏 +횟 +Օ +ઞ +洩 +颧 +燭 +뭐 +ঞ +繰 +呷 +鲻 +ங +鳝 +鹪 +偻 +珥 +铡 +ಞ +戀 +狰 +璜 +纭 +蝈 +ሟ +‽ +敝 +砝 +삿 +샷 +쏠 +쿼 +揸 +锰 +掟 +葭 +鸚 +謳 +罷 +湮 +蜃 +Œ +ಠ +诙 +ਠ +ಐ +厭 +咛 +掻 +揿 +纏 +荀 +菏 +蓦 +袂 +镫 +뱀 +뱉 +짰 +嘔 +歐 +礒 +葡 +鋸 +匯 +滉 +倹 +៌ +擺 +痱 +篑 +遲 +鹳 +嬴 +惴 +鰺 +၃ +彈 +滟 +簾 +苋 +٧ +ਢ +၌ +★ +ゑ +窈 +葺 +谪 +랗 +맣 +틈 +耆 +苅 +铉 +鹋 +妩 +塹 +牆 +獐 +Չ +ଵ +怵 +獻 +硌 +磴 +ୌ +绌 +굿 +껀 +띵 +뻘 +슐 +쩜 +툴 +椽 +濂 +焗 +裱 +챔 +穩 +茗 +橿 +镑 +脷 +錆 +寰 +阡 +忻 +矾 +镭 +骜 +駛 +詔 +냬 +뉘 +듀 +횡 +ȋ +ቧ +ᱷ +厲 +屐 +徵 +谗 +貰 +렬 +쿵 +唸 +嚥 +塙 +澪 +櫓 +燦 +అ +І +噚 +榷 +孪 +揀 +擞 +纜 +Ø +Ρ +⠀ +伢 +缄 +翳 +蛳 +諫 +谥 +賦 +雜 +鮑 +Ζ +Ї +Ֆ +٪ +丟 +獎 +秸 +郦 +隱 +깼 +므 +팽 +푹 +仄 +廈 +杳 +涞 +淅 +袴 +繳 +撫 +嘤 +笺 +髮 +穣 +纾 +鲭 +ኃ +垠 +牠 +睨 +၇ +ጻ +佞 +櫛 +虛 +鲷 +갇 +똘 +쇄 +쑥 +젖 +탭 +훌 +淚 +贏 +镂 +阖 +夥 +滲 +簽 +菰 +鹹 +绗 +牝 +霏 +逵 +鹜 +鸸 +噏 +忤 +瞓 +啖 +Ω +՛ +ޟ +ሹ +ᱵ +殼 +礫 +簌 +蛔 +蛯 +铤 +곽 +귈 +됩 +벳 +숱 +숲 +첩 +탓 +틸 +펼 +Ҷ +ጸ +鋪 +쁨 +饽 +忿 +濾 +畿 +澁 +穢 +矶 +绉 +嚢 +犄 +筵 +茴 +莅 +Ջ +ଢ +嗔 +诓 +隍 +셰 +ŕ +ఛ +悌 +槇 +蘋 +鵝 +녜 +맻 +벙 +섰 +썬 +쏟 +퀘 +흉 +Ď +Ь +寵 +廢 +祓 +麽 +蹼 +鋒 +槭 +懋 +窕 +̂ +嵜 +掣 +灞 +襯 +邈 +锱 +魷 +Շ +ޘ +ቫ +峽 +碓 +謠 +遴 +颦 +멕 +킥 +ዥ +ឧ +叢 +鍮 +黐 +갸 +뎅 +옵 +훠 +覽 +暹 +甾 +疸 +鴎 +缛 +烁 +猁 +猞 +ឯ +佝 +欖 +瀝 +罡 +萸 +藿 +̄ +咂 +螢 +铢 +頚 +饗 +鸢 +ઑ +Ừ +嗬 +嘥 +嚕 +爲 +纨 +겟 +굔 +냠 +콕 +텝 +훅 +Ң +悻 +潛 +苺 +藁 +鶯 +黍 +넛 +濫 +鄰 +蠅 +襖 +枇 +盧 +廚 +褓 +賤 +幄 +栀 +盃 +鑊 +珅 +绾 +蔦 +遨 +Ҩ +ۂ +嬲 +繫 +膊 +룬 +맺 +옴 +쭤 +팁 +폈 +瑪 +癸 +삽 +첼 +锑 +龜 +嵯 +氚 +蓼 +ຼ +珪 +揖 +瑚 +膻 +霎 +飕 +Ή +Խ +峦 +廁 +蘆 +衢 +蹟 +锉 +ሼ +啵 +恆 +焯 +诿 +깅 +뛸 +륨 +밸 +쉰 +텅 +壯 +夾 +峒 +蝋 +餘 +勁 +哏 +檄 +赭 +毓 +燗 +鮨 +榭 +啶 +梆 +嵘 +轢 +嗟 +ጮ +嬰 +捱 +蹶 +꺾 +텨 +Ӑ +ኗ +ዤ +ዷ +፤ +冚 +搖 +楣 +浔 +瞟 +诨 +骥 +닙 +젓 +펐 +繞 +鹸 +瀞 +燮 +苜 +湎 +靱 +閻 +杷 +臧 +噻 +囫 +溴 +阄 +Ҵ +簑 +薔 +蠔 +頁 +ፐ +〔 +檔 +閱 +겄 +괄 +굶 +귓 +깠 +꽈 +넜 +럿 +옹 +욜 +쬐 +漑 +潸 +唷 +笈 +鱈 +蓿 +剌 +酩 +佇 +唑 +嶼 +钒 +胝 +胼 +蛱 +圩 +礙 +趨 +Υ +櫂 +玥 +瑄 +绺 +蔔 +鸬 +鹚 +Æ +ୈ +墾 +搶 +盅 +绡 +蚩 +閪 +ž +­ +̈ +ۖ +ଝ +ሾ +ዪ +琏 +굵 +눅 +늬 +됨 +붉 +샴 +씌 +얜 +옳 +욘 +傥 +蜣 +迴 +鱧 +唢 +殒 +菫 +沣 +爐 +泗 +揆 +靉 +倏 +疥 +卞 +噉 +囵 +殘 +氙 +腚 +銮 +ᱣ +慘 +搔 +犠 +盥 +綫 +蒐 +褲 +訝 +辊 +© +® +ቭ +〕 +吡 +啉 +痂 +觞 +貘 +鷺 +눕 +늑 +늫 +렷 +벚 +뻗 +얌 +얗 +왓 +짖 +Ư +唁 +圀 +鐔 +륜 +뻑 +쓱 +왤 +滘 +濑 +岷 +疋 +蓑 +譚 +铯 +毘 +諦 +襁 +讴 +鄞 +緣 +膘 +禰 +泮 +璎 +莊 +蔺 +裨 +陂 +馗 +ڦ +ಃ +ጩ +渫 +溧 +獠 +祢 +诌 +赅 +괌 +렘 +렙 +ኚ +Ủ +兇 +彿 +荠 +谀 +댈 +룡 +륙 +및 +뿜 +셈 +읍 +찡 +毬 +辋 +箩 +饅 +拚 +紆 +葚 +儺 +籾 +菀 +呤 +煸 +琲 +胍 +玳 +谴 +镉 +俎 +洵 +锲 +颉 +僱 +柘 +栎 +疝 +萢 +鑽 +骶 +〆 +儘 +汩 +腭 +Փ +佈 +掮 +梏 +歙 +毽 +涿 +矬 +엮 +Û +Ѐ +ዣ +ᱡ +ᱦ +喬 +嫲 +嬌 +懶 +筲 +糅 +辭 +霭 +낑 +뎌 +뛴 +봅 +솜 +엣 +왁 +찹 +칫 +懼 +禎 +ဌ +娆 +鬚 +荥 +笏 +嶌 +癣 +攣 +鍬 +嘌 +捌 +孑 +淦 +瑁 +硼 +擾 +泓 +閾 +楯 +蝕 +ゐ +哙 +姝 +孖 +盂 +胄 +Ɓ +ଃ +ഊ +ዌ +ፆ +倜 +卅 +卍 +柩 +鲅 +갛 +껑 +껜 +륭 +뭇 +슝 +싯 +쏴 +잎 +콧 +팜 +펀 +ඞ +婀 +톨 +洙 +硤 +梠 +锆 +筧 +鵤 +菖 +邬 +軋 +栉 +忪 +桎 +筠 +脍 +锃 +佔 +儆 +掬 +旮 +荊 +ᱹ +隽 +饴 +훑 +Ċ +Է +ቬ +ጧ +奂 +滷 +癮 +蝼 +슥 +쏙 +왈 +팥 +핥 +Ը +乸 +擤 +縱 +铍 +멧 +Ў +嘹 +埴 +悅 +欅 +谒 +鴛 +ឲ +嘭 +箪 +鴦 +恫 +覃 +穎 +郜 +韋 +僭 +痙 +邁 +哌 +疇 +惇 +侗 +箒 +埂 +讶 +邺 +鲹 +稞 +蒡 +賴 +Զ +绶 +贖 +铱 +Ҭ +亳 +坩 +柒 +纰 +觸 +Ɗ +ፏ +⋯ +劑 +擴 +殲 +溏 +茯 +깍 +붐 +뻣 +샹 +줍 +쯔 +펠 +敕 +깬 +꾹 +뮬 +빰 +숍 +즙 +쭝 +쾅 +퀸 +킵 +펭 +헝 +俥 +滂 +瘘 +캘 +嗪 +衞 +睢 +铣 +韮 +翦 +娠 +旛 +翫 +蕈 +譯 +吽 +囿 +͘ +讚 +钹 +Ƙ +ǔ +Ұ +阕 +阱 +麿 +쫑 +쿡 +ဧ +ሣ +嬤 +懺 +晁 +殓 +滾 +苻 +钯 +饬 +껐 +꿋 +덧 +뵈 +엌 +잌 +Ë +沅 +瑩 +撻 +笥 +尕 +簀 +竈 +縷 +鮪 +糀 +謄 +侘 +鰭 +氩 +籐 +舖 +皺 +伫 +弭 +欸 +泙 +Ύ +祚 +缢 +聒 +诰 +鄢 +鴫 +鹄 +齡 +Ξ +ಓ +ᱰ +垓 +燉 +筈 +贊 +鬥 +Ĩ +Ź +ഐ +ඖ +ᱲ +侩 +惱 +杓 +涪 +漿 +炆 +觥 +颍 +餵 +麾 +겜 +괘 +꿍 +돕 +돗 +딲 +릏 +맑 +뵙 +솥 +앚 +쫀 +쭘 +펄 +Ũ +Ӗ +┐ +榧 +癜 +缱 +饕 +驅 +鲇 +젯 +퍽 +갯 +憫 +爍 +鄧 +萘 +廼 +吁 +茲 +鉤 +埚 +墉 +慳 +泔 +猢 +瑭 +旌 +孱 +屆 +弐 +珉 +祗 +薑 +Ŵ +ʽ +Њ +ѐ +ഛ +ቾ +Ị +唞 +囁 +搽 +旯 +绻 +腧 +膣 +謊 +谆 +谌 +蹤 +钽 +靂 +뚤 +몫 +삥 +웜 +줏 +쩰 +츤 +캉 +큘 +팸 +펍 +펫 +헨 +崑 +瑤 +痧 +轍 +顛 +飚 +鵑 +龅 +롬 +잣 +횐 +ಛ +ඍ +滯 +薹 +譴 +桿 +氤 +蹙 +÷ +鵯 +臘 +鲼 +甑 +鯵 +嬬 +婺 +杈 +鬶 +鲠 +鳶 +嬸 +骅 +ઋ +啐 +嗫 +尴 +徉 +抻 +煬 +瓊 +祜 +虢 +鈿 +俶 +倌 +撳 +棗 +樸 +珲 +癬 +笪 +錶 +삘 +씽 +ኡ +ፔ +剱 +彎 +獰 +甕 +綁 +腍 +芡 +薈 +蜆 +逑 +겔 +곈 +뤘 +뾰 +옇 +윽 +잭 +텃 +텼 +픔 +兖 +勳 +擰 +朧 +桤 +睏 +迩 +흙 +舩 +訛 +馮 +撈 +攬 +祎 +饒 +儚 +ឍ +纈 +纐 +莳 +氘 +鑓 +葳 +莪 +儂 +繇 +苒 +恸 +舢 +刎 +徜 +桠 +繹 +芫 +杢 +榫 +氲 +睜 +箜 +篌 +貅 +閖 +ᱼ +屙 +敘 +暈 +梾 +籤 +謬 +낌 +씁 +씸 +Ĕ +Ŭ +Ӡ +ቿ +傢 +呟 +悭 +溟 +璽 +瓴 +绔 +芩 +貔 +酞 +釀 +鍊 +鲃 +깁 +돔 +둡 +랴 +썪 +짭 +짼 +퀵 +폿 +홋 +ఞ +潞 +癲 +鋲 +캄 +퐁 +瀾 +訶 +贄 +ಢ +羰 +羸 +麂 + +剋 +滁 +瑳 +谶 +荸 +좀 +碲 +楳 +鲳 +煕 +戇 +溲 +膑 +ޣ +壷 +擠 +聿 +伉 +滦 +睥 +繩 +脘 +荽 +崙 +攤 +柾 +砀 +籮 +蠡 +谧 +ഔ +挲 +晔 +琮 +瘋 +藨 +钣 +Ơ +Ҟ +ಔ +ዑ +ጵ +Ứ +‫ +∈ +凇 +懑 +掙 +揼 +涜 +炔 +繪 +腟 +芾 +錘 +頒 +驟 +鹞 +꽝 +넬 +눴 +뜸 +밉 +뵀 +삔 +샜 +셌 +쑤 +엿 +콸 +Ҥ +Ҽ +ဿ +捩 +禿 +竇 +譽 +郫 +둠 +뒹 +렐 +맴 +뽈 +첸 +拋 +淙 +盞 +丶 +寬 +獵 +窰 +舳 +註 +ઃ +诅 +閤 +鴇 +嘧 +慄 +攝 +蝨 +鰯 +貶 +臾 +笕 +頷 +镌 +竪 +噤 +诘 +锗 +閘 +嗚 +壩 +撺 +晷 +桡 +棹 +耧 +趸 +→ +妁 +牯 +瓿 +笄 +蛄 +豈 +铖 +骐 +鷉 +鸾 +屍 +楸 +踽 +锒 +鲲 +섀 +켄 +Ľ +ӊ +ጇ +ጬ +◎ +嚨 +姒 +蒺 +蝸 +輻 +鸨 +齟 +깰 +끽 +낵 +눔 +닳 +밋 +밲 +벡 +뺨 +쉘 +슉 +쌔 +짚 +촛 +춧 +캣 +캥 +튕 +휙 +ਔ +ఢ +೧ +ᱯ +偲 +劍 +枱 +膩 +艷 +菸 +詛 +豇 +낡 +됬 +둣 +쌰 +撷 +贰 +躙 +辯 +遑 +Յ +楮 +誼 +瞞 +祿 +绦 +廬 +皋 +妝 +鸮 +떤 +圳 +捲 +陝 +獺 +媾 +魍 +鼩 +鴈 +ゝ +狲 +釐 +铄 +沮 +蘼 +邕 +钎 +靥 +鞣 +♥ +姘 +娣 +稹 +胳 +郅 +阆 +颱 +餮 +־ +儋 +厝 +肅 +誊 +騷 +숟 +’ +— +Ճ +՞ +ኜ +ዢ +ዦ +Ố +嘍 +揩 +曆 +栢 +潋 +箬 +糍 +遞 +髡 +鰐 +鲡 +鲢 +齬 +걀 +꺄 +꿉 +뗄 +빕 +얽 +읏 +잰 +쟀 +컥 +킷 +햐 +흩 +ඣ +ፑ +៣ +寳 +淖 +灑 +錨 +駁 +랠 +썽 +웰 +젬 +탬 +툼 +핍 +檳 +籃 +僑 +橼 +脹 +銛 +钜 +盱 +籲 +陲 +颔 +勖 +蓖 +郢 +檯 +粂 +獏 +燿 +祕 +鯊 +枡 +惕 +兌 +钼 +鞆 +● +綦 +蕗 +埜 +焘 +劭 +愎 +橈 +鎚 +锷 +鞏 +齁 +龇 +ဍ +♂ +侪 +窠 +肪 +蜇 +逹 +邛 +卟 +撓 +燐 +纖 +郓 +闱 +餞 +鹓 +俬 +呔 +澧 +燴 +犍 +羧 +葶 +谲 +¬ +Ć +ː +̓ +ڱ +ۚ +ඪ +ፁ +ᱪ +Ẩ +呎 +哣 +噃 +搣 +淒 +苕 +萋 +襪 +訇 +諄 +謢 +邳 +鉈 +鴉 +鸻 +갭 +곶 +넹 +뗐 +룽 +맷 +샾 +쐈 +쨍 +챠 +컹 +튠 +푠 +ˮ +Ί +Ҿ +ޛ +ዟ +悗 +耒 +躾 +鏟 +閂 +곁 +맏 +뮌 +찻 +睪 +礦 +筺 +艱 +賬 +镕 +蕕 +炝 +聾 +逡 +ฌ +瀋 +詭 +鲣 +侉 +埙 +慟 +蜉 +钡 +輯 +諧 +吳 +鐙 +陛 +撹 +苧 +劔 +濛 +齧 +Ժ +剝 +吩 +徕 +镓 +ൌ +佻 +嚅 +岘 +窨 +跬 +銜 +骢 +魉 +鰓 +㩒 +嬗 +旎 +旖 +氫 +洄 +牺 +篙 +舂 +闌 +飄 +Ծ +ḿ +仞 +嘯 +噓 +囹 +圄 +岿 +恁 +揦 +殚 +沆 +簕 +莠 +莼 +萊 +鰆 +ɔ +≡ +砣 +辇 +궐 +뽐 +„ +š +§ +Ť +Ձ +ۓ +ጢ +ፂ +ፄ +Ổ +Ờ +僆 +棂 +獸 +瓏 +瘢 +聳 +荛 +衿 +遒 +鑰 +镬 +깽 +꺠 +끙 +늪 +댐 +딥 +딧 +랖 +룻 +릅 +봔 +봬 +뼛 +섣 +쉼 +싣 +쎘 +얏 +윌 +쥴 +쯧 +챈 +챌 +촥 +톰 +핬 +圪 +屜 +捽 +珮 +碛 +臟 +螫 +輋 +醪 +骠 +똠 +맸 +샬 +沔 +禊 +襦 +趄 +邇 +剜 +筍 +緞 +虧 +趔 +铩 +埒 +憚 +扦 +罟 +囮 +賈 +匁 +吲 +哚 +雎 +鄒 +飫 +縊 +讼 +濯 +竊 +铕 +蓣 +ๅ +潑 +瀉 +Ґ +ಊ +屓 +碣 +粳 +苈 +蕤 +誨 +跖 +騾 +魑 +⸺ +倅 +幇 +廂 +柺 +楡 +瀨 +狆 +籏 +籬 +跣 +锶 +镆 +韌 +ΐ +佚 +汜 +牍 +牴 +癱 +蟬 +顏 +ϋ +ዉ +▪ +佥 +刿 +噙 +孭 +洮 +漲 +猷 +瓤 +疊 +癡 +矍 +硯 +稃 +讫 +贔 +꾀 +떵 +맬 +빳 +챕 +‘ +– +ƴ +ؔ +ઔ +ෲ +ኣ +១ +啞 +夘 +嵋 +徬 +慾 +斂 +渌 +滌 +漯 +燶 +砵 +稟 +笤 +蓆 +螞 +覓 +諺 +诳 +谡 +踎 +躉 +鈔 +铋 +陞 +顼 +麪 +갬 +궜 +궤 +꿇 +덱 +떳 +띨 +룐 +몹 +삑 +슁 +쏭 +앰 +욤 +웩 +잦 +죙 +챘 +첵 +촘 +쿤 +킴 +텁 +퓸 +훼 +ઍ +冧 +勐 +擸 +晉 +汨 +燊 +瘡 +癇 +眀 +鎹 +铷 +鯰 +鱒 +딤 +앓 +얍 +윷 +쟈 +팎 +囗 +諌 +鋤 +壆 +嶄 +碕 +綵 +闢 +鳐 +秣 +簗 +蕪 +氹 +兪 +恹 +鈕 +钇 +蝣 +軀 +畲 +埕 +潅 +瞼 +褄 +詈 +邏 +颶 +莟 +艙 +碩 +筅 +钐 +寤 +徭 +銑 +朊 +楝 +澩 +竽 +褌 +覲 +铑 +鵠 +捭 +哞 +墊 +忾 +杼 +玑 +砭 +芨 +菡 +锇 +埓 +壅 +峅 +崧 +徠 +悱 +瑧 +脩 +邙 +铨 +鱸 +鸩 +ẅ +壢 +泫 +爰 +箝 +耄 +耋 +▲ +垭 +巒 +捯 +撿 +攋 +梼 +璟 +疖 +痦 +紥 +缬 +腈 +菝 +逓 +铒 +鬢 +魃 +뎁 +ѝ +垚 +擲 +眦 +絃 +舄 +蘅 +隸 +髯 +鲛 +鹱 +뎠 +딛 +몄 +쨈 +휠 +휩 +ȃ +Ց +ۃ +ॠ +ḅ +ヮ +勻 +卌 +吋 +噸 +囝 +奀 +戆 +揈 +揞 +搲 +攏 +昶 +暅 +椶 +榲 +橞 +涠 +珙 +琬 +磚 +粝 +糰 +緬 +罫 +羈 +葜 +蒹 +蕁 +薷 +蠱 +襴 +轸 +邰 +鏈 +鬘 +龐 +긱 +꺽 +늠 +뎀 +딕 +띡 +뵐 +셧 +슌 +웍 +윳 +짙 +쫒 +텄 +헉 +헹 +훗 +Ώ +♯ +刪 +妯 +廪 +瀟 +犧 +畦 +癪 +矽 +禪 +腴 +袢 +鉦 +鏝 +뽁 +켈 +휜 +沭 +漣 +磔 +蕩 +ଐ +仟 +壟 +妪 +淝 +紓 +苴 +莜 +隴 +饌 +駭 +鹘 +黢 +ઐ +浛 +ㄟ +剷 +圻 +澹 +砻 +肄 +崂 +痾 +稗 +褻 +迨 +镧 +霰 +顰 +輦 +輛 +焔 +篭 +踐 +坻 +왜 +殯 +靄 +琨 +闖 +騭 +蝿 +頤 +厠 +夲 +嫪 +玘 +蘊 +黚 +黧 +媞 +咥 +嘜 +嵊 +椴 +濞 +緘 +藺 +蝮 +醴 +鉉 +鹗 +贲 +ഃ +ဠ +偈 +唪 +嗳 +姶 +嫻 +孥 +崁 +彧 +徂 +枞 +狽 +皲 +紮 +缦 +莒 +裃 +ṃ +穫 +゚ +喑 +摟 +擋 +氡 +篾 +絣 +绐 +聩 +蚶 +螟 +襞 +賁 +踟 +蹰 +鈷 +镛 +闾 +髂 +鲆 +齒 +쌋 +췌 +ॊ +ఔ +ဩ +ኅ +※ +俅 +唖 +尷 +洇 +澆 +绀 +蕭 +틋 +ኻ +佷 +侈 +뉜 +쉑 +쑈 +Š + +Ğ +ǐ +ಝ +೯ +ඃ +ฯ +ဈ +ሒ +ኼ +ጴ +៖ +៦ +ᱬ +ᱶ +ᱸ +□ +䁅 +呯 +唈 +唳 +喐 +嗄 +噹 +娌 +娛 +寢 +嶂 +恽 +慚 +懞 +懣 +抌 +攜 +曚 +枥 +柽 +樑 +樞 +樾 +牀 +狍 +稙 +繚 +舸 +芎 +衾 +訕 +豢 +躝 +轎 +酐 +鎏 +鏊 +钆 +钪 +钶 +雋 +饋 +鬠 +鸫 +龠 +갰 +겅 +곗 +곪 +굼 +낱 +냇 +넒 +닛 +댑 +덨 +듦 +땔 +떄 +뗀 +똔 +롷 +롹 +묽 +볐 +빢 +뼌 +뽂 +샛 +샥 +솟 +숄 +숑 +슛 +쐬 +쑨 +쓕 +앳 +얕 +옅 +웁 +윰 +쟨 +젼 +짹 +쫘 +쭌 +챗 +펩 +푯 +핌 +𢱕 +櫚 +煅 +甌 +莢 +驕 +髌 +랏 +쏜 +옐 +핼 +ஔ +僖 +恊 +滙 +澍 +癢 +粿 +翹 +蔀 +蛸 +躓 +鏃 +飩 +髀 +吶 +垃 +巉 +巔 +怩 +搗 +楦 +琚 +篁 +脲 +誡 +阊 +鬻 +鸱 +叺 +湟 +頗 +魟 +狢 +畐 +畷 +椹 +諍 +醮 +鐸 +釗 +镗 +锴 +゙ +戕 +稈 +纒 +亓 +庹 +氖 +祉 +鉗 +础 +嚯 +堉 +桫 +椤 +楋 +瀣 +珧 +礬 +舾 +邾 +鵺 +鼱 +滢 +臍 +堝 +弍 +晞 +椁 +濺 +睄 +礇 +笫 +蠟 +鎂 +閨 +怏 +慷 +瀏 +綸 +罎 +閩 +ጐ +ឫ +伧 +僂 +冼 +夔 +媠 +嵴 +幟 +畊 +磬 +窺 +簷 +胿 +臬 +蚵 +蹚 +鋏 +鏖 +霑 +騮 +鲔 +끅 +̋ +Љ +ѕ +២ +佶 +唻 +抾 +柞 +澱 +錙 +늄 +뒨 +믈 +콰 +± +¶ +ʾ +̊ +ଈ +ଔ +ஶ +ኀ +ጳ +ጼ +ጾ +ጿ +፥ +ឮ +០ +៤ +៨ +ᱝ +㓤 +仝 +倧 +刄 +厍 +咇 +唥 +喏 +嗞 +囍 +圜 +埞 +塬 +塱 +墀 +墮 +壸 +婭 +岫 +崃 +崋 +弶 +愜 +憊 +挈 +揜 +摮 +擘 +擱 +昐 +枘 +枳 +椚 +槁 +樒 +櫸 +淸 +溘 +溼 +燙 +痈 +硎 +篩 +簒 +縝 +縻 +纔 +荪 +葯 +蚴 +蛏 +蛻 +蝰 +蠹 +裇 +裥 +誅 +豎 +貲 +踭 +踴 +蹌 +蹣 +鑿 +铼 +锺 +镲 +颙 +駈 +駱 +鮓 +鮟 +鯇 +鰈 +鰜 +鱇 +鲀 +鵲 +괭 +굘 +긌 +깟 +깻 +꼿 +넙 +뉸 +뗘 +뚠 +띃 +렜 +룔 +멓 +멱 +뭄 +뺌 +뿅 +뿍 +숯 +슘 +쎌 +얠 +옌 +잴 +쩝 +쳇 +췻 +츰 +캇 +켔 +퀭 +킁 +탤 +튄 +팰 +혓 +홧 +훤 +휑 +힉 +ȇ +ˎ +躼 +곯 +덫 +햅 +Ě +狹 +睚 +觜 +겡 +셴 +쌜 +ಋ +壘 +孛 +忟 +旻 +榑 +煥 +狎 +眇 +罘 +胪 +脛 +舨 +镒 +餼 +馐 +촤 +歃 +禛 +♭ +垌 +尭 +晝 +楹 +滄 +砜 +菟 +蒨 +藷 +鏢 +鐡 +頌 +馕 +鰲 +鳉 +豕 +蜘 +ㄧ +嵬 +忸 +暝 +盜 +螣 +謐 +嘬 +圾 +洟 +舁 +醗 +铟 +颏 +黌 +栂 +瘻 +瞋 +窣 +窸 +絋 +鶫 +銕 +√ +蚺 +蹕 +窶 +牻 +擯 +愼 +榾 +癩 +筜 +筼 +聶 +蟄 +鍔 +頽 +黠 +梛 +莨 +骈 +鸊 +倬 +唛 +嗶 +嘰 +嚐 +媪 +徛 +憺 +揠 +甦 +翃 +肭 +芗 +茔 +萁 +葎 +蓠 +蛉 +蜮 +贶 +趖 +轡 +釁 +鈉 +隹 +餉 +饪 +騅 +橹 +篳 +蟯 +Ъ +ឦ +∠ +〝 +ヰ +俠 +冪 +埤 +墘 +嬅 +峤 +巿 +扻 +搦 +攔 +昰 +枋 +槊 +渑 +燵 +猊 +簋 +肼 +臚 +艄 +茆 +茼 +菘 +菪 +諷 +譟 +躑 +輓 +郯 +郾 +鄄 +鋆 +铳 +锨 +閏 +颪 +馭 +髒 +鱔 +ǰ +ॲ +୫ +ឪ +愠 +歛 +皚 +硲 +稣 +蛚 +輾 +馩 +꽌 +롸 +밧 +뱄 +€ +™ +Ï +ǒ +ȏ +̌ +̔ +̟ +Ӯ +ٗ +ۗ +ޡ +ऍ +ॆ +॔ +ૢ +୪ +೦ +೨ +೩ +ෳ +ቮ +ጹ +ḉ +ḫ +ṇ +ṉ +ẃ +Ạ +Ầ +Ậ +Ệ +Ự +⁠ +∙ +⊙ +◯ +⸻ +〟 +㧎 +䒏 +䒐 +佮 +俟 +倯 +倻 +偢 +僥 +儍 +凊 +匱 +叁 +嗐 +嘏 +噁 +囪 +埵 +堯 +奓 +姍 +娉 +尣 +弸 +怍 +悽 +挜 +挹 +揗 +摈 +斃 +昉 +曵 +梣 +棧 +楫 +橐 +欒 +殭 +殳 +洎 +浐 +涷 +玭 +瑋 +璁 +璈 +甙 +畈 +瘓 +眙 +硃 +碚 +磧 +竅 +筥 +篦 +粲 +糒 +繻 +罅 +胗 +舺 +艋 +艤 +艪 +艸 +茕 +荜 +莵 +菉 +菔 +萠 +蓺 +蔣 +蘂 +蟥 +覯 +訐 +訥 +詡 +誣 +誦 +誻 +謨 +譖 +豂 +赧 +趌 +趺 +躅 +軚 +輘 +輷 +迾 +鄣 +醌 +鎅 +鎔 +鎝 +鏨 +鑄 +鑲 +钋 +闕 +陉 +頰 +餋 +餒 +餛 +馯 +骘 +鬍 +鬨 +魎 +鲮 +鲿 +鳫 +鵞 +鵡 +鶉 +鹛 +鼆 +鼐 +걜 +겋 +곌 +굥 +귐 +꽐 +꽥 +꿩 +끍 +냔 +냘 +냡 +넝 +넴 +놉 +놋 +놘 +뇽 +뉩 +늉 +댜 +듈 +땋 +떰 +띤 +맽 +멩 +몀 +믕 +볕 +뵌 +빻 +뿡 +샨 +숀 +숴 +슾 +쌕 +쌨 +썅 +썜 +쎅 +쏼 +쒀 +씰 +옉 +옫 +웟 +읊 +읜 +좆 +짯 +쨋 +쨰 +쩄 +쮸 +촐 +캬 +켁 +켐 +켸 +콥 +쿱 +퉤 +튬 +팹 +퐉 +푤 +퓰 +픕 +휀 +𢳂 +ʺ +꾜 +꿰 +쇳 +잽 +Ǹ +೫ +ኟ +ṅ +† +凈 +垪 +拵 +曷 +梘 +漚 +絚 +鯪 +넚 +쌉 +엡 +೮ +䢢 +佤 +凫 +煖 +獪 +瘆 +癆 +秬 +糋 +躹 +迳 +钌 +陜 +韪 +驛 +髙 +鹼 +갉 +뷴 +寃 +刳 +劏 +嚡 +杮 +槎 +槤 +樅 +沤 +炴 +煊 +熒 +珎 +璉 +痼 +簔 +苄 +苳 +菴 +蘚 +虬 +詆 +赍 +跶 +铪 +闔 +顱 +颢 +飜 +骹 +伜 +柝 +聟 +釵 +崆 +畋 +笸 +膾 +蕲 +靫 +頴 +髷 +鵙 +鸷 +錺 +蒟 +愴 +腘 +鯱 +샀 +끊 +굳 +拶 +Ẓ +橄 +Ṛ +惫 +咆 +옛 +ఊ +싫 +밌 +雰 +괜 +떻 +뭔 +伥 +飪 +鬪 +鼈 +걔 +椙 +蒎 +锿 +鲵 +亰 +啻 +囂 +峁 +弖 +憮 +桴 +瓘 +瘧 +秭 +簓 +薖 +蝴 +谯 +趿 +镨 +闳 +馑 +骺 +鱚 +鲐 +ఋ +咙 +Ÿ +ഋ +ഢ +ဋ +丨 +丱 +仱 +傈 +傩 +僳 +劊 +嗆 +嗹 +嘁 +岈 +嵖 +巖 +庠 +廸 +戔 +扂 +拏 +挾 +掗 +摰 +撣 +攑 +敍 +旃 +旒 +栻 +槓 +歕 +歨 +殂 +泠 +渀 +潲 +潷 +澀 +瓩 +甓 +疃 +癀 +癔 +竦 +筊 +篥 +籟 +籼 +糬 +緹 +縉 +縢 +膕 +臈 +臙 +艏 +苡 +莩 +蓊 +薀 +薜 +蘓 +裈 +褧 +覕 +諡 +謇 +诒 +诤 +贽 +軼 +迤 +逶 +邡 +醅 +釼 +錚 +鍚 +鐃 +鐐 +钺 +铇 +锕 +镎 +靑 +顫 +髖 +鰊 +鳎 +鳔 +鷽 +鼙 +ኰ +䖙 +俢 +儉 +啍 +埲 +屄 +戥 +掞 +枦 +爿 +笳 +綢 +繄 +翕 +芘 +蛣 +豔 +蹐 +鉀 +闞 +鵪 +鸝 +됭 +싰 +옭 +좔 +̧ +☉ +떫 +뱌 +벘 +씉 +엷 +읐 +Ƴ + + +Ž +˜ +¦ +Ð +Ù +Ŋ +ƒ +Ǥ +ǫ +Ʉ +ˊ +ˋ +̕ +̱ +̲ +̶ +Ψ +Ђ +Ћ +Ќ +Ѹ +Ӌ +Ӳ +Ղ +Ր +ַ +ּ +ؓ +ٓ +ऩ +ॐ +ৗ +઼ +૧ +૮ +ୗ +୨ +୯ +ఝ +ఱ +೪ +ഝ +෴ +་ +ན +ሓ +ሿ +ቐ +ቓ +ቯ +ዒ +ዖ +ዡ +ጯ +ፗ +៎ +៥ +៧ +ḏ +ḡ +ḩ +Ḫ +ṁ +ẞ +Ắ +Ể +Ỉ +Ỗ +Ộ +Ớ +Ὑ +ῖ +‰ +₹ +⃗ +↑ +↓ +∇ +∼ +≈ +▼ +☺ +✅ +Ⱅ +Ⱎ +ゎ +ゔ +㶶 +䁯 +䆀 +䱽 +䴕 +亍 +佉 +侷 +傃 +傉 +傱 +僉 +僊 +僮 +凩 +刋 +剎 +劖 +劼 +勰 +勼 +匏 +厴 +厶 +叅 +吿 +呓 +咹 +哓 +唂 +唎 +喟 +喲 +喼 +嗇 +嗿 +嚀 +嚒 +囑 +圷 +坜 +坵 +坼 +埆 +埭 +塢 +塭 +墁 +奬 +妗 +妠 +妡 +妣 +妤 +姹 +娗 +嫐 +嬶 +尓 +尙 +屢 +屣 +岀 +峄 +峇 +崞 +崮 +帙 +廍 +弌 +弢 +彥 +彳 +悒 +惝 +愔 +愷 +愾 +慤 +戞 +戽 +扴 +抆 +抔 +抦 +拃 +捹 +掁 +掕 +掼 +摙 +摳 +摵 +摷 +擏 +擷 +斝 +旳 +昃 +晡 +晧 +暸 +杙 +杣 +杻 +枧 +枰 +柸 +棔 +椏 +椟 +榙 +樁 +樗 +檪 +櫈 +殁 +殄 +毵 +氾 +汱 +洐 +洹 +淥 +淪 +湫 +溋 +溷 +滸 +潴 +澗 +澶 +濉 +瀍 +烝 +煆 +熈 +燜 +爨 +牾 +猗 +玜 +玠 +珒 +珣 +瑨 +瓠 +疔 +疠 +疴 +睞 +硚 +硨 +磲 +礑 +祆 +禳 +穐 +笮 +筌 +筿 +箆 +箓 +篋 +簟 +簫 +糉 +絅 +綖 +綯 +綷 +綽 +緁 +緲 +縒 +縹 +繆 +繏 +缑 +缙 +罨 +羂 +羣 +羶 +翙 +聼 +肟 +艀 +艹 +芰 +芻 +苎 +茏 +茖 +茭 +莚 +莸 +莾 +萜 +萡 +蒽 +蓀 +蓁 +蓥 +蕘 +蕞 +薟 +藳 +蛲 +蜑 +蜞 +蝥 +螋 +蟇 +蟳 +衒 +衮 +袛 +袰 +裄 +裎 +褦 +褫 +襤 +觔 +觚 +詬 +諚 +諤 +謔 +譫 +讒 +诮 +谘 +谳 +貉 +貮 +赀 +赓 +赟 +踅 +蹺 +輊 +輟 +輳 +轾 +辎 +辶 +迍 +郃 +郗 +郛 +郧 +鄯 +醯 +釆 +釿 +鈪 +鉅 +鉎 +銥 +銳 +鎭 +鐇 +鐶 +鑛 +鑢 +钕 +钤 +钫 +钬 +钿 +铙 +铧 +铽 +锝 +锟 +镝 +镡 +闼 +隗 +雺 +霈 +韃 +韜 +韫 +餚 +餾 +饑 +馔 +駝 +驺 +驽 +骝 +髧 +鮒 +鮖 +鯣 +鰌 +鰒 +鱉 +鱷 +鲗 +鲩 +鲾 +鳀 +鳊 +鳚 +鳜 +鳢 +鳰 +鴿 +鹀 +鹟 +麭 +黩 +鼢 +鼷 +齴 +龢 +ꞌ +갼 +겝 +겻 +곘 +괍 +괏 +궂 +귯 +꺅 +꺤 +껒 +꽨 +꽷 +꾿 +뀨 +끕 +낏 +넵 +녘 +놥 +눟 +늗 +늣 +닪 +닸 +덷 +뎄 +뎡 +돚 +됑 +듭 +듶 +딫 +땍 +땟 +떈 +떱 +뗏 +똫 +뙤 +뚸 +뛌 +뜹 +띌 +띔 +럤 +롄 +뤃 +뤼 +맀 +먀 +먙 +멨 +묀 +뭍 +뭥 +뭬 +뭰 +믁 +믐 +밈 +밎 +뱁 +뱡 +벋 +벛 +볻 +봥 +뵤 +붜 +뷘 +뺘 +뻬 +뼘 +뼜 +뿕 +뿟 +쁩 +쁸 +삣 +삧 +삯 +셤 +셥 +셸 +솝 +솨 +쇽 +쉪 +쉭 +쌘 +쎼 +쏸 +쐐 +쐴 +쑬 +쒯 +씃 +앎 +앏 +앝 +얉 +얋 +얐 +얬 +옙 +옜 +왝 +왯 +윅 +읒 +잿 +쟝 +젭 +젱 +졀 +좃 +좇 +좐 +죈 +죵 +줜 +줴 +쥔 +쥘 +짢 +쩟 +ํ +ଋ +닯 +뜀 +룟 +뭡 +쌂 +Ѓ +ઁ +ః +摅 +欉 +洶 +牘 +篪 +繃 +艻 +跩 +鷯 +뫼 +왐 +ఙ +仂 +俍 +埖 +堊 +尅 +悾 +掅 +摎 +柢 +樨 +橂 +歁 +殕 +狯 +珜 +珰 +瑆 +畭 +穰 +箨 +缳 +罌 +耨 +臌 +苁 +萄 +蠓 +蠖 +蠶 +褸 +襠 +觴 +謖 +酺 +铊 +駟 +鰍 +黾 +♡ +僢 +剉 +噘 +圞 +圹 +岨 +弉 +昺 +橢 +濶 +焮 +禩 +秡 +秫 +笊 +茌 +蕖 +藹 +螅 +袆 +郏 +鉋 +銹 +铌 +駸 +墻 +悋 +暱 +櫨 +浬 +筬 +糺 +紑 +誂 +賎 +跹 +蹁 +蹠 +鰤 +ằ +蒻 +鞨 +ắ +笵 + + + diff --git a/owsm_v3.1_ebf/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz b/owsm_v3.1_ebf/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz new file mode 100644 index 0000000000000000000000000000000000000000..4ef154c285deb458cb537da751909790aea294d2 --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:7ef4b5e465110edf32eec024cf2427eedd677f5733bb87d6b2131e6984a6e13f +size 1402 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml new file mode 100644 index 0000000000000000000000000000000000000000..69a7cfc1cdb13fa54d172830c9764b2849b718ec --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml @@ -0,0 +1,50257 @@ +config: conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml +print_config: false +log_level: INFO +drop_last_iter: false +dry_run: false +iterator_type: sequence +valid_iterator_type: null +output_dir: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 +ngpu: 1 +seed: 42 +num_workers: 4 +num_att_plot: 0 +dist_backend: nccl +dist_init_method: file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +dist_world_size: 64 +dist_rank: 0 +local_rank: 0 +dist_master_addr: null +dist_master_port: null +dist_launcher: slurm +multiprocessing_distributed: true +unused_parameters: false +sharded_ddp: false +cudnn_enabled: true +cudnn_benchmark: false +cudnn_deterministic: true +collect_stats: false +write_collected_feats: false +max_epoch: 45 +patience: null +val_scheduler_criterion: +- valid +- loss +early_stopping_criterion: +- valid +- loss +- min +best_model_criterion: +- - valid + - acc + - max +- - valid + - total_count + - max +keep_nbest_models: 5 +nbest_averaging_interval: 5 +grad_clip: 5.0 +grad_clip_type: 2.0 +grad_noise: false +accum_grad: 1 +no_forward_run: false +resume: true +train_dtype: float32 +use_amp: true +log_interval: null +use_matplotlib: true +use_tensorboard: true +create_graph_in_tensorboard: false +use_wandb: false +wandb_project: null +wandb_id: null +wandb_entity: null +wandb_name: null +wandb_model_log_interval: -1 +detect_anomaly: false +pretrain_path: null +init_param: [] +ignore_init_mismatch: false +freeze_param: [] +num_iters_per_epoch: 15000 +batch_size: 256 +valid_batch_size: null +batch_bins: 1000000 +valid_batch_bins: null +train_shape_file: +- exp/s2t_stats_raw_bpe50000/splits12/speech_shape +- exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe +- exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe +- exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe +valid_shape_file: +- exp/s2t_stats_raw_bpe50000/valid/speech_shape +- exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe +- exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe +- exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe +batch_type: unsorted +valid_batch_type: null +fold_length: +- 80000 +- 150 +- 150 +- 150 +sort_in_batch: descending +shuffle_within_batch: false +sort_batch: descending +multiple_iterator: true +chunk_length: 500 +chunk_shift_ratio: 0.5 +num_cache_chunks: 1024 +chunk_excluded_key_prefixes: [] +train_data_path_and_name_and_type: +- - exp/s2t_stats_raw_bpe50000/splits12/wav.scp + - speech + - kaldi_ark +- - exp/s2t_stats_raw_bpe50000/splits12/text.prev + - text_prev + - text +- - exp/s2t_stats_raw_bpe50000/splits12/text.ctc + - text_ctc + - text +- - exp/s2t_stats_raw_bpe50000/splits12/text + - text + - text +valid_data_path_and_name_and_type: +- - dump/raw/dev_v3/wav.scp + - speech + - kaldi_ark +- - dump/raw/dev_v3/text.prev + - text_prev + - text +- - dump/raw/dev_v3/text.ctc + - text_ctc + - text +- - dump/raw/dev_v3/text + - text + - text +allow_variable_data_keys: false +max_cache_size: 0.0 +max_cache_fd: 32 +valid_max_cache_size: null +exclude_weight_decay: false +exclude_weight_decay_conf: {} +optim: adamw +optim_conf: + lr: 0.0002 + betas: + - 0.9 + - 0.98 + eps: 1.0e-06 + weight_decay: 0.0 +scheduler: piecewiselinearwarmuplr +scheduler_conf: + warmup_steps_list: + - 0 + - 30000 + - 60000 + warmup_lr_list: + - 0.0 + - 5.0e-05 + - 0.0002 +token_list: +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +-
+- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- +- <0.00> +- <0.02> +- <0.04> +- <0.06> +- <0.08> +- <0.10> +- <0.12> +- <0.14> +- <0.16> +- <0.18> +- <0.20> +- <0.22> +- <0.24> +- <0.26> +- <0.28> +- <0.30> +- <0.32> +- <0.34> +- <0.36> +- <0.38> +- <0.40> +- <0.42> +- <0.44> +- <0.46> +- <0.48> +- <0.50> +- <0.52> +- <0.54> +- <0.56> +- <0.58> +- <0.60> +- <0.62> +- <0.64> +- <0.66> +- <0.68> +- <0.70> +- <0.72> +- <0.74> +- <0.76> +- <0.78> +- <0.80> +- <0.82> +- <0.84> +- <0.86> +- <0.88> +- <0.90> +- <0.92> +- <0.94> +- <0.96> +- <0.98> +- <1.00> +- <1.02> +- <1.04> +- <1.06> +- <1.08> +- <1.10> +- <1.12> +- <1.14> +- <1.16> +- <1.18> +- <1.20> +- <1.22> +- <1.24> +- <1.26> +- <1.28> +- <1.30> +- <1.32> +- <1.34> +- <1.36> +- <1.38> +- <1.40> +- <1.42> +- <1.44> +- <1.46> +- <1.48> +- <1.50> +- <1.52> +- <1.54> +- <1.56> +- <1.58> +- <1.60> +- <1.62> +- <1.64> +- <1.66> +- <1.68> +- <1.70> +- <1.72> +- <1.74> +- <1.76> +- <1.78> +- <1.80> +- <1.82> +- <1.84> +- <1.86> +- <1.88> +- <1.90> +- <1.92> +- <1.94> +- <1.96> +- <1.98> +- <2.00> +- <2.02> +- <2.04> +- <2.06> +- <2.08> +- <2.10> +- <2.12> +- <2.14> +- <2.16> +- <2.18> +- <2.20> +- <2.22> +- <2.24> +- <2.26> +- <2.28> +- <2.30> +- <2.32> +- <2.34> +- <2.36> +- <2.38> +- <2.40> +- <2.42> +- <2.44> +- <2.46> +- <2.48> +- <2.50> +- <2.52> +- <2.54> +- <2.56> +- <2.58> +- <2.60> +- <2.62> +- <2.64> +- <2.66> +- <2.68> +- <2.70> +- <2.72> +- <2.74> +- <2.76> +- <2.78> +- <2.80> +- <2.82> +- <2.84> +- <2.86> +- <2.88> +- <2.90> +- <2.92> +- <2.94> +- <2.96> +- <2.98> +- <3.00> +- <3.02> +- <3.04> +- <3.06> +- <3.08> +- <3.10> +- <3.12> +- <3.14> +- <3.16> +- <3.18> +- <3.20> +- <3.22> +- <3.24> +- <3.26> +- <3.28> +- <3.30> +- <3.32> +- <3.34> +- <3.36> +- <3.38> +- <3.40> +- <3.42> +- <3.44> +- <3.46> +- <3.48> +- <3.50> +- <3.52> +- <3.54> +- <3.56> +- <3.58> +- <3.60> +- <3.62> +- <3.64> +- <3.66> +- <3.68> +- <3.70> +- <3.72> +- <3.74> +- <3.76> +- <3.78> +- <3.80> +- <3.82> +- <3.84> +- <3.86> +- <3.88> +- <3.90> +- <3.92> +- <3.94> +- <3.96> +- <3.98> +- <4.00> +- <4.02> +- <4.04> +- <4.06> +- <4.08> +- <4.10> +- <4.12> +- <4.14> +- <4.16> +- <4.18> +- <4.20> +- <4.22> +- <4.24> +- <4.26> +- <4.28> +- <4.30> +- <4.32> +- <4.34> +- <4.36> +- <4.38> +- <4.40> +- <4.42> +- <4.44> +- <4.46> +- <4.48> +- <4.50> +- <4.52> +- <4.54> +- <4.56> +- <4.58> +- <4.60> +- <4.62> +- <4.64> +- <4.66> +- <4.68> +- <4.70> +- <4.72> +- <4.74> +- <4.76> +- <4.78> +- <4.80> +- <4.82> +- <4.84> +- <4.86> +- <4.88> +- <4.90> +- <4.92> +- <4.94> +- <4.96> +- <4.98> +- <5.00> +- <5.02> +- <5.04> +- <5.06> +- <5.08> +- <5.10> +- <5.12> +- <5.14> +- <5.16> +- <5.18> +- <5.20> +- <5.22> +- <5.24> +- <5.26> +- <5.28> +- <5.30> +- <5.32> +- <5.34> +- <5.36> +- <5.38> +- <5.40> +- <5.42> +- <5.44> +- <5.46> +- <5.48> +- <5.50> +- <5.52> +- <5.54> +- <5.56> +- <5.58> +- <5.60> +- <5.62> +- <5.64> +- <5.66> +- <5.68> +- <5.70> +- <5.72> +- <5.74> +- <5.76> +- <5.78> +- <5.80> +- <5.82> +- <5.84> +- <5.86> +- <5.88> +- <5.90> +- <5.92> +- <5.94> +- <5.96> +- <5.98> +- <6.00> +- <6.02> +- <6.04> +- <6.06> +- <6.08> +- <6.10> +- <6.12> +- <6.14> +- <6.16> +- <6.18> +- <6.20> +- <6.22> +- <6.24> +- <6.26> +- <6.28> +- <6.30> +- <6.32> +- <6.34> +- <6.36> +- <6.38> +- <6.40> +- <6.42> +- <6.44> +- <6.46> +- <6.48> +- <6.50> +- <6.52> +- <6.54> +- <6.56> +- <6.58> +- <6.60> +- <6.62> +- <6.64> +- <6.66> +- <6.68> +- <6.70> +- <6.72> +- <6.74> +- <6.76> +- <6.78> +- <6.80> +- <6.82> +- <6.84> +- <6.86> +- <6.88> +- <6.90> +- <6.92> +- <6.94> +- <6.96> +- <6.98> +- <7.00> +- <7.02> +- <7.04> +- <7.06> +- <7.08> +- <7.10> +- <7.12> +- <7.14> +- <7.16> +- <7.18> +- <7.20> +- <7.22> +- <7.24> +- <7.26> +- <7.28> +- <7.30> +- <7.32> +- <7.34> +- <7.36> +- <7.38> +- <7.40> +- <7.42> +- <7.44> +- <7.46> +- <7.48> +- <7.50> +- <7.52> +- <7.54> +- <7.56> +- <7.58> +- <7.60> +- <7.62> +- <7.64> +- <7.66> +- <7.68> +- <7.70> +- <7.72> +- <7.74> +- <7.76> +- <7.78> +- <7.80> +- <7.82> +- <7.84> +- <7.86> +- <7.88> +- <7.90> +- <7.92> +- <7.94> +- <7.96> +- <7.98> +- <8.00> +- <8.02> +- <8.04> +- <8.06> +- <8.08> +- <8.10> +- <8.12> +- <8.14> +- <8.16> +- <8.18> +- <8.20> +- <8.22> +- <8.24> +- <8.26> +- <8.28> +- <8.30> +- <8.32> +- <8.34> +- <8.36> +- <8.38> +- <8.40> +- <8.42> +- <8.44> +- <8.46> +- <8.48> +- <8.50> +- <8.52> +- <8.54> +- <8.56> +- <8.58> +- <8.60> +- <8.62> +- <8.64> +- <8.66> +- <8.68> +- <8.70> +- <8.72> +- <8.74> +- <8.76> +- <8.78> +- <8.80> +- <8.82> +- <8.84> +- <8.86> +- <8.88> +- <8.90> +- <8.92> +- <8.94> +- <8.96> +- <8.98> +- <9.00> +- <9.02> +- <9.04> +- <9.06> +- <9.08> +- <9.10> +- <9.12> +- <9.14> +- <9.16> +- <9.18> +- <9.20> +- <9.22> +- <9.24> +- <9.26> +- <9.28> +- <9.30> +- <9.32> +- <9.34> +- <9.36> +- <9.38> +- <9.40> +- <9.42> +- <9.44> +- <9.46> +- <9.48> +- <9.50> +- <9.52> +- <9.54> +- <9.56> +- <9.58> +- <9.60> +- <9.62> +- <9.64> +- <9.66> +- <9.68> +- <9.70> +- <9.72> +- <9.74> +- <9.76> +- <9.78> +- <9.80> +- <9.82> +- <9.84> +- <9.86> +- <9.88> +- <9.90> +- <9.92> +- <9.94> +- <9.96> +- <9.98> +- <10.00> +- <10.02> +- <10.04> +- <10.06> +- <10.08> +- <10.10> +- <10.12> +- <10.14> +- <10.16> +- <10.18> +- <10.20> +- <10.22> +- <10.24> +- <10.26> +- <10.28> +- <10.30> +- <10.32> +- <10.34> +- <10.36> +- <10.38> +- <10.40> +- <10.42> +- <10.44> +- <10.46> +- <10.48> +- <10.50> +- <10.52> +- <10.54> +- <10.56> +- <10.58> +- <10.60> +- <10.62> +- <10.64> +- <10.66> +- <10.68> +- <10.70> +- <10.72> +- <10.74> +- <10.76> +- <10.78> +- <10.80> +- <10.82> +- <10.84> +- <10.86> +- <10.88> +- <10.90> +- <10.92> +- <10.94> +- <10.96> +- <10.98> +- <11.00> +- <11.02> +- <11.04> +- <11.06> +- <11.08> +- <11.10> +- <11.12> +- <11.14> +- <11.16> +- <11.18> +- <11.20> +- <11.22> +- <11.24> +- <11.26> +- <11.28> +- <11.30> +- <11.32> +- <11.34> +- <11.36> +- <11.38> +- <11.40> +- <11.42> +- <11.44> +- <11.46> +- <11.48> +- <11.50> +- <11.52> +- <11.54> +- <11.56> +- <11.58> +- <11.60> +- <11.62> +- <11.64> +- <11.66> +- <11.68> +- <11.70> +- <11.72> +- <11.74> +- <11.76> +- <11.78> +- <11.80> +- <11.82> +- <11.84> +- <11.86> +- <11.88> +- <11.90> +- <11.92> +- <11.94> +- <11.96> +- <11.98> +- <12.00> +- <12.02> +- <12.04> +- <12.06> +- <12.08> +- <12.10> +- <12.12> +- <12.14> +- <12.16> +- <12.18> +- <12.20> +- <12.22> +- <12.24> +- <12.26> +- <12.28> +- <12.30> +- <12.32> +- <12.34> +- <12.36> +- <12.38> +- <12.40> +- <12.42> +- <12.44> +- <12.46> +- <12.48> +- <12.50> +- <12.52> +- <12.54> +- <12.56> +- <12.58> +- <12.60> +- <12.62> +- <12.64> +- <12.66> +- <12.68> +- <12.70> +- <12.72> +- <12.74> +- <12.76> +- <12.78> +- <12.80> +- <12.82> +- <12.84> +- <12.86> +- <12.88> +- <12.90> +- <12.92> +- <12.94> +- <12.96> +- <12.98> +- <13.00> +- <13.02> +- <13.04> +- <13.06> +- <13.08> +- <13.10> +- <13.12> +- <13.14> +- <13.16> +- <13.18> +- <13.20> +- <13.22> +- <13.24> +- <13.26> +- <13.28> +- <13.30> +- <13.32> +- <13.34> +- <13.36> +- <13.38> +- <13.40> +- <13.42> +- <13.44> +- <13.46> +- <13.48> +- <13.50> +- <13.52> +- <13.54> +- <13.56> +- <13.58> +- <13.60> +- <13.62> +- <13.64> +- <13.66> +- <13.68> +- <13.70> +- <13.72> +- <13.74> +- <13.76> +- <13.78> +- <13.80> +- <13.82> +- <13.84> +- <13.86> +- <13.88> +- <13.90> +- <13.92> +- <13.94> +- <13.96> +- <13.98> +- <14.00> +- <14.02> +- <14.04> +- <14.06> +- <14.08> +- <14.10> +- <14.12> +- <14.14> +- <14.16> +- <14.18> +- <14.20> +- <14.22> +- <14.24> +- <14.26> +- <14.28> +- <14.30> +- <14.32> +- <14.34> +- <14.36> +- <14.38> +- <14.40> +- <14.42> +- <14.44> +- <14.46> +- <14.48> +- <14.50> +- <14.52> +- <14.54> +- <14.56> +- <14.58> +- <14.60> +- <14.62> +- <14.64> +- <14.66> +- <14.68> +- <14.70> +- <14.72> +- <14.74> +- <14.76> +- <14.78> +- <14.80> +- <14.82> +- <14.84> +- <14.86> +- <14.88> +- <14.90> +- <14.92> +- <14.94> +- <14.96> +- <14.98> +- <15.00> +- <15.02> +- <15.04> +- <15.06> +- <15.08> +- <15.10> +- <15.12> +- <15.14> +- <15.16> +- <15.18> +- <15.20> +- <15.22> +- <15.24> +- <15.26> +- <15.28> +- <15.30> +- <15.32> +- <15.34> +- <15.36> +- <15.38> +- <15.40> +- <15.42> +- <15.44> +- <15.46> +- <15.48> +- <15.50> +- <15.52> +- <15.54> +- <15.56> +- <15.58> +- <15.60> +- <15.62> +- <15.64> +- <15.66> +- <15.68> +- <15.70> +- <15.72> +- <15.74> +- <15.76> +- <15.78> +- <15.80> +- <15.82> +- <15.84> +- <15.86> +- <15.88> +- <15.90> +- <15.92> +- <15.94> +- <15.96> +- <15.98> +- <16.00> +- <16.02> +- <16.04> +- <16.06> +- <16.08> +- <16.10> +- <16.12> +- <16.14> +- <16.16> +- <16.18> +- <16.20> +- <16.22> +- <16.24> +- <16.26> +- <16.28> +- <16.30> +- <16.32> +- <16.34> +- <16.36> +- <16.38> +- <16.40> +- <16.42> +- <16.44> +- <16.46> +- <16.48> +- <16.50> +- <16.52> +- <16.54> +- <16.56> +- <16.58> +- <16.60> +- <16.62> +- <16.64> +- <16.66> +- <16.68> +- <16.70> +- <16.72> +- <16.74> +- <16.76> +- <16.78> +- <16.80> +- <16.82> +- <16.84> +- <16.86> +- <16.88> +- <16.90> +- <16.92> +- <16.94> +- <16.96> +- <16.98> +- <17.00> +- <17.02> +- <17.04> +- <17.06> +- <17.08> +- <17.10> +- <17.12> +- <17.14> +- <17.16> +- <17.18> +- <17.20> +- <17.22> +- <17.24> +- <17.26> +- <17.28> +- <17.30> +- <17.32> +- <17.34> +- <17.36> +- <17.38> +- <17.40> +- <17.42> +- <17.44> +- <17.46> +- <17.48> +- <17.50> +- <17.52> +- <17.54> +- <17.56> +- <17.58> +- <17.60> +- <17.62> +- <17.64> +- <17.66> +- <17.68> +- <17.70> +- <17.72> +- <17.74> +- <17.76> +- <17.78> +- <17.80> +- <17.82> +- <17.84> +- <17.86> +- <17.88> +- <17.90> +- <17.92> +- <17.94> +- <17.96> +- <17.98> +- <18.00> +- <18.02> +- <18.04> +- <18.06> +- <18.08> +- <18.10> +- <18.12> +- <18.14> +- <18.16> +- <18.18> +- <18.20> +- <18.22> +- <18.24> +- <18.26> +- <18.28> +- <18.30> +- <18.32> +- <18.34> +- <18.36> +- <18.38> +- <18.40> +- <18.42> +- <18.44> +- <18.46> +- <18.48> +- <18.50> +- <18.52> +- <18.54> +- <18.56> +- <18.58> +- <18.60> +- <18.62> +- <18.64> +- <18.66> +- <18.68> +- <18.70> +- <18.72> +- <18.74> +- <18.76> +- <18.78> +- <18.80> +- <18.82> +- <18.84> +- <18.86> +- <18.88> +- <18.90> +- <18.92> +- <18.94> +- <18.96> +- <18.98> +- <19.00> +- <19.02> +- <19.04> +- <19.06> +- <19.08> +- <19.10> +- <19.12> +- <19.14> +- <19.16> +- <19.18> +- <19.20> +- <19.22> +- <19.24> +- <19.26> +- <19.28> +- <19.30> +- <19.32> +- <19.34> +- <19.36> +- <19.38> +- <19.40> +- <19.42> +- <19.44> +- <19.46> +- <19.48> +- <19.50> +- <19.52> +- <19.54> +- <19.56> +- <19.58> +- <19.60> +- <19.62> +- <19.64> +- <19.66> +- <19.68> +- <19.70> +- <19.72> +- <19.74> +- <19.76> +- <19.78> +- <19.80> +- <19.82> +- <19.84> +- <19.86> +- <19.88> +- <19.90> +- <19.92> +- <19.94> +- <19.96> +- <19.98> +- <20.00> +- <20.02> +- <20.04> +- <20.06> +- <20.08> +- <20.10> +- <20.12> +- <20.14> +- <20.16> +- <20.18> +- <20.20> +- <20.22> +- <20.24> +- <20.26> +- <20.28> +- <20.30> +- <20.32> +- <20.34> +- <20.36> +- <20.38> +- <20.40> +- <20.42> +- <20.44> +- <20.46> +- <20.48> +- <20.50> +- <20.52> +- <20.54> +- <20.56> +- <20.58> +- <20.60> +- <20.62> +- <20.64> +- <20.66> +- <20.68> +- <20.70> +- <20.72> +- <20.74> +- <20.76> +- <20.78> +- <20.80> +- <20.82> +- <20.84> +- <20.86> +- <20.88> +- <20.90> +- <20.92> +- <20.94> +- <20.96> +- <20.98> +- <21.00> +- <21.02> +- <21.04> +- <21.06> +- <21.08> +- <21.10> +- <21.12> +- <21.14> +- <21.16> +- <21.18> +- <21.20> +- <21.22> +- <21.24> +- <21.26> +- <21.28> +- <21.30> +- <21.32> +- <21.34> +- <21.36> +- <21.38> +- <21.40> +- <21.42> +- <21.44> +- <21.46> +- <21.48> +- <21.50> +- <21.52> +- <21.54> +- <21.56> +- <21.58> +- <21.60> +- <21.62> +- <21.64> +- <21.66> +- <21.68> +- <21.70> +- <21.72> +- <21.74> +- <21.76> +- <21.78> +- <21.80> +- <21.82> +- <21.84> +- <21.86> +- <21.88> +- <21.90> +- <21.92> +- <21.94> +- <21.96> +- <21.98> +- <22.00> +- <22.02> +- <22.04> +- <22.06> +- <22.08> +- <22.10> +- <22.12> +- <22.14> +- <22.16> +- <22.18> +- <22.20> +- <22.22> +- <22.24> +- <22.26> +- <22.28> +- <22.30> +- <22.32> +- <22.34> +- <22.36> +- <22.38> +- <22.40> +- <22.42> +- <22.44> +- <22.46> +- <22.48> +- <22.50> +- <22.52> +- <22.54> +- <22.56> +- <22.58> +- <22.60> +- <22.62> +- <22.64> +- <22.66> +- <22.68> +- <22.70> +- <22.72> +- <22.74> +- <22.76> +- <22.78> +- <22.80> +- <22.82> +- <22.84> +- <22.86> +- <22.88> +- <22.90> +- <22.92> +- <22.94> +- <22.96> +- <22.98> +- <23.00> +- <23.02> +- <23.04> +- <23.06> +- <23.08> +- <23.10> +- <23.12> +- <23.14> +- <23.16> +- <23.18> +- <23.20> +- <23.22> +- <23.24> +- <23.26> +- <23.28> +- <23.30> +- <23.32> +- <23.34> +- <23.36> +- <23.38> +- <23.40> +- <23.42> +- <23.44> +- <23.46> +- <23.48> +- <23.50> +- <23.52> +- <23.54> +- <23.56> +- <23.58> +- <23.60> +- <23.62> +- <23.64> +- <23.66> +- <23.68> +- <23.70> +- <23.72> +- <23.74> +- <23.76> +- <23.78> +- <23.80> +- <23.82> +- <23.84> +- <23.86> +- <23.88> +- <23.90> +- <23.92> +- <23.94> +- <23.96> +- <23.98> +- <24.00> +- <24.02> +- <24.04> +- <24.06> +- <24.08> +- <24.10> +- <24.12> +- <24.14> +- <24.16> +- <24.18> +- <24.20> +- <24.22> +- <24.24> +- <24.26> +- <24.28> +- <24.30> +- <24.32> +- <24.34> +- <24.36> +- <24.38> +- <24.40> +- <24.42> +- <24.44> +- <24.46> +- <24.48> +- <24.50> +- <24.52> +- <24.54> +- <24.56> +- <24.58> +- <24.60> +- <24.62> +- <24.64> +- <24.66> +- <24.68> +- <24.70> +- <24.72> +- <24.74> +- <24.76> +- <24.78> +- <24.80> +- <24.82> +- <24.84> +- <24.86> +- <24.88> +- <24.90> +- <24.92> +- <24.94> +- <24.96> +- <24.98> +- <25.00> +- <25.02> +- <25.04> +- <25.06> +- <25.08> +- <25.10> +- <25.12> +- <25.14> +- <25.16> +- <25.18> +- <25.20> +- <25.22> +- <25.24> +- <25.26> +- <25.28> +- <25.30> +- <25.32> +- <25.34> +- <25.36> +- <25.38> +- <25.40> +- <25.42> +- <25.44> +- <25.46> +- <25.48> +- <25.50> +- <25.52> +- <25.54> +- <25.56> +- <25.58> +- <25.60> +- <25.62> +- <25.64> +- <25.66> +- <25.68> +- <25.70> +- <25.72> +- <25.74> +- <25.76> +- <25.78> +- <25.80> +- <25.82> +- <25.84> +- <25.86> +- <25.88> +- <25.90> +- <25.92> +- <25.94> +- <25.96> +- <25.98> +- <26.00> +- <26.02> +- <26.04> +- <26.06> +- <26.08> +- <26.10> +- <26.12> +- <26.14> +- <26.16> +- <26.18> +- <26.20> +- <26.22> +- <26.24> +- <26.26> +- <26.28> +- <26.30> +- <26.32> +- <26.34> +- <26.36> +- <26.38> +- <26.40> +- <26.42> +- <26.44> +- <26.46> +- <26.48> +- <26.50> +- <26.52> +- <26.54> +- <26.56> +- <26.58> +- <26.60> +- <26.62> +- <26.64> +- <26.66> +- <26.68> +- <26.70> +- <26.72> +- <26.74> +- <26.76> +- <26.78> +- <26.80> +- <26.82> +- <26.84> +- <26.86> +- <26.88> +- <26.90> +- <26.92> +- <26.94> +- <26.96> +- <26.98> +- <27.00> +- <27.02> +- <27.04> +- <27.06> +- <27.08> +- <27.10> +- <27.12> +- <27.14> +- <27.16> +- <27.18> +- <27.20> +- <27.22> +- <27.24> +- <27.26> +- <27.28> +- <27.30> +- <27.32> +- <27.34> +- <27.36> +- <27.38> +- <27.40> +- <27.42> +- <27.44> +- <27.46> +- <27.48> +- <27.50> +- <27.52> +- <27.54> +- <27.56> +- <27.58> +- <27.60> +- <27.62> +- <27.64> +- <27.66> +- <27.68> +- <27.70> +- <27.72> +- <27.74> +- <27.76> +- <27.78> +- <27.80> +- <27.82> +- <27.84> +- <27.86> +- <27.88> +- <27.90> +- <27.92> +- <27.94> +- <27.96> +- <27.98> +- <28.00> +- <28.02> +- <28.04> +- <28.06> +- <28.08> +- <28.10> +- <28.12> +- <28.14> +- <28.16> +- <28.18> +- <28.20> +- <28.22> +- <28.24> +- <28.26> +- <28.28> +- <28.30> +- <28.32> +- <28.34> +- <28.36> +- <28.38> +- <28.40> +- <28.42> +- <28.44> +- <28.46> +- <28.48> +- <28.50> +- <28.52> +- <28.54> +- <28.56> +- <28.58> +- <28.60> +- <28.62> +- <28.64> +- <28.66> +- <28.68> +- <28.70> +- <28.72> +- <28.74> +- <28.76> +- <28.78> +- <28.80> +- <28.82> +- <28.84> +- <28.86> +- <28.88> +- <28.90> +- <28.92> +- <28.94> +- <28.96> +- <28.98> +- <29.00> +- <29.02> +- <29.04> +- <29.06> +- <29.08> +- <29.10> +- <29.12> +- <29.14> +- <29.16> +- <29.18> +- <29.20> +- <29.22> +- <29.24> +- <29.26> +- <29.28> +- <29.30> +- <29.32> +- <29.34> +- <29.36> +- <29.38> +- <29.40> +- <29.42> +- <29.44> +- <29.46> +- <29.48> +- <29.50> +- <29.52> +- <29.54> +- <29.56> +- <29.58> +- <29.60> +- <29.62> +- <29.64> +- <29.66> +- <29.68> +- <29.70> +- <29.72> +- <29.74> +- <29.76> +- <29.78> +- <29.80> +- <29.82> +- <29.84> +- <29.86> +- <29.88> +- <29.90> +- <29.92> +- <29.94> +- <29.96> +- <29.98> +- <30.00> +- ▁ +- ',' +- ▁the +- . +- s +- ▁and +- ▁of +- ▁to +- ▁a +- 。 +- ▁in +- '''' +- ▁that +- ▁i +- ▁it +- ▁was +- en +- e +- t +- ▁you +- ▁he +- ▁is +- 的 +- '-' +- ▁for +- ▁de +- ▁with +- ▁be +- n +- d +- ▁as +- ▁his +- ▁we +- の +- ▁on +- 、 +- ▁die +- ▁had +- a +- ▁but +- ▁so +- '?' +- o +- ▁not +- ▁at +- ▁have +- ▁this +- ▁und +- er +- ▁her +- i +- ▁they +- m +- ed +- re +- ▁she +- ▁an +- ▁by +- ▁der +- ing +- ▁all +- ▁are +- ▁la +- が +- を +- ▁from +- ▁me +- ▁which +- ▁my +- es +- ▁one +- は +- ▁no +- ▁there +- 了 +- ▁him +- ▁or +- ▁were +- に +- y +- ▁do +- ▁what +- r +- ▁zu +- ▁our +- u +- ▁if +- ly +- ▁ist +- ▁would +- ▁when +- ▁their +- ▁will +- ▁said +- で +- ▁es +- ▁like +- ▁das +- ▁Sie +- ▁them +- 在 +- ▁can +- ▁who +- ▁out +- ▁know +- te +- ▁been +- ▁ich +- ▁about +- ▁up +- ▁I +- '!' +- ▁more +- ▁man +- ve +- 我 +- ▁que +- ▁un +- 是 +- ▁sie +- 和 +- ▁then +- ▁your +- ▁ein +- ▁some +- ▁den +- а +- ▁now +- 你 +- ▁von +- ▁nicht +- ▁very +- と +- ▁has +- ▁into +- in +- ▁time +- ▁в +- ar +- ▁just +- ▁не +- ▁um +- k +- ▁could +- ▁dass +- ▁Und +- 人 +- ▁think +- ▁auf +- al +- de +- ▁и +- ▁war +- ▁eine +- ▁over +- ▁mit +- ▁well +- も +- 他 +- ▁see +- ▁also +- ▁wir +- ▁other +- ▁des +- le +- ▁how +- ll +- ▁than +- 不 +- 啊 +- ▁these +- ▁little +- ▁sich +- ▁" +- ten +- c +- an +- ▁us +- 上 +- ▁l +- ▁two +- ▁any +- 有 +- ▁don +- ▁go +- ▁did +- ▁people +- ▁only +- е +- na +- ▁good +- l +- st +- ▁where +- ▁на +- ▁el +- ▁se +- z +- to +- 中 +- ▁first +- g +- ta +- ▁na +- ▁di +- ▁als +- is +- ▁come +- ▁Ich +- ▁much +- ▁für +- ne +- ▁с +- 我们 +- 大 +- ▁get +- ▁here +- ▁down +- у +- ▁du +- ▁le +- ▁что +- から +- ▁way +- h +- ▁y +- ▁wie +- ▁should +- ▁before +- ▁am +- ▁made +- ▁those +- ▁after +- 一 +- 'on' +- ▁upon +- ▁because +- ▁back +- ▁right +- ▁haben +- se +- ▁great +- 他们 +- ▁say +- ▁going +- です +- 这个 +- ▁dem +- и +- 就 +- f +- ▁по +- ▁make +- ra +- 来 +- ▁The +- م +- ▁er +- ▁its +- ▁such +- ▁ver +- ▁may +- w +- ge +- ▁even +- la +- ▁men +- 说 +- ':' +- ▁new +- ▁im +- 地 +- é +- da +- ch +- ▁through +- 呢 +- ▁long +- な +- me +- ▁never +- ▁most +- ▁Es +- as +- il +- p +- ▁A +- ▁must +- '"' +- ▁sind +- ▁day +- し +- 一个 +- ▁really +- ▁per +- b +- ▁came +- ▁con +- '1' +- 这 +- man +- ▁And +- ▁life +- ▁many +- м +- ▁old +- est +- я +- j +- ▁я +- ▁yeah +- 'no' +- ro +- ▁again +- т +- ▁things +- ▁La +- ▁hat +- be +- ma +- ▁mu +- ▁own +- 她 +- den +- ▁take +- ci +- ▁et +- ▁aus +- ▁being +- ▁je +- ga +- os +- 它 +- ni +- we +- ▁mr +- ▁still +- ir +- ▁我 +- '2' +- ▁last +- か +- 小 +- ▁too +- ▁les +- ▁might +- 会 +- ▁work +- us +- ▁у +- ce +- や +- ▁every +- un +- ▁We +- 子 +- ▁ku +- ▁al +- 去 +- ▁за +- ▁So +- ы +- at +- ▁want +- る +- ی +- ▁Die +- 到 +- it +- ▁went +- ▁look +- ▁über +- х +- ▁In +- ti +- ▁years +- 对 +- ’ +- 吗 +- ▁это +- ▁same +- ▁three +- ▁something +- ▁da +- do +- li +- ▁werden +- ▁let +- ▁thought +- ▁himself +- ▁ne +- й +- ▁ah +- 被 +- ▁van +- って +- ▁got +- ▁ge +- д +- ▁world +- ね +- い +- ▁wenn +- va +- 好 +- ▁einen +- 要 +- ▁thing +- ▁while +- ▁à +- ▁part +- 都 +- ه +- с +- 着 +- ▁year +- el +- ▁del +- ▁oh +- ▁away +- ▁hand +- ▁Er +- em +- et +- ho +- 下 +- た +- ▁Das +- ▁auch +- ka +- ▁ya +- ter +- ▁kind +- ▁without +- ▁place +- ж +- ▁put +- 出 +- lo +- ba +- ment +- ▁oder +- ▁under +- 没有 +- した +- л +- ▁вы +- ▁una +- ▁off +- th +- ▁то +- ri +- 里 +- ▁yet +- ze +- н +- する +- ▁diese +- ▁another +- ers +- ▁why +- je +- ▁found +- 从 +- 时 +- ko +- 就是 +- sa +- ng +- ▁S +- ▁shall +- ▁aber +- ▁sein +- or +- ▁а +- 点 +- '3' +- ur +- ка +- ▁tell +- ▁god +- お +- ▁و +- ▁Aber +- ke +- ness +- 也 +- ▁far +- able +- ▁give +- si +- して +- ▁though +- ▁nothing +- mo +- ▁eyes +- 手 +- ▁once +- 家 +- x +- ver +- ▁always +- ▁het +- 日 +- ▁saw +- ▁house +- men +- 用 +- di +- ▁ha +- この +- ja +- go +- ▁wird +- ▁ever +- ▁een +- ▁face +- о +- ) +- ▁vor +- ▁你 +- 年 +- ▁love +- am +- 想 +- ung +- ent +- ▁uns +- ▁home +- he +- на +- ▁habe +- ation +- ▁head +- ▁nach +- ли +- ▁nur +- mi +- ▁few +- zi +- ▁young +- но +- ن +- て +- ▁mean +- ▁mich +- ki +- ▁better +- ▁each +- ▁einem +- ▁find +- ha +- ▁si +- ▁business +- ш +- ت +- では +- ▁left +- ▁both +- ton +- ▁It +- ▁v +- der +- v +- ▁einer +- 那 +- 为 +- wa +- ▁night +- · +- 过 +- ▁took +- ▁( +- ▁können +- ▁mind +- ▁— +- ya +- ▁father +- ▁mir +- ▁moment +- ▁done +- 得 +- ▁va +- ca +- د +- 水 +- ▁su +- 」 +- ▁against +- ▁need +- ry +- 吧 +- 的人 +- ▁end +- ▁yes +- sch +- ▁lot +- ity +- という +- um +- ▁course +- co +- ▁dat +- ▁half +- ▁between +- 高 +- ▁Wir +- ▁من +- ant +- り +- ▁next +- ste +- 当 +- ▁noch +- ▁pro +- ▁He +- 多 +- 做 +- ▁E +- gen +- 本 +- 这些 +- 事 +- でも +- ▁می +- ▁door +- к +- ▁called +- ted +- son +- ▁looked +- za +- ▁ja +- ul +- 前 +- tu +- ▁ko +- ▁wurde +- ye +- ス +- ، +- 什么 +- ▁por +- ▁kann +- ▁los +- ▁asked +- ش +- ▁seen +- ▁как +- 回 +- ла +- 「 +- ▁дробь +- ▁улица +- 心 +- ▁side +- ▁told +- ▁does +- ら +- '4' +- 者 +- lu +- ▁son +- ▁having +- 生 +- ▁water +- 分 +- ol +- 三 +- ▁sehr +- ▁quite +- ▁hatte +- 看 +- ▁El +- ▁heard +- ▁whole +- ▁heart +- ▁believe +- '".' +- ▁te +- ▁met +- ч +- 打 +- 与 +- ▁name +- ▁uh +- 的时候 +- ▁ni +- 而 +- ▁mother +- ▁در +- ▁ال +- vo +- 把 +- ▁bei +- land +- 能 +- ▁ob +- ▁knew +- ▁о +- ▁op +- ▁ma +- ▁different +- ▁around +- ▁best +- ▁به +- ▁call +- 可以 +- ▁mi +- ▁enough +- ▁il +- ▁second +- ▁para +- く +- 行 +- 自己 +- ▁par +- 性 +- ie +- ▁point +- ▁seemed +- ю +- ます +- 后 +- ▁ba +- ▁set +- ▁four +- 所 +- ました +- ة +- ▁pas +- ▁mrs +- so +- には +- ▁woman +- ia +- ven +- ▁room +- ▁да +- 山 +- ting +- その +- ・ +- bo +- S +- ▁five +- ▁che +- ion +- 이 +- ▁high +- 走 +- ▁所以 +- ▁sure +- ▁但是 +- ▁durch +- 还 +- '5' +- ▁hundred +- ▁country +- ▁light +- ▁sir +- та +- ▁use +- ▁hier +- ▁anything +- ▁sa +- г +- ▁к +- ▁actually +- 现在 +- ad +- by +- ▁bir +- ku +- ▁он +- ▁quarter +- ▁wa +- ▁po +- ó +- ▁при +- ▁almost +- ▁про +- ▁days +- ▁от +- ▁他 +- 天 +- ken +- ▁help +- 最 +- ▁care +- ▁sort +- ر +- 您 +- ▁dieser +- ▁Der +- po +- 特 +- id +- 新 +- ▁L +- ▁ab +- ですね +- ▁gibt +- ▁soon +- ler +- 国 +- ▁com +- ▁з +- ▁Be +- 我的 +- ▁white +- ▁alle +- ▁dann +- du +- ling +- ▁small +- 力 +- ي +- less +- ▁together +- ▁fact +- im +- ▁since +- ▁money +- ak +- ▁мы +- 很 +- à +- 个 +- 你的 +- ▁qui +- ▁doing +- さん +- hi +- 更 +- ▁until +- 给 +- ine +- 斯 +- ▁talk +- ▁question +- ▁nor +- 老 +- き +- ty +- ▁twenty +- ▁didn +- ▁used +- ik +- vi +- ▁bit +- ▁hard +- ▁miss +- zu +- ▁big +- ▁full +- ▁Le +- ▁Re +- ▁yn +- ▁De +- ist +- よ +- 非常 +- au +- ▁gave +- 不是 +- ▁morning +- さ +- з +- ▁mehr +- ов +- 将 +- ку +- ▁keep +- pa +- ut +- 可能 +- ▁lord +- ▁rest +- ▁number +- ▁An +- que +- ▁real +- 가 +- ▁words +- ▁began +- and +- ки +- 呀 +- ▁ik +- ▁immer +- ▁however +- ▁hands +- ▁open +- ▁king +- 头 +- ▁bin +- ▁ب +- A +- ▁lo +- bi +- ▁looking +- ▁раз +- ▁pe +- led +- ل +- ▁па +- ▁c +- п +- ig +- р +- ▁turned +- ▁feel +- ▁En +- 那个 +- ▁waren +- 可 +- lar +- ic +- ▁і +- ▁felt +- ▁так +- 比 +- ▁zum +- ▁bu +- ها +- 再 +- ▁في +- ▁wirklich +- 像 +- в +- 外 +- ▁etwas +- 开始 +- 已经 +- 长 +- ちょっと +- ▁poor +- ▁pour +- ▁D +- ▁power +- 或 +- 名 +- ▁word +- ▁among +- gi +- 度 +- ▁myself +- ▁children +- ▁during +- ا +- ▁whom +- ▁ka +- しました +- ▁这 +- ▁lady +- ▁large +- ▁matter +- ▁death +- ▁Ver +- ▁Ja +- ▁vi +- pe +- ▁true +- '6' +- ▁certain +- ate +- ом +- kan +- nt +- ▁state +- ▁pa +- 并 +- ь +- ▁till +- ▁که +- ▁dans +- ▁person +- 月 +- 金 +- ▁present +- ▁general +- les +- ▁tun +- ▁O +- tion +- ă +- 向 +- ▁boy +- 因为 +- ▁live +- ▁case +- ▁est +- ▁brought +- 以 +- ▁black +- 成 +- 又 +- 你们 +- ek +- ▁order +- ▁dis +- oj +- ▁rather +- mu +- だ +- ▁Se +- 太 +- ▁voice +- ▁w +- ▁все +- ▁taken +- zo +- 道 +- ▁Menschen +- 先 +- jo +- ть +- ▁Wenn +- 让 +- ▁perhaps +- ▁given +- ない +- 内 +- ▁hear +- ▁already +- ju +- 所以 +- ся +- ▁une +- dy +- ▁important +- ▁girl +- ▁human +- ▁show +- 发 +- ▁вот +- 这种 +- ▁ihre +- ▁را +- ▁C +- wi +- ▁hij +- á +- ▁ihr +- ▁B +- ▁qu +- ▁ihn +- ▁K +- ▁company +- lan +- ▁meine +- ▁strong +- ren +- ▁thousand +- the +- った +- га +- ▁seine +- す +- ▁air +- ▁coming +- ▁But +- 面 +- ▁friend +- ▁-- +- ben +- ▁within +- ▁round +- 海 +- 方 +- ▁Li +- ▁change +- ва +- ji +- ard +- ▁six +- み +- 二 +- ai +- ▁often +- ▁everything +- ▁sea +- ع +- 没 +- ▁along +- nie +- ▁sent +- ▁Ein +- ▁whether +- 他的 +- '7' +- ▁wissen +- 无 +- う +- 这是 +- とか +- 尔 +- per +- ▁estas +- 但 +- ▁но +- ieren +- ▁This +- ▁car +- ive +- ▁themselves +- ب +- 车 +- 口 +- ▁forward +- 入 +- 学 +- ▁co +- ▁N +- ado +- ▁Na +- 西 +- 何 +- ▁others +- ▁za +- í +- つ +- го +- ▁我们 +- ▁idea +- 开 +- ▁keur +- س +- ▁across +- ▁dear +- ▁stood +- ▁school +- ▁那 +- ▁understand +- ▁sagte +- ▁making +- ▁dan +- ck +- bu +- ▁family +- ▁fire +- ▁nature +- ▁near +- ▁из +- 于 +- ем +- もう +- ▁times +- да +- ▁herself +- ▁public +- ▁niet +- ▁b +- ▁Zeit +- ▁read +- ▁cannot +- ▁pre +- ▁hope +- 花 +- ▁turn +- ▁city +- ル +- ▁این +- cu +- ▁würde +- è +- ▁است +- ▁zijn +- ger +- 死 +- ▁از +- sta +- ны +- ▁viel +- ▁li +- ner +- ▁women +- ▁gone +- ▁sagen +- ster +- ▁non +- ▁sur +- 听 +- ▁然后 +- fe +- ▁ser +- ▁means +- ▁thus +- いい +- ▁tu +- ▁child +- ▁least +- ق +- ▁sehen +- ▁T +- ▁nu +- 化 +- ▁pretty +- aba +- ▁ki +- ты +- ▁sense +- ▁says +- ada +- ▁أ +- fa +- 工作 +- ので +- ▁reason +- 这样 +- ▁einfach +- ▁keine +- ▁behind +- 日本 +- ▁この +- ▁wife +- ▁Il +- T +- E +- いた +- che +- ▁voor +- ▁short +- ▁bi +- 一些 +- ▁body +- ▁indeed +- 先生 +- ▁ce +- ▁feet +- wo +- 一样 +- '8' +- ▁M +- 就像 +- ▁wo +- 还是 +- 德 +- نا +- ▁до +- ▁Ma +- ▁sat +- ▁continue +- ま +- ts +- ▁unter +- age +- q +- ▁ask +- 儿 +- ▁U +- ▁close +- ить +- ம் +- ▁several +- 放 +- ▁won +- ▁om +- ية +- ▁whose +- не +- ▁market +- 之 +- ▁red +- ▁possible +- C +- up +- 你知道 +- ▁amb +- イ +- わ +- 部 +- ▁leave +- tes +- など +- 는 +- として +- ▁less +- ile +- ク +- ▁become +- ля +- ▁later +- 重 +- 拉 +- ان +- 吃 +- ▁known +- ▁Un +- ف +- ▁growth +- zen +- ä +- P +- ft +- ▁Ge +- ▁friends +- و +- lich +- ▁either +- ny +- gu +- ▁story +- ▁probably +- 体 +- ous +- ana +- ▁ihm +- ー +- ▁Sch +- ▁able +- ▁thou +- ▁else +- ▁wieder +- io +- 白 +- ц +- 跟 +- 万 +- ▁run +- 光 +- 位 +- ▁diesem +- ▁bad +- б +- ▁alone +- 但是 +- ات +- ▁そして +- ▁gut +- ز +- ▁start +- 法 +- ▁past +- 路 +- ▁itself +- iert +- aj +- ▁în +- š +- ▁Art +- ле +- ▁jetzt +- I +- ran +- і +- ▁therefore +- ア +- ▁free +- ▁sometimes +- ▁passed +- ў +- ▁speak +- mos +- 数 +- 问题 +- yo +- ▁book +- ▁line +- ▁andere +- ▁mal +- chen +- ми +- ▁Bu +- ▁above +- ▁became +- ▁Al +- bar +- 我们的 +- ▁wanted +- des +- ال +- way +- 利 +- era +- ك +- ▁bo +- ▁Je +- ▁cried +- '9' +- ban +- ▁today +- tro +- ▁au +- 今 +- 고 +- ▁getting +- 别 +- ▁okay +- ley +- ▁kaj +- ham +- 马 +- ん +- fer +- sten +- 지 +- ▁saying +- ▁No +- ▁bring +- ▁zwei +- 四 +- ated +- 需要 +- ▁p +- 田 +- ح +- ▁weil +- ▁las +- ▁z +- mer +- gel +- ▁és +- 世界 +- '10' +- ber +- 孩子 +- んだ +- ет +- end +- 都是 +- ▁ta +- ▁그 +- だった +- 王 +- リ +- ▁form +- ▁dead +- ▁hour +- ▁future +- ма +- ▁bis +- ▁machen +- 物 +- پ +- лі +- ▁earth +- ▁zur +- 自 +- nd +- ful +- カ +- ▁là +- ▁government +- ▁Do +- 钱 +- ▁، +- му +- nu +- ▁play +- ▁remember +- ▁land +- ▁bed +- ▁vous +- ere +- ▁plus +- 知道 +- 两 +- 带 +- 真 +- ▁fast +- ish +- ning +- 快 +- 身 +- ▁fell +- ▁dark +- ▁held +- 时间 +- rs +- 定 +- им +- ▁As +- ▁started +- ▁lost +- op +- 主 +- ▁hi +- ▁como +- 爱 +- ▁ت +- ▁answer +- ▁Was +- 一下 +- ▁bar +- ▁один +- tor +- します +- gan +- ▁cost +- ная +- ▁fa +- nya +- ang +- ▁сто +- ой +- ▁early +- ari +- min +- ご +- ▁müssen +- su +- ▁ground +- lin +- ▁answered +- ▁ago +- red +- ▁anderen +- ▁lay +- 明 +- ▁Vi +- ▁ў +- ▁Ba +- con +- ▁stand +- 正 +- ▁但 +- 安 +- 知 +- 加 +- ▁под +- 合 +- ▁selbst +- 谁 +- 起 +- han +- ▁они +- ▁em +- ра +- ▁Ha +- ç +- ']' +- tt +- vu +- 五 +- ▁truth +- ▁Ka +- 美 +- ▁mar +- ot +- ド +- ▁мне +- 看到 +- ▁alles +- 流 +- ▁denke +- ▁try +- ac +- iz +- ait +- 人们 +- ker +- cy +- ru +- ▁clear +- ко +- 同 +- ▁Leute +- ▁working +- 克 +- ▁Ne +- ▁front +- ▁towards +- ▁replied +- ト +- port +- ▁taking +- ▁Ihnen +- ▁viele +- 火 +- 然后 +- ▁же +- 怎么 +- her +- え +- র +- ▁further +- 等 +- 那么 +- day +- 的话 +- ин +- 叫 +- ▁Dinge +- ▁fine +- ▁ad +- 市 +- வ +- ▁kon +- ▁ну +- ам +- 只是 +- om +- ▁zurück +- ▁trying +- ." +- tan +- ism +- ▁law +- O +- ▁town +- ▁было +- ▁для +- 感 +- ▁fear +- ff +- ▁Da +- 门 +- lle +- ez +- B +- 全 +- 气 +- これ +- にも +- ▁его +- ini +- ern +- まで +- ire +- 目 +- ▁ты +- 真的 +- ラ +- ; +- ▁thank +- ▁со +- ▁table +- are +- ▁ye +- ؟ +- ▁Y +- 使用 +- 中国 +- ▁есть +- ▁third +- ▁church +- ▁dieses +- ▁expect +- ú +- 作 +- います +- ex +- ▁Du +- ▁art +- 平 +- ▁Sa +- ▁diesen +- ный +- ▁sun +- ▁doubt +- ▁бы +- ▁return +- qui +- ▁system +- ▁pay +- ap +- ▁sin +- ▁era +- ▁[ +- ü +- ance +- のは +- ▁plan +- 도 +- め +- ▁maybe +- ▁soul +- ர் +- コ +- 野 +- ▁dr +- ita +- tre +- ina +- ло +- ▁muss +- ▁الم +- sen +- 通 +- ▁aan +- 请 +- ▁sound +- ring +- ▁거 +- ند +- one +- ▁Wie +- 南 +- ▁beautiful +- ▁seems +- 見 +- ах +- ▁week +- ▁brother +- ▁два +- ▁با +- ▁kept +- sha +- 時 +- elle +- あ +- ary +- gar +- ▁certainly +- ▁continued +- ▁comes +- ▁P +- ▁top +- ▁position +- ча +- 어 +- '20' +- sto +- ▁там +- ит +- ▁gu +- ▁нас +- K +- ▁suddenly +- ▁seven +- ▁thinking +- ▁А +- している +- 에 +- ab +- ▁wish +- ▁talking +- ▁ready +- ▁Mi +- ▁master +- F +- ▁service +- 自己的 +- ন +- ▁evening +- しています +- ▁view +- ▁cap +- ▁thy +- 那些 +- ▁nie +- ک +- ▁ما +- sel +- ▁subject +- 通过 +- ▁Per +- '...' +- 应该 +- ▁Ta +- ▁eines +- ▁cold +- ure +- és +- pi +- ▁dé +- 文 +- ▁longer +- ▁letter +- ▁cause +- ▁Ro +- ▁happened +- kin +- 生活 +- ды +- ▁deep +- ▁nous +- ▁если +- dan +- ▁common +- ding +- 立 +- 使 +- ▁happy +- ▁post +- van +- ▁zij +- bel +- でした +- ン +- tar +- ▁дом +- ▁ca +- んで +- ▁low +- ▁arm +- 区 +- ▁gi +- ▁cu +- 动 +- ▁pass +- ти +- ни +- то +- ble +- ▁interest +- ▁dit +- 格 +- ah +- ▁schon +- cia +- ix +- 这么 +- ê +- igen +- ▁ihnen +- 只 +- ▁john +- 米 +- une +- ▁Ihre +- ▁manner +- ▁living +- ies +- ▁To +- 它们 +- 声 +- து +- ama +- ▁natural +- ある +- 送 +- いて +- ▁hold +- ▁thirty +- ▁eight +- ▁「 +- ▁б +- ▁Welt +- mp +- 研究 +- ▁spirit +- fi +- ▁months +- された +- ▁river +- ▁அ +- ين +- ▁unsere +- 出来 +- ▁husband +- ▁watch +- G +- ক +- ▁capital +- ite +- sh +- 店 +- 不会 +- mal +- ris +- 问 +- ▁road +- 意 +- 住 +- ▁rose +- ▁fi +- los +- ▁guess +- val +- 总 +- ▁Ab +- 的是 +- ▁seeing +- ▁support +- 喜欢 +- ня +- ной +- ▁result +- ub +- ▁Ni +- 有一个 +- 我想 +- 原 +- ▁You +- ▁value +- во +- ط +- ▁deal +- ▁meet +- ▁results +- 号 +- ▁wurden +- 長 +- bra +- 今天 +- tic +- 木 +- 不能 +- ▁street +- 次 +- 希望 +- ▁vol +- 情 +- 给我 +- ▁green +- ар +- ▁denn +- ▁social +- ▁hours +- 或者 +- 科 +- ▁returned +- ▁cut +- ил +- ▁experience +- vis +- ian +- ون +- len +- ▁sub +- ungen +- ▁strange +- ud +- 元 +- ▁werde +- 戦 +- кі +- いる +- ая +- 是的 +- ▁whatever +- ▁einige +- ▁sight +- 之前 +- ▁mein +- 公司 +- 半 +- 的事情 +- ▁drei +- 言 +- ▁doesn +- 公 +- ischen +- car +- ▁その +- ▁Aus +- ей +- те +- 也是 +- 是一个 +- ▁să +- ▁fair +- ▁У +- ▁terms +- ▁food +- 気 +- ▁minutes +- ef +- 的东西 +- ▁seiner +- ▁아 +- 能够 +- ль +- خ +- ▁ex +- ons +- sche +- ▁Te +- ▁court +- ▁process +- ナ +- tel +- ▁account +- 发现 +- 该 +- 品 +- 林 +- ▁received +- ▁blood +- ▁меня +- ных +- ence +- ag +- D +- ▁followed +- ▁Ra +- ▁ho +- ▁Mo +- 干 +- ▁pri +- ロ +- 张 +- がある +- ò +- ▁feeling +- ну +- ici +- ▁Co +- 州 +- 觉得 +- ▁particular +- las +- ல் +- マ +- ▁Di +- ▁makes +- ні +- lie +- ▁はい +- ▁yo +- ▁due +- 他们的 +- ▁move +- ▁یک +- ▁english +- 第 +- line +- ā +- 女 +- ▁أن +- ▁mais +- ▁seem +- 讲 +- 代 +- 八 +- ▁Vor +- ende +- ▁damit +- ما +- 线 +- ▁act +- ▁beyond +- ria +- れ +- nen +- ▁captain +- zer +- ▁single +- ▁hair +- ▁об +- té +- ▁arms +- ▁spoke +- ▁They +- tra +- ▁suppose +- ▁có +- tas +- க் +- ர +- ▁self +- ▁Also +- ▁information +- ▁data +- ▁simple +- وا +- ста +- 之后 +- ша +- ▁wild +- ▁horse +- ige +- ▁R +- 还有 +- 一点 +- M +- king +- ▁tried +- ▁sleep +- č +- 相 +- ▁mine +- 을 +- 石 +- ée +- 社会 +- ndo +- 色 +- _ +- mes +- 量 +- 人が +- 神 +- ▁wrong +- 大家 +- ▁effect +- ▁wind +- ▁history +- ▁sit +- ▁yourself +- ور +- 才 +- 集 +- ▁eye +- 球 +- 理 +- ▁walk +- ▁fifty +- ブ +- ▁states +- 军 +- cer +- ▁foot +- ▁Um +- 们 +- レ +- hu +- cht +- ▁очень +- 台 +- だけ +- じ +- 形 +- ▁inter +- ▁Les +- ▁problem +- gri +- ▁although +- ▁fer +- ▁maar +- こ +- 空 +- ме +- 不要 +- ▁gold +- ische +- N +- 找 +- ▁G +- ▁mo +- fu +- ▁这是 +- ura +- mente +- ally +- ▁F +- 关于 +- 北 +- if +- 很多 +- î +- ▁space +- ست +- ▁когда +- ▁period +- なかった +- ▁ei +- 所有 +- ▁könnte +- ています +- んです +- ▁glad +- こと +- タ +- ▁weiß +- 六 +- ▁example +- ▁двадцать +- ▁stop +- ▁stuff +- 私 +- ▁els +- ron +- ▁reached +- 认为 +- ▁doctor +- ę +- 政府 +- 让我 +- ▁none +- nde +- ano +- ම +- ▁daughter +- ▁send +- ▁force +- のか +- use +- 进 +- tter +- ▁chance +- ras +- ▁attention +- че +- 见 +- ▁W +- 买 +- ▁fall +- ▁pot +- 教 +- ম +- room +- ▁Man +- ş +- について +- ▁она +- ▁blue +- ▁exactly +- ale +- 如果 +- ▁New +- 东西 +- né +- ▁dir +- 時間 +- ▁Ku +- ▁camp +- ▁stay +- wer +- ▁party +- ▁Si +- ▁especially +- ض +- 完全 +- 川 +- wn +- af +- ando +- fen +- ди +- ▁character +- ▁dich +- ▁except +- вер +- 布 +- ▁please +- my +- ок +- ▁Pa +- そう +- ▁Als +- ▁share +- ▁hatten +- ия +- フ +- 事情 +- ▁Leben +- ▁higher +- ▁tôi +- 阿 +- 何か +- ement +- 受 +- になる +- ▁mis +- ▁outside +- ▁following +- ▁hu +- ▁level +- ▁Me +- ные +- ▁geht +- 信 +- ру +- ▁couple +- ▁lui +- ▁necessary +- ok +- ▁Auf +- ele +- 器 +- 给你 +- 卡 +- 味 +- やっぱり +- 起来 +- це +- 话 +- ▁instead +- ▁và +- ▁opportunity +- ▁carried +- ▁nun +- eg +- nk +- ▁appeared +- ▁toward +- 食 +- 如何 +- ▁gab +- cho +- ▁respect +- 风 +- ati +- ▁south +- ▁Teil +- 美国 +- シ +- ▁added +- ž +- ▁window +- ▁如果 +- nda +- 正在 +- ▁او +- är +- ன் +- ö +- ▁control +- ating +- もの +- ▁england +- ор +- ф +- за +- ▁seinen +- ▁пере +- ▁nine +- па +- ▁questions +- ই +- 成为 +- 越 +- オ +- ▁ought +- 期 +- ▁más +- ▁save +- 九 +- 朝 +- del +- ць +- ▁Mu +- ▁late +- ▁lower +- ▁нь +- 民 +- ira +- 以后 +- ▁lived +- ▁health +- ▁knowledge +- ▁ke +- ▁Lo +- 写 +- ▁што +- ns +- ▁нет +- ▁现在 +- res +- са +- ▁customers +- ▁tra +- он +- 嘛 +- ▁dollars +- ый +- ё +- ▁Mae +- ▁Bo +- ▁gehen +- cha +- ▁wat +- ▁Po +- र +- 歌 +- ▁opened +- ks +- ار +- 取 +- ▁Im +- chi +- ▁miles +- ▁grand +- eth +- let +- また +- 少 +- ▁haar +- ている +- ▁pen +- ▁wall +- ach +- க்க +- ▁è +- 学校 +- 选择 +- ▁comp +- ▁eighteen +- ▁step +- ▁easy +- tur +- 哪 +- heit +- ば +- ▁quickly +- don +- ▁Mal +- mar +- ▁wait +- ging +- 书 +- っていう +- ky +- 回来 +- 员 +- eur +- ба +- ▁Pro +- 城 +- ▁Bi +- ien +- ▁neither +- ▁уже +- ре +- tal +- ▁fellow +- ise +- ▁group +- ▁product +- lla +- ▁Ri +- ام +- 人の +- ▁building +- ▁чтобы +- ide +- ▁因为 +- ▁goes +- ▁north +- ▁chi +- ▁jeung +- ▁Z +- ▁vielleicht +- ▁music +- ு +- 一种 +- ▁main +- ▁три +- una +- ▁paper +- 周 +- ри +- ▁bright +- ▁beginning +- க +- ным +- out +- ▁V +- ры +- tin +- 几 +- ▁hall +- L +- ▁ningal +- ▁wonder +- ▁diwawancara +- ▁forth +- ▁olohok +- ▁office +- ▁christ +- ▁sweet +- ▁möchte +- ミ +- 後 +- ذ +- ▁wollen +- stre +- stand +- ▁ihren +- ities +- H +- ned +- yi +- ▁var +- ▁wäre +- ▁figure +- ▁mhm +- ▁Ki +- 为什么 +- ▁entre +- ▁nearly +- ▁ran +- ▁dipoto +- ன +- ▁wartawan +- ▁avec +- ▁forty +- 任何 +- 制 +- ▁пра +- 十 +- kt +- 在这里 +- ке +- ▁team +- ali +- time +- ▁mon +- ida +- 夜 +- 清 +- bre +- 进行 +- ▁Mann +- lor +- med +- 的一个 +- ▁ganz +- ج +- دا +- 由 +- ▁bien +- 机 +- 本当に +- 拿 +- と思います +- 近 +- ▁Con +- 大学 +- ▁kam +- ğ +- ges +- wy +- ▁rich +- 直 +- ийн +- ▁interesting +- 的な +- ▁Mit +- ду +- ▁There +- ▁local +- ▁konnte +- или +- ▁sollte +- 急 +- ▁Am +- 波 +- 特别 +- ▁purpose +- 其他 +- 倒 +- mon +- ▁este +- ▁lives +- ல +- ということです +- ▁будет +- ан +- ▁daß +- 的地方 +- ▁Ad +- ту +- ville +- ▁key +- kel +- pan +- ص +- 巴 +- ▁một +- 村 +- 得到 +- 表 +- od +- ert +- ▁heute +- けど +- ল +- ▁Com +- ▁근데 +- ça +- 解 +- ▁game +- 接 +- ▁news +- ▁peace +- ▁weiter +- ய +- ▁pleasure +- sti +- ▁darüber +- for +- ▁situation +- ▁learn +- ▁ou +- ▁ihrer +- 局 +- 笑 +- ▁lie +- ▁안 +- バ +- 是什么 +- tie +- ▁على +- ▁silence +- ▁grow +- R +- 是不是 +- '30' +- ▁sister +- tri +- ▁sei +- 安全 +- ther +- த +- ▁class +- ید +- 音 +- 派 +- 甚至 +- ▁zoo +- ▁pan +- ▁moved +- ▁strength +- ib +- ili +- ▁sta +- ということで +- ▁modern +- ▁success +- ante +- side +- 雪 +- ▁secret +- log +- ▁Va +- ł +- 君 +- 初 +- 哥 +- ▁dog +- ▁follow +- 指 +- ani +- cher +- се +- 船 +- 切 +- 继续 +- ▁board +- 男 +- ▁comme +- ▁ru +- ▁mag +- 提供 +- ▁뭐 +- vel +- 古 +- nes +- U +- ▁och +- ▁davon +- 다 +- 中的 +- 国家 +- 雨 +- 来说 +- ▁french +- ッ +- 早 +- ▁gegen +- ро +- mit +- lichen +- ▁middle +- 两个 +- ▁project +- ▁С +- lang +- ▁uit +- ▁afraid +- どう +- ía +- ▁eat +- ▁expected +- ▁dar +- cal +- への +- ▁bear +- む +- 实际上 +- 管 +- غ +- nce +- 落 +- ▁Я +- よく +- ▁performance +- ▁Arbeit +- っ +- 难 +- ца +- ▁wouldn +- ▁ara +- tte +- ▁army +- こう +- ▁entered +- uri +- 到了 +- mas +- 字 +- ▁spring +- ▁fit +- ▁Ho +- mor +- ize +- 如此 +- ier +- ▁impact +- ▁object +- 七 +- 帮助 +- ▁national +- can +- ▁drive +- rea +- ▁cool +- ▁private +- 片 +- ” +- ▁difficult +- 在一起 +- 咱们 +- 土 +- 曲 +- ▁joy +- ized +- ப் +- ү +- ▁standing +- 其实 +- ▁progress +- ▁trouble +- 低 +- ▁floor +- tres +- ▁pu +- 選手 +- ▁только +- 東京 +- ▁ship +- ▁Nun +- かな +- 哈 +- ▁Su +- ▁break +- чи +- 一直 +- 命 +- form +- ▁mai +- ول +- ▁zusammen +- ئ +- ple +- ▁av +- ▁cho +- エ +- ズ +- ▁provide +- 救 +- pen +- ▁She +- ами +- ▁happen +- ving +- 病 +- ▁din +- 感じ +- 作为 +- zeit +- 活 +- になって +- ▁nice +- ウ +- ▁ways +- ▁american +- ▁everybody +- ▁special +- ▁smile +- же +- ▁major +- 率 +- ▁ju +- sse +- ▁chief +- ▁hem +- 理解 +- 一起 +- およそ +- 处 +- ▁sont +- ত +- ▁distance +- 罗 +- ▁И +- 看看 +- чы +- 电 +- ció +- vin +- ▁prince +- ▁dies +- ▁sign +- لا +- ▁fight +- ▁greater +- ▁That +- ен +- ▁mouth +- 朋友 +- ▁Jahren +- dig +- ido +- ▁kein +- ▁consider +- ▁demand +- ව +- 反 +- ▁sitting +- ого +- ▁written +- ▁lang +- ▁oku +- ▁Wa +- ní +- cla +- ▁remain +- ▁couldn +- 李 +- art +- dd +- ▁Eine +- 은 +- 街 +- 场 +- ▁design +- ▁spot +- ▁потому +- house +- cken +- 不知道 +- ▁vom +- すると +- ▁length +- nis +- win +- ▁ба +- 〉 +- ▁job +- ▁пять +- すごい +- ship +- 岁 +- hen +- ▁heaven +- де +- ა +- san +- 必须 +- 河 +- ▁books +- 条 +- ▁final +- of +- ▁grew +- ▁base +- 一次 +- ие +- ▁walked +- ▁isn +- ▁increase +- 官 +- ▁просто +- 奥 +- ▁society +- ▁amount +- ▁On +- 断 +- ero +- cur +- гу +- ▁trees +- ▁program +- ▁これ +- ې +- ▁был +- न +- 有点 +- ى +- ▁ம +- ations +- â +- iza +- ▁faith +- vor +- ▁heavy +- ▁immediately +- ▁battle +- ▁president +- ین +- ▁financial +- ▁What +- ▁〈 +- のが +- ▁dort +- ▁четыре +- ▁running +- ▁begin +- ▁рас +- par +- 間 +- サ +- ▁personal +- へ +- ▁action +- ха +- wan +- ▁cor +- ▁тридцать +- sie +- ▁places +- ▁development +- ▁visit +- ▁во +- ▁train +- ▁eu +- ▁mary +- ▁learned +- ▁không +- ▁write +- ▁cre +- ▁ohne +- ですよね +- ▁Gu +- ст +- 一个人 +- 东 +- 最近 +- 首 +- ется +- ▁darauf +- nas +- ▁hot +- さんが +- ▁died +- 地方 +- 支持 +- ую +- ▁laid +- ▁perfect +- 她的 +- ces +- ries +- ▁queen +- 工 +- 却 +- そして +- ▁Ar +- 决定 +- できる +- ▁einmal +- 서 +- 足 +- ▁command +- ▁safe +- ии +- yu +- される +- ▁slowly +- 连 +- dra +- ә +- ▁price +- ▁Ti +- ▁super +- 玩 +- ı +- ▁Mar +- ий +- ▁quick +- ▁wood +- ▁glaube +- ▁сейчас +- ▁add +- 女性 +- ram +- ndi +- ▁estis +- liche +- ▁build +- 只有 +- 实 +- っている +- ▁sales +- ▁nga +- ▁Zu +- ▁stopped +- ą +- 队 +- dro +- ▁sobre +- キ +- 森 +- ▁嗯 +- ▁finally +- 红 +- 思 +- nia +- ▁various +- ▁conversation +- 差 +- 当然 +- ▁color +- ▁changed +- ▁age +- 推 +- ө +- цы +- ▁married +- 远 +- ▁west +- ▁caught +- mm +- 酒 +- ▁gentleman +- vid +- 深 +- mus +- ▁més +- ▁cette +- lik +- 战 +- ▁hast +- clock +- uch +- 所有的 +- 强 +- ве +- ▁или +- ▁film +- ▁desire +- shi +- mel +- ▁straight +- ▁study +- ins +- メ +- ▁pi +- isi +- ▁может +- вы +- ▁model +- ▁warm +- ▁ging +- rie +- sion +- ▁которые +- ▁tree +- 当时 +- ▁ill +- த்த +- ▁cross +- ▁hay +- ▁ад +- dem +- ▁built +- ▁Land +- ▁science +- ▁бол +- ▁J +- ▁bra +- ட +- ans +- 亚 +- ところ +- ▁danger +- 商 +- 努力 +- ska +- ▁kwa +- 啦 +- 每 +- ▁talked +- ▁remained +- 部分 +- 老师 +- 士 +- 室 +- 变 +- sis +- 番 +- ▁paar +- schen +- ▁giving +- gang +- 話 +- そうです +- ▁gonna +- ▁All +- pp +- ité +- ▁quiet +- 让我们 +- ▁rate +- ного +- 转 +- ▁york +- ▁meiner +- 热 +- ▁их +- rus +- チ +- ▁الأ +- ɣ +- ▁tre +- 我是 +- 事件 +- ▁wrote +- ▁picture +- ▁loved +- ip +- yan +- аў +- ▁Diese +- ps +- 整个 +- ▁Ur +- ▁tr +- ▁Ko +- ▁snow +- ▁gemacht +- ▁waiting +- ▁uncle +- ث +- tive +- ▁семь +- 肉 +- ▁那么 +- ▁fort +- ▁yang +- ▁race +- ito +- 失 +- ▁nichts +- ▁For +- ▁london +- ▁кто +- мо +- ▁これは +- ▁minute +- ать +- ino +- ▁boys +- 报 +- ski +- бы +- 千 +- ▁dinner +- til +- ▁gar +- ▁march +- ය +- хо +- 房 +- ▁fourth +- rem +- 边 +- ▁works +- ▁sprechen +- ▁broken +- tus +- 关 +- ▁tatsächlich +- ち +- ▁below +- 有什么 +- ▁đ +- ties +- 感觉 +- ona +- ▁piece +- xi +- ▁similar +- より +- ▁according +- 保 +- ▁simply +- 最后 +- ▁trust +- 往 +- 达 +- なく +- ம +- ▁seinem +- ḥ +- ▁regard +- ug +- ▁hardly +- 如果你 +- ▁zwischen +- ▁direction +- ▁seu +- ▁drew +- 世 +- lä +- ▁mil +- сан +- ▁brain +- ▁corner +- 真正 +- cle +- 种 +- 以上 +- 关系 +- ▁using +- 这里 +- ▁summer +- اس +- ▁buy +- ich +- ▁language +- ▁Ke +- ▁impossible +- ▁sus +- 不同 +- چ +- ше +- eren +- ▁Tu +- ▁bon +- 权 +- ▁hätte +- ade +- ▁Tag +- ▁beauty +- ▁lips +- ue +- 画 +- 第一 +- ▁evil +- ▁Now +- õ +- 单 +- ▁france +- ▁garden +- ▁بود +- ▁month +- bil +- ▁station +- ec +- さんの +- ev +- 进入 +- ▁lead +- ré +- int +- 包 +- 県 +- sco +- 기 +- ▁Ga +- gehen +- ▁denen +- ▁presence +- amente +- ▁girls +- ▁opinion +- ▁touch +- dia +- そういう +- ▁gran +- 的问题 +- ▁fresh +- ▁آن +- 过去 +- ▁united +- 系统 +- field +- ▁Hu +- gra +- 야 +- rit +- ▁mas +- ▁political +- ▁showed +- とは +- ят +- fo +- یم +- ▁ма +- ▁г +- ser +- ▁looks +- ться +- 眼 +- ず +- ▁Frage +- 以及 +- را +- ▁vier +- ▁나 +- ▁гэта +- ▁placed +- ney +- パ +- pu +- ▁brown +- 冷 +- 発 +- ▁сорок +- ал +- cra +- 根 +- met +- ▁Pe +- ato +- ▁我想 +- 星 +- ava +- ción +- ▁growing +- ei +- ions +- 省 +- ▁risk +- 了一个 +- ▁că +- ▁В +- ▁sick +- ツ +- ▁bank +- ▁переулок +- ▁current +- ▁decided +- ▁soft +- ▁village +- 板 +- ですが +- 夫 +- 我就 +- 今年 +- ব +- ▁filled +- cent +- 青 +- 好的 +- ▁hit +- 実 +- ▁еще +- ▁speaking +- nh +- ih +- ют +- ▁dazu +- ice +- گ +- 其 +- 图 +- ral +- น +- V +- ▁вас +- ර +- ▁hin +- ▁Hi +- ▁Ca +- ▁led +- 来了 +- kon +- ▁ஆ +- ou +- ▁برای +- 装 +- schaft +- ▁wasn +- ▁cent +- ▁har +- ▁muri +- iti +- эр +- ▁weeks +- 上的 +- 找到 +- ▁zich +- ▁pero +- 非 +- well +- ▁inside +- ial +- like +- ▁Sta +- ▁Ihr +- ▁writing +- berg +- ▁mentioned +- 在那里 +- ▁expression +- 出去 +- ▁trade +- 脚 +- ▁born +- fin +- ▁pain +- ▁á +- ▁worked +- ika +- 風 +- ament +- 比较 +- 交 +- ▁twelve +- 这样的 +- ▁type +- ▁cy +- ده +- ▁kan +- ▁Jahre +- ▁revenue +- nte +- ▁rain +- ▁serve +- ова +- ute +- ▁reach +- よね +- ▁H +- oli +- ▁meant +- ▁würden +- har +- 妈妈 +- ▁direct +- ▁இ +- ң +- やって +- ▁plain +- ▁för +- ▁Ru +- ▁pleased +- ▁win +- ▁winter +- ▁influence +- ▁parts +- ▁doch +- isch +- kat +- uk +- ▁mij +- ▁Lu +- 車 +- 你可以 +- ▁naar +- ▁worth +- via +- 这一 +- ▁community +- ▁thoughts +- 突然 +- 》 +- 包括 +- ▁kommen +- hin +- ▁しかし +- ▁raised +- ▁wide +- ▁col +- ▁große +- ▁của +- дзе +- eb +- 传 +- リー +- ▁haven +- ▁chair +- ▁bri +- ▁field +- fall +- 亲 +- ▁umu +- 松 +- 里面 +- wood +- 存在 +- 让你 +- 皮 +- 零 +- ▁boat +- ▁forget +- bro +- ▁exclaimed +- 代表 +- uka +- ded +- 听到 +- '11' +- 血 +- ут +- ▁carry +- ▁chúng +- mmer +- mis +- das +- 华 +- 别人 +- ió +- ▁Geschichte +- ford +- bb +- ▁broad +- ▁od +- ▁paid +- ▁likely +- ▁condition +- ▁ersten +- ▁afternoon +- 以前 +- ▁someone +- ▁grave +- ▁și +- put +- ای +- ▁genau +- 々 +- ▁dream +- сы +- ▁Fa +- ых +- න +- ▁мо +- ▁На +- 说话 +- ком +- ▁ourselves +- ▁waar +- ô +- 草 +- ▁band +- 我觉得 +- ▁content +- ▁wenig +- ora +- 自然 +- 家庭 +- 方面 +- ে +- 黑 +- ▁imp +- ▁industry +- ▁terrible +- dos +- 尼 +- ым +- rig +- ▁report +- ▁somebody +- 要求 +- ▁allowed +- さんは +- ▁path +- rá +- ▁pale +- 那里 +- ▁appearance +- ssen +- ▁mark +- ▁worden +- umu +- よう +- 学生 +- ments +- мен +- 院 +- ▁க +- أ +- sur +- 円 +- ▁journey +- жа +- ▁usually +- ▁دو +- 卖 +- ную +- ves +- ите +- gli +- 的方式 +- だと +- 调 +- ▁listen +- 警察 +- び +- wen +- ▁Frau +- 兰 +- tik +- グ +- ī +- 温 +- '50' +- 線 +- んですよ +- ▁vast +- يا +- ▁anar +- ▁material +- ە +- ▁generally +- ට +- ▁fait +- ▁enemy +- пер +- ▁area +- ▁struck +- dar +- aient +- 重要 +- tir +- ▁rock +- ような +- 喝 +- 的に +- ▁shot +- ると +- ▁finden +- ▁sorry +- ▁gra +- ▁evidence +- ▁آ +- া +- ний +- 我认为 +- ход +- ula +- sam +- 了解 +- ▁daran +- wu +- uma +- ▁Gi +- ▁Nach +- いました +- ков +- ▁easily +- 件 +- ▁individual +- 节 +- ▁duty +- 座 +- ▁tout +- mie +- 过来 +- ▁những +- ▁unless +- まだ +- 它的 +- ু +- ros +- ▁bill +- ▁fifteen +- heid +- mann +- ▁Her +- lt +- 成功 +- iv +- pri +- اد +- iya +- それ +- lia +- ▁laughed +- ▁шесть +- ▁надо +- ▁clean +- ▁normal +- sar +- ▁ن +- ▁tea +- ala +- ▁kar +- ami +- var +- ながら +- 恩 +- oc +- ▁gesagt +- llen +- 是否 +- ▁meeting +- 纳 +- ▁create +- ▁ஒரு +- ҡ +- ▁Dann +- ▁ré +- ▁products +- ▁Et +- ▁вам +- tis +- ▁fun +- ▁während +- 了吗 +- ▁focus +- ses +- あの +- ▁fond +- ▁sí +- んですけど +- あと +- ▁star +- ▁Weise +- 健康 +- ▁considered +- َ +- ▁não +- 油 +- स +- せ +- んですね +- ▁Weg +- ▁broke +- stra +- ▁moving +- ▁sah +- set +- ▁быть +- 此 +- ▁leaving +- ▁supposed +- stan +- ぶ +- ▁million +- ▁services +- ひ +- ▁charge +- ▁ber +- ▁drink +- ▁test +- ская +- ▁enter +- ▁gerade +- 技术 +- ▁sudden +- 式 +- wr +- ги +- ista +- ▁wonderful +- त +- ▁season +- ▁어 +- '",' +- ▁difference +- ▁jo +- ▁আ +- 未 +- اء +- ▁knows +- ▁geben +- ▁rep +- きました +- ified +- 为了 +- leg +- iri +- ▁mad +- ▁positive +- ▁grace +- ▁пры +- dri +- ▁stone +- なんか +- ▁spent +- 我在 +- ▁everyone +- W +- als +- られる +- ē +- ▁bat +- ▁Kinder +- 修 +- 方法 +- э +- ▁principal +- 怎么样 +- ▁sagt +- ▁iron +- dor +- pt +- ▁том +- ก +- 坐 +- ▁Ve +- アメリカ +- ▁ball +- ▁fünf +- ▁Jo +- ▁Fall +- ped +- ▁energy +- ▁sixty +- ▁honor +- 雷 +- ius +- لی +- ▁min +- رو +- ジ +- ▁ganze +- ▁بر +- というのは +- 间 +- чу +- ▁ப +- ▁imagine +- zar +- ţi +- ▁covered +- ▁exist +- 人的 +- ▁latter +- ▁receive +- ▁wollte +- ▁cast +- 任 +- ▁daar +- 不同的 +- nor +- ▁moral +- vers +- ▁global +- ▁fo +- ▁esta +- pro +- 強 +- eu +- ように +- たい +- تر +- ▁natürlich +- ぐらい +- bed +- сти +- uru +- ▁allow +- ே +- ▁closed +- ▁cases +- 离 +- nos +- ▁bound +- ஸ் +- but +- 把它 +- ▁kun +- ▁shut +- 左 +- ▁dafür +- ▁arrived +- ▁huge +- pf +- ▁technology +- ▁besides +- ▁term +- ா +- ット +- ことが +- ph +- 自由 +- 改变 +- ▁Kon +- 服务 +- 二十 +- ニ +- 许多 +- 注意 +- ろ +- ay +- ▁At +- cin +- ▁entirely +- ▁tears +- ですか +- ojn +- 教育 +- ▁particularly +- ▁pod +- ▁девять +- 有人 +- ey +- ▁hill +- 直接 +- 试图 +- ▁ل +- ▁großen +- ão +- ▁Ze +- ▁而且 +- ella +- ▁actual +- looking +- ata +- bli +- по +- のです +- all +- ▁І +- 方式 +- 状況 +- ants +- ▁anti +- pre +- ▁Our +- ▁turning +- ació +- しか +- هم +- 学习 +- ▁ко +- 一天 +- 步 +- yn +- ▁lassen +- んですが +- rt +- yon +- 准备 +- ビ +- 维 +- 药 +- ▁cat +- ward +- ▁percent +- ▁ahead +- ▁notice +- spe +- 离开 +- 人类 +- ▁justice +- ▁sollten +- iga +- ▁spend +- pul +- ▁significant +- ▁fest +- ▁ي +- ▁needs +- 收 +- hand +- ай +- ical +- ▁sand +- だから +- ட் +- лю +- ▁sky +- ▁killed +- 语 +- ▁dos +- ▁bak +- nder +- eva +- 를 +- ▁Beispiel +- rà +- лу +- 留 +- 考え +- ▁holy +- 宝 +- 百 +- ▁Dr +- ▁Pi +- ▁Go +- ส +- ▁europe +- ▁rise +- ▁animal +- های +- 完 +- ▁macht +- ение +- ▁jeder +- ▁labor +- ▁бо +- ▁John +- ▁deux +- 参加 +- ▁island +- ▁kids +- ▁size +- ▁occasion +- cio +- ▁beside +- ぎ +- iki +- ▁park +- ул +- illa +- ви +- og +- 中心 +- され +- 福 +- board +- 島 +- ▁jack +- ▁complete +- 提 +- ▁east +- ▁religion +- ▁note +- ein +- ▁usual +- ture +- ▁horses +- ▁police +- ▁youth +- ▁unserer +- vil +- ▁uma +- ▁wise +- 短 +- ハ +- ón +- ola +- 角 +- tru +- ▁crowd +- ▁george +- ▁welche +- ▁пред +- ḍ +- ▁gute +- ▁silent +- 吉 +- 兵 +- 跑 +- していた +- 影响 +- ム +- qu +- ▁пятьдесят +- 查 +- ▁opportunities +- hr +- ▁tend +- lon +- ▁peter +- av +- になった +- ima +- 师 +- ▁education +- 見て +- 好好 +- ▁К +- ▁« +- лен +- bert +- ți +- ▁countries +- ボ +- ably +- ▁sam +- ability +- ▁нам +- 你会 +- கள் +- ▁blind +- ど +- ▁trans +- '40' +- ▁восемь +- ▁former +- ▁مع +- vy +- nan +- ▁ただ +- ▁molt +- ▁tut +- ▁су +- ▁“ +- 完成 +- ▁sicher +- ▁prop +- ▁noble +- ▁ubu +- ▁tax +- ▁della +- ▁meinen +- lé +- mun +- 案 +- mba +- 客 +- ▁ziemlich +- เ +- тор +- ▁Hand +- ▁warum +- ▁lange +- ман +- ▁letters +- ▁была +- ▁reading +- ▁Denn +- ▁parents +- 演 +- 配 +- ▁Car +- rei +- ▁attack +- ▁чем +- лся +- teil +- ▁surprise +- 来自 +- にある +- 破 +- ▁heraus +- pon +- 文化 +- 走了 +- ▁aunt +- ▁needed +- ▁ngo +- ▁slow +- low +- 数据 +- ▁offer +- といいます +- 至 +- ▁pleasant +- ▁list +- ett +- arbeit +- 罪 +- ▁entire +- ৰ +- 无法 +- uta +- ▁lines +- sent +- ▁Dies +- 만 +- ▁merely +- ▁cry +- ▁está +- ▁ac +- ierte +- iro +- tha +- mbo +- ▁worse +- ▁pra +- 待 +- kla +- ▁cha +- 另一个 +- huh +- tag +- ▁unto +- があります +- ▁absolutely +- ▁marriage +- tim +- 跳 +- ened +- ▁п +- sia +- 算 +- ▁gesehen +- ▁ни +- ▁original +- ▁этом +- nou +- ▁tall +- ネ +- ▁based +- aka +- ร +- ov +- 管理 +- 似乎 +- ▁ideas +- ador +- mut +- bla +- ▁этого +- 我会 +- ые +- نی +- ▁هو +- ▁store +- 取り +- 全部 +- 也不 +- ▁kandi +- 获得 +- ▁somewhat +- 대 +- ▁kleine +- ▁watching +- 我要 +- 经济 +- ▁forest +- 原因 +- ▁weak +- kommen +- ats +- 問題 +- ▁takes +- шы +- 总是 +- தி +- سی +- ▁steps +- ▁nog +- ▁всё +- rat +- 利用 +- ▁mà +- 一定 +- 政治 +- ▁Or +- ▁đó +- ▁members +- ▁silver +- ▁discovered +- 你在 +- ге +- án +- ▁ع +- 割 +- า +- 好了 +- ▁including +- 科学 +- ский +- tta +- эл +- ▁tan +- ▁property +- тер +- ▁bow +- け +- ▁appear +- 计划 +- gal +- itat +- 通常 +- ▁draw +- 飞 +- 守 +- 掉 +- 谷 +- 未来 +- ▁serious +- ▁bottom +- ils +- rn +- night +- ▁circumstances +- ▁是的 +- vre +- ▁Geld +- اب +- ▁escape +- ▁chapter +- ét +- ▁movement +- J +- ▁proud +- ell +- “ +- ▁fortune +- ▁customer +- そ +- nden +- tung +- ▁iz +- лы +- ▁breath +- ů +- ▁san +- 满 +- ▁ph +- ▁Jahr +- werk +- 发生 +- 好像 +- ▁Wo +- ▁وال +- ▁thick +- ▁mountain +- 党 +- tz +- 可能会 +- ū +- ▁changes +- ения +- ав +- ▁sondern +- 故事 +- бо +- ი +- ந்த +- ケ +- ▁prepared +- ▁sad +- ▁Stadt +- ▁completely +- 母 +- 感染 +- 迪 +- ▁fish +- dis +- ▁mort +- ete +- до +- ▁points +- 击 +- ▁besser +- ▁gw +- oni +- rwa +- ▁dels +- oma +- ев +- ▁increased +- ▁bij +- ▁america +- ▁Herr +- । +- ▁instant +- ica +- ▁Moment +- ▁Über +- ▁где +- rin +- ▁erste +- ▁named +- ரி +- 如 +- モ +- ▁conditions +- 停 +- ▁guard +- 리 +- lic +- ▁здесь +- ▁Ya +- bit +- ис +- ස +- 共 +- tek +- 夏 +- ep +- ын +- ُ +- ▁mijn +- これは +- ظ +- 几乎 +- ட்ட +- 精 +- ▁effort +- ▁judge +- 仍然 +- ▁habit +- ▁credit +- sim +- 牛 +- ▁jesus +- 江 +- ▁тем +- ▁afterwards +- ม +- ▁ok +- lung +- 信息 +- 追 +- ▁cal +- най +- ▁sono +- 皆さん +- ное +- ▁gives +- aga +- 忙 +- '12' +- ▁advantage +- ně +- rum +- 谈论 +- itu +- ray +- 毛 +- 素 +- ret +- ▁research +- ▁meaning +- ator +- ▁zou +- ці +- lay +- ック +- ▁Grund +- ▁glass +- ▁nobody +- ▁video +- kle +- ▁Ende +- gy +- 程 +- 感到 +- イン +- 养 +- හ +- ▁Ort +- ▁cash +- hir +- ▁count +- ▁inform +- ▁また +- ▁neue +- encia +- 歳 +- lü +- ▁taste +- ▁porque +- ▁box +- ▁fin +- ற +- ことを +- ân +- ▁watched +- ▁college +- ▁막 +- ▁York +- ▁того +- ▁storm +- ▁mass +- みんな +- 约 +- 我们在 +- ▁weather +- 拍 +- े +- å +- 排 +- ▁scene +- ▁laugh +- ▁dry +- ▁total +- 确实 +- ということ +- zin +- 对于 +- ▁beiden +- ▁memory +- ▁się +- ▁Els +- ▁madame +- 其中 +- '15' +- তা +- mak +- ▁events +- 'off' +- ▁greatest +- тай +- ▁aba +- 界 +- ping +- 型 +- press +- ▁Sache +- ▁speech +- ▁pick +- ados +- ▁played +- ▁companies +- idad +- ▁passage +- 下来 +- こんな +- ▁weg +- ▁benefit +- ▁alt +- ▁War +- 退 +- light +- 视 +- ▁economic +- ▁тут +- ▁edge +- ▁international +- gue +- net +- 晚上 +- 照 +- 医生 +- ▁Bar +- ева +- ▁record +- bol +- ロシア +- zel +- 屋 +- ▁fallen +- ▁tak +- ▁animals +- 超 +- ż +- ほど +- ▁تا +- odd +- ▁我是 +- ▁kill +- 菜 +- ක +- ille +- ación +- ს +- 今日 +- ▁app +- ▁tone +- cos +- ▁shore +- ▁balance +- abo +- ▁إلى +- ▁dia +- ▁solid +- ın +- 香 +- 勝 +- 思い +- wed +- ো +- 肯定 +- zy +- ری +- ぐ +- ▁denken +- ux +- rang +- kul +- äh +- ▁spread +- kar +- ノ +- ily +- table +- ▁moon +- 班 +- 娘 +- 端 +- ад +- over +- ua +- эн +- じゃない +- 昨日 +- なら +- wing +- 服 +- die +- ще +- 因 +- ▁için +- ▁sharp +- tem +- いく +- ▁без +- ▁jeden +- sk +- 苦 +- vad +- eta +- fre +- 시 +- ▁comfort +- ப +- mb +- ɛ +- ран +- 云 +- 回到 +- ▁understood +- 機 +- ▁الت +- ▁Haus +- 称 +- 树 +- ガ +- ▁ihrem +- ▁های +- ▁можно +- ▁search +- iko +- тра +- vé +- 费 +- ▁bag +- られた +- ▁honour +- 经常 +- ▁tom +- ría +- டி +- 無 +- ▁casa +- 洗 +- テ +- ▁bekommen +- ▁shape +- 必要 +- rent +- 望 +- ▁fla +- 非常に +- ▁cover +- ▁даже +- 井 +- 員 +- 换 +- ▁kommt +- ved +- ちゃん +- 武 +- 是个 +- ▁exp +- ▁interested +- ▁prove +- 나 +- qua +- ▁ben +- 全国 +- ▁believed +- ▁fixed +- म +- ▁brave +- law +- ▁surface +- рэ +- ▁double +- ▁reply +- 場 +- प +- dir +- ني +- ▁Daten +- ▁dress +- ▁Gefühl +- от +- pped +- 的时间 +- ▁song +- some +- ▁sau +- ▁stock +- ▁If +- मा +- ▁nó +- ara +- ย +- ▁laws +- ▁square +- ▁bru +- ير +- ここ +- ▁gehört +- ▁professor +- ▁emp +- ▁excited +- ▁لل +- ▁Unternehmen +- stone +- 玉 +- 市场 +- ▁finding +- ▁sing +- ith +- ▁environment +- gg +- ▁schnell +- enden +- gera +- 最终 +- 刘 +- ▁popular +- ▁ont +- ▁ancient +- স +- 联系 +- asi +- 帮 +- ▁royal +- 右 +- ▁pie +- став +- 身上 +- ▁leben +- стра +- ▁seventy +- ▁parte +- 个人 +- ▁throughout +- ▁Fi +- ▁いや +- ▁ces +- 大きな +- ер +- ▁smoke +- 求 +- bri +- 基 +- ນ +- டு +- ▁markets +- ▁These +- ため +- ▁lake +- '0' +- ▁bal +- ▁mere +- 接受 +- ▁driven +- 密 +- 登 +- 之间 +- ▁persons +- ▁người +- ▁explain +- ▁seat +- ▁putting +- ▁af +- 鱼 +- мы +- imi +- ார் +- ▁pos +- ▁telling +- ▁час +- ▁其实 +- ▁بال +- 龙 +- ▁region +- ▁center +- ▁Ĝi +- 系 +- ▁walls +- ▁century +- ▁mor +- ▁mid +- ว +- ▁club +- nel +- 便 +- ▁pat +- ▁range +- ▁determined +- ering +- ▁Han +- ▁prevent +- ▁author +- ப்ப +- ▁sold +- 呃 +- ▁எ +- 音乐 +- ▁civil +- ▁bas +- com +- aŭ +- 黄 +- ▁accept +- ▁stage +- din +- ▁narrow +- ▁foreign +- ob +- ▁neck +- 害 +- ▁رو +- ▁issue +- hor +- 解决 +- 发展 +- tig +- ▁production +- ▁yellow +- ▁soll +- 证 +- ▁ladies +- ▁hurt +- ▁perfectly +- ▁fill +- und +- 各 +- tant +- 法律 +- 就会 +- jen +- 杀 +- ол +- 告 +- их +- ▁german +- ▁你知道 +- tura +- 跟我 +- 付 +- ▁plant +- 頭 +- ▁wel +- ина +- 想要 +- 大会 +- ِ +- мі +- вед +- ▁approach +- recht +- gas +- ▁access +- ▁St +- ▁familiar +- ▁Ce +- 去了 +- ▁proper +- 常 +- ▁tri +- との +- ▁hotel +- 伤 +- শ +- ▁Dar +- ▁learning +- ▁Ju +- 塔 +- ▁numbers +- ▁fan +- ▁bla +- bin +- ast +- とも +- rar +- 有很多 +- ▁stick +- ual +- ▁hebben +- gestellt +- ▁因此 +- ী +- pin +- ත +- ▁students +- 対 +- lli +- 站 +- りました +- 投 +- ▁wished +- ▁paris +- ▁iki +- ▁offered +- ▁19 +- 关注 +- ▁cloud +- тар +- ▁grass +- 城市 +- سا +- rec +- ур +- war +- ▁observed +- ▁هم +- ▁tam +- ii +- 之一 +- ▁favor +- れば +- ▁meinem +- 乱 +- ته +- ▁confidence +- ▁agree +- 父 +- 女人 +- cour +- ?" +- でしょう +- 少し +- ▁som +- twa +- osa +- ea +- ▁keinen +- له +- ▁degree +- ▁который +- ▁beneath +- 秋 +- ▁était +- فر +- ▁mental +- ▁Problem +- work +- 場所 +- tā +- eux +- biri +- ▁marry +- 微 +- ün +- ged +- ▁quality +- ▁Seite +- ła +- 结果 +- лись +- ▁firm +- ▁baby +- 奇 +- ları +- rah +- ▁clearly +- ▁oil +- 做的 +- ▁promise +- ▁roman +- ▁한 +- gin +- lid +- 伊 +- チーム +- れる +- '100' +- ද +- ▁farm +- ▁человек +- ▁finished +- ًا +- ▁darkness +- ego +- leri +- lum +- ▁clothes +- ্ +- '60' +- 死亡 +- 久 +- مان +- цца +- 保持 +- っと +- 迷 +- 俺 +- ▁produce +- ▁happiness +- ▁Elle +- ▁rule +- ▁کار +- 是我 +- みたいな +- ▁playing +- ▁gas +- 列 +- ▁шестьдесят +- 节目 +- たら +- tet +- uz +- ane +- ▁تو +- وم +- को +- 家族 +- ▁golden +- ▁あっ +- 相信 +- ▁உ +- ▁rein +- 选 +- ▁scarcely +- ▁seit +- 你就 +- 几个 +- 友 +- 一般 +- ▁equal +- ▁knowing +- 回家 +- tern +- ▁Ex +- ச +- 役 +- 回答 +- 果 +- ▁management +- ▁lose +- ール +- ná +- ▁brand +- ▁sal +- 啥 +- ▁könnten +- ▁可是 +- зна +- ▁opening +- 試合 +- ター +- 人生 +- morrow +- ▁drawing +- デ +- ▁operating +- ▁bạn +- ▁profit +- ▁Gra +- ▁paul +- 让他 +- rak +- оч +- glo +- ette +- ß +- ▁loss +- ▁stories +- ▁wine +- ▁sell +- があった +- 电话 +- hm +- 脸 +- ▁attempt +- ▁address +- ▁bay +- uku +- 町 +- ▁leaves +- ▁courage +- spir +- ▁media +- ▁leading +- ▁schwer +- ▁ses +- 的小 +- ▁efforts +- ▁soldiers +- ▁surely +- ▁San +- hel +- lip +- rü +- iger +- ▁Hier +- ві +- pot +- 电影 +- ▁är +- ▁passiert +- ▁Але +- än +- ▁etwa +- 他在 +- 春 +- ow +- non +- ▁produced +- ▁flowers +- ▁valley +- ▁earlier +- ▁Ik +- cie +- 人は +- ▁holding +- ▁eigenen +- 理由 +- لي +- ▁Mr +- ▁sword +- ▁supply +- bot +- ▁được +- ▁weight +- 副 +- ▁さあ +- 주 +- 网 +- 视频 +- 妈 +- ி +- ▁check +- ▁walking +- ▁flu +- 連 +- 告诉我 +- ▁Europe +- 枪 +- ▁additional +- 这一点 +- ls +- ▁pla +- ிய +- 助 +- pit +- ▁fra +- 因为我 +- ena +- ification +- eau +- ako +- ▁choice +- による +- 骨 +- бу +- ▁vain +- 自分の +- ▁decision +- cing +- ▁如果你 +- 背 +- ▁Б +- ▁gro +- 라 +- ▁powerful +- 弱 +- 地区 +- лан +- 陈 +- きた +- 拥有 +- 東 +- 这样做 +- ▁welcome +- ▁recent +- lam +- 残 +- ▁happens +- ▁structure +- 在这个 +- fan +- lit +- وی +- ▁formed +- ▁han +- ▁speed +- ddy +- zione +- ▁meisten +- ా +- 是在 +- '14' +- 狗 +- lí +- 로 +- ▁gli +- ▁seek +- 一番 +- 组织 +- rio +- ▁nation +- tat +- ▁houses +- ▁travel +- ▁uz +- ▁тоже +- ▁bird +- ▁passion +- ▁directly +- 去年 +- ▁그냥 +- である +- ious +- lı +- mul +- вод +- ▁basis +- 明天 +- прав +- ▁Can +- ▁platform +- ▁як +- aire +- どんな +- 的这个 +- cker +- The +- ists +- 治 +- gna +- serv +- ▁threw +- ▁dropped +- ▁divine +- ▁deze +- ▁그런 +- 这次 +- んですか +- 读 +- ▁flat +- ง +- ▁Buch +- 考 +- ир +- uza +- 考虑 +- dol +- න් +- ▁deliver +- ак +- vá +- かった +- 는데 +- ▁شد +- スト +- 」。 +- mat +- fully +- ugu +- hör +- ▁military +- ▁letzten +- 睡 +- ▁birds +- ▁sake +- ▁lying +- ください +- ▁Fe +- жи +- ▁required +- ▁existence +- ▁ничего +- ▁addition +- 横 +- 気持ち +- ▁contract +- 爸爸 +- ् +- ள +- バー +- stu +- из +- bie +- бе +- ▁passing +- 不了 +- try +- 若 +- ▁ibi +- ▁declared +- セ +- 唱 +- ▁Par +- уч +- ▁конечно +- ▁эти +- ▁anybody +- 身体 +- ▁coast +- aux +- tum +- きょう +- си +- ▁cri +- কে +- ▁내가 +- ныя +- ▁available +- rich +- क +- 建 +- '18' +- ▁glance +- ▁track +- ▁unser +- 尽 +- ▁page +- بر +- ること +- bl +- 良 +- chten +- mic +- ▁understanding +- ▁orders +- ▁practice +- 源 +- су +- 带着 +- ▁seva +- ▁wichtig +- vas +- sin +- 三个 +- bau +- zwe +- ole +- kuru +- 愿 +- 人家 +- stat +- mond +- こちら +- she +- ▁你们 +- ▁william +- ▁caused +- stein +- ▁christian +- ible +- ient +- ▁Mas +- ▁catch +- cas +- ▁Wasser +- ▁guy +- ction +- 時に +- ▁uno +- ▁vint +- 脱 +- 轻 +- ▁eighty +- ▁allen +- 封 +- ▁şi +- ▁host +- ▁fly +- ▁– +- rate +- rick +- ▁Д +- gil +- uko +- ▁bedeutet +- ▁hung +- ▁ears +- ▁prison +- ▁più +- ▁ф +- ▁двести +- more +- 例 +- ▁muy +- 前に +- ▁text +- ▁centre +- ▁presently +- 熱 +- 情况 +- ▁wahrscheinlich +- gle +- ポイント +- によって +- ▁Augen +- вал +- genommen +- 普 +- อ +- chan +- gre +- 社区 +- ▁že +- ▁này +- 托 +- ▁curious +- になります +- ön +- 해 +- ▁larger +- jar +- ▁этот +- ▁pel +- ін +- ▁shows +- ▁voi +- 新的 +- つの +- geben +- 类 +- 夫人 +- 处理 +- ket +- ▁instance +- ▁colonel +- ▁Okay +- quer +- ungs +- ▁net +- ▁indi +- 比如 +- 年前 +- thi +- 错 +- ▁ре +- すごく +- nne +- 第二 +- ▁hath +- 자 +- க்கு +- 及 +- ▁pr +- 这是一个 +- 首先 +- igkeit +- ▁population +- 면 +- ▁pentru +- 了我 +- cen +- ▁vision +- 的事 +- ▁accident +- じゃ +- ▁matters +- ▁elle +- 解释 +- 返 +- ▁richtig +- 也许 +- 群 +- व +- 极 +- ▁spoken +- ▁indian +- ▁kwi +- ▁coat +- ▁hearing +- っています +- ▁gets +- ざ +- nic +- 级 +- ▁shown +- ▁هذا +- ▁hospital +- kes +- での +- би +- ロー +- ी +- ▁officers +- ▁port +- ais +- 一切 +- ग +- ▁kleinen +- ▁statements +- 回去 +- ▁cro +- 刚 +- ▁Bei +- 데 +- ative +- ▁gre +- ним +- '19' +- 不好 +- 办 +- 乐 +- 沙 +- ▁shadow +- ہ +- ▁fool +- 团 +- ▁今天 +- vert +- ▁calm +- 担心 +- bye +- ▁motion +- stru +- プ +- 現在 +- ▁ook +- ▁faire +- ▁aux +- ▁thin +- ▁basically +- まして +- ▁shook +- 事故 +- 保护 +- গ +- ▁henry +- ▁member +- lis +- ▁thanks +- ▁aware +- ▁время +- あります +- されました +- eri +- ▁opposite +- ო +- ▁pocket +- ▁task +- ▁willing +- ▁successful +- فت +- 秒 +- ▁bread +- uw +- চ +- ▁ama +- 变得 +- ▁tem +- なので +- ▁trong +- ▁extra +- ▁religious +- ▁люди +- ▁strategy +- ▁Har +- یه +- ▁remains +- ▁cousin +- ус +- ▁إ +- 票 +- 挺 +- などの +- 不用 +- ぞ +- ▁fre +- ですよ +- ‘ +- 游戏 +- ▁beat +- ese +- dde +- 而不是 +- 苏 +- ▁guys +- ▁Aba +- ▁central +- 最高 +- それを +- ches +- jan +- 容 +- ▁officer +- pic +- ▁wants +- ched +- ▁related +- ▁bw +- ふ +- ▁noise +- 杰 +- ▁possession +- 開 +- lat +- ▁pure +- そんな +- ▁Person +- 造 +- ▁nti +- 語 +- ▁otherwise +- ▁gray +- ▁carefully +- ▁sogar +- 産 +- вид +- 一年 +- 项目 +- ண +- ග +- ▁thể +- kom +- ние +- ด +- 個 +- ▁daily +- 衣 +- ▁comment +- ▁我觉得 +- mek +- ෙ +- ors +- 咱 +- ▁10 +- 穿 +- bat +- ▁areas +- mme +- vol +- ś +- ▁pres +- ▁sum +- 防 +- cause +- ですから +- ற்ற +- ▁stream +- ▁今 +- ▁были +- 手机 +- 段 +- igi +- ▁ear +- ▁scale +- ▁activity +- ▁drawn +- uh +- ▁smiled +- ▁Oder +- 出现 +- 控制 +- pat +- ▁conduct +- られ +- istic +- ▁ninety +- ston +- ▁surprised +- ▁са +- ▁cas +- ▁engaged +- pie +- ▁你说 +- ▁Ent +- nc +- ▁fate +- 動 +- 相当 +- ▁policy +- 你想 +- ▁Form +- ▁شما +- あった +- ரு +- ▁aid +- ▁bur +- nar +- ▁repeated +- ▁jedoch +- 休 +- ▁throw +- 给他 +- 才能 +- ▁excellent +- 結構 +- plo +- ▁event +- ▁Ben +- ign +- 我们可以 +- ▁семьдесят +- دي +- ▁больше +- 渡 +- eh +- ▁apart +- 快乐 +- али +- 改 +- ▁neu +- ▁district +- ij +- sed +- 男人 +- ▁gun +- kte +- lem +- ▁versch +- 应 +- ▁এ +- يد +- 《 +- ▁ay +- мер +- 様 +- ▁Ye +- 层 +- ▁fue +- dat +- 饭 +- ismus +- kä +- ▁spite +- ▁dire +- ▁skin +- ▁castle +- sz +- hl +- ▁خ +- ▁bil +- ▁My +- lig +- ▁digital +- 已 +- ▁dick +- ும் +- ▁monsieur +- ▁species +- ▁О +- iku +- ▁machine +- 愛 +- ▁reform +- ▁gentlemen +- ▁fur +- '16' +- ▁regular +- ши +- far +- ु +- ▁mountains +- ▁fat +- ć +- ас +- ▁på +- ▁fruit +- ierung +- ▁correct +- 直到 +- 分享 +- ▁difficulty +- ▁نه +- こちらの +- ি +- ▁Spiel +- ▁image +- setzen +- ▁review +- ▁todo +- ▁getan +- 楼 +- об +- heim +- ım +- ▁hoe +- ï +- ດ +- вар +- ▁advance +- 放在 +- dic +- 底 +- ▁reality +- 根据 +- ▁portion +- 強い +- sor +- ска +- ▁ausge +- ▁commercial +- ▁created +- ▁spa +- 不想 +- tí +- če +- ▁还有 +- ela +- ном +- ▁temple +- 同じ +- ポ +- ▁anyone +- 姐 +- ▁보 +- 持 +- ▁keeping +- udi +- ▁message +- 看着 +- ල +- 数字 +- row +- یت +- ▁später +- isa +- 并不 +- 上帝 +- ▁crime +- ▁forced +- ▁noticed +- ▁tired +- ▁choose +- ▁pieces +- ▁đã +- 想象 +- ソ +- place +- 活动 +- ▁creature +- dom +- ▁union +- 茶 +- 父母 +- 更多的 +- 兄弟 +- legen +- ▁wahr +- '25' +- 初めて +- кой +- fra +- ques +- anya +- 我说 +- ник +- 没事 +- ずっと +- ▁proved +- ▁plans +- gh +- ▁legal +- 每个 +- ▁improve +- لو +- ▁pride +- ▁bevor +- 午後 +- 组 +- ▁erhalten +- ▁знаю +- ゴ +- hy +- ▁عن +- ▁ту +- ▁كان +- 아 +- 大人 +- nem +- ▁suffering +- rad +- 楽 +- ▁Well +- ▁кон +- ▁duke +- ダ +- ▁served +- ▁sol +- ša +- пи +- 我可以 +- ys +- ạ +- yle +- 小姐 +- ▁dachte +- fel +- ▁obviously +- 再次 +- ▁suit +- ▁fully +- ▁frank +- 作品 +- ▁Kar +- ピ +- 性的 +- kim +- 双 +- こういう +- ▁bridge +- pus +- mont +- ▁eh +- 除 +- ▁res +- ▁mention +- ▁sounds +- されている +- ێ +- 有些 +- 限 +- 情報 +- ▁لا +- its +- ▁blow +- 精神 +- 做了 +- ▁été +- ▁然而 +- ▁だから +- nye +- kwa +- ▁peculiar +- ore +- ▁burst +- ▁planet +- ▁faint +- ▁jemand +- 样 +- сто +- 伯 +- ▁nineteen +- ▁tur +- ▁asking +- ▁pounds +- ▁bringen +- んですよね +- ▁allem +- 的工作 +- bona +- ري +- ▁starting +- 明白 +- ヤ +- ▁press +- 款 +- ▁avait +- ▁pray +- 圣 +- 可能性 +- ▁gij +- 紧 +- ▁height +- 女孩 +- 告诉 +- nova +- kir +- eɣ +- 梅 +- parti +- ▁bereits +- ▁att +- ▁අ +- wel +- ▁david +- ▁Thank +- ▁measure +- ▁date +- ▁진짜 +- ▁nom +- fru +- 痛 +- stro +- gt +- 引 +- てる +- hood +- নি +- dal +- ▁forma +- 我也 +- 余 +- ิ +- ▁servant +- 结 +- ங்க +- fle +- ▁stranger +- ву +- wana +- '17' +- ▁Frauen +- ▁blo +- ric +- ▁Tom +- auf +- ней +- ▁enjoy +- 料 +- 書 +- 한 +- してる +- ▁Unter +- ▁moi +- wie +- nni +- 他说 +- ▁Nu +- ▁names +- ult +- ▁provided +- ▁breast +- vez +- 政策 +- ▁palace +- となる +- 大约 +- ल +- লে +- ▁costs +- ▁tap +- тан +- amu +- 男性 +- 而且 +- ▁devil +- ▁freedom +- ▁charles +- ھ +- 存 +- ▁authority +- bone +- mble +- ▁defend +- ▁hoch +- pens +- ▁бар +- ▁reasons +- しい +- 业 +- ▁Sam +- ▁sechs +- ません +- ▁fancy +- ▁fashion +- 毒 +- ос +- ▁intention +- ▁alive +- 倍 +- py +- 静 +- 今回 +- ▁pair +- 设计 +- ▁impression +- 儿子 +- ör +- ▁sex +- 伦 +- ellen +- ▁cyane +- ▁desert +- ▁gentle +- 认识 +- ▁bell +- ۆ +- 잖아 +- ала +- 多少 +- 压 +- 都有 +- ▁style +- ṛ +- ▁forms +- ▁anxious +- ▁teach +- 哦 +- 词 +- ▁Pu +- 更多 +- vent +- 的生活 +- ▁genug +- 怕 +- 很好 +- род +- voll +- ▁sup +- ▁Menge +- 假 +- 方向 +- mark +- ▁circle +- ▁weit +- ▁тебя +- ddi +- cul +- 自分 +- ▁twice +- তে +- 政 +- قا +- ▁ordered +- ▁gla +- ▁mer +- ▁honest +- ▁сказал +- のお +- ▁Zi +- ▁stra +- ▁possibly +- ▁angry +- ▁س +- ▁council +- sol +- loo +- dam +- ▁vida +- 能力 +- gara +- ši +- ▁brief +- ▁کرد +- eln +- 基本 +- ▁лет +- ró +- 打开 +- ▁20 +- 犯 +- nik +- br +- ▁leur +- ▁gy +- mine +- ration +- uli +- ▁ocean +- ▁origin +- ▁Sant +- ▁З +- ▁geen +- icht +- 英国 +- ▁patient +- ▁ordinary +- ▁bent +- ැ +- ▁british +- alt +- ▁ای +- ▁importance +- ▁qua +- ▁són +- 喜 +- vie +- ▁яго +- 多くの +- ▁legs +- ство +- ния +- kins +- ▁university +- long +- ▁вопрос +- ▁eigentlich +- ▁юм +- ▁hören +- 好吧 +- shed +- lijk +- rag +- 姆 +- 令人 +- 인 +- 结婚 +- ▁rising +- дер +- leid +- ▁Vater +- ▁culture +- ▁或者 +- ▁tongue +- ▁murder +- els +- はい +- '200' +- 当中 +- ▁Kopf +- arm +- ▁somewhere +- ▁volume +- ▁heads +- ega +- ▁qual +- ▁với +- گر +- nnen +- 清楚 +- ▁safety +- halt +- ▁ganzen +- কা +- ▁zo +- ades +- 支 +- pend +- 同时 +- 嗯 +- 스 +- ▁Mutter +- 激 +- 選 +- تی +- сть +- ví +- pet +- ▁problems +- ▁agreed +- ▁physical +- ▁investment +- 内容 +- ▁truly +- gus +- wal +- ▁row +- わけ +- ि +- ▁security +- iĝis +- hab +- ээ +- ▁fe +- ▁тебе +- ology +- ▁hate +- ▁shoulder +- ▁forgotten +- ord +- ▁breakfast +- ▁rode +- пла +- ▁seventeen +- ▁那你 +- ▁taught +- ▁ему +- 你是 +- ▁roof +- vir +- ▁aim +- ▁cook +- 迫 +- tä +- ▁med +- ▁mistake +- ▁promised +- ▁много +- ▁dance +- 运动 +- ▁сам +- ▁Cha +- されています +- pun +- ود +- ▁China +- ыш +- ▁join +- še +- geb +- 感谢 +- ▁versuchen +- ▁waited +- elijk +- ▁exercise +- ▁roll +- ight +- uda +- ▁ability +- ▁anne +- rou +- ▁altogether +- ▁dare +- izi +- ▁remembered +- plan +- 息 +- нов +- 氏 +- гүй +- люб +- 主要 +- ▁Jetzt +- ▁kor +- ▁би +- ▁calling +- fl +- ▁làm +- ▁Ch +- lent +- ▁fingers +- ▁dangerous +- சி +- ▁weniger +- ▁hart +- 不可 +- ▁feelings +- аль +- ▁Tra +- ▁kuri +- ▁target +- வா +- ていた +- ▁потом +- old +- 三十 +- ▁tent +- ▁salt +- part +- 质 +- jn +- けれども +- ▁failed +- 这不是 +- ▁glory +- ule +- 每天 +- از +- ▁восемьдесят +- 永远 +- ▁chose +- uit +- ▁そう +- اق +- ▁бу +- 曾经 +- ▁streets +- 汉 +- கி +- ▁specific +- nje +- ▁wil +- раз +- 関係 +- any +- を見 +- ▁вообще +- tch +- ▁terror +- tausend +- すること +- 一位 +- 税 +- ▁bist +- ға +- 跟你 +- ▁empty +- lief +- 景 +- ▁helped +- ▁method +- ▁james +- 刚刚 +- ▁vielen +- zon +- uni +- bili +- jā +- stellen +- ▁rot +- ▁quietly +- bon +- ねえ +- ▁famous +- pping +- パー +- rim +- 社 +- gor +- ▁drop +- 一条 +- ▁fil +- ▁auto +- 调查 +- urs +- ▁express +- zig +- ▁grant +- ziehen +- ▁active +- 都会 +- 消 +- ▁wear +- ▁после +- bal +- 婚 +- 亮 +- ▁байна +- iye +- ▁пре +- য় +- ▁princess +- ▁limit +- 后来 +- 万円 +- ld +- ▁ха +- ło +- ▁wij +- 生命 +- keit +- の中で +- ائ +- ▁ச +- ▁bul +- 探 +- ▁Für +- ▁kingdom +- cke +- ▁series +- ▁sufficient +- 越来越 +- ▁busy +- ▁grown +- бор +- '13' +- 有一些 +- ▁Мы +- ▁aussi +- tika +- 企业 +- ▁các +- 行动 +- ▁issues +- wert +- bus +- ▁rapid +- зы +- 告诉你 +- ூ +- ▁Za +- ▁شده +- ▁такой +- 赛 +- eli +- もある +- rz +- ▁delight +- ▁sang +- なんです +- ▁struggle +- 堂 +- 在我 +- ▁online +- ▁그거 +- tori +- ▁explained +- ño +- 軍 +- про +- ▁fault +- aw +- ▁deg +- প +- ім +- rom +- ▁ended +- ▁guide +- 目前 +- ート +- ▁signal +- ▁heat +- či +- ▁flow +- 日本の +- ▁そうですね +- phy +- nin +- 念 +- 旧 +- tto +- ▁aside +- ▁gr +- û +- ium +- ▁그래서 +- ▁liegt +- 散 +- ▁És +- ▁potential +- ▁yesterday +- ▁rights +- ▁девяносто +- ▁false +- gia +- 医 +- يل +- nze +- 違う +- ▁pré +- ▁sorrow +- ▁highest +- 医院 +- sp +- されて +- ▁hinter +- ▁Wer +- kā +- ▁extremely +- ▁Dia +- ▁experiment +- Laughter +- иться +- ▁judgment +- 网络 +- ▁exact +- ▁сегодня +- اف +- ▁fel +- ▁hell +- 你说 +- aya +- 绝对 +- ▁dev +- ▁verstehen +- 駅 +- ▁listening +- おいしい +- 第一次 +- 的孩子 +- ▁strike +- ▁connection +- ▁sentence +- ▁income +- 赤 +- 居 +- ล +- ▁European +- ▁kuba +- ▁pou +- ▁greatly +- ▁Па +- 房子 +- ▁described +- ского +- したい +- ກ +- ▁klar +- ▁recently +- 萨 +- ▁priest +- 旅行 +- ి +- ▁margin +- ое +- ▁pressure +- ▁touched +- ▁trial +- haus +- ▁separate +- ▁network +- ▁refer +- وي +- était +- tle +- ▁fix +- ▁previous +- ▁sides +- 요 +- 出了 +- 降 +- ▁companion +- uf +- uff +- спе +- 洛 +- dio +- ▁때 +- ▁Fragen +- 真是 +- ▁vers +- ▁де +- 那种 +- ▁older +- ▁disease +- ▁почему +- 大的 +- ▁angel +- lá +- нем +- ▁zehn +- ▁beim +- 進 +- ▁settled +- হ +- oso +- ude +- ▁gay +- rung +- ▁ride +- 合作 +- ▁grande +- ются +- horn +- cies +- ▁becomes +- ym +- 剧 +- pla +- 置 +- からの +- দ +- tom +- 你要 +- ▁eleven +- ▁When +- bs +- ▁людей +- ▁meer +- یا +- ْ +- ▁map +- ▁gleich +- ▁apparently +- ▁naturally +- ства +- ҙ +- 那是 +- gun +- دی +- 很难 +- 来的 +- ▁sage +- ime +- ▁onder +- 英 +- ▁гор +- ▁Prozent +- 致 +- ming +- ▁superior +- aus +- tă +- ▁имени +- sem +- 游 +- ウクライナ +- ▁Lebens +- 即使 +- ▁hun +- ▁intended +- ▁philip +- lio +- ▁sixteen +- сон +- ▁involved +- ыя +- эд +- ился +- ▁liked +- ▁capacity +- 诺 +- まず +- 轮 +- ▁vie +- ▁Ci +- iste +- wand +- ана +- ▁interview +- ▁troops +- ▁Auto +- eye +- antes +- лась +- ▁même +- ées +- ▁belief +- ້ +- 一家 +- gem +- cara +- າ +- nal +- ▁него +- ▁title +- nge +- 我们将 +- 参与 +- 你能 +- 机会 +- 除了 +- 产 +- amos +- ▁bald +- ▁release +- ▁corn +- 谈 +- 粉 +- 创造 +- 親 +- 冲 +- でしょうか +- ▁ice +- ▁مت +- ▁driving +- ▁stars +- щ +- rry +- ▁student +- hundert +- ▁highly +- 展示 +- 止 +- ▁vote +- ▁shop +- ht +- nehmen +- ande +- нд +- ▁operations +- eller +- inde +- ash +- ек +- lot +- ruh +- ա +- ▁career +- ct +- ▁definitely +- ▁chamber +- ▁argument +- ▁happening +- tier +- fr +- phi +- bes +- 晚 +- гийн +- ▁sans +- 讨论 +- ono +- ▁admit +- 抓 +- ましょう +- olo +- zwa +- 料理 +- ila +- ▁ap +- той +- 収 +- ε +- ▁avoid +- burg +- ▁thrown +- vä +- 実は +- 校 +- ив +- によりますと +- ▁todos +- ▁contra +- 架 +- ▁aller +- 整 +- やはり +- ▁flo +- 富 +- ▁suffer +- ▁shoulders +- 认 +- ▁minister +- ▁Th +- gro +- ès +- ▁match +- ▁ந +- tud +- 滑 +- ▁bereit +- spiel +- tür +- 俩 +- 期待 +- ▁concerned +- 弄 +- ▁windows +- 一定要 +- ийг +- ▁harm +- ▁cup +- ori +- hora +- 末 +- বে +- ज +- ario +- ▁thousands +- ▁kennen +- тур +- লা +- ▁pointed +- ▁nay +- ▁His +- get +- ▁ideal +- 下去 +- 它是 +- ži +- 箱 +- sing +- rd +- '80' +- ▁fairly +- ▁standard +- ▁ее +- 只能 +- ▁nose +- 的故事 +- lus +- kal +- iamo +- ▁spiritual +- ▁해 +- ▁Pri +- 田さん +- dale +- ▁carriage +- яв +- رس +- ▁verwenden +- ▁kinds +- 要是 +- ▁Gott +- 呼 +- tten +- 块 +- ▁loud +- ▁helfen +- ▁joined +- ▁себя +- ▁bro +- 吃饭 +- ▁kid +- 索 +- 하는 +- 报告 +- vit +- 可能是 +- ▁novel +- tain +- 县 +- 不管 +- ▁weitere +- gam +- ejo +- anza +- stri +- ▁claim +- reich +- ▁excuse +- த் +- வு +- 复 +- 叶 +- 就在 +- ▁fighting +- ▁mari +- пу +- ▁ones +- ▁temps +- 猫 +- ▁affairs +- gwa +- ust +- kana +- ▁wealth +- 症 +- 重新 +- ▁useful +- dé +- 百分之 +- ▁presented +- ▁flight +- 鲁 +- kam +- 灯 +- ▁grey +- cut +- ▁пад +- 记 +- 每个人都 +- cz +- ▁papa +- ique +- ▁fri +- rik +- できない +- ▁mix +- lock +- ▁loose +- ность +- fort +- ▁Cor +- بي +- ▁niemand +- ян +- ▁cuando +- ▁prayer +- ▁faces +- pad +- bare +- 歳の +- ▁debt +- ▁evidently +- abi +- ▁unseren +- ▁möglich +- まあ +- ▁suggest +- 付け +- pha +- ща +- 动物 +- ▁woods +- का +- 你不 +- ▁Х +- vien +- ▁pull +- ▁develop +- 当你 +- ▁cruel +- ▁そんな +- ità +- igung +- 借 +- したら +- ▁anders +- ▁ف +- بل +- மா +- 令 +- dus +- 因此 +- 市の +- になりました +- ▁indem +- ▁Regierung +- ▁الح +- ▁average +- 时代 +- شر +- ▁native +- 速 +- ked +- ▁ange +- ▁خود +- ▁X +- ▁아니 +- ▁tin +- ි +- tü +- 梦 +- hau +- ила +- тал +- 愿意 +- ▁worst +- por +- வி +- じゃないですか +- 続いて +- თ +- bwa +- wick +- ssa +- ▁lack +- 表示 +- ▁considerable +- ▁нужно +- olu +- hn +- 志 +- ▁trail +- ace +- rup +- ▁dogs +- 勒 +- ath +- ▁suggested +- ▁torn +- パン +- ▁nos +- ▁pal +- 程度 +- 也有 +- ify +- ▁bid +- mwe +- eix +- 慢 +- ▁raz +- ụ +- 都在 +- tent +- ▁пока +- 父亲 +- 贵 +- haft +- 条件 +- ск +- र् +- ▁Dan +- 注目 +- ▁arbeiten +- lichkeit +- 是谁 +- bas +- ▁gate +- ▁மற்றும் +- ▁male +- uel +- нь +- ▁dabei +- ▁sought +- ▁raise +- ters +- elles +- ▁какой +- それで +- ▁이제 +- ▁gain +- 的想法 +- ▁bodies +- book +- ▁wohl +- ▁それは +- ゆ +- hind +- ыр +- ▁constant +- 明日 +- ▁heb +- ▁好吧 +- 威 +- 心里 +- وت +- ▁sacrifice +- 然 +- ▁Männer +- 普通 +- ▁labour +- 产品 +- ете +- ▁bekannt +- 分析 +- 込み +- 看起来 +- とき +- 莫 +- ▁refused +- 占 +- gé +- 顿 +- comp +- しない +- ▁slightly +- ▁хорошо +- 道路 +- ▁fail +- しっかり +- ▁sheet +- 招 +- ▁source +- ▁Meinung +- ▁dot +- ▁Dank +- 经 +- sign +- 是你 +- ening +- ум +- ▁birth +- ▁també +- bury +- コン +- ▁hills +- 顔 +- ui +- ▁rapidly +- ▁pur +- ▁becoming +- 我知道 +- 谢谢 +- 盘 +- ▁saved +- kken +- hang +- ▁поэтому +- ▁bringing +- 谢谢你 +- ▁Nicht +- mia +- ▁tender +- ▁showing +- дел +- える +- 以来 +- pal +- 也没有 +- ской +- ▁computer +- নে +- ギ +- ▁virtue +- 曼 +- ▁nehmen +- ره +- 硬 +- ▁unknown +- ▁tradition +- fon +- cr +- ws +- なる +- ▁finger +- ▁advanced +- inte +- мат +- 句 +- сэн +- ▁Film +- 到底 +- avi +- ▁papers +- ▁governor +- trag +- ▁upper +- 就可以 +- ▁じゃあ +- cé +- produ +- кам +- ▁Post +- ▁audience +- たち +- anga +- 切り +- با +- ▁extent +- ▁peut +- ▁pin +- なぜ +- halten +- ▁solche +- ▁gift +- ▁э +- endo +- 側 +- ▁neuen +- லை +- ▁pity +- ▁theory +- sal +- 提出 +- ▁Em +- ▁¿ +- ▁alte +- 場合 +- ▁division +- 历史 +- ▁everywhere +- iva +- '70' +- ▁Bir +- 들 +- なって +- pli +- 北京 +- ization +- 沉 +- ▁çok +- ▁praise +- ▁cities +- term +- yer +- ▁Des +- ▁Vo +- ▁portfolio +- ▁Tre +- これから +- று +- 会社 +- 价 +- ▁первый +- ▁dressed +- ▁Auch +- punkt +- ел +- 教授 +- ▁servants +- 建立 +- ▁charm +- ▁nächsten +- ▁cell +- ▁System +- ベ +- 靠 +- 育 +- зи +- стр +- cept +- хи +- ▁See +- ▁talent +- ▁Idee +- wir +- ▁où +- 你有 +- right +- ál +- 魔 +- ▁кор +- 射 +- ▁trip +- ▁established +- ül +- ▁sua +- ▁features +- ▁الس +- ▁distant +- 至少 +- ▁rome +- ▁Punkt +- ▁kitchen +- ced +- ets +- 都不 +- stellung +- ▁wake +- yl +- 具 +- ецца +- ▁advice +- ешь +- xa +- 国内 +- なんて +- ▁quarters +- 坏 +- ibi +- না +- 折 +- 一百 +- ▁gewesen +- ▁occurred +- esa +- эх +- ▁Hause +- kus +- 結果 +- 刀 +- ér +- ▁respond +- 満 +- ▁reflect +- phe +- ( +- ır +- ▁moments +- ▁Park +- isten +- ワ +- ේ +- ▁yr +- ▁beg +- ▁аб +- کن +- ▁mode +- ▁ذلك +- jou +- ▁forces +- 家里 +- ised +- ▁committed +- ▁hy +- ▁Г +- 是如何 +- ña +- zza +- 判断 +- mber +- その後 +- ▁announced +- ▁Tri +- ▁quatre +- ▁bought +- дар +- уд +- ности +- 空间 +- 立ち +- cro +- 核 +- 怪 +- 刚才 +- ▁думаю +- ständig +- main +- ▁robert +- ▁discover +- ара +- ▁pace +- ▁guidance +- раб +- ▁include +- 業 +- ▁kiss +- mbe +- 藤 +- ▁pulled +- ▁había +- ▁بعد +- cions +- 言葉 +- ▁Gesicht +- بار +- nell +- ▁darin +- сі +- 恶 +- lf +- ▁teeth +- ▁How +- ▁пе +- ej +- を受け +- 活動 +- ▁lamp +- '24' +- ▁smart +- ▁leg +- ீ +- 礼 +- rac +- ▁lovely +- pose +- きます +- বা +- த்து +- 总统 +- 都没有 +- зе +- ает +- 所有这些 +- ▁card +- ▁jane +- 警 +- ▁facts +- dur +- ▁ankaŭ +- ▁我就 +- mir +- 身边 +- ▁sunday +- 投票 +- ▁prefer +- ră +- 黒 +- ema +- ▁detail +- ▁shame +- ▁oli +- 電 +- 마 +- ▁fut +- str +- 主义 +- ож +- ▁block +- บ +- ▁Cu +- 世纪 +- 番組 +- 航 +- ▁هذه +- ▁frei +- ▁этой +- ře +- ▁closely +- ▁intelligence +- ▁erst +- 卫 +- 意识到 +- ì +- ▁hang +- mma +- ▁hearts +- ▁leicht +- ▁drove +- app +- nga +- нос +- 支援 +- ske +- 厚 +- ▁bud +- ▁அவர் +- ▁One +- 进来 +- ▁afford +- back +- ▁zal +- 什么时候 +- ▁whispered +- 現場 +- ▁medical +- 旅 +- 真正的 +- pra +- être +- kor +- ▁pop +- 建议 +- tı +- 増 +- ico +- ▁Warum +- ▁போ +- ▁protection +- ▁details +- ▁Ol +- ▁milk +- 搞 +- 顶 +- eza +- いろんな +- ▁comfortable +- ことは +- ▁Ob +- 论 +- ▁section +- 属 +- oon +- ▁department +- ат +- ▁다 +- 博 +- ▁gathered +- 证明 +- ▁existing +- ން +- 게 +- von +- 尾 +- izing +- ▁affection +- かなり +- ech +- ▁metal +- ▁liebe +- 蒙 +- sko +- ここで +- 他是 +- ür +- pé +- 势 +- ▁dozen +- фи +- 影 +- тро +- 最好的 +- ▁secure +- lab +- ▁extraordinary +- ▁anyway +- ▁cosa +- ▁listened +- 货 +- sus +- ▁brauchen +- ▁slight +- nta +- ▁Namen +- ますね +- ▁conclusion +- ▁female +- нее +- سم +- 抗 +- пол +- tos +- ▁gene +- 观 +- ▁laughing +- ▁represent +- ▁manage +- 鬼 +- ▁syn +- ▁solo +- ▁crown +- ▁handsome +- ▁Pre +- town +- ▁Video +- 领 +- ▁ở +- ▁heeft +- 我们有 +- 延 +- ▁bitter +- ▁carrying +- 一会儿 +- ▁daha +- 我有 +- ▁„ +- 感情 +- ▁nurse +- ు +- 胡 +- ▁smooth +- ▁iran +- ▁él +- 運 +- 経済 +- ▁indians +- 是为了 +- sicht +- 位置 +- eḍ +- ▁donc +- ▁больш +- ▁Hal +- მ +- nek +- 象 +- ▁treatment +- 我已经 +- っていうのは +- medi +- ත් +- ▁অ +- டை +- なんだ +- ப்பு +- ▁consideration +- ▁த +- 制作 +- тэй +- tions +- 不到 +- ▁appears +- ong +- дал +- 的一些 +- fini +- ▁Wissen +- ▁当然 +- 今回の +- ▁developed +- 宫 +- 运 +- ▁careful +- 新闻 +- ▁obliged +- ế +- ▁projects +- もっと +- ▁treat +- kh +- ŝ +- ের +- ▁discussion +- ▁clar +- ▁sự +- べ +- ▁về +- zie +- 思考 +- ▁reward +- 环境 +- ヒ +- ▁П +- kö +- ▁дело +- 参 +- ボール +- гі +- 冬 +- ente +- ▁resources +- ▁வி +- ▁второй +- 日に +- 네 +- ència +- cks +- şi +- ා +- ▁independent +- ▁professional +- さらに +- ▁Is +- 地说 +- 各种 +- blick +- пе +- ▁staff +- ▁Raum +- iyo +- 铁 +- 是因为 +- zan +- 十分 +- ▁role +- 阳 +- 引き +- ▁тогда +- pl +- ティ +- ▁rough +- 举 +- ່ +- 冰 +- ▁nta +- ▁jest +- ▁focused +- ▁drug +- ▁mighty +- 記録 +- ▁ප +- द +- fli +- aha +- ctor +- bor +- ên +- bank +- 日の +- az +- ो +- ▁Q +- 了吧 +- ▁transport +- hält +- ▁lies +- ▁wow +- ▁schools +- wit +- ▁reg +- ▁smaller +- それは +- 最大 +- ▁Woche +- ▁кол +- rap +- 想到 +- ን +- ▁systems +- ▁mé +- ball +- あれ +- なかなか +- 幸福 +- cion +- のに +- ▁response +- tá +- ▁compared +- ▁Mon +- ▁imagination +- ▁pare +- 是吧 +- ค +- رف +- ▁200 +- nyi +- 做出 +- рав +- ▁louis +- ppen +- 曾 +- 会有 +- ▁realized +- каз +- ▁Wort +- ▁Chris +- ▁artist +- ção +- くる +- ▁element +- sho +- ▁sieht +- 归 +- 说了 +- gl +- este +- تا +- ý +- gate +- einander +- dí +- ciones +- 随着 +- ต +- 欢迎 +- 年代 +- uga +- 岛 +- 独 +- nom +- nken +- げ +- 职 +- ▁kurz +- ▁permit +- 尽管 +- ▁organization +- vier +- ère +- ▁extreme +- 危险 +- ژ +- fold +- ▁training +- 现 +- hat +- 寻找 +- ▁spr +- ings +- ▁University +- 行为 +- カー +- ▁Dollar +- ▁incident +- mbi +- gon +- 塞 +- ▁David +- ▁instrument +- ▁hal +- star +- ▁questo +- ▁rare +- でしょ +- 价值 +- ▁Schw +- 嫌 +- ▁cop +- ã +- უ +- ▁organis +- 把我 +- ▁Neu +- யா +- られて +- ▁cya +- ität +- ▁leader +- 歩 +- 仕事 +- ▁smiling +- ▁まずは +- imo +- ▁Kind +- бер +- ం +- ▁beide +- peri +- 受到 +- 暗 +- ▁contrary +- ▁saint +- ▁deine +- ▁treasure +- llo +- ▁hidden +- ierten +- iyor +- ▁patients +- 状態 +- ▁mess +- ▁unbe +- ▁skill +- nza +- ▁eso +- ▁joe +- ▁principle +- 示 +- ▁realize +- 领域 +- ▁EU +- ▁relief +- ▁ain +- 的歌 +- يت +- ▁Pen +- ちゃんと +- ▁arab +- فا +- مر +- ▁Che +- lim +- ▁succeeded +- pos +- ▁fleet +- wind +- өр +- 同样 +- ▁measures +- 豆 +- 公共 +- ▁actions +- ▁temper +- жы +- ▁不过 +- һ +- ▁gan +- ayo +- ってる +- ▁carrer +- ▁liberty +- রা +- ▁ئا +- ▁setting +- оў +- ट +- ▁protect +- 藏 +- 我是说 +- ▁colour +- ▁более +- 刺 +- ▁function +- blo +- ▁estate +- ▁invest +- sid +- ▁families +- ▁Sha +- ыл +- ун +- ▁wore +- nat +- ▁steht +- 同意 +- 劳 +- ppe +- ▁falling +- 必 +- 私は +- 委 +- 简单 +- ▁suffered +- に対して +- тэ +- টা +- 随 +- ▁Sp +- ▁frequently +- hol +- ▁somehow +- 不可能 +- 十二 +- ▁partner +- itude +- ▁flesh +- ▁powers +- اع +- 你看 +- ▁olarak +- ▁ships +- '500' +- cus +- 』 +- ▁yi +- اه +- ▁ج +- 唯一 +- ист +- ▁stellen +- 有时 +- ▁campaign +- uje +- 『 +- ▁solution +- aron +- 上了 +- ubu +- ery +- shy +- ydd +- ▁nevertheless +- 投资 +- ▁overall +- 床 +- 対応 +- ▁affair +- 我不 +- ▁awful +- ▁Europa +- ▁như +- ▁stark +- ▁begann +- ▁Recht +- ▁picked +- ▁Ihrer +- kazi +- 基本上 +- 说的 +- bia +- ▁accepted +- ▁sp +- ▁request +- фе +- ▁Freund +- ency +- 功 +- vari +- shaka +- ▁favour +- ▁direkt +- ▁euch +- ක් +- ▁plenty +- ▁ĉi +- 有了 +- unt +- ём +- 等等 +- ▁businesses +- ▁seized +- もあります +- dien +- ów +- ▁grim +- 特に +- 不过 +- ▁glauben +- hal +- ▁kra +- üh +- ▁conference +- ▁zeigen +- ▁motor +- ▁пера +- 患者 +- юць +- ▁peu +- ▁thế +- 以为 +- 薬 +- sey +- 产生 +- ▁faithful +- ▁satisfied +- fic +- spect +- yor +- lly +- ▁dust +- ▁dreadful +- 即 +- ▁하 +- 私の +- ▁うん +- ▁jim +- ▁pet +- 套 +- 一直在 +- 에서 +- ▁funny +- viv +- 股 +- weg +- cs +- ▁expressed +- ▁مو +- 累 +- 上げ +- mara +- ▁foundation +- аны +- ont +- ▁tip +- gul +- وس +- 職 +- 把他 +- さんに +- uv +- にして +- ▁Sal +- ▁remarked +- ここに +- ▁appeal +- pel +- dul +- ं +- ▁meal +- ▁Internet +- ▁bob +- ▁fields +- 前の +- 生物 +- ▁possess +- ▁soldier +- эт +- つけ +- ▁horror +- ▁alla +- лет +- 変 +- んだよ +- ▁kal +- 你也 +- veni +- 还没有 +- cri +- 贝 +- می +- 当我们 +- лар +- ome +- 洋 +- дан +- ▁воз +- ▁ක +- gie +- 吸 +- 预 +- ▁excitement +- ▁거야 +- 是一种 +- ▁contact +- ▁rules +- 両 +- ▁mac +- ▁negative +- ▁Ist +- 敢 +- ▁Гэта +- ▁connected +- ▁universal +- ▁Gar +- ▁irgendwie +- pil +- ▁majority +- ▁destroy +- ▁Los +- 蒂 +- hod +- 我去 +- prob +- kol +- がありました +- ▁Den +- ோ +- ▁sé +- ▁relationship +- со +- ▁bore +- ▁lifted +- 编 +- tory +- ▁Körper +- ▁fu +- ▁whenever +- かもしれない +- ▁sprang +- வே +- と思う +- 了一 +- cat +- ▁我要 +- これを +- top +- 汽车 +- зі +- 害怕 +- '90' +- ▁iyi +- ▁With +- ▁şey +- ▁qué +- ▁emperor +- ▁lock +- oh +- ▁Và +- ▁flag +- ▁Reihe +- 结束 +- ▁tail +- ▁pardon +- ians +- ред +- ▁proof +- ▁fal +- ▁protest +- ▁parties +- 地域 +- 死了 +- rian +- 你必须 +- яр +- ▁rid +- ▁amazing +- kas +- మ +- nig +- 袋 +- Z +- ▁hello +- ட்டு +- ké +- кова +- ▁challenge +- 但我 +- сад +- ▁Pan +- act +- isto +- 我没有 +- زی +- ▁savage +- tisch +- ▁Angst +- ▁spo +- 丁 +- mise +- 弹 +- 我都 +- 可是 +- ▁prior +- だって +- ▁West +- ▁adam +- ▁nest +- 我还 +- ▁resist +- ▁Antwort +- ▁rev +- ▁수 +- ▁mot +- Y +- ▁இந்த +- ▁decide +- ▁wondering +- ▁phone +- ▁所以我 +- 境 +- ▁crossed +- down +- 疑 +- ▁radio +- 母亲 +- 印象 +- ▁Saint +- ▁те +- mobil +- ▁wisdom +- ▁để +- 战争 +- nna +- ▁anger +- ップ +- ▁flower +- ▁Familie +- kli +- ▁zei +- مل +- ▁Не +- rze +- ▁screen +- aniran +- ington +- ▁کو +- ▁frame +- 食べ +- ktor +- ange +- kü +- '""' +- 露 +- ▁đi +- ▁occupied +- ả +- ▁それでは +- nit +- 翻 +- ▁despair +- ▁washington +- five +- 人に +- 務 +- 和你 +- ▁kunnen +- ров +- ▁demanded +- 里的 +- ose +- 的名字 +- uti +- 天气 +- col +- シャ +- ▁Liebe +- бай +- ▁dawn +- 烟 +- colo +- 做什么 +- ▁schi +- 最初 +- ▁statement +- دار +- nam +- نى +- させて +- 商品 +- 까 +- band +- 杨 +- position +- tage +- 土地 +- ▁gerne +- ▁ghost +- 谢 +- ▁пол +- ▁fundamental +- ▁managed +- 池 +- 治疗 +- duc +- ▁Ihren +- 人员 +- ▁enemies +- eurs +- ▁School +- ▁kur +- ▁rank +- ель +- nah +- なんですが +- fern +- ▁yer +- 衣服 +- 凯 +- ▁communication +- ▁agreement +- ▁marked +- treten +- ெ +- tti +- ▁Son +- бра +- 共同 +- 赶 +- みたい +- ▁一方 +- ▁increasing +- य +- 니까 +- ▁Let +- ▁removed +- وب +- 浮 +- 発表 +- 有没有 +- をして +- ▁dying +- ▁slave +- 关键 +- ▁remarkable +- 进去 +- ▁Krieg +- 権 +- dzi +- tó +- iş +- ▁Het +- ▁теперь +- ▁supper +- ▁ari +- ஜ +- ▁cow +- न् +- 他们在 +- 年の +- ▁improvement +- ▁mistress +- 计 +- 舞台 +- 团队 +- ු +- 面前 +- ered +- ▁equally +- ▁суд +- ▁jak +- iem +- ▁violence +- بی +- ▁strategic +- ▁burning +- öl +- 没有人 +- 今の +- くらい +- ▁шу +- liegen +- ▁très +- ▁schien +- ▁However +- ▁mü +- などを +- ▁poet +- ▁الك +- ▁bishop +- ▁clo +- ▁deck +- お願いします +- ▁baron +- ▁Mor +- stig +- 有多 +- ▁farther +- 皇 +- 课 +- 恋 +- кая +- ень +- ▁primer +- 的声音 +- 人民 +- ▁말 +- ▁regarded +- ▁Spe +- 你好 +- 值 +- ▁groups +- ▁asleep +- 尤其是 +- ▁Э +- 組 +- пом +- ▁kom +- 戴 +- ▁effective +- ት +- stin +- sky +- ▁mile +- ▁verschiedene +- ▁Alle +- யில் +- 机构 +- 如果我 +- ında +- の方 +- 聞いて +- ▁educa +- jas +- ▁code +- ▁kas +- ▁Cap +- stellt +- ▁Ste +- chter +- テレビ +- ▁generation +- 坐在 +- 秘密 +- од +- もし +- ▁wedi +- роз +- พ +- vita +- ▁sprach +- ▁dengan +- ▁cab +- ▁describe +- ▁route +- ಿ +- ▁weißt +- ▁nahm +- ед +- いない +- ▁좀 +- grad +- ▁esto +- 원 +- ▁calls +- 务 +- ▁deeply +- că +- انی +- ▁continues +- னை +- オリンピック +- 了很多 +- ▁meat +- お前 +- 的大 +- bul +- thy +- 先ほど +- ngu +- ▁gew +- uba +- ▁pack +- сты +- wyd +- 丸 +- ▁arch +- ▁播放 +- 怀疑 +- 了你 +- weise +- ага +- آ +- ▁topic +- oz +- ган +- ▁herum +- 看见 +- 和我 +- ▁Amerika +- 移 +- ▁behold +- schau +- 这个人 +- ▁inner +- 营 +- ▁import +- angle +- rice +- ▁capable +- гла +- 女儿 +- ▁nervous +- ▁Kra +- 介绍 +- ▁flying +- 熊 +- ▁hacer +- ▁chain +- 唐 +- ▁minds +- がない +- whi +- 妹 +- 混 +- tische +- 姑娘 +- mah +- ▁acht +- ▁будзе +- 地球 +- ▁أو +- ▁innocent +- gui +- run +- ▁Men +- vě +- ▁software +- ffer +- 背景 +- ific +- らない +- bet +- களை +- تى +- 宁 +- ▁begun +- uzi +- ▁levels +- vă +- 年轻 +- ▁yield +- lap +- よりも +- ▁Informationen +- ▁بی +- ▁spirits +- ▁alarm +- ▁проезд +- ▁machte +- ▁explanation +- 对我 +- 不仅 +- ▁jam +- zone +- ▁younger +- র্ +- 优 +- لت +- гал +- toj +- ▁hide +- ▁buried +- マン +- 攻撃 +- ▁worthy +- 希 +- 吹 +- ▁Commission +- ▁konnten +- ा +- ▁gods +- tors +- lama +- ▁aspect +- ▁eene +- このあと +- dum +- 那样 +- ▁pred +- ison +- org +- 并且 +- ▁rear +- ரா +- 具体 +- ▁wave +- 加入 +- клад +- ▁complex +- 你现在 +- ▁Arm +- を見て +- loc +- ▁southern +- ▁mayor +- ງ +- gs +- тель +- ▁doors +- лә +- ▁citizens +- 麻 +- 眼睛 +- ▁forgive +- نت +- ▁evident +- 事儿 +- 人で +- 帮我 +- வை +- ▁commission +- ▁site +- 自身 +- ▁included +- igt +- 宮 +- 莉 +- 不太 +- 莱 +- ▁unique +- setzt +- ▁अ +- 第三 +- ▁sons +- 展 +- ▁dull +- pass +- ▁我说 +- ▁bottle +- 容疑者 +- ▁dari +- ▁الع +- wydd +- ▁verschiedenen +- ▁bull +- 一只 +- ▁stehen +- 関 +- っていた +- ▁کا +- ▁чего +- pers +- ν +- ступ +- anda +- 高い +- তো +- worth +- 你还 +- ▁dim +- ▁tower +- ▁millions +- ▁satisfaction +- ▁effects +- ▁rates +- ▁gener +- 表明 +- ▁虽然 +- 灵 +- 전 +- kuwa +- 叫做 +- 下面 +- ▁cheer +- من +- کر +- 领导 +- 变化 +- عد +- 正常 +- 第一个 +- ▁clever +- ▁treated +- ▁divers +- water +- lös +- ő +- ▁rocks +- 路上 +- ▁necessity +- もちろん +- 的一部分 +- licht +- ingly +- ۇ +- 我们会 +- yard +- 了他 +- аг +- ▁ново +- oka +- ▁zero +- ▁fund +- ▁Natur +- 接種 +- ridge +- ▁pipe +- 老板 +- قد +- ▁figures +- 丽 +- vant +- 在哪里 +- maze +- だけで +- 替 +- lah +- ▁edward +- ▁shade +- 人間 +- 乡 +- 在他 +- nim +- ĉ +- 备 +- それが +- 新しい +- ▁friendship +- oi +- ホ +- 你这 +- nud +- ▁liber +- ▁sheep +- ▁вер +- ▁pictures +- 义 +- ▁election +- bung +- gira +- ▁Tur +- эм +- alo +- ▁attitude +- ▁них +- jes +- 橋 +- ▁conscious +- že +- ▁proportion +- ▁ruin +- cil +- ▁себе +- cyo +- 其他人 +- ▁document +- ▁western +- ▁oo +- ез +- ▁economy +- ▁twee +- cient +- ư +- ▁palm +- gua +- elli +- ств +- と思って +- raz +- ▁execution +- 視 +- 麦 +- ными +- ▁entrance +- 食物 +- кт +- ▁manifest +- ци +- ▁perspective +- ▁nations +- ▁ху +- lea +- anti +- ▁Bre +- ▁plate +- ▁desired +- ço +- ペ +- ▁alten +- ▁الب +- ▁expense +- 女子 +- そこ +- vou +- 目的 +- 坚持 +- ▁tiny +- voir +- ▁allein +- ▁confi +- шел +- 导 +- ります +- tica +- ▁gradually +- ▁Chi +- cial +- ▁pli +- 壁 +- ▁mem +- tab +- 会议 +- wis +- ış +- 私が +- ▁smith +- 一人 +- ▁obtained +- في +- ▁relation +- ▁grup +- ▁gaze +- رب +- rous +- していました +- か月 +- 彩 +- rk +- 许 +- hä +- ▁tour +- ▁giant +- ▁perform +- いや +- ▁lad +- ▁triumph +- ▁finish +- oku +- ニュース +- 艺术 +- ▁бер +- 席 +- ▁всех +- やすい +- hung +- ▁mí +- jí +- ▁sail +- ▁require +- ▁core +- ▁einzige +- 調査 +- рам +- 马上 +- ▁сказать +- 影響 +- ▁wounded +- griff +- 大哥 +- ▁Tür +- 完了 +- ▁Ziel +- 一场 +- 一旦 +- gent +- ▁untuk +- ▁criminal +- nny +- 企業 +- ▁revolution +- 还要 +- ▁mystery +- ▁mercy +- aban +- ▁constantly +- cli +- ▁teaching +- taj +- shobora +- rod +- cast +- roll +- ▁teacher +- итель +- ologie +- bly +- ▁update +- 僕 +- ▁acquaintance +- 休息 +- 今月 +- ▁article +- 挑战 +- ▁эта +- ▁bisschen +- 某 +- ▁あの +- fri +- 照顾 +- 酸 +- ▁nói +- وق +- ▁sul +- ▁visible +- ▁instantly +- gegangen +- ▁dei +- ▁それ +- ▁значит +- ▁versucht +- 対策 +- ▁работа +- өө +- ▁через +- ▁Ed +- 测试 +- 护 +- year +- というのが +- ▁counsel +- сла +- ҫ +- ですけど +- 接下来 +- ▁你看 +- 難しい +- ▁tres +- 实现 +- ▁триста +- last +- 按 +- 觉 +- 宗教 +- ▁Plan +- کی +- 这么多 +- 确定 +- 悪 +- ▁letzte +- ец +- ▁violent +- ▁knees +- ▁knight +- 在我们 +- 如果我们 +- isha +- aria +- ını +- ▁пу +- '21' +- gru +- ▁nel +- ▁crack +- ് +- 因为他 +- ttle +- ▁splendid +- ▁richard +- ▁Mont +- ▁brilliant +- ▁assured +- script +- 对你 +- rel +- ▁mill +- sca +- imu +- 減 +- ▁jede +- ▁какие +- 责任 +- apo +- ▁être +- ▁az +- 补 +- 就是说 +- ▁earnings +- 新たな +- ▁fragte +- ვ +- ▁necessarily +- tiv +- ▁wit +- ▁critical +- ▁harry +- 一张 +- gol +- 赶紧 +- 潜 +- ではない +- cou +- 一緒に +- ▁confident +- ▁lag +- 本来 +- ew +- In +- лася +- 言って +- 建筑 +- ާ +- 上がって +- ▁multi +- ically +- ▁turns +- 惊 +- ию +- ▁website +- よかった +- ▁worship +- ▁unable +- ▁throat +- ӱ +- ▁grief +- lement +- ここから +- مي +- ▁relations +- iɣ +- ▁كل +- ière +- 额 +- ▁published +- 纸 +- dina +- ▁vis +- umi +- ▁suspicion +- 陆 +- test +- ▁دارد +- ўся +- ▁sẽ +- ▁Det +- 也会 +- dad +- eten +- ▁petit +- در +- জ +- 我们要 +- ▁darum +- ▁maintain +- ▁director +- ▁الن +- غا +- 这个问题 +- 馬 +- 我很 +- aja +- ▁Paul +- 库 +- fy +- ▁official +- rí +- ▁delivered +- ▁cart +- ▁goed +- 上面 +- ▁schön +- ▁prisoner +- enga +- 让他们 +- ▁universe +- 挑 +- ▁rooms +- оп +- ▁bija +- аць +- 站在 +- pper +- ایی +- ▁оста +- ▁regret +- ▁differ +- ▁나는 +- даг +- ▁Col +- んですけれども +- ene +- ந்து +- 这儿 +- トップ +- ▁mat +- 言う +- ▁puis +- tail +- だろう +- ▁実は +- 来到 +- 起こ +- ▁tal +- ▁objection +- ▁Not +- üm +- ▁reden +- 我自己 +- 经历 +- ▁midst +- ▁admitted +- ▁እ +- 耳 +- ▁نمی +- にかけて +- ится +- ▁threat +- ás +- ▁stronger +- ingen +- 考えて +- ხ +- كم +- Т +- ▁county +- zem +- ▁halten +- 遇到 +- eff +- 聊 +- ▁worry +- 错误 +- fla +- 观察 +- fte +- ▁proposed +- 免 +- ▁hence +- ▁attend +- لة +- ume +- ▁cada +- ▁nearer +- ▁Mädchen +- 联 +- 大事 +- 甲 +- lassen +- өн +- ▁такое +- ▁roz +- の中 +- ▁guns +- ик +- ট +- cade +- 牌 +- 岡 +- ▁description +- ▁Ка +- ▁lots +- ないと +- ▁web +- 男孩 +- ▁잘 +- 最大的 +- اند +- 争 +- ▁adalah +- рад +- ▁concerning +- ▁singing +- ▁blame +- lè +- ▁affected +- ▁folks +- ▁verwendet +- kira +- ા +- fas +- ▁shock +- ▁さらに +- 容易 +- ick +- 日本人 +- ously +- 你自己 +- ▁possessed +- mittel +- ▁cabin +- бі +- ▁liberal +- ▁我认为 +- ▁stones +- 根本 +- 缺 +- ▁engine +- graf +- vat +- ▁vice +- ▁plants +- 变成 +- dung +- 录 +- lerin +- ▁Bro +- 唔 +- ▁mc +- dü +- ▁бул +- ▁changing +- ▁scientific +- ท +- ▁immense +- ▁val +- zug +- ▁sport +- ▁largest +- über +- lk +- ▁magic +- ▁гар +- meter +- 届 +- gger +- ე +- 笔 +- ▁私は +- ▁absence +- 京 +- ▁absolute +- ▁дела +- லி +- cons +- 媒体 +- ▁пи +- 这件事 +- 原来 +- ▁wy +- 丹 +- قل +- aries +- ▁Kan +- ▁conflict +- تم +- 对吗 +- 府 +- ▁над +- ischer +- 園 +- ▁brothers +- しく +- oth +- னி +- ▁proceeded +- ▁sem +- nak +- ▁intent +- ▁کند +- ▁disappeared +- 只要 +- ово +- bag +- chte +- ▁govern +- ugh +- きのう +- 秀 +- yar +- ▁mortal +- 停止 +- ▁voices +- 之间的 +- ▁nächste +- ディ +- ▁Au +- ▁rue +- گی +- ප +- zz +- ▁bleiben +- ▁لم +- ▁favorite +- pak +- zähl +- ▁hoped +- ▁Nein +- ▁mae +- なり +- 声音 +- ▁seated +- дет +- ▁bold +- meye +- ▁affect +- ▁tempo +- ે +- ▁soil +- 乔 +- 宇宙 +- ह +- 镇 +- 骗 +- یک +- ▁мар +- 暴 +- aan +- ▁waters +- 中で +- ั +- ucht +- мет +- ▁awake +- elo +- ▁expectations +- ▁sieben +- знач +- মা +- としては +- 撃 +- 工具 +- usa +- 记录 +- 일 +- ▁arrival +- atu +- 在这 +- ▁Que +- ▁hole +- ffe +- 港 +- ▁coffee +- 選挙 +- gleich +- ▁studies +- 幅 +- ▁gente +- 嘴 +- komp +- ▁wusste +- tric +- ▁library +- 增加 +- nzi +- ▁delicate +- ▁domestic +- mina +- ▁scheme +- ▁перед +- rö +- bild +- ▁profession +- ▁experienced +- ▁jedes +- ▁interests +- 后面 +- ▁Kom +- 经过 +- ▁elizabeth +- enda +- プロ +- ▁vessel +- hold +- ▁eating +- ▁quando +- czy +- abil +- merk +- ▁remind +- 盛 +- ▁channel +- ▁Nacht +- ▁না +- 有个 +- 也没 +- 意思 +- ▁link +- ▁تر +- ▁numerous +- zt +- のある +- 今後 +- bun +- نگ +- ▁recognized +- ▁scheint +- ▁الج +- 这就是 +- рын +- ▁custom +- ▁mundo +- ▁occur +- nau +- 的原因 +- 所以我 +- lect +- сці +- そうな +- ▁vez +- 行业 +- ▁bath +- ▁Gehirn +- ax +- 由于 +- 描述 +- ▁pol +- 陪 +- ▁silk +- ort +- ▁crew +- ▁Wi +- bt +- ▁frightened +- ▁всего +- 现实 +- dies +- 娜 +- ザ +- ▁seines +- たくさん +- ▁えっ +- ▁hor +- 我不知道 +- ▁Bereich +- ▁ceased +- 湖 +- 爹 +- ▁israel +- ▁wondered +- ▁objects +- 是我们 +- ▁prime +- 丝 +- ▁apartment +- ▁steel +- ▁ещё +- ただ +- 我相信 +- ▁resolved +- ▁Nor +- ▁Bur +- 固 +- Al +- 洞 +- ▁更に +- 中央 +- 舞 +- ▁china +- ▁cert +- ▁Mein +- 确保 +- mini +- 怀 +- ▁stepped +- 依 +- ▁shelter +- ▁fourteen +- ching +- ▁bou +- ▁failure +- ▁investments +- амі +- кон +- ▁christmas +- ▁signs +- 看到了 +- ▁khi +- ref +- ছে +- ▁groß +- மை +- ▁committee +- autre +- ▁anywhere +- ▁organ +- ▁게 +- ▁apply +- ບ +- いません +- ▁chosen +- ook +- тә +- ▁buck +- んだけど +- 음 +- ▁Wal +- ular +- erung +- 優勝 +- ▁mysterious +- ▁پر +- 決め +- ĝ +- ▁friendly +- 上がり +- 打ち +- rez +- ▁Abend +- ▁tous +- xe +- 万人 +- ▁Энэ +- ▁кар +- ぬ +- سل +- prav +- scher +- adi +- ▁ён +- lyn +- スター +- jun +- ை +- 一部 +- බ +- thing +- ▁principles +- ▁너 +- eka +- ອ +- ▁voyage +- ラン +- nut +- 最好 +- ▁rent +- 方が +- ▁Tod +- ▁Staaten +- ▁دە +- 奖 +- ▁majesty +- wij +- 易 +- ▁tiene +- ▁закон +- 麻烦 +- ▁Rat +- 过了 +- 達 +- ▁حال +- 传统 +- ۈ +- iyi +- 週間 +- つく +- radi +- ▁Haupt +- hil +- ▁bet +- 对不起 +- ▁prices +- ▁manchmal +- ▁manera +- 习惯 +- ▁construction +- gat +- X +- 的所有 +- ▁error +- 抱 +- ▁està +- なくて +- ▁heißt +- weit +- 我现在 +- ▁mission +- nica +- àn +- cor +- zna +- scha +- ときに +- hui +- ago +- ▁ee +- ▁herr +- 模式 +- 人気 +- 高兴 +- 准 +- ▁为什么 +- どこ +- стан +- 学院 +- 我看 +- 結 +- gne +- fahren +- ▁foolish +- 枚 +- ə +- ที่ +- ifi +- já +- homme +- 检查 +- 银行 +- 允许 +- дзі +- ▁pause +- ▁rief +- ො +- 醒 +- uto +- というか +- টি +- list +- 午前 +- ▁problema +- char +- 勢 +- ▁Licht +- nov +- 乗 +- ▁Pla +- ▁char +- ▁internet +- ▁coach +- кан +- 还没 +- enza +- ▁gently +- ▁beach +- fried +- 标准 +- ñ +- ▁currently +- 不行 +- ▁encore +- 圈 +- ለ +- iß +- fect +- 年轻人 +- ▁College +- ọ +- ▁discovery +- ▁practical +- ▁ĝi +- 电视 +- poli +- ▁oben +- 命令 +- дзя +- 艾 +- ▁stands +- 虽然 +- ▁besteht +- ▁Möglichkeit +- ▁git +- ▁paused +- ▁sooner +- ksi +- ▁Mais +- unk +- ▁사 +- த்தில் +- iden +- cc +- ▁这就是 +- زن +- 名字 +- кра +- ▁trois +- 您的 +- door +- 刻 +- ▁mille +- ген +- スタート +- ▁cui +- ▁Will +- ▁sacred +- やり +- च +- зу +- system +- ▁mud +- inter +- ▁одна +- ▁quand +- dienst +- ▁hon +- แ +- 这位 +- ▁blessed +- ▁pushed +- ▁reco +- 瓦 +- ▁ariko +- 大多数 +- ▁наш +- ▁Wahl +- ▁reign +- 장 +- air +- kum +- 来看 +- دة +- ▁delay +- стро +- жу +- ▁mont +- ▁fought +- seite +- ог +- ▁reported +- chester +- 他就 +- gged +- ▁bare +- ▁sigh +- 薄 +- ▁thunder +- شی +- 年間 +- いつも +- アン +- ▁Yes +- ▁Präsident +- ▁northern +- ▁Sir +- ले +- 当地 +- dik +- sy +- tia +- liv +- عمل +- essa +- 軽 +- 议 +- ▁modest +- 蛋 +- ngi +- gesetzt +- oto +- ▁empire +- geführt +- 人たち +- nej +- ▁Ihrem +- ъ +- ▁waste +- ыг +- 被害 +- ▁İ +- bile +- ▁delle +- 弗 +- でき +- 当我 +- ▁quan +- ▁collection +- ▁கா +- ▁prima +- 杯 +- ▁photograph +- ▁veel +- 压力 +- tif +- 典 +- ▁wings +- мә +- ச் +- rij +- ▁dreams +- 司 +- ▁dur +- 予想 +- ▁gained +- 怎么了 +- при +- ▁내 +- ▁سر +- ▁horrible +- 人物 +- пар +- 我能 +- ▁fled +- 超过 +- 干什么 +- cí +- rais +- фа +- 調 +- vision +- ăm +- ars +- ▁easier +- ▁могу +- ▁Probleme +- 있 +- 顺 +- facebook +- ▁sofort +- たま +- not +- zog +- 戏 +- isme +- ▁آنها +- ే +- 显示 +- ▁funktioniert +- wali +- なんと +- 本身 +- 姿 +- 永 +- ▁stairs +- ▁sale +- ulo +- ép +- roj +- ▁Port +- ▁proceed +- 甘 +- ▁copy +- ▁burn +- ▁bearing +- 確認 +- ▁consequence +- ▁completed +- 不错 +- 在一个 +- ▁се +- fred +- 我喜欢 +- ▁employed +- 瑞 +- ▁Oh +- ▁banks +- ห +- 棒 +- ▁enormous +- 烧 +- ▁sympathy +- ▁Lage +- vet +- ▁Some +- ▁concern +- cré +- ங்கள் +- α +- faced +- richtet +- ▁factors +- اح +- 哭 +- ▁nada +- ▁Tor +- ▁philosophy +- ▁clouds +- レー +- ▁gesprochen +- ▁tight +- asta +- born +- 既 +- head +- indi +- ▁By +- ▁instinct +- ▁algo +- 幕 +- ゲーム +- 困难 +- rr +- 我这 +- ҡа +- ▁elements +- の中に +- lık +- ▁congress +- ▁你要 +- ▁album +- ▁London +- ▁relative +- typ +- cted +- 专业 +- ▁connect +- ▁restaurant +- lier +- ▁climate +- ▁goal +- ▁Gespräch +- 则 +- ▁mood +- ▁classes +- ▁introduced +- ▁gì +- üt +- ο +- ▁schwierig +- ▁anche +- лег +- ▁maid +- 持续 +- ава +- ▁König +- 振 +- tique +- dda +- ▁odd +- cord +- tit +- 试 +- dit +- ▁segment +- ņ +- 転 +- ▁conscience +- ▁retreat +- ▁По +- ▁jar +- 難 +- ▁earn +- ▁Por +- sión +- 我真的 +- 盗 +- それから +- ▁التي +- kro +- عة +- '!?' +- ▁version +- 施設 +- ▁Fin +- 那就是 +- 徒 +- 对我来说 +- ▁cave +- ▁medicine +- ▁application +- ции +- 约翰 +- ▁Bild +- ▁informed +- zio +- rant +- ▁gör +- 说你 +- ▁谢谢 +- 大量 +- ajn +- 腿 +- جا +- 傷 +- аж +- ▁previously +- pho +- ▁immediate +- 痛苦 +- 敬 +- 他们会 +- ▁witness +- ▁interpret +- 避難 +- gebracht +- じゃあ +- ▁benefits +- ▁morgen +- ▁reference +- ▁feed +- ▁chu +- 终于 +- mmel +- 年に +- 하고 +- ▁එ +- ▁anxiety +- ▁severe +- ▁via +- اش +- 移动 +- れて +- пы +- ẓ +- ▁discuss +- 到达 +- のように +- ▁但是我 +- ▁returning +- オー +- нес +- 捕 +- ▁recognize +- ▁Vielleicht +- ▁nord +- 取材 +- 怎么办 +- 打电话 +- ▁falsch +- ช +- ▁Mark +- gomba +- ▁cheap +- ишь +- 突 +- ▁recon +- 動き +- 好吗 +- 炎 +- ▁kit +- ▁Of +- ▁ease +- ▁yards +- рь +- ▁engagement +- だと思います +- oro +- 大丈夫 +- ubi +- ▁games +- ▁Musik +- となりました +- 状 +- 季 +- ものを +- ▁slide +- aza +- segu +- führen +- 注 +- さんと +- 他会 +- 想法 +- ▁hurried +- termin +- تي +- ▁mostly +- sun +- める +- ▁wheel +- kem +- 反对 +- ▁intend +- いって +- 知识 +- ▁amongst +- ún +- ▁countenance +- fite +- ワクチン +- 全然 +- ▁variety +- ▁thomas +- 形式 +- ▁بە +- ▁intelligent +- force +- 值得 +- acht +- jem +- 用户 +- ▁الش +- нага +- quin +- rri +- hle +- ▁rush +- тов +- 说什么 +- ▁అ +- овать +- ▁Sin +- ▁کنم +- anto +- 吓 +- いっぱい +- ▁partly +- ▁hinaus +- ▁guilty +- isse +- ▁fox +- stead +- 確 +- ▁rope +- 出場 +- ▁вос +- 面对 +- ▁assistance +- ▁gesch +- ▁Fo +- いつ +- கொண்ட +- tech +- 据 +- ▁Miss +- ▁tools +- lau +- 逃 +- 大臣 +- тив +- лов +- ▁которая +- ▁Ber +- なんで +- 显然 +- ▁solemn +- 楽しみ +- 辛 +- ▁geworden +- ald +- ▁eager +- ▁counter +- 我们现在 +- mana +- ▁consciousness +- iendo +- ▁为了 +- iba +- ▁너무 +- 胸 +- ▁També +- ▁scho +- ▁vent +- xon +- ▁candle +- ▁Ш +- ▁lion +- ▁combat +- 关心 +- ije +- ▁located +- ▁شود +- staat +- ▁resolution +- 検査 +- ▁august +- ▁disse +- 交通 +- گو +- ▁depend +- ▁Von +- かい +- ▁Gen +- 不安 +- はこの +- ▁你是 +- chu +- ▁Programm +- aku +- luc +- ▁joke +- مه +- lands +- эг +- ▁adult +- ▁Да +- が出 +- 成员 +- 姐姐 +- 照片 +- ▁Ap +- ▁consent +- rer +- ▁tief +- ▁rub +- 察 +- ып +- 全球 +- 族 +- 落ち +- ▁ließ +- ▁High +- feld +- tul +- cl +- 事实 +- 하 +- 今日は +- 响 +- rés +- ▁Ger +- рт +- ও +- ▁Herz +- 你别 +- ▁سال +- 的朋友 +- ▁neces +- ▁pitch +- gno +- ▁tai +- kie +- ▁notion +- ▁yu +- eks +- kora +- ▁victory +- hur +- ▁Bas +- agi +- のでしょうか +- 映画 +- 评论 +- کە +- ▁Pol +- どんどん +- ▁enable +- ▁marketing +- ▁número +- 摩 +- ▁reduce +- ▁cela +- වි +- ్ +- ▁cru +- byo +- ril +- ▁push +- ▁ເ +- yen +- ▁bre +- ▁flash +- やる +- ▁خو +- すぐ +- ▁improved +- 持ち +- まる +- ät +- had +- ря +- 糖 +- かもしれません +- 负 +- دم +- anyi +- baza +- ▁überhaupt +- 鸡 +- れた +- ▁rushed +- 回来了 +- оль +- ▁Una +- ▁obtain +- 사 +- ▁refuse +- 语言 +- fangen +- ▁Eu +- 選手が +- kka +- 魚 +- ▁wider +- 骑 +- 善 +- ▁eternal +- قر +- ▁trick +- ▁así +- ongo +- ▁worn +- ▁stores +- рос +- 制造 +- lied +- rica +- raf +- 十年 +- omo +- 、2 +- ▁smell +- rav +- ▁pensa +- ▁continent +- ▁stupid +- となった +- 接触 +- ▁werd +- ▁Para +- 闹 +- ▁stir +- ▁score +- 구 +- とても +- 者の +- ▁こちら +- 属于 +- çi +- том +- 説明 +- 受け +- ▁gest +- サン +- ului +- ▁slip +- 없 +- 増え +- ▁apple +- のかな +- 偏 +- 承认 +- ▁surrounded +- ▁Zukunft +- ▁valuable +- ▁führen +- 答案 +- ▁hätten +- teilen +- ▁einigen +- 孙 +- ▁rw +- handel +- ▁approached +- cis +- ▁exchange +- 、1 +- ▁internal +- ▁мал +- まり +- ラー +- ▁gegenüber +- 埃 +- lain +- ▁absurd +- 全体 +- ция +- ▁phil +- 上海 +- ▁associated +- ▁điều +- ▁cam +- ▁William +- ▁dont +- ▁পা +- шла +- 技 +- ここまで +- ▁abantu +- kna +- 章 +- hem +- 例如 +- ▁Dass +- ▁softly +- qa +- ▁Pra +- 不再 +- 抽 +- ▁họ +- sehen +- ▁sunt +- rada +- を見せ +- ▁நா +- lou +- ▁kindly +- رة +- уб +- 巨大的 +- 作り +- bling +- ▁fet +- ▁moreover +- quel +- ▁uniform +- laufen +- ▁stable +- ▁байсан +- ▁dal +- ▁clients +- wol +- だよ +- ismo +- コロナ +- 材料 +- ▁bitte +- ▁genius +- mā +- があって +- fat +- ▁escaped +- guard +- 男子 +- 在你 +- ▁beginnen +- ▁substance +- ▁bush +- 小心 +- 呆 +- ▁suggestion +- دان +- 跟他 +- ▁limited +- ーン +- ▁offen +- ▁unserem +- 伤害 +- cel +- ▁يمكن +- mate +- 独立 +- giye +- ▁mur +- ▁robot +- etti +- esc +- grund +- ▁Bra +- 负责 +- ▁situa +- 开心 +- ▁Don +- 羽 +- ▁dessen +- ▁plane +- ことで +- gü +- ▁куда +- ▁closer +- ▁precious +- 거든 +- овская +- است +- ▁convinced +- ▁bomb +- tà +- จ +- 種 +- ▁früher +- май +- ał +- ▁confess +- そこに +- ▁жа +- 因为我们 +- ▁phải +- вой +- кс +- ▁curiosity +- نو +- 図 +- 別 +- ▁десять +- tting +- йте +- ▁kiel +- ▁Meine +- できた +- ▁sap +- 大きく +- ▁addressed +- 康 +- ota +- சா +- نه +- kali +- тым +- ▁shouted +- ▁этим +- гә +- ▁сер +- gere +- 総 +- ▁우리 +- ▁concept +- here +- のために +- ▁unten +- ▁National +- sek +- ▁crea +- ▁hare +- ▁button +- なのか +- উ +- これまで +- 関東 +- quet +- 当他 +- 弟 +- ▁نو +- ▁நி +- 博士 +- stal +- 佐 +- amo +- ▁gal +- mé +- ár +- zing +- ▁zwanzig +- ▁nachdem +- بو +- していく +- ▁pressed +- ▁neza +- 有关 +- ▁dignity +- ▁meanwhile +- ▁Millionen +- ▁causes +- ▁poison +- を取り +- pir +- ▁arrive +- ▁mia +- ▁flood +- ory +- ▁thu +- 放弃 +- 早く +- ckt +- 的那个 +- anar +- 虚 +- ▁lights +- 雲 +- wart +- ▁같애 +- مو +- ▁doen +- ▁phrase +- そうですね +- 的一 +- ▁cum +- யை +- Co +- 込んで +- ▁tiu +- idos +- سب +- ▁今日は +- ▁musste +- 似 +- қ +- ▁flew +- ▁Mittel +- 给我们 +- ライ +- ▁bigger +- prov +- ▁Qui +- ▁hanging +- schrift +- してください +- ▁За +- 犯罪 +- ▁purchase +- ▁quarrel +- üs +- ▁seg +- ণ +- ▁federal +- ී +- 说我 +- ▁también +- ▁yari +- apa +- nja +- ▁succeed +- ▁hielt +- ▁recht +- Ma +- 正如 +- 焼き +- ▁besten +- fam +- 論 +- おります +- ุ +- くて +- tation +- 住宅 +- وه +- ▁mod +- ▁coal +- ▁italian +- ほ +- пан +- tine +- ▁però +- ▁render +- ▁South +- 欠 +- 广告 +- реш +- をする +- кий +- schuldig +- ▁programs +- рен +- ぼ +- hé +- ▁cancer +- ▁verk +- ük +- ▁miserable +- श +- azione +- ▁bunch +- ık +- ▁fierce +- fie +- ▁appropriate +- ▁healthy +- ▁subjects +- ▁kre +- qué +- ▁día +- ▁Ama +- ych +- ▁fatal +- 馆 +- kiri +- ▁لە +- 菲 +- 每一个 +- ились +- форм +- hoo +- вор +- vingt +- ▁assume +- 消息 +- ▁swift +- ▁سو +- elt +- ▁competitive +- ▁hasta +- ▁aquí +- 小时 +- 既然 +- させ +- gene +- stoff +- ▁opera +- ▁М +- shing +- lies +- 連続 +- voy +- ▁mamma +- めて +- unda +- ▁hint +- ▁offering +- 吴 +- ▁luck +- ▁Medi +- iu +- 賞 +- lte +- 一份 +- 国际 +- ▁crisis +- ▁creatures +- raum +- لك +- ▁Roedd +- lut +- ▁tremendous +- ▁Esta +- swa +- রে +- ために +- ρ +- ▁micro +- 发布 +- kov +- ▁monde +- ▁shoot +- ▁rage +- ín +- ன்ற +- ident +- ▁reflection +- ▁stern +- 部屋 +- 太多 +- ▁forgot +- 殺 +- ▁arthur +- 広 +- ▁zwar +- lina +- を使って +- ▁rob +- эй +- ▁destroyed +- idi +- ello +- ▁activities +- cole +- ▁nein +- ▁dell +- pada +- 여 +- ▁Ser +- ▁tells +- ▁painful +- ones +- 子供 +- ▁他说 +- ▁politics +- 还在 +- 观众 +- ▁Seine +- ines +- 记住 +- ▁branches +- 僕は +- 更加 +- wala +- ▁Nord +- satz +- ▁appointed +- ▁że +- きて +- რა +- uring +- 決 +- äng +- ▁sens +- tischen +- 表达 +- pia +- ▁acquisition +- ▁تم +- 疾病 +- ▁directed +- ▁bwa +- 持って +- 某种 +- ▁chap +- یر +- хан +- ▁keen +- はない +- ▁lover +- ▁nou +- 有一 +- ▁Sicherheit +- ▁hum +- ▁observe +- 岩 +- ▁accompanied +- ▁laughter +- ▁ஒ +- jor +- دە +- ▁Hel +- rā +- ▁whilst +- 時代 +- ▁waves +- 意味 +- ▁survey +- ид +- 作業 +- 伝え +- ▁Sprache +- schrei +- ▁distinct +- 沈 +- един +- يم +- வர் +- dzie +- 赵 +- ▁spin +- amba +- 雅 +- ▁دست +- 很多人 +- 北海道 +- ありがとうございました +- schließen +- ▁porta +- லா +- vic +- ▁tren +- hum +- ▁Eltern +- பெ +- 澳大利亚 +- なんですね +- ▁많이 +- ▁branch +- 咋 +- 商业 +- ▁throne +- ▁burden +- ▁martin +- ▁alors +- fertig +- ▁rela +- 情绪 +- 抓住 +- 留下 +- 因为你 +- ▁totally +- 并没有 +- ▁sector +- ▁launch +- ▁leaders +- ▁shouldn +- 众 +- ▁cái +- 形成 +- 寺 +- ▁decline +- ▁Thema +- ▁fifth +- 从未 +- ▁thoroughly +- ▁Prozess +- La +- ệ +- ▁Bla +- 一块 +- box +- will +- なんですけど +- 终 +- ▁sugar +- ří +- роб +- ▁» +- én +- ▁votre +- 撮影 +- ▁warning +- ▁hundreds +- ▁Это +- ▁divided +- からは +- 重要的 +- 我希望 +- ▁string +- 合い +- دن +- ▁fand +- ▁Politik +- dı +- ▁stated +- 充 +- 映像 +- 目标 +- سي +- ▁household +- ▁suis +- ण +- ▁hut +- ι +- 几天 +- ▁dollar +- 鸟 +- 病院 +- 在这儿 +- ís +- rid +- riye +- 我对 +- プレー +- ▁punt +- 戸 +- ▁City +- ologi +- صد +- ▁tear +- رد +- emos +- ணி +- turn +- ▁pea +- 设 +- ье +- 齐 +- からね +- 表现 +- 早上 +- уул +- 盖 +- ▁degrees +- 四个 +- ▁hurry +- 爆 +- ▁প +- ▁plej +- ▁forever +- ė +- пад +- ders +- ▁دی +- ▁remote +- ▁mount +- ▁privilege +- uj +- bata +- のこと +- ぜひ +- cket +- ▁hari +- ▁critic +- ▁Fer +- ▁hopes +- மான +- ▁applied +- かけ +- تون +- ▁kwam +- ▁cyangwa +- ▁Macht +- ▁lift +- 流れ +- gram +- 平台 +- 写真 +- 拒绝 +- гор +- ು +- ▁Gemeinschaft +- ников +- ▁regarding +- ▁reduced +- 生产 +- 頂 +- ▁joseph +- ▁Boden +- ▁shining +- pela +- ວ +- dacht +- 植物 +- ▁heel +- 학 +- これが +- ったら +- 是有 +- ▁Während +- ▁weary +- 大概 +- 坂 +- ▁völlig +- ▁años +- chy +- ▁день +- ▁wound +- えて +- ▁combination +- oy +- autres +- инская +- ван +- asse +- кол +- ▁States +- ▁эту +- دو +- ▁meu +- ▁sollen +- 出て +- 人口 +- ል +- 我们需要 +- ▁humble +- به +- ▁bang +- most +- 自我 +- inda +- ▁rolled +- 报道 +- 睡觉 +- 暖 +- ے +- ▁crazy +- ▁seriously +- 较 +- 니 +- 我只是 +- 虫 +- ▁remaining +- rra +- ▁Ten +- unter +- pr +- 入り +- ngo +- ▁punishment +- ▁episode +- ▁zeide +- kop +- ▁sank +- いきます +- ▁file +- ▁Durch +- ▁Selbst +- ▁Projekt +- ▁ring +- ▁prisoners +- ▁pes +- ▁Fu +- 絶 +- ால் +- 言い +- ▁народ +- cca +- ▁dad +- ▁hero +- ▁vos +- ▁Mus +- ▁helen +- ▁생각 +- ▁Schritt +- ていました +- shire +- adas +- ▁pricing +- ▁Entwicklung +- 子ども +- 的情况 +- dim +- 码 +- gur +- gging +- vul +- ▁pays +- ліся +- 夢 +- ▁holiday +- hus +- ▁remarks +- ▁Rolle +- ған +- ほとんど +- ිය +- '23' +- 专 +- ▁strongly +- ▁solutions +- tang +- ▁اما +- ake +- tara +- 比赛 +- lad +- 律师 +- ▁uw +- ап +- 団 +- bur +- ▁types +- 欧 +- ▁assist +- 海外 +- ▁california +- ▁pig +- ▁trap +- ▁gall +- ös +- dica +- gled +- ▁architect +- ▁Ph +- ▁Blick +- 自宅 +- ▁onze +- ▁我也 +- ▁Geist +- 把你 +- ▁wicked +- ▁wolf +- 結婚 +- 记得 +- ▁ああ +- ▁breaking +- şe +- 尝试 +- ound +- ▁views +- 每个人 +- ское +- তি +- ▁pool +- 過 +- ▁trat +- ▁attended +- عا +- ▁profound +- 大部分 +- 应该是 +- ▁humanity +- în +- mad +- ここは +- 調べ +- ▁loving +- 流行 +- ▁arose +- 高校 +- 智 +- あっ +- 不仅仅是 +- 国会 +- 最も +- てきた +- ▁sous +- ▁Но +- зд +- ▁movie +- camp +- lieb +- шу +- ▁kindness +- ς +- ▁我知道 +- gut +- ▁literature +- 斯特 +- tam +- ▁presentation +- ことし +- ▁designed +- わけです +- km +- ▁expenses +- oko +- 我们都 +- ▁George +- 優 +- 交流 +- 献 +- 失败 +- ひと +- ▁vy +- ▁border +- ▁pilot +- 集中 +- ▁tegen +- ም +- 基础 +- ▁inquired +- つか +- ▁assets +- ▁ibyo +- ▁slept +- ▁mismo +- ▁zien +- 登場 +- iḍ +- ▁interrupted +- ▁constitution +- ▁nodded +- archi +- ключ +- 还不 +- ▁هي +- ▁alas +- ▁merit +- 비 +- ▁начал +- ▁буду +- ▁Nur +- ▁thrust +- luci +- ▁الق +- ▁adventure +- ▁puede +- ▁debate +- пуст +- ▁paying +- 诗 +- mata +- four +- hari +- mě +- ▁enterprise +- については +- ▁Ei +- fit +- প্র +- সা +- ▁atmosphere +- ண்ட +- ▁இது +- 煮 +- ▁cottage +- アル +- ▁ஏ +- ▁cattle +- ில் +- arte +- ▁pole +- luk +- ▁secretary +- লি +- ▁leven +- 因为他们 +- stä +- 困 +- ▁Aquest +- 豪 +- 功能 +- ▁peer +- вол +- 两个人 +- ມ +- ▁earl +- 偷 +- ▁möchten +- ▁kuko +- ▁گ +- ost +- тен +- ▁прав +- ▁manager +- ▁пыта +- ▁Robert +- த்தை +- ject +- iten +- ғы +- 本当 +- 异 +- ▁faster +- ▁interior +- füg +- вя +- ▁Wert +- ▁cel +- frage +- مة +- baka +- 目の +- ▁Energie +- ▁leap +- muntu +- 的新 +- ▁margaret +- ▁weakness +- ▁steam +- ▁souls +- 정 +- ▁danke +- ▁Ма +- ▁eventually +- ché +- 我们就 +- 哥哥 +- ▁약간 +- 安排 +- lant +- 扔 +- ▁guests +- ско +- ▁click +- 頃 +- ▁Gruppe +- organiz +- ნ +- 水平 +- lop +- ▁tanto +- vý +- பி +- ▁imagin +- ▁Peter +- ▁rosa +- ▁Tat +- ▁bai +- 成了 +- uur +- gio +- ▁Ac +- haw +- が多い +- esse +- そうだ +- ▁کنند +- avoir +- ▁seus +- 国際 +- ា +- نىڭ +- 売 +- ▁spanish +- 宽 +- 聪明 +- 反应 +- ▁widow +- 不敢 +- ▁unit +- アメリカの +- ▁suc +- 質 +- ▁unhappy +- ▁flame +- 对吧 +- ▁tide +- ▁dijo +- ậ +- ▁shift +- 帕 +- 韓国 +- azi +- ▁déc +- 经验 +- 达到 +- ▁notes +- 랑 +- ▁fare +- 怒 +- ▁catholic +- 技術 +- 资源 +- ▁Nous +- bila +- ▁stared +- ▁tied +- quest +- 各位 +- ▁thirteen +- vano +- 对方 +- ağı +- ▁abge +- ssel +- 因为它 +- ▁veil +- ▁chat +- ▁또 +- establish +- 以外 +- ި +- raj +- மாக +- ▁auszu +- გ +- lance +- ▁anzu +- غير +- kara +- 答え +- 晓 +- மே +- ▁essential +- 当時 +- 번 +- nyuma +- ▁Stimme +- lage +- ै +- ört +- を持って +- ▁anderes +- 亿 +- ▁Sol +- игр +- 兴 +- リン +- த்தி +- wachsen +- ってこと +- ▁plu +- ▁partners +- ▁eggs +- ▁largely +- ▁hadn +- ▁enjoyed +- ው +- aid +- 상 +- ▁despite +- ▁Os +- 房间 +- ▁Union +- кр +- 五十 +- ▁distribution +- ▁pues +- 人々 +- 客户 +- ▁intellectual +- ▁cred +- ▁buildings +- 国王 +- ▁Show +- ios +- ▁baş +- ▁wholly +- ▁parent +- ▁neat +- лын +- ▁ehhe +- ▁braucht +- ▁stud +- 入れ +- ▁verloren +- ▁guest +- wyr +- ちゃう +- enti +- sak +- ران +- ▁kr +- аа +- 简 +- شا +- gegeben +- ▁mate +- 亲爱的 +- 增长 +- 意义 +- あり +- ▁đang +- ▁delighted +- 婚姻 +- trau +- ▁handle +- ▁مح +- ゲ +- 伟大的 +- مت +- ▁steady +- 健 +- ▁Cal +- ▁Bank +- ances +- ▁Tôi +- ▁physician +- his +- pren +- ambi +- ڭ +- laden +- ▁stayed +- などで +- ▁patience +- ▁utterly +- ▁오 +- ▁Dieser +- 牙 +- ▁primarily +- ▁Grunde +- ▁esper +- كون +- י +- ony +- ▁context +- kaj +- தா +- ▁sud +- là +- Le +- ▁іх +- ▁Mer +- ▁annual +- сил +- 中の +- ▁fro +- цу +- вали +- ▁contrast +- ▁Technologie +- 爷 +- ▁lernen +- 泰 +- burn +- 有一种 +- দি +- 禁 +- An +- 和他 +- uld +- ▁будут +- 幸 +- 史 +- coming +- ▁entwickelt +- ache +- 呼吸 +- hara +- ▁trump +- ▁hey +- post +- 子さん +- ▁beste +- asa +- ▁Zo +- füll +- 这么说 +- 挂 +- ▁arranged +- 悲 +- 一つ +- ics +- лек +- ▁coup +- 办法 +- மி +- があり +- 一边 +- ▁pink +- ▁расс +- 保证 +- ▁follows +- ▁scar +- ировать +- 御 +- ▁retail +- 另一 +- ダー +- эс +- 文件 +- ▁symbol +- جر +- 爸 +- 现场 +- 透 +- diri +- след +- teur +- σ +- というふうに +- 给了 +- ▁contained +- 放送 +- ddle +- ▁budget +- ▁"" +- өл +- ▁kamen +- ▁Met +- wag +- ▁کل +- ▁biggest +- ▁gross +- ▁feature +- Л +- fun +- 圆 +- ▁distinguished +- ▁studied +- kunda +- ▁dispose +- 人を +- ▁Hy +- 得到了 +- ▁Af +- Ar +- fus +- バス +- rai +- ▁obwohl +- innen +- ▁shoes +- eme +- そうなんです +- او +- kra +- ▁sensation +- mission +- ▁всегда +- raga +- ▁hoffe +- 心理 +- ▁ŝi +- 했 +- ▁properly +- ▁pala +- 那边 +- 大統領 +- ▁prophet +- ▁parliament +- нова +- tera +- fil +- というところ +- 就不 +- hou +- ▁consum +- ▁tomb +- ު +- uze +- ていく +- 羊 +- ▁lit +- 适合 +- ▁Gesellschaft +- としています +- ▁созда +- ▁desk +- ▁হ +- ▁አ +- rek +- ▁đến +- 带来 +- твор +- 题 +- год +- ▁russian +- に出 +- ▁Luft +- '22' +- dank +- 再说 +- 斗 +- వ +- ▁jedem +- ▁பா +- ▁knife +- 反正 +- 開発 +- ▁crying +- ▁moet +- sser +- ▁operation +- ▁confusion +- ರ +- に入って +- master +- 缩 +- ▁этих +- ▁continuing +- ▁rival +- ły +- ▁articles +- ▁кажется +- ▁remark +- ▁damage +- ご覧 +- nto +- ▁Google +- ▁strip +- 銀 +- お店 +- tse +- ▁iets +- ▁devoted +- 絵 +- ▁jump +- 园 +- 女士 +- 世界上 +- ▁log +- 丈夫 +- ▁traffic +- ▁所以我们 +- ünde +- ▁deu +- ▁abandon +- ▁tale +- 审 +- şa +- ▁bah +- ▁тот +- bble +- 寄 +- ▁tis +- ▁musical +- 开发 +- ▁deposit +- 阅读 +- two +- のような +- كن +- 项 +- 决 +- ▁num +- tiva +- 中に +- ▁چه +- ıyor +- ▁persönlich +- kta +- ён +- ▁Mc +- that +- ander +- ▁perceived +- 東京都 +- ▁Ter +- ▁hunting +- ▁companions +- ▁emotion +- cious +- 부 +- 升 +- さまざまな +- 记者 +- 绝 +- ್ +- ▁ends +- ▁الإ +- 细 +- ias +- thro +- ▁bor +- fei +- ▁Inter +- 的感觉 +- 任务 +- ▁surrounding +- ▁хочу +- ▁tar +- ▁mixed +- ▁Schüler +- ▁স +- さま +- ▁spending +- ▁Parlament +- see +- пор +- 一段 +- 我和 +- guru +- ▁beau +- еш +- аш +- ▁என்று +- zor +- ▁sisters +- вать +- ის +- bei +- ites +- ▁yours +- лось +- ▁друг +- ▁Just +- ▁expedition +- ▁utter +- ▁செ +- ▁transform +- ▁hollow +- lev +- ▁lonely +- ▁sonra +- క +- ▁zijne +- үү +- ▁erkennen +- ▁té +- ▁هر +- ▁komen +- ktion +- сло +- 利益 +- 真的是 +- ड +- tzen +- ▁mare +- late +- ▁shake +- ▁servi +- ▁homes +- しながら +- भ +- 法院 +- ▁multiple +- ▁Fri +- あまり +- ▁exception +- ▁reader +- 潮 +- ▁discussed +- 什么样的 +- ▁trop +- ▁две +- nä +- irwa +- ▁uko +- 塁 +- hing +- sack +- いただきます +- 肯 +- 盛り +- ological +- ▁Facebook +- ▁poco +- cles +- schauen +- 出し +- تن +- 她说 +- чит +- ▁spi +- zelf +- 沢 +- ▁helping +- খ +- ▁Dat +- 价格 +- 看到的 +- ▁деле +- ▁kap +- ▁accordingly +- ӹ +- ▁operate +- ▁wer +- 委员会 +- ▁meng +- ▁literally +- tari +- 左右 +- лом +- ▁bus +- ▁permanent +- 效 +- 四十 +- хий +- pol +- vous +- rè +- こうした +- ▁arise +- こっち +- ▁lại +- ্যা +- teri +- ▁driver +- 十五 +- ▁American +- соб +- ù +- ▁heap +- ▁barn +- nger +- ▁Cas +- すれば +- ▁rifle +- ▁Produkt +- ▁After +- ▁まず +- 中间 +- ▁stem +- ▁background +- stehen +- ▁Tage +- bij +- ▁schließlich +- ▁কি +- rte +- кай +- ▁writer +- 額 +- ▁duties +- ▁hungry +- ▁wegen +- ▁piano +- ▁pretend +- 運転 +- ▁sleeping +- mpa +- 大脑 +- iw +- 部门 +- ▁doctrine +- ▁define +- dian +- 美元 +- mmen +- 提醒 +- ▁efficient +- ▁続いては +- ו +- eo +- ▁plötzlich +- ສ +- ▁несколько +- きょうは +- denken +- дә +- ▁President +- ▁occasionally +- 不喜欢 +- ▁James +- ▁perd +- ▁eigen +- 今日の +- ▁nombre +- under +- 津 +- ▁estaba +- ▁бел +- ▁rod +- ▁mala +- ▁sovereign +- 今回は +- anno +- ▁понял +- مە +- ▁tiempo +- 平均 +- ▁initiatives +- ▁Tro +- ▁тре +- got +- ▁industrial +- uro +- ▁Weil +- ▁beast +- ▁spell +- ことに +- ▁conviction +- ▁sorts +- ▁sistema +- ▁visited +- lines +- ▁olma +- enz +- 寝 +- 伴 +- ▁《 +- 状态 +- ▁tele +- ▁quit +- ▁poder +- registr +- ▁你怎么 +- 将军 +- 战斗 +- leben +- 途 +- ্য +- 触 +- ▁absolut +- 朱 +- bis +- 懂 +- ▁cells +- 里边 +- stadt +- ▁kings +- はず +- ▁divi +- ▁bless +- ▁einge +- 不需要 +- ် +- ▁queer +- bir +- ▁свет +- ич +- alter +- çe +- 先月 +- ▁lawyer +- ▁кур +- now +- еж +- ▁formal +- ▁город +- ▁extended +- ▁poverty +- 許 +- буд +- 湿 +- bringen +- 贴 +- ▁từ +- ▁verlassen +- ▁Folge +- ▁lest +- 那天 +- ▁composed +- ▁innovation +- quen +- ▁вз +- ▁striking +- 锁 +- ▁fellows +- サー +- ▁Team +- ▁lieutenant +- ряд +- ▁loro +- ▁gefunden +- ▁Freunde +- ▁Minuten +- 地震 +- ▁これが +- ▁generous +- ▁толькі +- rib +- 経験 +- ヘ +- hap +- 家的 +- pid +- iente +- 丢 +- chel +- mod +- ▁sagten +- enge +- ▁exciting +- 되 +- 月に +- ▁spielen +- ▁destruction +- ▁すごい +- 接近 +- ович +- ▁stiff +- constru +- pur +- 想想 +- ▁Wochen +- 岸 +- tsi +- ▁premier +- 见过 +- ▁Non +- ▁possibility +- ▁responsible +- ší +- ▁expand +- স্ +- ị +- Be +- ▁strain +- ڵ +- ▁интерес +- ister +- dau +- ▁singular +- ▁location +- ▁prospect +- 変化 +- ▁suo +- ▁genannt +- ▁stress +- лд +- ubwo +- 検 +- るの +- бли +- жээ +- ▁Sein +- ▁cả +- 相手 +- ▁вторая +- ▁Morgen +- comb +- ▁troba +- вин +- igo +- 那么多 +- ▁должны +- いで +- ās +- ▁Dis +- ▁那我 +- 昨天 +- geld +- ▁acts +- ▁Trump +- ▁boats +- ジャ +- ▁eigene +- 隔 +- 输 +- іць +- лин +- ▁Schule +- ▁যা +- пре +- ▁association +- ▁trembling +- 猜 +- вая +- ரை +- loop +- ▁recall +- どうぞ +- buch +- '300' +- ▁gibi +- ▁stretched +- ட்டி +- ▁россии +- ▁нэг +- 5% +- ▁performed +- グループ +- ıl +- ▁proposal +- ▁semi +- 捜査 +- ▁sehe +- 隆 +- ▁accustomed +- したのは +- ▁schlecht +- 长大 +- ▁unusual +- ress +- 很快 +- ▁frequent +- activ +- gezogen +- ▁germany +- ▁ça +- bound +- ▁باش +- ▁Fla +- ifica +- ▁anni +- یو +- ▁brings +- ▁вельмі +- лог +- ▁individuals +- maz +- » +- 걸 +- ▁Ordnung +- лё +- 大阪 +- ▁یا +- ேன் +- erte +- 不断 +- தான் +- ▁ale +- кла +- ▁glanced +- jya +- pis +- 是不 +- aro +- ▁Yo +- 我们必须 +- sprech +- چی +- ▁nav +- graph +- ▁großer +- uten +- 温度 +- ▁Cre +- ▁modo +- ▁mewn +- ▁wearing +- figur +- uye +- ▁North +- chung +- ▁kay +- ▁european +- るのは +- ▁billion +- служ +- 細 +- ▁hunt +- ▁responsibility +- ▁ও +- ▁говорит +- ▁grateful +- 太阳 +- ▁fragen +- 抢 +- ▁অঁ +- ▁dice +- ▁riding +- ▁tard +- dition +- ファン +- ▁있어 +- ▁sports +- π +- ▁india +- ья +- বি +- cum +- 妻 +- 无论 +- 意外 +- produkt +- やっぱ +- 而是 +- ありません +- 症状 +- ▁Op +- bio +- ▁victim +- ▁wanna +- owa +- ▁Ak +- ▁самом +- ▁Glück +- rse +- سه +- 我们已经 +- rede +- sept +- 霍 +- ▁Gre +- dwa +- nant +- 仲 +- rack +- ▁thì +- 我将 +- ▁butter +- ▁hace +- ▁Š +- 特朗普 +- át +- bera +- ▁делать +- 力量 +- ▁yok +- ▁داد +- het +- gis +- ▁Leuten +- 다고 +- för +- ▁agent +- ป +- 監督 +- تح +- 誰 +- anc +- ▁mehrere +- 作为一个 +- ▁değil +- 瓶 +- ▁지금 +- 下午 +- ▁katika +- 同学 +- ▁سا +- ▁invited +- ▁spare +- ▁represented +- eld +- 印 +- 撞 +- ▁swept +- ▁wishes +- 之外 +- などが +- ▁maiden +- ▁الف +- ▁prize +- ase +- phone +- 問 +- خر +- ▁concluded +- ▁repair +- gos +- ню +- liz +- ее +- 有可能 +- ▁ак +- ▁neben +- 造成 +- ▁nennen +- ▁Cy +- ▁oak +- овский +- rif +- lern +- ezi +- ▁Gemeinde +- ▁guten +- ▁hid +- ▁poetry +- ▁mano +- ▁такая +- ▁plot +- ▁selling +- ▁gekommen +- ▁Maria +- ▁Min +- 导致 +- ີ +- gelegt +- 操 +- fod +- 就算 +- لب +- 家人 +- 墙 +- ところで +- 脑 +- ▁Komm +- 版 +- なの +- ▁yap +- ▁proposition +- eze +- ▁latin +- 喂 +- gebaut +- cinc +- politik +- ▁そこで +- aquesta +- ▁але +- gala +- ▁actor +- ggi +- тя +- არ +- unu +- 荷 +- ĩ +- ээр +- ▁sil +- ▁поселок +- ▁Pat +- 了一些 +- uren +- found +- 摇 +- ент +- ▁signed +- くなる +- ▁display +- 不一样 +- やつ +- 内部 +- ▁tema +- 演讲 +- ▁select +- ▁ashamed +- 決勝 +- 户 +- ▁elder +- 寒 +- jin +- 发生了 +- wyn +- स् +- 孩子们 +- ちゃ +- ▁rude +- ▁именно +- әй +- 生气 +- 販売 +- ▁yw +- ▁movements +- 好き +- ▁feared +- 实际 +- ▁dun +- ▁creation +- ▁pied +- 腕 +- point +- жил +- யி +- Bri +- ▁cad +- genda +- ▁kissed +- 标 +- ▁chest +- ▁cheeks +- 避 +- 冒 +- 宗 +- kwi +- ▁Tal +- ▁cycle +- ▁geschrieben +- られない +- lian +- 映 +- lebt +- 帰 +- ▁adopt +- たり +- kola +- ▁payment +- ான் +- ▁hol +- త +- ▁bible +- ▁achieve +- 意味着 +- hü +- пят +- ▁rail +- おい +- ▁действительно +- ▁Platz +- اط +- 卵 +- ▁materials +- رت +- ッと +- ware +- sses +- ▁disposition +- ▁glücklich +- tial +- fund +- ▁continu +- stimmt +- 話を +- kur +- ▁attached +- ▁mild +- ▁locked +- 染 +- フェ +- ▁recover +- ▁Qu +- 顾 +- 办公室 +- ▁sou +- kata +- hak +- 立て +- 桥 +- ள் +- лт +- バイ +- グラ +- ▁shout +- 一切都 +- 忍 +- ▁comments +- ▁United +- аться +- үүл +- ▁transition +- ▁manufacture +- 所以你 +- aine +- 習 +- Ge +- accord +- ▁przy +- ▁leurs +- ▁jsem +- ▁verb +- 也可以 +- 就要 +- 你去 +- ▁brush +- lov +- шта +- ▁jobs +- 份 +- ▁appreciate +- ガー +- 围 +- ▁maj +- emo +- ▁supported +- ▁abroad +- ▁unu +- ▁thấy +- ▁sc +- ้า +- ▁못 +- pes +- ▁Mag +- ின் +- ▁salut +- tatu +- ▁juga +- ් +- ох +- つまり +- 几年 +- ▁நான் +- ▁font +- ▁Kirche +- ▁knee +- работ +- ▁Zwei +- ▁distress +- ▁Bau +- 猪 +- wur +- hof +- ▁blessing +- ழ +- mera +- ▁heavily +- ▁الص +- cover +- 逆 +- 磨 +- 려 +- 签 +- 強く +- гра +- 含 +- ▁behavior +- وان +- ▁pine +- bewusst +- ▁neun +- ▁bones +- ▁それが +- ▁armed +- ▁quant +- нут +- 同志 +- るか +- ▁refuge +- 说过 +- ирован +- 播 +- 见到 +- いった +- ▁Bill +- ▁reserve +- ▁farmer +- roy +- 没有什么 +- ▁intimate +- شن +- சு +- ▁essentially +- ▁aquest +- ▁corre +- ▁sala +- ▁ändern +- 郎 +- んじゃないか +- ▁Tages +- ▁ここで +- ▁сама +- 厂 +- ▁хар +- 错了 +- ளி +- ▁june +- ▁competition +- ▁fois +- ilen +- リア +- 我不会 +- ▁ruth +- ▁opposed +- ▁penn +- ▁هستند +- 拖 +- ▁antwortete +- ▁jeune +- إ +- ▁repeat +- ▁greek +- 就说 +- ș +- '!」' +- ▁teachers +- ▁sy +- あなた +- 看来 +- isation +- ▁rya +- 一段时间 +- ▁belong +- obu +- ാ +- ▁traditional +- ▁painted +- ことも +- чь +- ▁Mrs +- сов +- ▁settlement +- いろいろ +- ▁کنید +- load +- ▁massive +- ▁zag +- ▁alternative +- dá +- aren +- メートル +- ▁retired +- ▁consult +- ▁feels +- njye +- 训练 +- ▁charming +- hop +- ▁尽管 +- wl +- ▁sole +- gad +- ▁karo +- nez +- tec +- 我告诉你 +- 国の +- jon +- ▁bio +- крас +- tali +- ▁việc +- ▁reasonable +- 制度 +- ▁kate +- bw +- юсь +- نش +- ▁schaffen +- 搭 +- ▁slipped +- 気温 +- tī +- ゴール +- ّ +- ▁adopted +- 更に +- para +- となっています +- ind +- ▁etc +- んでしょうか +- ▁scan +- ▁ambition +- iques +- ▁basket +- rau +- ▁bark +- 鞋 +- させる +- dora +- igu +- éc +- ían +- ▁supreme +- يف +- krat +- mund +- 卷 +- avo +- 暴力 +- ▁seldom +- hack +- urt +- ▁approaching +- 幼 +- др +- ▁murmured +- kni +- ▁goodness +- ▁Так +- zeug +- 合わせ +- Po +- 腰 +- ▁Val +- ▁consistent +- ▁rever +- ▁gap +- ▁gehe +- ▁dame +- witt +- ▁handelt +- ści +- dreh +- ▁pages +- يو +- 另外 +- ě +- nach +- ▁unfortunate +- headed +- 恨 +- path +- ましたね +- 主人 +- ▁совет +- rī +- ▁aren +- ять +- ▁depends +- flo +- miss +- ▁таки +- ▁zeigt +- ▁terre +- ▁commanded +- ▁noi +- bell +- ▁Tatsache +- cycl +- رك +- mani +- ் +- ▁muito +- duk +- lir +- ▁tidak +- ▁regiment +- izo +- ほか +- ▁clerk +- ▁vào +- ▁года +- 雄 +- ▁bullet +- tree +- ▁sempre +- hlen +- дэг +- erin +- rimo +- 银 +- ▁teams +- ▁foi +- ums +- ▁shortly +- ▁cure +- atge +- 恢复 +- ▁Hol +- づ +- ▁Test +- ▁drinking +- ▁released +- tics +- ▁eastern +- St +- ▁zaman +- 作用 +- ▁versus +- ense +- সে +- aught +- ▁жив +- 라고 +- 押 +- ▁reflected +- イギリス +- ▁Hund +- கை +- وع +- 交易 +- ▁blank +- ▁Situation +- ▁жизни +- ▁minor +- 大変 +- 으로 +- ▁obvious +- 环 +- 攻 +- ▁useless +- ▁blieb +- のほう +- ▁slaves +- 材 +- ▁également +- fal +- сын +- ▁tras +- овой +- ▁wherever +- рез +- ▁contest +- care +- ▁institution +- дав +- гло +- 的那 +- ▁contribution +- 这边 +- нне +- ▁administration +- 互联网 +- 了啊 +- ▁donde +- она +- ▁Demà +- ление +- ▁也许 +- ▁jour +- ▁বা +- ес +- 打算 +- ▁быў +- awa +- mere +- रा +- 我不是 +- platz +- 私も +- pè +- geven +- ▁ensure +- ▁importante +- 彼 +- ▁داشت +- 表情 +- тру +- ところが +- ▁vital +- bab +- 給 +- nio +- ▁nutzen +- ją +- 泡 +- 不得不 +- rend +- یان +- 柱 +- ▁glorious +- ensi +- 这事 +- ாக +- abu +- 有一天 +- ▁feast +- 동 +- ▁olan +- 把这个 +- ▁inhabitants +- キロ +- ließ +- 资金 +- 庄 +- ▁Tas +- area +- 気が +- gues +- يق +- шин +- 積 +- bug +- 練習 +- ▁stroke +- ▁Sy +- ▁või +- 狂 +- 迟 +- ▁Tot +- arse +- ▁plum +- 不应该 +- ▁handed +- ▁earnest +- 勤 +- 对此 +- 我来 +- 敌人 +- 佳 +- ▁acquired +- lak +- жал +- ▁fever +- ▁impulse +- 任何人 +- 南部 +- ▁dove +- ▁ihres +- 저 +- nega +- 前面 +- готов +- ▁newspaper +- ックス +- rait +- мар +- 碎 +- 老公 +- 所做的 +- ▁otro +- ▁difficulties +- 開催 +- ▁owner +- 批 +- bü +- aver +- дать +- ▁trace +- ▁gleichen +- தை +- weisen +- aɣ +- ▁coin +- شه +- 드 +- 例えば +- agon +- ▁print +- ▁treffen +- اً +- 乗り +- 法国 +- ذا +- ▁hombre +- 隐 +- 不足 +- ▁Spa +- kı +- ▁departure +- 的方法 +- 老婆 +- ▁хотел +- ▁creating +- nten +- 台風 +- 人も +- ▁وجود +- ▁Sk +- ates +- ▁tough +- ▁ўсё +- ▁unlike +- flu +- ▁zweite +- 冠 +- oba +- 以上の +- 一件 +- sell +- ova +- ▁accomplished +- ально +- てください +- 峰 +- pati +- 住在 +- ▁ignorant +- 事实上 +- ▁deeper +- ▁travers +- ▁venture +- 予定 +- らず +- 病人 +- يك +- হা +- ▁Wirtschaft +- 是由 +- ワン +- cola +- صل +- 妻子 +- ▁我在 +- ▁reputation +- ▁entfernt +- trieb +- ▁fiscal +- ▁combined +- การ +- ▁plainly +- ▁closing +- ▁og +- غر +- ▁eher +- 押し +- ▁فقط +- тры +- 多的 +- 要去 +- イメージ +- 欧洲 +- och +- ṣ +- ▁reckon +- ▁granted +- 際 +- ể +- ▁italy +- 熟 +- ļ +- 淡 +- ▁whisper +- лай +- ▁painting +- ▁poi +- ▁smoking +- ▁понимаю +- ёр +- krank +- ▁insist +- うまく +- ▁fairy +- 但他 +- アップ +- мест +- цен +- quis +- まさに +- tör +- ▁mono +- 試 +- 続 +- ▁orange +- キャ +- 你不能 +- お金 +- ▁Sohn +- гд +- 哪儿 +- 网站 +- 你怎么 +- amento +- icia +- 深刻 +- тр +- ▁mist +- تو +- ▁weder +- 以降 +- 乳 +- ▁attractive +- 漂亮 +- 广 +- ▁sue +- ▁咱们 +- にとって +- 追い +- ден +- ▁Cla +- ▁такие +- 始まり +- ках +- حق +- ▁Ali +- 内心 +- ▁jemals +- ▁suspect +- 次の +- ▁wollten +- ▁hunter +- ▁slope +- lee +- agenda +- ▁spre +- ká +- 供 +- ▁pond +- 你了 +- になり +- 还能 +- ▁risks +- ものが +- ▁Av +- юцца +- ▁Because +- ▁мой +- usi +- 叔 +- ▁seeking +- ▁momento +- ▁margins +- 近く +- ▁General +- ▁epi +- hö +- ▁compelled +- так +- тон +- mä +- ▁وأ +- 艺 +- ▁pound +- ์ +- ▁admiration +- ▁songs +- 行動 +- ▁dein +- 館 +- ▁ښه +- ▁abuse +- ▁Stück +- ▁pope +- ois +- ▁Umu +- كي +- ▁igihe +- になっています +- ấ +- ッド +- manda +- hush +- ▁interessant +- ▁hörte +- ▁bya +- ▁jean +- 的手 +- ▁infinite +- ▁entonces +- ают +- 感兴趣 +- ける +- 一体 +- foot +- дол +- ому +- эв +- chas +- ând +- rück +- zia +- ▁이런 +- 难道 +- ▁adapt +- ▁Kor +- 心配 +- ▁regions +- ▁eagerly +- ▁Mensch +- 一项 +- sab +- 殿 +- ▁Kol +- ▁communities +- ▁kaum +- odor +- わり +- ▁Kla +- 而言 +- ń +- ▁yard +- dine +- ино +- ▁lunch +- 武器 +- ▁我现在 +- ▁forehead +- ▁Bon +- ▁fame +- Ж +- ▁那是 +- ▁withdraw +- ▁mask +- ▁تع +- ▁dag +- liness +- 佩 +- 三年 +- ▁всем +- ▁aho +- レン +- 哪里 +- полит +- 냐 +- ▁idle +- ▁dealing +- bern +- 的信息 +- ▁روی +- ご紹介 +- ками +- geze +- eti +- has +- ▁Mary +- ▁planning +- сь +- 每次 +- ュ +- 控 +- 阶段 +- ▁Kunst +- iff +- لى +- liga +- ▁جو +- ▁remove +- 老人 +- ▁mister +- 準備 +- ▁islands +- ▁erreichen +- 多い +- ▁characters +- ▁Bis +- ▁вся +- 一致 +- 祖 +- stieg +- ▁mom +- ▁само +- geri +- boy +- ▁Rwanda +- ▁estat +- 印度 +- ▁client +- wacht +- 收入 +- ▁Mes +- bles +- jä +- ▁acting +- ▁infrastructure +- ▁predict +- ổ +- щи +- ロン +- cido +- grav +- ▁мог +- ▁burned +- ▁gebracht +- ▁shell +- ▁australia +- cult +- 金融 +- ▁steep +- ▁rang +- 出生 +- 假设 +- ▁مر +- ▁anirà +- сен +- ▁まあ +- 这是我 +- ▁되게 +- voj +- —— +- ▁organic +- छ +- 的影响 +- ▁gather +- 对话 +- 很重要 +- ât +- ffen +- dauer +- ват +- tons +- 跟着 +- 并不是 +- 今晚 +- ▁Sinn +- ▁nghĩ +- ▁Bericht +- ▁É +- cono +- lose +- 辞 +- こちらです +- ▁일 +- 爱情 +- だな +- 说明 +- ях +- ▁tag +- ▁اون +- ▁electric +- 昔 +- ▁commander +- 凡 +- கு +- ▁chin +- det +- 続け +- ▁fy +- 比如说 +- ▁thrill +- 一千 +- 证据 +- だったら +- ▁яны +- ▁causa +- ▁insult +- ▁fou +- час +- 实际上是 +- 莎 +- ▁Rück +- ▁vessels +- ▁junge +- ▁eens +- ▁inclined +- ▁opposition +- 計 +- ▁Forschung +- spec +- ▁unfortunately +- ▁towns +- ▁الر +- 提到 +- ▁shirt +- ▁сделать +- 执行 +- 野菜 +- 快速 +- hole +- ▁இரு +- isiert +- ▁ella +- ▁Richtung +- ▁wedding +- ▁Viele +- ▁leadership +- 義 +- 你觉得 +- 销 +- 逃げ +- ▁ali +- ▁institutions +- nā +- aven +- ▁billy +- ▁schrecklich +- licher +- ▁icyo +- ब +- ▁descend +- 答应 +- 判 +- eck +- ▁gihe +- 注意到 +- 情感 +- dha +- '35' +- ▁undertake +- ▁extrem +- 拼 +- ▁Unterschied +- won +- ▁equipment +- لم +- 多く +- år +- lässt +- ▁philosopher +- ▁uttered +- 毕业 +- 主任 +- 星期 +- 施 +- ▁sed +- маг +- 再见 +- ▁Yu +- 我跟 +- 长的 +- やった +- いか +- 发现了 +- くん +- ▁shared +- 租 +- ların +- ▁doubtless +- aires +- كل +- යි +- 가지고 +- ソン +- 的吗 +- ▁Einige +- ▁vrouw +- 不够 +- ▁intense +- fol +- ▁glow +- ▁permitted +- ▁pis +- quelle +- ёт +- 成长 +- طور +- lib +- 跟我说 +- 最後の +- 価格 +- 逼 +- ▁settle +- 结构 +- stände +- κ +- fallen +- ▁negro +- ▁♫ +- chin +- ▁лучше +- য়ে +- schein +- нул +- ▁While +- ike +- ▁tijd +- ▁học +- ्या +- ▁emotional +- 模 +- city +- zed +- ▁passat +- ▁avons +- 래 +- tah +- ▁человека +- 是一 +- говор +- ҡы +- ▁desde +- ▁deny +- ▁obligation +- ভ +- رق +- 異 +- stad +- ▁providing +- 专家 +- ▁Ag +- zak +- ▁Sand +- ▁lighted +- ▁baba +- hall +- ografi +- ▁nella +- stab +- ▁substantial +- иль +- கோ +- ▁vague +- 一方 +- ▁cease +- ▁Erfahrung +- 严重 +- λ +- 的眼睛 +- ▁ありがとうございます +- 去找 +- ▁historical +- олог +- 踏 +- ▁Name +- 意识 +- 何で +- 将来 +- 域 +- یس +- どういう +- したり +- gura +- ▁curve +- ▁Aufgabe +- ▁fence +- ▁dancing +- ▁flung +- ▁investigation +- folge +- ▁evolution +- ▁და +- ▁Мо +- گە +- ▁conserva +- нии +- ▁load +- ▁nhiều +- ▁parole +- 尊重 +- ',"' +- psy +- 効果 +- ▁egypt +- geht +- たちが +- ulu +- ús +- 表演 +- 候 +- そういった +- ▁speaker +- ▁East +- ▁utiliz +- 记忆 +- ▁wooden +- ▁beloved +- 一度 +- ▁allows +- ▁pursue +- keeper +- 環境 +- leh +- 胜 +- ▁phase +- 긴 +- 更好 +- 没想到 +- ím +- tě +- ▁lecture +- ▁응 +- 订 +- 犬 +- ▁vorbei +- ▁Mü +- ▁lately +- nosti +- ▁bod +- 一定会 +- programm +- ▁arme +- ▁irish +- ữ +- 恐惧 +- 생 +- idade +- 按照 +- 佛 +- ▁Gesetz +- ▁rabbit +- 钟 +- ▁wilde +- 国民 +- west +- ה +- 我々 +- 慢慢 +- 刑 +- 頼 +- tun +- 搜索 +- note +- ▁grandfather +- larını +- ▁decisions +- ▁murmur +- ▁terra +- ▁할 +- ▁explore +- ▁Ven +- していて +- கள +- ▁TED +- tivo +- 文字 +- メンバー +- bà +- 驚 +- ▁staring +- 電話 +- 满足 +- 支付 +- pac +- ▁cliff +- erson +- のため +- 穿过 +- 插 +- пал +- ▁trunk +- ▁league +- ▁acest +- ▁Tan +- orient +- cele +- ▁desperate +- ▁彼は +- tical +- ना +- ▁expensive +- ڕ +- 适 +- ▁stuck +- ▁Stunden +- ▁dared +- ▁Jahrhundert +- gres +- ஹ +- ▁cheerful +- かどうか +- oor +- 議員 +- 更新 +- 益 +- һы +- ▁Rest +- 分かって +- 创 +- ▁après +- ▁إن +- иде +- Q +- ông +- ▁obey +- しても +- iad +- tje +- nner +- zimmer +- ますよね +- ▁sistem +- ▁workers +- ▁거기 +- 员工 +- ▁spain +- ▁nad +- ▁rend +- ▁observation +- ▁llama +- ▁volumes +- 地下 +- 北朝鮮 +- ந +- gir +- ▁declare +- ▁upward +- 極 +- طر +- ▁deserve +- ▁klein +- ▁defence +- ▁increases +- ▁simp +- ▁tramp +- 台湾 +- 对他 +- bord +- ▁camera +- ancy +- ▁jacob +- ▁kwe +- ată +- 问题是 +- 実際に +- ▁Sche +- welt +- ▁Arten +- gla +- ▁Bürger +- የ +- ộ +- ▁Worte +- ever +- 梦想 +- bec +- ▁begged +- ▁wretched +- ▁hơn +- ▁хотя +- 些 +- ስ +- ант +- ▁sending +- 降り +- ▁gilt +- lando +- że +- ▁India +- ▁questa +- grün +- 手を +- qi +- ▁Mel +- ▁assure +- 这意味着 +- あって +- смотр +- iber +- ナー +- шка +- ця +- ▁entering +- ▁prze +- tak +- ▁hervor +- ages +- ▁offset +- اج +- ▁今日 +- ▁cũng +- ▁consumer +- zzi +- 신 +- ▁adding +- ▁virginia +- ▁capture +- ▁pistol +- ▁curl +- ▁accounts +- 律 +- ▁Zahl +- rut +- なん +- 紧张 +- ▁pursuit +- ▁Michael +- ası +- ▁Far +- ▁Berg +- itza +- stück +- mira +- ▁besonders +- ▁enhance +- fulness +- dhi +- யாக +- ▁چې +- ube +- 肩 +- ▁jews +- ▁أنه +- ▁ils +- ▁swear +- ▁erreicht +- ▁sentiment +- ▁reaching +- илась +- かり +- ▁cents +- 중 +- 让她 +- ▁volta +- ▁yell +- 今天的 +- ские +- ▁expansion +- ▁notre +- ▁torture +- ▁purposes +- 她们 +- ▁disgust +- ެ +- ▁aktiv +- ▁highlight +- yol +- ้ +- ▁pit +- 所以我们 +- 力を +- ▁magazine +- ▁America +- rance +- 它会 +- 崎 +- ▁saddle +- ▁pont +- 来た +- blau +- ક +- tama +- ვი +- ▁Richtig +- ▁depart +- dag +- ▁只要 +- ▁Trans +- lagen +- ▁кан +- になっている +- 思って +- 不起 +- ▁indulge +- polis +- 鳥 +- ▁четырнадцать +- ▁тэр +- ভা +- gabe +- ▁langsam +- በ +- ▁должен +- ▁leverage +- ▁bench +- 摆 +- ▁distinction +- / +- 大雨 +- 地上 +- ने +- куп +- ▁biết +- действ +- tore +- east +- ▁brook +- brach +- issa +- 해서 +- ▁lesen +- ▁Erde +- ▁bari +- ▁quelque +- say +- sinn +- ▁vend +- 階 +- rand +- نە +- ▁damals +- рак +- ▁recovered +- 過去 +- の大 +- ▁verd +- ники +- 运行 +- ▁begins +- дум +- ▁mbere +- 圧 +- ▁alice +- 范 +- ▁cutting +- ▁rescue +- бар +- 奶奶 +- ▁incredible +- 理论 +- ▁grain +- ▁habits +- なし +- ▁merry +- ▁جا +- ったり +- уме +- 现代 +- نس +- ▁whereas +- ▁cloth +- ▁havas +- ää +- 时期 +- 启 +- ▁gesture +- ▁belonged +- ▁Ко +- تە +- ▁случае +- jet +- 拿着 +- ▁journal +- ▁rien +- 暮らし +- 活躍 +- èrent +- 得多 +- 合わせて +- vuga +- ▁lodge +- 是他 +- ▁gingen +- தே +- ロシア軍 +- してきた +- يس +- ação +- ата +- 一方で +- ▁tat +- 観 +- 一名 +- ▁بد +- ▁irre +- ▁خیلی +- 過ぎ +- ▁sowohl +- 歌曲 +- nett +- ▁früh +- ▁Та +- ▁гэж +- 宋 +- 荒 +- 掌 +- kad +- ▁Reise +- ▁dread +- ▁fog +- 没错 +- bled +- うわ +- 积极 +- ▁Verbindung +- ▁sensible +- ▁mounted +- ▁interes +- mur +- 设备 +- 音楽 +- '2000' +- ▁никто +- rug +- ಾ +- We +- 承 +- ▁shadows +- ▁vin +- nung +- 被称为 +- ▁Weißt +- ▁arrow +- jal +- زه +- ▁misery +- 狼 +- lets +- 的机会 +- wig +- glich +- 遗 +- fehl +- ▁komm +- ▁なるほど +- 信任 +- ▁brachte +- iel +- ▁editor +- ▁Alter +- 他对 +- ости +- ▁gegeben +- над +- جي +- نم +- gard +- lja +- 傻 +- лав +- ť +- 、3 +- ▁padre +- 厳しい +- 我不能 +- んじゃない +- ▁observ +- उ +- ▁prepare +- 珠 +- tanga +- でございます +- ▁bowed +- ▁Super +- '27' +- iers +- ись +- ▁Sen +- 不如 +- ▁jumped +- ▁Gal +- ▁permet +- 仕 +- 很少 +- ރ +- 投げ +- 了这个 +- ▁troubled +- ▁sufficiently +- 我不想 +- hun +- ▁cars +- rzy +- ▁그래 +- 欢 +- gelijk +- erlei +- ▁whence +- рук +- și +- ▁Martin +- stelle +- ▁Van +- ▁باید +- 塩 +- ▁schl +- 采取 +- ング +- 让人 +- 为什么要 +- ▁lamb +- 진 +- ▁fired +- ▁Wissenschaft +- 沿 +- 多了 +- daki +- れない +- ▁señor +- dura +- zahl +- ▁zeer +- ▁external +- ▁كانت +- mour +- 失去 +- ▁Vereinigte +- ▁муж +- ર +- cchi +- فعل +- ▁schreiben +- ▁Deshalb +- ▁falls +- ▁disc +- ▁drum +- ▁нибудь +- ▁рэ +- 革命 +- ▁faut +- 離 +- みると +- ▁dalam +- ▁Eis +- ▁helpless +- bbi +- 闻 +- ▁голос +- 的脸 +- ▁schöne +- 电脑 +- ▁scorn +- 没什么 +- 正解 +- spann +- ▁Danke +- 飞机 +- ▁runs +- ▁includes +- assa +- ▁gedacht +- ▁fins +- verse +- aged +- enzi +- bé +- mento +- ▁Arbeits +- fang +- ▁straw +- ▁Schul +- 訪 +- ▁experiences +- ▁beam +- ▁rendered +- データ +- ▁lesson +- おり +- ▁verse +- ▁mirror +- زا +- ▁cheek +- カメラ +- ▁Gegen +- ял +- 部队 +- 穿着 +- ▁leads +- ત +- ▁technical +- ▁conceal +- ▁zeal +- ▁authorities +- ▁losing +- arri +- 我们是 +- ▁wagon +- ▁Bett +- ▁reports +- ▁weapons +- spel +- ▁kick +- ▁그게 +- ▁assumed +- ▁qualities +- あげ +- 魅力 +- ▁dwell +- マイ +- ▁peak +- 見せ +- ▁jug +- ▁endlich +- ▁tio +- 我没 +- ▁stretch +- À +- falls +- ្ +- пі +- nih +- ▁aufge +- 公開 +- аз +- lju +- گاه +- ▁eve +- 谈谈 +- მა +- ▁namens +- ▁করে +- ジェ +- وو +- aging +- tered +- вай +- ▁zit +- とこ +- ස් +- iah +- ▁discipline +- ര +- 미 +- Re +- bara +- ▁exposed +- شت +- ▁infant +- ▁Ä +- ▁email +- ▁owe +- 期间 +- ▁icy +- 一句话 +- 徐 +- ょ +- ▁yara +- ▁Ana +- ▁carbon +- 行了 +- eja +- あす +- ▁pile +- ▁planned +- kita +- ▁railway +- ▁знаете +- 一句 +- 製 +- üb +- 今夜 +- ▁ahora +- ▁naj +- ?」 +- dou +- şte +- 正是 +- ▁ultimately +- 沖縄 +- bahn +- vine +- 减少 +- ▁پس +- ▁Washington +- ▁considering +- ▁Era +- ▁persona +- nimmt +- 有时候 +- ▁bara +- 用的 +- ▁tomorrow +- ifa +- 他们是 +- 看了 +- を中心に +- front +- ayı +- ▁primary +- 的心 +- 过程 +- ▁spur +- ▁distribu +- 要么 +- уш +- ▁nk +- 戦争 +- fir +- ▁измен +- 案件 +- ▁neighborhood +- 意識 +- ▁drunk +- ▁よろしくお願いします +- 黑人 +- ▁tran +- ▁мир +- ▁extend +- ▁USA +- 神经 +- 时候 +- ▁그렇게 +- که +- ▁raw +- nus +- 学会 +- mpel +- impo +- 军队 +- ▁Gericht +- arra +- ▁winds +- ▁jungen +- ప +- ▁Lassen +- ▁деньги +- ▁sabe +- ▁mobile +- пло +- ති +- ▁cub +- illo +- ecek +- ▁こちらは +- ▁Gri +- ി +- ▁rằng +- ▁Mil +- piece +- ▁mucho +- 处于 +- ▁pier +- ▁aloud +- ▁Gold +- ద +- ▁Hilfe +- قي +- ▁americans +- geno +- ▁gates +- vio +- 早期 +- ▁separated +- ▁நீ +- ન +- 出す +- 最新 +- ▁mam +- illes +- ▁ведь +- ▁avant +- ▁заб +- уй +- ▁এই +- 更好的 +- key +- ▁kannst +- ▁quantity +- ▁свое +- ▁toujours +- ▁ages +- ു +- ませんでした +- ▁opinions +- ▁images +- Se +- 窗 +- setzung +- 开放 +- 就能 +- みて +- tritt +- 辺 +- range +- 運動 +- ▁wander +- вет +- 費 +- ▁haste +- 正式 +- ▁sexual +- ṭ +- ▁Gedanken +- ▁reli +- それに +- ▁100 +- ▁weird +- ದ +- 细胞 +- ▁همه +- ▁portrait +- ▁chill +- 生活中 +- чер +- 纽约 +- estra +- ▁sera +- 全く +- anz +- ▁слова +- ▁County +- もん +- ▁det +- وج +- ▁deed +- ▁claims +- ▁delightful +- ▁vroeg +- ▁яе +- ข +- 別の +- ▁тех +- 면은 +- ark +- ▁scattered +- ▁gazed +- rado +- гром +- वा +- Any +- обра +- 仙 +- ality +- ▁missed +- ▁prin +- 宣布 +- ▁flatter +- 都没 +- ▁essere +- ▁personally +- 子里 +- 後ろ +- 离婚 +- ▁magnificent +- ▁miracle +- ▁rolling +- ▁thread +- 述 +- ▁fuel +- ▁altar +- ▁قبل +- دى +- お母さん +- 行く +- ▁daughters +- өг +- ▁crash +- ະ +- ू +- ▁challenges +- его +- 哪个 +- 介 +- ▁rồi +- tron +- akt +- ▁ص +- undzwanzig +- ▁gens +- maid +- できます +- plaats +- ▁bosom +- ロシアの +- ▁mm +- ▁methods +- staan +- 兄 +- ection +- 握 +- ▁그때 +- ான +- كى +- せる +- بع +- colored +- ▁ĉe +- нда +- mbre +- ▁robe +- マスク +- ▁Mars +- ▁concert +- mov +- you +- ▁midnight +- ▁missing +- 分钟 +- ▁drag +- ার +- ▁joint +- nost +- つき +- ▁Ён +- ▁于是 +- sini +- ▁Jag +- ương +- 历 +- ables +- ▁restrain +- ▁africa +- ▁horizon +- 以至于 +- خت +- ▁reduction +- ▁совершенно +- ▁insisted +- 邀请 +- 欲 +- 坦 +- bru +- ▁Anfang +- ▁zeggen +- 우 +- ▁Feuer +- freund +- bwira +- 减 +- ண் +- ▁Afrika +- ▁außer +- 这么做 +- 宅 +- hearted +- legt +- 長い +- にお +- omen +- ▁trou +- ▁Brief +- ▁anna +- ▁vest +- ▁你就 +- ских +- ▁bestimmte +- ▁sia +- 练 +- ▁raising +- 竹 +- 规则 +- ▁ignorance +- cep +- dek +- ▁گفت +- ▁einzu +- 敗 +- ▁führte +- ▁хорош +- حل +- ▁이렇게 +- 成本 +- 撤 +- ▁consequences +- ▁factor +- 旁边 +- ▁patron +- ▁involve +- pas +- 风险 +- erie +- cap +- 宿 +- 够 +- ▁Ф +- 一生 +- られました +- ▁sink +- 建造 +- ▁valor +- ▁против +- ▁cock +- ▁نیست +- 年龄 +- ティー +- 严 +- izza +- ▁момент +- mäßig +- ▁这是一个 +- ▁province +- ▁convert +- tina +- cup +- tiques +- ▁breed +- 干吗 +- rb +- gefallen +- ▁paint +- ▁foe +- ulation +- 沃 +- ▁kugira +- igh +- っていうこと +- ▁அவ +- plic +- koze +- 亡 +- ▁prote +- pok +- ▁primera +- ▁Sun +- ▁Volk +- ▁entra +- ▁другой +- ▁aufzu +- емся +- ▁cards +- のよ +- куль +- 改善 +- ▁perché +- 执 +- ▁Dingen +- ▁mainly +- wohn +- ドル +- ▁cet +- ヒット +- ವ +- ▁folk +- onde +- このように +- 劲 +- 明らかに +- ▁trên +- থ +- 旗 +- 봐 +- ަ +- ▁மா +- ▁significantly +- ▁chase +- ▁مثل +- 振り +- 当初 +- 儿童 +- ▁nam +- 会議 +- 剑 +- ӓ +- ▁Richard +- 날 +- ▁absent +- რ +- луч +- 载 +- ▁هناك +- ▁appar +- せて +- ▁Band +- ▁我不 +- 後に +- oedd +- De +- ▁минут +- 没有任何 +- 距離 +- 竞争 +- ▁Ö +- ▁Fahr +- gaben +- ▁15 +- sert +- 危 +- ▁кого +- 本人 +- ά +- ▁Air +- ▁Kultur +- yal +- ▁lust +- 漫 +- ▁developing +- '26' +- ▁boots +- あとは +- stream +- ▁ບໍ່ +- 弾 +- dress +- ▁quelques +- ▁Bewegung +- ▁messenger +- жен +- ▁roads +- ų +- ▁menschen +- gender +- deck +- ▁molto +- mart +- 学家 +- ▁basic +- 也不会 +- ▁nag +- チャ +- を受けて +- ի +- 有的 +- ▁firmly +- 提高 +- ▁одно +- 団体 +- ender +- ▁Bezug +- kura +- wort +- ▁inclu +- لار +- 作家 +- 話題 +- 住民 +- bura +- çı +- ▁crowded +- diği +- ▁outcome +- 有效 +- volle +- ▁May +- َّ +- ▁honey +- 行って +- чет +- boot +- 分かる +- یی +- 家伙 +- boat +- wara +- stimmen +- 公平 +- 発見 +- ▁Вы +- 的情况下 +- ర +- ▁sana +- ▁ram +- ▁тысяча +- ▁especial +- ▁hastily +- されます +- ▁Vielen +- 和其他 +- 或者是 +- ▁hai +- ▁nearest +- ▁multitude +- kraft +- үүд +- minister +- ivi +- ▁rất +- ▁plays +- ▁clay +- 销售 +- ▁porte +- 周围 +- wechsel +- ууд +- ▁erzählen +- ▁ernst +- ▁оно +- ▁系 +- 市民 +- ▁leaning +- ▁overcome +- 长期 +- melt +- ▁Groß +- үр +- ▁innerhalb +- ▁scrap +- cita +- ▁returns +- ▁april +- 奈 +- gehalten +- 应用程序 +- dela +- ▁kri +- amp +- 滚 +- ▁grasp +- ▁cách +- 软 +- ▁corps +- elde +- ▁lincoln +- ▁lee +- 全て +- ▁continually +- ▁Rus +- ▁خوب +- 一步 +- 人と +- 一九 +- ▁đầu +- ▁lokal +- ▁молод +- に対し +- ege +- ▁disorder +- ▁implement +- 吐 +- 默 +- nick +- 足够 +- 者が +- ▁twin +- ▁между +- 餐 +- 下的 +- タイ +- iment +- 自分が +- ▁reveal +- ờ +- schlagen +- uki +- richten +- тельно +- 相关 +- ▁kadar +- ▁cosas +- ▁chinese +- ▁Paris +- ▁rebel +- 挑戦 +- ▁এক +- ▁humor +- ▁improving +- һа +- いただいて +- ваць +- ▁fühlen +- ▁cerca +- āk +- ▁ornament +- ▁Wahrheit +- 带到 +- 科技 +- 找到了 +- 真的很 +- euse +- ▁purple +- 聞き +- 外面 +- ▁deshalb +- ▁amid +- ▁Mac +- 疯狂 +- ления +- 颜色 +- ▁clau +- ுக்கு +- ▁continua +- 职业 +- ネット +- 張 +- کرد +- 浪 +- 的行为 +- kleid +- ல்ல +- ▁september +- ▁Schiff +- tava +- 软件 +- 遠 +- 也不是 +- ▁Este +- 思う +- ▁confirm +- tete +- になると +- 乌 +- istan +- どれ +- äre +- 皇上 +- ▁oath +- 愤怒 +- دل +- 朗 +- ▁apparent +- ồ +- ▁khác +- ▁shaking +- ▁acquainted +- ▁citizen +- stav +- ▁biz +- 陸 +- 得很 +- 权力 +- ▁lieben +- ▁fost +- ▁badly +- ▁King +- ▁mankind +- util +- ▁هیچ +- ҳ +- tele +- sucht +- 戻 +- Da +- ▁centuries +- ようです +- нар +- ▁urged +- чен +- matic +- ▁throwing +- ▁outlook +- ▁loves +- ▁religi +- を感じ +- OK +- gab +- ▁Nähe +- ▁issued +- zioni +- ▁đây +- iriza +- gesch +- 裁 +- aud +- ▁Universität +- さっき +- lika +- ▁studio +- рат +- 聴 +- чин +- 分からない +- ▁зада +- ▁afterward +- lerini +- ▁conta +- ましたが +- 逊 +- 트 +- ▁있는 +- ▁Tr +- ▁illness +- 見え +- ▁alter +- ▁sounded +- posta +- ▁Job +- ▁significa +- 下降 +- ▁третий +- nyo +- elen +- ▁کنیم +- avuga +- ▁poem +- ▁Sur +- 变成了 +- ख +- 再び +- sili +- 早就 +- نج +- greg +- 絶対 +- ▁First +- trac +- ▁photo +- 当年 +- greifen +- iĝas +- ▁wären +- ▁caso +- ode +- '45' +- 能不能 +- Me +- らしい +- ▁enthusiasm +- マー +- ▁bene +- 警戒 +- انه +- ừ +- krieg +- ř +- 爬 +- ▁شهر +- ▁preserve +- ▁Kur +- 震 +- ▁spear +- 浅 +- ▁bwo +- ▁moeten +- imba +- ▁comparison +- したこと +- ▁câ +- 食べて +- 胖 +- 拡大 +- ▁право +- ▁kw +- ▁الخ +- 蓝 +- 臣 +- 什 +- ▁recorded +- ▁rational +- ▁estimate +- 你知道吗 +- ▁thinks +- 見た +- ▁arrest +- ssy +- ▁trend +- 表面 +- eke +- ▁durant +- ▁contain +- ▁Dy +- ற்க +- ைய +- 一件事 +- 临 +- кә +- sicher +- 人都 +- ▁gathering +- ▁transaction +- coll +- ▁explo +- ▁maria +- ovan +- ▁当我 +- ног +- 什么事 +- ला +- 同事 +- ▁toch +- 議 +- ▁vorher +- 说是 +- ▁Wat +- ▁genuine +- リーグ +- ckte +- jahr +- ▁madam +- ध +- مون +- タイム +- ▁sig +- scribe +- 购买 +- premi +- Pa +- ▁হ্যাঁ +- ога +- 识 +- ▁Fern +- 日子 +- 斜 +- 분 +- ника +- ▁hook +- ania +- ▁schwa +- ▁Zeitpunkt +- ▁год +- ▁meadow +- ▁charity +- ▁نام +- ▁column +- ministr +- ▁Kraft +- ঁ +- 的钱 +- ▁revealed +- 宣 +- ▁fearful +- ▁melancholy +- ▁daher +- 机器 +- ▁первая +- まずは +- vesti +- 把自己 +- ▁ansehen +- ▁lugar +- ▁Geschäft +- 交给 +- ▁leaf +- зо +- 腹 +- 虎 +- 'No' +- ქ +- ▁compliment +- 但这 +- ▁trot +- ▁lands +- ▁Fuß +- 報告 +- ொ +- 巡 +- iš +- ▁manners +- جد +- 治療 +- 等待 +- خط +- ▁brow +- ▁mock +- овая +- tico +- 生き +- ▁wet +- 怎样 +- passen +- lur +- ▁Yuba +- シー +- 不在 +- embro +- ধ +- ▁zonder +- ន +- Ü +- ▁craft +- nji +- 档 +- فی +- য +- ▁misfortune +- kaba +- вес +- ക +- flow +- ▁Pero +- さんです +- アウト +- чым +- 过程中 +- ppel +- これで +- cce +- вае +- ▁alike +- 阻止 +- しましょう +- ▁blu +- 嘉 +- ▁senior +- ▁stellte +- version +- 药物 +- ▁然后我 +- 忘 +- вала +- ▁gloom +- 复杂 +- 的节目 +- ▁mejor +- ča +- wende +- 演员 +- ▁borne +- センター +- ▁спа +- ▁ebi +- ▁requires +- 杜 +- ▁پا +- ▁fac +- 医療 +- pher +- 第二个 +- ▁switch +- yne +- ▁theatre +- 作った +- 信号 +- 体验 +- лам +- 你需要 +- ▁sixth +- ▁abandoned +- ▁tipo +- 類 +- ▁noted +- 规 +- ▁initial +- 上去 +- شار +- ▁charged +- 宇 +- 돼 +- ▁ciudad +- 当たり +- 为你 +- ▁cares +- އ +- 活着 +- ▁encourage +- 門 +- tures +- 간 +- ▁Би +- ▁referred +- erde +- ▁leaned +- дом +- ▁Blut +- ▁шо +- 非常感谢 +- انت +- 画面 +- ▁marks +- ▁flock +- ะ +- 以下 +- ▁công +- ▁saß +- ▁originally +- ▁sowie +- kti +- ▁encouraged +- cm +- psi +- ▁жизнь +- ▁hunger +- ता +- 我今天 +- 忠 +- stel +- уп +- 自信 +- قى +- ▁volen +- acco +- ▁acu +- ▁яшчэ +- ▁而是 +- lation +- aks +- nish +- angan +- 芸 +- гад +- 할 +- ям +- ี +- ogni +- ▁hoping +- 約 +- 紙 +- 出版 +- さんも +- ▁Hat +- ▁likewise +- 치 +- ▁contempt +- ▁Seiten +- ▁свою +- 我我 +- ▁wanting +- ไ +- య +- anze +- こそ +- ▁operational +- вести +- سر +- ▁gaan +- کس +- maß +- 民族 +- 仅仅 +- 阿姨 +- فل +- ▁тысяч +- rò +- DNA +- 工程 +- ▁stout +- 毎日 +- ▁senses +- 研 +- dil +- ▁fuhr +- aca +- 担当 +- ▁говорить +- ▁dispute +- rgi +- ▁landscape +- tima +- ▁الذي +- сте +- ▁brick +- بول +- jer +- َا +- ▁examples +- 对我们 +- ▁Hin +- ▁großartig +- ▁gir +- ▁engineering +- ▁cau +- ▁monk +- mona +- ځ +- 上班 +- 作者 +- ▁má +- ▁الط +- зов +- 伝 +- ▁chỉ +- dern +- ▁provisions +- '28' +- ales +- ▁Bal +- 创建 +- atory +- ▁introduce +- ▁назад +- bart +- 好きな +- mother +- üz +- ▁engage +- гон +- лад +- ▁champion +- 子的 +- 食品 +- 見える +- SNS +- ▁inferior +- ▁gratitude +- 九州 +- ▁trained +- ▁mensen +- 可怕的 +- 闲 +- 走吧 +- stern +- view +- 玛 +- 开了 +- 単 +- ▁finance +- ▁Gebäude +- führung +- 是这样 +- の影響で +- すでに +- 的关系 +- ▁personas +- ▁bride +- ▁occasions +- 自分で +- ▁priests +- と同じ +- 搬 +- imiento +- сем +- ▁То +- 呗 +- iche +- used +- стаў +- ▁chicken +- ▁Straße +- 好处 +- 是非常 +- hom +- 公司的 +- away +- ▁temperature +- ▁sob +- ▁darling +- ▁knock +- tick +- 术 +- 甜 +- franc +- ▁гол +- ▁Quan +- based +- 不得 +- しっかりと +- ▁artificial +- sburg +- メディア +- 大きい +- නි +- 增 +- ▁आ +- られている +- өөр +- tät +- 很大 +- ▁todas +- 工作的 +- aş +- 听说 +- 所说的 +- vali +- schied +- ▁objective +- سو +- 区域 +- じゃなくて +- avait +- likuwa +- 鹿 +- ▁laut +- ではなく +- ▁monta +- ▁swell +- 主席 +- ▁anderer +- ▁ellos +- 是吗 +- ▁determine +- 的第一 +- ▁Familien +- ▁threatened +- のも +- 灰 +- 我的意思是 +- ▁شو +- ▁utmost +- miz +- ▁nacht +- ▁arts +- 束 +- ▁commit +- ▁backward +- ▁efficiency +- ▁surrender +- ebe +- とともに +- نده +- 通知 +- ەر +- 这些人 +- baha +- ▁sonst +- git +- vale +- ▁зам +- iness +- ▁Preis +- お伝え +- ▁imagined +- 内で +- ▁visual +- 의 +- ▁Bedeutung +- んだろう +- まった +- чат +- wang +- ▁probable +- 他也 +- ▁conclude +- ▁Ili +- 財 +- 設 +- वि +- ots +- dium +- eerd +- ▁employment +- 的女人 +- ຮ +- 梁 +- 変わって +- 民主 +- quent +- 十六 +- uge +- ▁retain +- ச்ச +- ▁monarch +- ▁receiving +- かん +- utse +- ▁dreißig +- ▁Anne +- ▁employ +- оз +- ▁attempted +- ▁july +- ▁nào +- tief +- すぐに +- ēja +- ▁draußen +- ▁könig +- 我们也 +- رج +- ▁detective +- kup +- ▁geç +- そのまま +- ぶり +- வர +- ▁childhood +- кал +- ▁ciutat +- ении +- ▁bloom +- かも +- ▁wilt +- koj +- ▁poured +- んの +- ▁hinzu +- 節 +- ager +- 附近 +- ▁femme +- 才是 +- cco +- ▁ramp +- によると +- buka +- ▁уг +- ▁eki +- ▁monument +- ▁contains +- 公众 +- öz +- ▁items +- Mo +- поль +- ▁kleiner +- 从来没有 +- が入って +- ▁instruments +- ▁thine +- ▁essen +- 侧 +- habit +- 桃 +- をお +- ▁suchen +- 敏 +- ▁Region +- shin +- تل +- ▁Tiu +- 尚 +- 葉 +- ators +- наход +- డ +- ▁могут +- zik +- ステ +- 态 +- wagen +- ▁recognition +- mez +- フィ +- ▁safely +- ▁Jack +- ija +- ▁телефон +- овка +- ▁commitment +- 跟你说 +- ▁wage +- зда +- සි +- тын +- 好不好 +- ▁мало +- ▁alleen +- ▁பு +- ▁hasn +- スの +- ってきた +- 悪い +- ▁relatively +- ▁Mur +- ▁Bru +- ▁relationships +- ▁rat +- るように +- ▁Doch +- ▁noon +- 同样的 +- ▁integr +- 简单的 +- ▁seal +- гляд +- ▁Uhr +- 我怎么 +- ▁dining +- ▁gebe +- culture +- 師 +- 他不 +- ▁kot +- ▁huis +- 帮你 +- 大家都 +- ▁solve +- fur +- ▁poll +- ▁jamais +- meri +- ▁cared +- bonne +- 思想 +- 数量 +- 一半 +- ▁furniture +- ▁territory +- ▁verbunden +- gaan +- Imana +- herr +- ▁estar +- ▁revis +- hale +- ▁Kü +- ▁lucky +- 账 +- ▁pursued +- の皆さん +- っていうのが +- ▁mondo +- 瞬間 +- スポーツ +- dě +- ▁ugly +- 秦 +- 資 +- ▁ولكن +- ▁gering +- пас +- 始めた +- ▁cries +- ありがとう +- 裂 +- ▁amor +- alis +- haber +- ë +- 巨大 +- гер +- たの +- kee +- وە +- ▁groot +- ▁प्र +- цев +- 新たに +- 谱 +- ары +- نفس +- ▁ваш +- ▁кры +- maal +- ▁mum +- iter +- ▁mig +- bá +- 盟 +- 向け +- ▁betty +- ▁никогда +- ▁кү +- гэ +- どの +- ブラ +- 北部 +- йн +- ▁peasant +- gren +- 很容易 +- 下さい +- ไม่ +- ▁Ek +- ▁Are +- friend +- ▁invisible +- evi +- ▁climb +- lek +- rika +- tua +- ▁terug +- эк +- ▁mijnheer +- ▁decir +- ▁Mill +- とおり +- ▁studi +- ▁shield +- 伸 +- assi +- ▁award +- 需 +- pira +- 禁止 +- ▁autor +- ▁contre +- ▁entend +- 给他们 +- ▁hugh +- '!"' +- ▁passa +- ▁erwähnt +- 公开 +- ▁zweiten +- iau +- ▁Ok +- mitten +- ৈ +- 喊 +- dle +- 来る +- inu +- ▁ئە +- ▁freely +- 汤 +- なんですよ +- ▁nuestro +- ▁couch +- ▁mistaken +- '400' +- ▁expecting +- 攻击 +- ▁landing +- 你对 +- 的就是 +- ▁größte +- ▁那就 +- 这对 +- 点击 +- ried +- ▁bowl +- 裏 +- და +- kah +- بط +- face +- lekt +- ▁urbo +- ▁solchen +- 距离 +- вели +- ▁drama +- をした +- chip +- اص +- mouth +- ▁statt +- antwort +- kho +- โ +- 她是 +- ▁literary +- ▁بیا +- fassen +- ▁michael +- ▁nights +- ▁jag +- 都可以 +- ▁Geschichten +- дын +- 出来的 +- yê +- 模型 +- ▁آیا +- ▁пятнадцать +- ▁belle +- ピー +- ▁Stra +- бит +- ▁merchant +- ▁russia +- 骂 +- ▁Amb +- 今は +- youtube +- 수 +- ▁grade +- ▁ɣer +- ც +- 撒 +- ▁pipeline +- 聚 +- ▁Möglichkeiten +- たのは +- ▁julia +- 容疑者は +- 微信 +- ▁얘기 +- くなって +- ▁umuntu +- sprung +- などに +- খা +- ▁vorstellen +- ▁decent +- 動か +- もいい +- 的力量 +- トン +- ▁acted +- ▁Personen +- 恐 +- 大型 +- ▁reproach +- エン +- ▁nhà +- ▁Heute +- に対する +- マーク +- ▁Street +- ▁toutes +- ▁hinein +- ▁двенадцать +- даа +- ▁ब +- ▁Ah +- ера +- ▁kama +- ▁hob +- ▁abzu +- 黑暗 +- ▁hated +- ▁steal +- ▁더 +- ▁yıl +- ▁事实上 +- volu +- ▁powder +- Ch +- klu +- 针 +- ং +- ▁Entscheidung +- ▁mail +- 话题 +- ▁otra +- rir +- ▁rhy +- ▁сразу +- 你可能 +- cija +- там +- dow +- 摸 +- rite +- ienne +- 感染者 +- play +- lick +- ▁denk +- ▁están +- 若い +- ▁verändert +- チャンス +- 红色 +- ▁bade +- ây +- mt +- nych +- 世代 +- ▁johnson +- ▁fears +- som +- 什么呢 +- 去做 +- ▁prompt +- 最終 +- ▁capabilities +- ுவ +- ▁Anti +- ▁harder +- 在那 +- ides +- ▁examination +- ▁invitation +- ▁Erfolg +- 小的 +- 定义 +- 测 +- ▁això +- 住了 +- 赫 +- ▁авто +- ▁apt +- ▁Roman +- wahr +- hard +- ▁irà +- ▁toute +- 会場 +- ▁spectacle +- 個人 +- 德国 +- حد +- 别的 +- けて +- ▁näher +- mpe +- 用意 +- ▁کی +- ▁bedroom +- ▁puc +- ▁nascut +- 一日 +- ▁30 +- ▁meantime +- ということは +- ▁Charles +- ▁shareholders +- 明白了 +- 국 +- 故 +- ыз +- තු +- 十一 +- usta +- ೆ +- ▁parla +- اخت +- ▁inches +- power +- 的这种 +- ずに +- berry +- 品牌 +- 引起 +- ▁historia +- ▁pret +- ▁fantastic +- 威胁 +- kru +- 当他们 +- ؤ +- esi +- ▁occupation +- rose +- ር +- ▁statue +- 決定 +- ясн +- ો +- ▁Ton +- ▁blij +- uɣ +- ogo +- ▁favorable +- 我从 +- ▁outline +- atur +- んじゃ +- ▁বি +- ▁conception +- ▁comun +- 大谷 +- меш +- 었 +- ▁session +- ▁fed +- 今まで +- ▁ridiculous +- 妹妹 +- бр +- ▁maig +- フランス +- ▁2017 +- ترین +- ▁глаза +- ▁её +- ▁Computer +- ▁vanished +- kauf +- ▁Unterstützung +- ▁gukora +- 做的事情 +- 业务 +- ▁schm +- 러 +- ▁gotten +- ▁pār +- ▁rece +- ▁zuerst +- கா +- 猎 +- ▁vergessen +- ▁weet +- ný +- ▁Japan +- ▁pointing +- ▁estos +- ▁unconscious +- だけど +- னா +- ▁permission +- هایی +- вел +- 一定是 +- 头发 +- ине +- 悔 +- ▁Zum +- ッシュ +- 杀了 +- 様子 +- ▁blush +- ▁sharply +- 做得 +- ▁befindet +- ▁cyf +- ▁football +- ▁alguna +- пов +- 泥 +- ghi +- 十八 +- ▁treball +- ▁inspired +- ▁pattern +- ▁crystal +- 効 +- ▁cultural +- ▁monster +- ▁Bücher +- ▁என்ன +- сел +- ▁pomp +- ▁これで +- 記 +- eyed +- mati +- トリ +- boo +- 庭 +- commerce +- pru +- ▁records +- 取得 +- culo +- ▁Mau +- ようと +- ▁Ban +- 特殊 +- ฉัน +- 采访 +- дра +- ош +- イベント +- 发出 +- ▁prayers +- ▁employees +- klo +- count +- ▁panel +- ▁crossing +- 擦 +- 这是我们 +- ▁Frank +- ▁kinda +- ghan +- reichen +- ▁shone +- có +- ▁tutti +- 真实 +- ▁avenue +- ちょうど +- kultur +- 在我的 +- ▁iyo +- ▁fetch +- essen +- ▁detect +- ▁England +- ▁село +- ▁난 +- ▁reaction +- 特定 +- 采 +- person +- 惊讶 +- ▁strangers +- ▁gemeinsam +- тыр +- ▁beard +- ▁gleiche +- ▁Africa +- 周り +- ▁сколько +- ▁steadily +- voca +- 两年 +- zira +- ▁startled +- ▁muttered +- 寄せ +- 你应该 +- 策 +- ▁jud +- 在他们 +- 闪 +- 개 +- ▁millor +- ▁vein +- に向けて +- 香港 +- 播放 +- ▁accurate +- 扬 +- 살 +- ▁Website +- ফ +- 覚 +- ▁whirl +- よし +- ope +- ລ +- 英雄 +- ▁我会 +- ▁gek +- фі +- 是怎么 +- ▁rap +- ますか +- ▁attacked +- ▁endure +- ▁tie +- يع +- rp +- rash +- ▁specifically +- ▁collected +- nahme +- uous +- න්න +- dru +- 稳定 +- oid +- と思った +- ▁каб +- how +- ▁以及 +- ▁anchor +- 行き +- ▁pia +- ingham +- ▁также +- 礼物 +- ▁Typ +- 理想 +- ▁lleva +- ないように +- 角色 +- uck +- ી +- ▁abstract +- ▁Steve +- Pro +- ▁secured +- ▁бес +- mist +- 生意 +- ▁consequently +- ▁vriend +- 的世界 +- ▁führt +- ໄ +- ▁railroad +- ▁ticket +- igis +- ▁Ji +- 道德 +- ▁disgrace +- 소 +- ▁compare +- 我必须 +- ▁wandering +- ▁knocked +- ▁tant +- liter +- ▁procure +- ▁oedd +- media +- ▁offensichtlich +- 都市 +- fed +- ▁続いて +- کار +- ▁resistance +- ▁ئى +- ▁menos +- ▁maken +- 空气 +- 제 +- stock +- 負け +- ▁disappointed +- fee +- 選手の +- ▁admire +- ่า +- ▁marie +- 立即 +- 質問 +- ▁directions +- eron +- ▁Jean +- ясь +- يات +- კ +- 汁 +- 兴奋 +- ▁egg +- كا +- ▁erinnern +- ▁Polizei +- ய் +- ▁È +- 吸引 +- iere +- ຍ +- ▁dip +- ▁starts +- ▁свой +- cir +- ক্ষ +- 兴趣 +- ्य +- fekt +- ▁Marc +- ▁coward +- 匹 +- ▁உள்ள +- ▁dalla +- とした +- ▁brutal +- ▁traf +- holen +- 肥 +- gian +- 鲜 +- 课程 +- 会儿 +- ▁resumed +- ຕ +- ▁территория +- schul +- ▁complet +- ▁sighed +- 限制 +- ▁elsewhere +- ança +- 质量 +- ノー +- ▁Versuch +- образ +- kwe +- ▁virus +- 天気 +- 筋 +- 的书 +- ▁timing +- 熟悉 +- 促 +- ▁дома +- 对了 +- ▁Damit +- 我给你 +- ▁Bel +- ối +- ▁Chance +- জা +- ルー +- 快点 +- これも +- anca +- ▁frau +- 周辺 +- ▁pierre +- 干嘛 +- ▁فکر +- 教堂 +- ▁確かに +- 香り +- 道理 +- agit +- 有多少 +- 指示 +- ம்ப +- ▁patch +- スーパー +- ▁tonight +- ▁Markt +- رم +- ▁Regel +- migrant +- miş +- sió +- 巧 +- kha +- Ha +- mination +- ▁astonishment +- ▁asia +- má +- kota +- дээ +- ▁Fehler +- ▁Dieses +- ▁persone +- cant +- ▁aquel +- 消防 +- ▁perfection +- cció +- rren +- 门口 +- fest +- ▁viz +- 粗 +- ▁nonsense +- schätz +- ができる +- 程序 +- ▁говорил +- ▁Clo +- siz +- ▁identify +- ós +- ▁omu +- 祝 +- 続き +- ▁род +- ock +- 表現 +- ▁slightest +- aĵo +- 豊 +- ▁пожалуйста +- ски +- ▁Lehrer +- ▁erfolgreich +- moor +- பு +- ▁players +- ▁vì +- ▁descended +- qual +- xo +- ▁hopeless +- ▁conducted +- 手术 +- ▁Ay +- ▁12 +- っちゃう +- 生活的 +- ▁dragged +- ▁بعض +- нет +- ▁inte +- мон +- ▁teu +- тө +- ▁liquid +- ▁hip +- find +- moni +- ▁State +- Е +- ▁shooting +- ▁legend +- 埋 +- ▁revenues +- ▁unglaublich +- abel +- слав +- ▁” +- 听起来 +- 所有人 +- ▁düşün +- 了他的 +- 残り +- fro +- ▁bend +- ▁wirst +- ▁akk +- ▁hitherto +- 成長 +- こうやって +- ▁dirty +- metri +- 分の +- ▁perceive +- ▁jur +- vra +- خا +- ▁năm +- 晴れ +- 酷 +- ▁poste +- лер +- lais +- ▁sav +- 认真 +- 毕竟 +- with +- ▁regional +- ▁scholar +- 苹果 +- 改めて +- 因素 +- டா +- кы +- ▁sembla +- zustellen +- ▁pupil +- ifying +- 缓 +- 手に +- 名前 +- ▁совсем +- 相談 +- ▁ал +- ▁kendi +- ▁promote +- ▁стороны +- 了我们 +- 发生的 +- прост +- ▁mateix +- ▁дума +- ково +- ▁Green +- 自动 +- lima +- もらう +- ели +- ▁departed +- ▁belonging +- ▁Star +- وز +- テーマ +- யின் +- ▁hesitated +- ▁Om +- 评 +- ▁Hoch +- 正确 +- 協力 +- ikan +- はどう +- ▁lane +- machen +- reba +- ▁ব +- 逮捕 +- 在美国 +- ▁гру +- osi +- '1000' +- 泉 +- ▁examined +- 方は +- ▁disco +- ▁Ale +- ▁terwijl +- ▁dig +- 避免 +- ▁leisure +- worm +- ▁depth +- 卢 +- ▁worried +- 做好 +- 出身 +- 生まれ +- ▁قرار +- 废 +- ám +- zzo +- culp +- ▁Gebiet +- ibya +- ач +- ▁scenes +- 王子 +- gelegen +- 基于 +- ▁partie +- lhe +- ▁belt +- রি +- änder +- ▁compassion +- ♪ +- 下了 +- ями +- ▁devotion +- ろう +- 他の +- ケット +- ▁monitor +- ▁häufig +- 検討 +- tö +- enta +- ▁sido +- 補 +- 聊天 +- 我一直 +- ▁гэтага +- ▁называ +- 蒸 +- ▁当你 +- shyi +- houden +- conc +- ▁device +- この日 +- 凉 +- ▁Del +- mica +- 剂 +- ドイツ +- 是要 +- 隣 +- ▁narrative +- ▁Medien +- ▁francis +- Р +- ▁beaucoup +- ▁whistle +- 她在 +- ▁kumu +- ▁droit +- 我们正在 +- nahm +- etta +- ▁fille +- Do +- ▁owned +- 通り +- もらって +- 写的 +- 疼 +- ל +- ām +- пра +- них +- gali +- shya +- ▁France +- ▁cord +- だし +- rab +- ▁estava +- ▁folgen +- 遺 +- 位于 +- ▁sä +- ▁Sport +- ▁kui +- 页 +- の方が +- nata +- ▁facing +- ▁பொ +- もない +- He +- ▁inventory +- 实验 +- uter +- raten +- Sa +- ▁drank +- قی +- 伺 +- ▁Barcelona +- ▁keeps +- ▁하고 +- ▁mult +- gni +- 금 +- ▁astonished +- ▁readily +- ▁unexpected +- ▁mug +- どうして +- ҙә +- 跡 +- еб +- ▁Hill +- 面临 +- onia +- ▁cinema +- čas +- 创业 +- ▁зап +- rücken +- ▁silly +- ▁facility +- ▁除了 +- 用于 +- ▁Monsieur +- ばかり +- ▁collect +- ▁انجام +- ▁gifts +- ▁doctors +- ▁emotions +- ▁republican +- ▁maintained +- ▁snake +- ▁سي +- 身份 +- ▁ней +- ▁models +- ▁gracious +- ibwa +- leigh +- بت +- ▁meines +- 警察は +- stall +- ▁percentage +- خوا +- ▁crop +- ▁ainsi +- 忘了 +- cide +- ▁killing +- ▁tool +- 的好 +- teria +- ▁mutual +- 剩 +- ▁wreck +- ▁chiefly +- ▁values +- ▁strengthen +- ▁cómo +- 같 +- 的能力 +- ▁wunderbar +- steigen +- ▁heir +- ▁2018 +- кат +- zī +- ▁அது +- ▁கூ +- breite +- ▁guter +- ▁duck +- 相对 +- 承诺 +- 叔叔 +- ▁bana +- 使う +- زار +- 组成 +- lö +- としても +- kap +- 操作 +- 物质 +- Ba +- 入って +- halte +- ▁tau +- ▁weapon +- ▁байгаа +- rok +- ▁graduate +- 心情 +- ブル +- ▁höher +- leu +- するため +- ▁vai +- ころ +- 五年 +- ▁landed +- 闭 +- ▁след +- ▁selected +- 放心 +- 秘 +- 等着 +- nol +- gling +- ▁对于 +- ▁lend +- ▁povas +- 券 +- ▁sources +- ▁Kampf +- はある +- ▁Gro +- ▁jemanden +- 要做 +- ▁peaceful +- як +- 规定 +- dolph +- 追求 +- univers +- 添加 +- ▁pump +- バン +- 特徴 +- 多年 +- easing +- 枝 +- ▁Louis +- ▁Rob +- 改革 +- 一本 +- ▁climbed +- ▁bueno +- ▁analysis +- важ +- シン +- ▁roger +- sein +- ▁riesige +- organ +- ▁plat +- ▁seventh +- imper +- ика +- ニー +- ▁breeze +- ▁slavery +- モン +- ▁Seg +- cru +- 这个时候 +- zte +- nici +- ▁grandmother +- 这是一种 +- 最後に +- 厉害 +- ề +- ▁usted +- ▁split +- 的儿子 +- 速度 +- gers +- ▁heavens +- شان +- ▁planta +- 奇怪 +- ▁Sed +- ▁yüz +- дай +- ▁saturday +- うれしい +- 奇怪的 +- 联邦 +- جو +- ydi +- ▁cyn +- ▁зах +- üste +- agne +- мол +- ায় +- ▁bwe +- бира +- toria +- 尖 +- 好多 +- undu +- ▁urban +- гч +- ыч +- 穴 +- ▁hiding +- ▁loan +- ແ +- ▁kant +- ▁complain +- ▁apa +- ▁точно +- 抜け +- 建物 +- ▁Win +- يب +- 재 +- 政府は +- ▁Professor +- ▁naked +- 期間 +- ▁essay +- 翔 +- ▁propose +- ▁circumstance +- めた +- 不见 +- tour +- 使われ +- гар +- 我妈 +- ▁zuvor +- 坚 +- mik +- 财 +- ▁museum +- ▁건 +- ▁engineer +- 日から +- uß +- ▁solar +- nın +- ▁gesamte +- ▁后来 +- となって +- 写了 +- ▁agreeable +- ▁canoe +- ▁rug +- ▁Hor +- جان +- 什么呀 +- ▁marble +- meister +- ەت +- ▁dorothy +- ▁confused +- ноў +- лат +- ffi +- née +- 否则 +- Applause +- ண்டு +- ▁complicated +- ▁guerra +- キー +- 你不是 +- ▁最后 +- class +- ▁swiftly +- lton +- 滴 +- ▁vollständig +- ▁будем +- ▁gleam +- ▁finest +- ザー +- ▁fiel +- ▁gusa +- ▁motive +- 時の +- ▁circ +- timo +- ▁こんにちは +- rated +- هی +- ect +- ▁moins +- ▁rested +- fau +- dden +- elijke +- 鼓 +- ough +- kub +- ▁quart +- ຫ +- 菌 +- skri +- まれ +- ▁Juli +- جه +- ▁dorm +- ▁selfish +- 混乱 +- ▁佢 +- なんですか +- ▁examine +- ▁insurance +- гай +- 一开始 +- ▁disturb +- cción +- 政権 +- 伏 +- 征 +- ▁Foto +- ▁stati +- 讯 +- xed +- ▁chemical +- ром +- ships +- ligen +- ▁halb +- ▁introduction +- ▁дальше +- ▁dish +- 联合 +- posa +- 积 +- 基因 +- ይ +- 商店 +- 粒 +- 不去 +- ▁Fran +- 彼此 +- ▁nieder +- ▁mache +- 都要 +- три +- 気になる +- ▁основ +- ▁achieved +- ▁نظر +- 込む +- زم +- 高的 +- Di +- 使い +- 某些 +- ▁Joe +- пам +- ▁cloak +- 投入 +- ▁captured +- 週 +- 就这样 +- сс +- 所谓的 +- ▁arī +- ▁spoil +- nuncia +- ▁ɣef +- word +- ▁materially +- ▁thực +- ▁öffentlichen +- ▁яв +- gum +- ▁ئۇ +- ▁quote +- ▁indicated +- ▁stor +- tare +- ▁kaufen +- ▁google +- ▁unterstützen +- 对自己 +- ▁wichtige +- ▁recovery +- mensch +- ▁Ehe +- ▁lessons +- neɣ +- 던 +- 怎么回事 +- octubre +- 頑張って +- أكثر +- ▁testing +- އި +- ști +- dır +- ▁byose +- ▁polite +- рова +- imana +- ▁exhausted +- ▁rivers +- を行う +- 帝国 +- oval +- ▁例えば +- ▁Rom +- 这不 +- ▁Yn +- ▁patent +- 動画 +- рас +- ▁mole +- 不必 +- cura +- ▁anh +- ▁überall +- 美国人 +- ▁disappointment +- ▁soup +- ktu +- ▁transformation +- ▁Verhalten +- 後半 +- ▁байдаг +- 合う +- ▁Sil +- ぜ +- 扎 +- trud +- ży +- ▁shepherd +- ▁возможно +- レス +- cier +- ▁sunshine +- ▁Telefon +- 愉快 +- ▁havia +- aşı +- のだ +- 进行了 +- 农 +- ▁continuous +- ▁públic +- ▁poz +- ▁давай +- 满意 +- 悲伤 +- lma +- ▁curse +- reb +- 空気 +- قال +- ▁player +- 安定 +- maker +- 的那样 +- ▁ntabwo +- ▁способ +- heben +- ▁hecho +- wide +- Ho +- then +- ありました +- ▁pendant +- ▁咁 +- 但它 +- 能量 +- ▁Himmel +- 十九 +- 有些人 +- 年的 +- ▁свои +- ▁practically +- ость +- ▁deserted +- 说他 +- ▁buying +- ▁thorn +- ▁holds +- 信仰 +- lings +- ▁glimpse +- ▁CA +- ▁Kal +- slav +- ҙа +- 思います +- 何も +- ँ +- regen +- ッチ +- druk +- قص +- ▁preferred +- 续 +- بة +- ▁мин +- fälle +- ▁travail +- ▁他是 +- ழு +- ▁matt +- ít +- eği +- 勝ち +- মি +- ▁ваше +- するのは +- ෝ +- 出した +- ▁bite +- 黄色 +- مال +- ▁preparing +- ▁há +- ử +- digit +- ▁World +- かせ +- ieron +- 答 +- 遇 +- カル +- ファ +- بن +- 화 +- ▁priv +- kaza +- ▁giờ +- ப்பட்ட +- ▁bé +- ▁چند +- kut +- ▁darf +- ▁دوست +- 具有 +- fes +- еть +- ▁Cette +- konstru +- ▁thứ +- ▁jako +- ছিল +- organisation +- ▁Essen +- ▁surprising +- 渴望 +- 资 +- 浦 +- isieren +- ▁байв +- ▁Ideen +- స +- ▁größer +- besitz +- bour +- ән +- werfen +- ▁Ebene +- dah +- 美丽 +- 监 +- ドラマ +- じゃん +- ▁калі +- 独自 +- 時期 +- ▁cose +- ▁چیزی +- ▁joining +- ▁confession +- 天天 +- ▁processes +- 보 +- ▁比如说 +- 也就是 +- ーム +- 是我的 +- ▁Stil +- スピード +- 少年 +- ▁fühlte +- 予 +- vig +- ики +- ▁nap +- ▁angels +- ▁schedule +- rán +- ▁boston +- ▁oude +- まま +- душ +- 腾 +- ху +- 咖啡 +- валі +- ▁лес +- 刷 +- ▁suspected +- ▁inquiry +- ▁amusement +- ordnung +- ▁Klasse +- 食べる +- 我记得 +- 连接 +- فق +- ▁precisely +- ープ +- ▁왜 +- ▁Thomas +- 場合は +- schlag +- னர் +- ▁instructions +- turi +- ▁passieren +- ▁medium +- 姓 +- ▁укра +- にする +- wasser +- ▁cigar +- ▁pessoas +- ▁thirst +- ▁gö +- がこの +- ▁norman +- geni +- 拜 +- rina +- اک +- 出现了 +- 纯 +- ffin +- 忘れ +- 戦い +- 效果 +- こういった +- kõ +- ▁مق +- ▁روز +- 妙 +- ▁jones +- ▁During +- 碰 +- 这条 +- っちゃ +- рон +- pack +- gina +- が起き +- ▁sins +- gelassen +- prä +- ▁Wand +- istes +- plat +- ▁telephone +- conf +- 桌 +- ▁shine +- 不知 +- جل +- ▁Red +- ▁pearl +- ▁prec +- 家の +- ▁Süd +- ▁într +- 牧 +- agu +- お話 +- ▁sym +- 意見 +- case +- ▁2016 +- ▁tenía +- ▁Netz +- lusion +- ▁sola +- なくなって +- 克斯 +- 习 +- енно +- ▁lucy +- 日間 +- 단 +- መ +- 肺 +- Sch +- 文章 +- ▁festival +- нае +- дам +- ppy +- ▁glaubt +- ило +- 漏 +- सा +- は何 +- rico +- 吃了 +- ▁première +- 移動 +- ▁River +- 穷 +- ▁sensitive +- 今週 +- ▁provides +- нуть +- 今度は +- 获 +- ▁attract +- ▁durante +- 桑 +- ▁கு +- を作って +- volv +- ື +- ▁armen +- 現 +- abwe +- 세 +- ých +- 隊 +- chet +- ▁euro +- kula +- ▁hoofd +- ▁visitor +- ▁nooit +- ятся +- にした +- ▁August +- 每年 +- ▁هست +- ▁colors +- ▁buri +- ▁definitiv +- ▁Wu +- かない +- eno +- গে +- ▁لكن +- egi +- ▁своей +- ▁Jordi +- pfen +- ▁solicit +- ▁goods +- ▁composition +- gine +- 第二天 +- までの +- ▁intellect +- ▁vow +- 现在是 +- ▁frown +- ▁furnished +- ▁обе +- য়া +- 收到 +- ▁sicherlich +- ▁setzte +- ▁harsh +- 専門家 +- ▁Тэр +- 社長 +- 的一切 +- ハー +- 迅速 +- hend +- られています +- 毁 +- ന +- 順 +- ▁lunga +- 最初の +- anta +- ▁expectation +- ▁أي +- ью +- ▁дээр +- ▁মা +- udo +- ▁jail +- 计算 +- ▁나도 +- お父さん +- fä +- '*' +- ▁Studenten +- ▁Gut +- ▁你可以 +- 合同 +- рус +- zam +- rul +- 帅 +- ▁Why +- ▁moderate +- 块钱 +- හි +- alia +- ▁timid +- ▁cigarette +- 没关系 +- ologist +- rufen +- legi +- دید +- ▁முடி +- 敷 +- 方も +- 刺激 +- 误 +- ▁fortunate +- ▁crow +- kehr +- ーション +- ▁nut +- 你认为 +- frei +- ▁mình +- ▁existed +- 烈 +- lij +- agost +- ▁partnership +- ู +- ▁ده +- ▁così +- ▁hebt +- fire +- ▁país +- druck +- Ә +- ▁demon +- ▁improvements +- 这样一个 +- ▁jealous +- 化学 +- 連絡 +- 医学 +- huit +- ▁transfer +- گیر +- ▁favourite +- 强烈 +- お伝えします +- 卫生 +- ▁jerusalem +- ঘ +- ارت +- 化的 +- ▁parallel +- ções +- 概念 +- 我们知道 +- anu +- したと +- ▁我不知道 +- 候補 +- 在他的 +- iens +- 적 +- مى +- ▁Jud +- に戻 +- ▁Gleich +- ▁dynamic +- ▁arrested +- 母親 +- ▁establishment +- 何を +- ▁père +- ▁Regi +- لف +- 科学家 +- ▁xwe +- 갔 +- ▁Fan +- ▁television +- bach +- zes +- 数学 +- கே +- ってくる +- ớ +- ▁граждан +- 下一个 +- ▁стран +- loj +- ▁是啊 +- ▁masters +- лез +- ▁какая +- オープン +- ▁option +- ັ +- ▁identity +- ▁submit +- ▁jusqu +- 抑え +- gefühl +- ▁medio +- bira +- 我应该 +- 勝利 +- ĝis +- ▁handkerchief +- 夫妻 +- 孩子的 +- ▁vue +- ▁sober +- 阵 +- ▁lightly +- clos +- ▁laten +- chie +- şti +- 那个人 +- informa +- rough +- ▁links +- ▁distinguish +- tego +- ▁civilization +- ▁jaar +- ▁drugs +- ▁convenient +- いると +- ನ +- ▁например +- dock +- ▁disturbed +- würdig +- ▁deutlich +- hri +- destin +- 免费 +- zina +- ▁revenge +- zogen +- чка +- 瀬 +- ▁concealed +- rwanda +- ▁باز +- fahr +- ilo +- 한테 +- 奶 +- いるんです +- аба +- 得点 +- institu +- нан +- ▁hedge +- ▁Every +- 違い +- ▁Ly +- ▁بس +- свя +- 你这个 +- ▁dressing +- 猛 +- 俗 +- ச்சி +- ▁Ang +- 问我 +- ▁بزرگ +- ▁chapel +- ходит +- ▁kiu +- ений +- 我跟你说 +- 堡 +- utter +- 躲 +- ▁ໄປ +- ▁fabric +- ▁frankly +- を出 +- 漁 +- 队长 +- ▁هل +- 的歌曲 +- 쫌 +- baar +- 还有一个 +- ▁boast +- ▁Pf +- ▁bunu +- ▁Kas +- сол +- rock +- 元気 +- お願い +- ▁Santa +- imento +- 抜 +- ▁чувств +- ණ +- 書いて +- ▁dwelling +- 聞いた +- ▁Laufe +- brechen +- stol +- 也在 +- раж +- 给她 +- ▁arrangement +- ▁Са +- zat +- jung +- '29' +- minded +- ▁vivid +- ▁18 +- 走到 +- 去看 +- ▁weren +- うち +- ▁Mir +- 背后 +- abilir +- ホームラン +- ures +- 上がる +- nischen +- bridge +- lara +- hound +- ▁technologies +- ▁accompany +- დ +- tempe +- ▁cream +- ▁anticipated +- même +- лей +- ▁Linie +- が行われ +- ▁Pres +- 言った +- past +- ruf +- ▁trait +- uche +- 모 +- ▁scotland +- ▁struggling +- ▁vậy +- posit +- 患 +- ミサイル +- ▁preserved +- ▁зачем +- ▁defeat +- avu +- ▁aby +- ▁pint +- iji +- leute +- known +- 済 +- サービス +- ▁ёсць +- 実際 +- 的国家 +- ▁são +- ▁copper +- 宾 +- ▁Partei +- ziel +- ▁illustration +- ими +- politi +- ハン +- ▁US +- bry +- ▁verge +- öd +- 法官 +- itud +- 番の +- 差不多 +- 很有 +- ▁jury +- ▁Pas +- 知道了 +- ▁объ +- edifici +- 雨の +- 类似 +- ▁stamp +- stimul +- 我们应该 +- ▁monte +- ީ +- 称之为 +- 细节 +- ote +- ▁номер +- ライン +- 日中 +- 赌 +- ctive +- 页面 +- gion +- ▁creative +- 始 +- ▁Venim +- ▁beings +- schloss +- ▁influ +- 它在 +- ▁гэтым +- 传播 +- 子どもたち +- ▁Vous +- mış +- ▁sino +- fach +- ▁Stelle +- 対象 +- 个月 +- big +- ▁autumn +- chron +- ▁давайте +- ▁eaten +- ▁crept +- цэ +- 値 +- ▁defense +- 激しい +- ▁echo +- nelle +- ▁owing +- ▁Black +- ▁moest +- ▁behalf +- ▁происходит +- impa +- ▁minimum +- niz +- ▁investiga +- 着急 +- ▁october +- られます +- ▁virgin +- ▁lean +- ළ +- ▁ответ +- えた +- ▁звони +- いけ +- 享受 +- äch +- 你们的 +- onge +- ▁Hände +- trat +- ▁outward +- 这里的 +- ▁notwithstanding +- ▁volunteer +- ▁Smith +- чная +- 去吧 +- 湾 +- 帯 +- きている +- вез +- 制限 +- maya +- どうですか +- ▁clothing +- 性格 +- ▁Baby +- bbing +- වා +- 花了 +- аю +- ▁entwickeln +- ▁approval +- ▁irrit +- 他没有 +- ▁Alles +- ▁associate +- ▁kenne +- ▁bolt +- 永远不会 +- lug +- ▁perfekt +- gué +- nutz +- 想知道 +- ▁bestimmten +- ▁nail +- ビー +- ыми +- ▁hatred +- glia +- 保存 +- ▁answers +- ▁hefyd +- 不懂 +- 催 +- aeth +- ▁math +- 的一种 +- ounce +- eco +- қа +- ĝa +- regel +- うん +- ▁betrachten +- பா +- nyama +- 起き +- 玛丽 +- ▁Fort +- 願 +- ▁Chúng +- wald +- moto +- ▁sustain +- 명 +- ▁founded +- ▁bringt +- 工资 +- undi +- Emp +- ▁isso +- ▁pris +- と一緒に +- eaux +- ủ +- aĵoj +- ても +- 海洋 +- ▁passes +- otto +- ▁Gesundheit +- կ +- 先週 +- unga +- зал +- ▁immortal +- ▁covering +- ▁wash +- ích +- bula +- казать +- wak +- issen +- 担 +- 泽 +- nico +- ▁hyn +- ▁react +- ▁мор +- mol +- ▁definite +- ▁decrease +- ▁scarce +- ▁beating +- print +- 強化 +- ▁Wind +- egu +- ▁справ +- леп +- gga +- ▁nhưng +- ▁poc +- 是最 +- ங்கள +- ▁compete +- かかる +- ▁territori +- hana +- 続く +- ground +- 経 +- 就是我 +- 買 +- وری +- 邦 +- ミリ +- ▁Gib +- nă +- ▁segui +- 种族 +- gung +- ▁formerly +- ▁gün +- ents +- யும் +- кие +- ▁Kindern +- ▁farewell +- ▁cotton +- пон +- ▁mechanical +- ▁enabled +- थ +- wesen +- ▁prejudice +- 과 +- ▁Organisation +- کان +- ▁beasts +- 敌 +- ▁breathing +- ▁đề +- ▁dues +- ▁grandes +- ▁letting +- wegen +- ▁provision +- ▁fishing +- ▁ongoing +- ŭ +- 地位 +- ▁그러 +- 和平 +- ▁länger +- ▁canada +- 过的 +- ▁alma +- ▁Pal +- cular +- வெ +- ▁elegant +- 司令 +- かね +- ▁interessiert +- ▁feu +- ▁violet +- маш +- ▁Landes +- ▁gazing +- gestalt +- 一个小 +- нат +- klar +- ló +- ▁gallant +- pä +- ▁tutto +- ▁În +- kore +- 正确的 +- lever +- ▁restrict +- ▁Lösung +- ▁applications +- ▁witch +- ительно +- yong +- 会在 +- تج +- 彼女 +- stärk +- たちは +- гре +- ▁Spi +- ▁tribes +- η +- six +- sitz +- komen +- rê +- ▁geboren +- ▁niets +- ▁prominent +- けどね +- 诉 +- 添 +- 发生了什么 +- tamente +- ▁unver +- 韩 +- ỗ +- ▁viņa +- heure +- ያ +- 兹 +- るんだ +- 巨 +- дж +- ඉ +- ři +- ▁upstairs +- ▁entertain +- цию +- ▁indicate +- kab +- ▁rarely +- 株 +- ▁imperial +- pression +- дем +- 应用 +- 形で +- crib +- ▁replace +- ▁beaten +- 阴 +- ▁আছে +- 平时 +- 立刻 +- 一群 +- ▁Außerdem +- джа +- ▁seltsam +- ▁ته +- 유 +- いわゆる +- দা +- ▁dimension +- ▁Bob +- 岁的 +- 思い出 +- open +- 孤独 +- ▁disaster +- களில் +- baba +- ▁touching +- をかけ +- ▁tribe +- kati +- 航空 +- ▁Nation +- ▁maxim +- 留在 +- 방 +- となり +- 手が +- ▁ähnlich +- ēt +- ▁strict +- いきたい +- により +- гән +- ▁wives +- ▁политик +- クラ +- どちら +- ▁Herausforderung +- 这一切 +- ▁sailed +- lash +- ▁hanno +- тка +- 月の +- ▁Vorstellung +- sible +- участ +- 倾 +- namen +- हरू +- 込まれ +- daw +- 揚げ +- っていく +- nsen +- ▁collar +- ނ +- hill +- ▁petite +- alität +- ▁grab +- ▁Kam +- ▁egal +- 绿 +- 事业 +- ores +- ▁bewegen +- besch +- ▁Titel +- 了她 +- きょうの +- 这两个 +- 危険 +- labor +- ▁funds +- 十三 +- 갈 +- ▁jaw +- ▁senator +- ▁doorway +- ationen +- ્ +- зар +- litz +- dó +- ▁определ +- ▁あれ +- ▁accent +- yana +- ▁wrath +- Li +- ▁moses +- arna +- ▁Hay +- ええ +- ▁interfere +- ▁Text +- ▁можна +- 臭 +- なんですけれども +- embra +- zó +- лич +- 描 +- 发表 +- ぁ +- itor +- ▁cheese +- ▁stato +- 돈 +- ▁Mitarbeiter +- ▁label +- কার +- ▁spun +- ▁propos +- ▁speaks +- 在家 +- 赞 +- ór +- ▁finds +- 市で +- 眠 +- ነ +- flor +- ニア +- ▁мяне +- ▁اگر +- ▁operator +- tention +- ▁definition +- 見事 +- вра +- ▁büyük +- tribut +- порт +- 非常非常 +- вяз +- rov +- ▁walter +- oti +- ▁marched +- ▁restored +- ells +- ▁trug +- 好啊 +- onda +- ▁riches +- ▁Hoffnung +- 太太 +- ுடன் +- lob +- ▁belongs +- ▁hans +- 非常重要 +- ▁présent +- 分子 +- 某个 +- 讨厌 +- ▁attracted +- しまう +- ▁encounter +- nnes +- zzle +- レイ +- ▁attain +- ▁вами +- ▁mutter +- 开车 +- 바 +- ▁funeral +- щу +- اره +- ▁shiver +- 创新 +- ▁стал +- treiben +- 保险 +- ▁lightning +- ▁complaint +- ▁african +- 重大 +- 你跟 +- ▁같은 +- چى +- 对他们 +- ▁quel +- ▁sama +- ▁обо +- 遊 +- aves +- ▁manufacturing +- 汗 +- 教会 +- 做一个 +- ▁wid +- мент +- ▁november +- ▁месяц +- ▁elbow +- ▁tank +- ほぼ +- лем +- ति +- NHK +- кин +- ▁Bilder +- ▁zeker +- стве +- 一个非常 +- ▁curt +- ტ +- ▁asset +- 破坏 +- anye +- ▁differences +- ▁нашей +- clin +- ウクライナの +- 行われた +- ▁Shi +- dors +- ▁democratic +- ▁Obwohl +- صف +- هر +- ▁feeble +- leş +- 这种情况 +- ssin +- を受けた +- kai +- ▁robust +- ▁besondere +- ▁elected +- ▁Modell +- ▁seconds +- lauf +- ダイ +- ګ +- セット +- 時は +- Applaus +- 白人 +- ▁свобод +- 病毒 +- 损 +- ජ +- ▁Mat +- ▁executive +- ▁onto +- lag +- ▁важно +- ან +- ▁concerns +- ء +- ebbe +- ▁Tru +- ▁seed +- 推荐 +- ▁Staat +- 祭 +- ▁cleared +- მო +- eixen +- 让它 +- သ +- wiesen +- Ro +- train +- ▁acknowledge +- 取れ +- 風が +- 依然 +- ▁indifferent +- 人数 +- ▁generate +- ▁frost +- itaj +- ▁reminded +- ▁romance +- 隠 +- ▁ireland +- ▁Ха +- 最多 +- ▁layer +- 柳 +- 就有 +- ▁caution +- ▁bezeichnet +- ▁denied +- سە +- ▁profile +- 的位置 +- tato +- ▁politische +- ▁Dra +- 高度 +- ちゃった +- ▁Bay +- 成立 +- ▁stephen +- laş +- 変わり +- neb +- ält +- oza +- coloured +- рок +- ▁independence +- ▁traveller +- 接着 +- utu +- 许多人 +- ▁leather +- 这项 +- 进步 +- ▁exists +- kia +- 进一步 +- ړ +- ▁Char +- ▁English +- cional +- maakt +- ▁zá +- ▁wereld +- ▁дэ +- 他们都 +- ▁Sicht +- 出来了 +- وك +- ▁christians +- 種類 +- gone +- ▁говорят +- ▁danach +- ▁positions +- 问你 +- यो +- ▁daylight +- wall +- えない +- 不住 +- ▁echt +- 脳 +- 搜 +- ▁consists +- děl +- 人在 +- ▁Adam +- umva +- ▁formula +- anzi +- ▁тысячи +- ▁casual +- ины +- ▁eighth +- plica +- guer +- 世界的 +- ▁استفاده +- ▁German +- ▁بیشتر +- ▁Ŝi +- ează +- 反対 +- ▁determination +- 时刻 +- iller +- 히 +- 不愿意 +- ▁republic +- respon +- alen +- liste +- ▁outer +- ▁echte +- 对待 +- 私たち +- ▁которых +- って言って +- 你先 +- ่ +- ▁aveva +- nym +- acions +- ▁然后他 +- ▁democracy +- 填 +- ▁гэты +- ▁Bruder +- ▁characteristic +- ▁Kris +- ▁neuro +- politic +- ▁visitors +- ໂ +- ▁gale +- tır +- ▁protestant +- ▁befinden +- ▁одиннадцать +- ▁Schi +- いまして +- öhn +- 연 +- そういうこと +- arbeiten +- лас +- ▁porter +- 做到 +- cun +- нер +- nette +- atan +- ▁zweitausend +- ల +- ట +- öö +- ▁relevant +- 鼓励 +- 很棒 +- fford +- ▁dios +- ▁Tak +- 个小时 +- 我发现 +- ▁Ul +- rating +- ▁creek +- ▁aggressive +- ▁трэба +- それでも +- 手里 +- へと +- بح +- нік +- 一个问题 +- 公主 +- 见面 +- ▁saa +- 始め +- 崩 +- ivo +- Mi +- ▁extensive +- ▁спасибо +- ▁properties +- ▁Asia +- ▁Gran +- 序 +- 애 +- posing +- 发生的事情 +- 想起 +- 十七 +- ▁Anwendung +- лө +- ▁Member +- トー +- 孔 +- ▁наши +- ▁span +- ▁swung +- ▁perception +- हा +- ▁ox +- 劝 +- ▁laying +- ▁carpet +- wch +- vē +- はもう +- 赚 +- ▁Demo +- mala +- daten +- მე +- quar +- ▁تمام +- anima +- ▁radical +- ▁власти +- anı +- ▁Ils +- 証 +- '00' +- hub +- ало +- の姿 +- るのが +- раў +- 読 +- '%' +- ваў +- 监狱 +- すいません +- ▁execute +- bred +- ▁profess +- ▁Fenster +- 不上 +- exc +- ▁torment +- 互相 +- ▁unge +- 着我 +- ரிய +- の一 +- ▁sci +- 設置 +- versa +- ▁größten +- vê +- ▁graceful +- popul +- 夺 +- ಸ +- 採 +- とにかく +- name +- ▁Partner +- あるいは +- ▁nuestra +- ▁impressed +- ức +- 对不对 +- IT +- 方便 +- pek +- 一周 +- ਾ +- ම් +- ▁California +- ▁assembly +- ▁bran +- жда +- 可以在 +- ▁lei +- 在她 +- 有趣的 +- ▁divide +- 直播 +- nemen +- の話 +- 求め +- 彼の +- ▁trends +- ▁veröffentlicht +- илось +- 助け +- க்கப்பட்ட +- ▁دې +- ▁rapport +- ▁tones +- nego +- 怎么说 +- ົ +- 也很 +- grat +- träge +- ▁großartige +- ▁cape +- ▁successfully +- سى +- علم +- 撮 +- jah +- 安妮 +- ▁whit +- inin +- ▁Funk +- 他自己 +- ▁funding +- jär +- 女朋友 +- ホテル +- ▁poly +- ▁awkward +- iyorum +- wich +- lish +- ▁Jung +- cata +- جم +- ▁Then +- bby +- embe +- ▁Kein +- 防止 +- 访问 +- ▁blanket +- 鉄 +- ▁andrew +- ▁grounds +- ▁چا +- ▁Israel +- ▁pap +- 出てくる +- ▁convention +- றி +- えっ +- ▁Wieder +- 充满 +- ▁Australia +- fik +- аем +- ▁schlechte +- ▁Tier +- ▁febrer +- 屈 +- 肖 +- 課題 +- idas +- ▁milli +- ▁parish +- borough +- 進め +- ▁Zeug +- عب +- En +- ▁exceedingly +- 柔 +- 砂 +- 郑 +- ▁таксама +- leb +- 最低 +- 当て +- ▁japan +- 你把 +- ächtig +- sort +- ▁shudder +- ▁profitable +- 如果他们 +- ▁放一下 +- クロ +- ände +- 他们说 +- ▁Durant +- 很高兴 +- pare +- artig +- schlossen +- ▁ora +- ▁அந்த +- cà +- 掉了 +- fè +- ▁canal +- ▁administra +- ▁bears +- 出现在 +- ▁shriek +- ▁знал +- ebilir +- ▁schrieb +- contra +- ▁roar +- 間に +- 液 +- 相互 +- ▁package +- でお +- ▁Maar +- 식 +- けども +- ▁romantic +- ▁tales +- ▁gelernt +- ▁invent +- 大体 +- ▁anyhow +- を作る +- stoß +- ▁podcast +- ▁Пра +- ლი +- 奔 +- lp +- män +- кар +- mesi +- 的观点 +- gani +- Mail +- ▁mwa +- サッカー +- ▁alien +- tiu +- 是真的 +- 計画 +- りの +- 診 +- 医疗 +- 明确 +- ▁parece +- десят +- иш +- 哇 +- ▁meta +- CO +- lec +- ▁但是我们 +- argent +- 炸 +- 我先 +- ▁studying +- shaped +- 的样子 +- ▁anymore +- ▁attendant +- 可怕 +- ▁erfahren +- nade +- ▁zona +- ▁Dame +- ▁containing +- ▁Patienten +- ▁болон +- 統 +- ר +- ▁ჰო +- ▁соглас +- মে +- 目に +- ▁gyda +- ▁endeavour +- 那时 +- 発射 +- бур +- ▁cael +- จะ +- 言われて +- ▁meg +- 観光 +- ▁envelope +- ▁говорю +- ▁snap +- ▁truck +- 电子 +- ຊ +- ▁endeavor +- ▁stole +- ▁beheld +- 焼 +- 这也是 +- energie +- ▁acid +- ▁communicate +- ▁Хо +- 估计 +- 怎么会 +- зем +- මා +- ▁Australien +- fish +- 嫁 +- igheid +- odi +- 区别 +- нев +- liko +- tale +- ▁Camp +- 文学 +- krit +- hielt +- ▁tube +- ▁карт +- igne +- ді +- 我再 +- 的身体 +- obo +- 告诉我们 +- ▁dhateng +- ▁invention +- ări +- ▁அவர +- ▁Herrn +- าย +- ▁cunning +- folk +- をしている +- ▁Fra +- ▁ignor +- ▁Denken +- 付き +- ▁слуша +- 実験 +- patri +- ▁Ganz +- ▁kurze +- ▁saving +- 東北 +- 韦 +- るのか +- ▁baz +- ▁Freude +- ▁километр +- 責任 +- ▁restless +- ском +- ▁Ty +- ▁факт +- ▁whip +- 收集 +- となります +- スタン +- ▁folly +- ▁wool +- ▁uses +- મ +- ▁Unsere +- 全員 +- стат +- ▁regards +- ▁Flu +- El +- ▁recommend +- るような +- tering +- ству +- ీ +- cope +- 每天都 +- harmoni +- ▁کرده +- ▁appointment +- 下雨 +- 广泛 +- ehr +- für +- 向き +- cell +- юр +- വ +- 设置 +- 这只是 +- ▁erzählt +- publik +- ▁nämlich +- 经理 +- ▁senate +- ▁perpetual +- 的研究 +- 昼 +- ற்று +- ▁Grand +- 和我们 +- ものです +- まって +- hra +- ▁laura +- 可能性がある +- ▁Cho +- ▁mama +- ▁Cam +- chair +- ▁chart +- ▁опять +- ▁injury +- scheid +- ambo +- ▁gospel +- projekt +- cı +- ▁elephant +- ▁наверное +- nisse +- ▁dislike +- ▁stomach +- ▁amendment +- 応援 +- ▁barrier +- ▁upset +- 独特 +- 白色 +- ▁dedi +- 無理 +- ▁extract +- 時間が +- 小说 +- ▁pains +- 就是你 +- 観測 +- ▁所以说 +- 粘 +- 選手は +- yin +- ▁этому +- ▁lass +- 湯 +- 指挥 +- ▁illumin +- rush +- 進んで +- দের +- élé +- ▁helps +- fia +- ▁Bildung +- ▁Jeder +- 亏 +- 億円 +- ご覧ください +- gress +- ▁romans +- ▁Haben +- トラ +- 国家的 +- mato +- hut +- 支え +- ▁tudi +- ▁disappear +- ына +- ▁Gesundheits +- ▁ነው +- ▁Beziehung +- cam +- ▁Drei +- 扣 +- ▁celebrated +- ▁coisa +- ▁convey +- ▁aussehen +- weis +- ▁Hon +- 止め +- 碗 +- ▁acquisitions +- 关闭 +- ▁Ба +- 超级 +- ▁tables +- ໃ +- ▁ndetse +- 一面 +- ▁واقع +- ีย +- ibility +- 載 +- ilor +- 信じ +- وف +- раг +- grade +- 上の +- ▁Viņš +- ӧ +- 手段 +- бил +- ▁damp +- ▁Alex +- ▁taxes +- ▁chez +- ▁50 +- ▁zumindest +- がいい +- 盤 +- brau +- 歴史 +- kopf +- ▁wordt +- ▁ເອີ +- 두 +- 차 +- เป็น +- 茨 +- ▁cable +- ▁grows +- ▁constitute +- ▁یې +- ▁interessante +- てしまう +- 備 +- ▁despre +- ▁promo +- 回目 +- 那个时候 +- ▁imbere +- 探索 +- phon +- 途中 +- ▁machines +- ▁Handel +- ▁salvation +- ▁parted +- ▁punto +- алі +- ▁moja +- 壮 +- halb +- ▁corporate +- 者的 +- ▁flank +- 勇 +- ▁relieved +- ますよ +- ена +- drückt +- Н +- ▁churches +- めちゃくちゃ +- 自民党 +- 进了 +- 仁 +- ▁swim +- ▁loĝ +- ▁الآن +- hnen +- 也不能 +- ▁eben +- とっても +- ټ +- ▁getroffen +- ▁stake +- kou +- ▁Fisch +- schap +- 太好了 +- zwi +- ▁vive +- 如果他 +- 最重要的 +- γ +- ますが +- 軍事 +- ▁woe +- ウェ +- 息子 +- ▁Steuer +- 肯定是 +- ▁tay +- ▁boss +- граф +- rons +- lasse +- 灭 +- க்கும் +- lini +- 体験 +- ▁delivery +- ▁temptation +- 忘记 +- ウル +- 奴 +- ▁thành +- ▁په +- ▁writers +- ▁assistant +- ▁Tam +- кө +- 我爸 +- ▁boom +- чный +- だね +- اپ +- weil +- uwa +- ▁facilities +- ▁monkey +- 私たちは +- صور +- ▁тому +- સ +- 真相 +- 这就 +- 削 +- ▁Sim +- ▁squire +- ▁britain +- 败 +- ۰ +- しかった +- ちなみに +- ستان +- ▁trifle +- dist +- ▁options +- empat +- 敲 +- ▁Monat +- 会说 +- стой +- しようと +- ▁langen +- ப்பி +- ▁Az +- 焦 +- ますので +- ছ +- sters +- 糟糕 +- erei +- ▁subtle +- 胎 +- に行く +- ▁яна +- ▁времени +- スタジオ +- ▁сообщ +- 普遍 +- yim +- pē +- ▁sitzen +- プーチン大統領 +- 你没有 +- — +- ▁Monate +- ▁dive +- ▁Fre +- 各地 +- ▁bias +- ml +- ▁bị +- ▁gardens +- ▁ceremony +- ▁roots +- غل +- geschichte +- ▁Ĉi +- ▁minu +- ▁имеет +- 来年 +- iaeth +- 小さな +- 饿 +- ▁можа +- ▁Hall +- 帽子 +- کش +- ▁pense +- ▁Tisch +- эконом +- ufu +- の世界 +- ▁Leistung +- ▁steer +- сю +- hul +- ーク +- ですので +- 爷爷 +- вон +- ▁wax +- 违 +- дь +- 一个月 +- ▁isabel +- 向你 +- ె +- lari +- ▁peril +- メッセージ +- すぎ +- 것 +- ▁общем +- ▁Ken +- ▁natives +- 邪 +- ▁Anda +- nice +- 结合 +- 把她 +- chang +- кро +- ▁Kunden +- 首都 +- 地点 +- ▁launched +- ▁cran +- вен +- фер +- 開始 +- ப்பா +- ▁Dum +- 的意思 +- ▁dragon +- ▁silently +- なければ +- 荣 +- ▁Junge +- ▁searching +- 这将 +- ▁erklären +- ▁scratch +- ▁ehrlich +- emba +- ▁Liste +- 応 +- 까지 +- ▁fitted +- とする +- GAAP +- ▁limits +- რი +- を使った +- 배 +- ovi +- eight +- раш +- ▁marine +- ▁Tar +- ▁Many +- 壊 +- 년 +- ▁troubles +- ▁nuclear +- ▁lodging +- خص +- ▁termina +- 多分 +- Weiß +- 有所 +- acak +- wise +- prof +- num +- 英语 +- abana +- 胜利 +- cada +- autobús +- ▁residence +- ولا +- ▁zeg +- ▁Jim +- 抵 +- ▁Bö +- ▁Hauptstadt +- 京都 +- iling +- 我把 +- ▁appetite +- ▁oameni +- ▁cardinal +- häng +- 地元 +- ▁doubtful +- reiz +- リスク +- 来て +- 慌 +- ғ +- しょう +- ▁bother +- 算是 +- ▁reverse +- ▁dearest +- ของ +- ▁занима +- ▁giả +- 不像 +- ▁newspapers +- ▁boil +- のうち +- μ +- ▁мужчин +- 一声 +- ār +- ▁fury +- かわいい +- ầ +- api +- ố +- ở +- ▁Aufmerksamkeit +- shore +- 堆 +- ▁центр +- 議論 +- ได้ +- ですし +- 如今 +- ▁passions +- ▁limbs +- ▁producer +- verein +- ▁مج +- ▁glen +- ▁natur +- rade +- ▁verrückt +- 版本 +- 回転 +- lica +- ▁hinder +- ▁hastened +- ▁anticipate +- 大事な +- の問題 +- ▁zwölf +- 先に +- ▁그니까 +- ▁erstaunlich +- ▁assault +- 发生在 +- ▁vede +- ▁bust +- ▁binnen +- ▁lloc +- は今 +- tré +- といった +- court +- ▁exquisite +- wunde +- ның +- ▁Lee +- ▁bundle +- duct +- 高速 +- ▁nas +- mac +- ▁достаточно +- 体育 +- チャー +- さあ +- ▁desires +- ▁Geschäfts +- gana +- 辛苦 +- 略 +- 交谈 +- 的那种 +- bí +- レベル +- ▁brass +- 说得 +- 무 +- dala +- 歯 +- ▁shalt +- kuba +- スタ +- ▁взгляд +- 对象 +- ▁clinical +- 目を +- 殖 +- industrie +- 戈 +- 的主要 +- ▁Sel +- ԥ +- enne +- ▁ralph +- ▁resting +- ась +- aran +- body +- ▁esteem +- ▁hail +- ඩ +- ▁вместе +- 仔细 +- ▁rip +- ▁Aquesta +- ▁Welche +- Bo +- されていた +- ▁multe +- 锅 +- 否 +- ▁наша +- ▁export +- ▁vigorous +- ▁Phil +- мын +- ▁scandal +- 炮 +- カレー +- ▁Gla +- ▁بازی +- تان +- ▁prevented +- ▁tranquil +- ▁tobacco +- ▁thence +- 집 +- ▁tire +- ▁schwarze +- リング +- ▁embrace +- ▁schu +- ほら +- ▁rural +- ҙы +- ▁skirt +- ▁каждый +- るという +- ▁Bitte +- 仍 +- ຄ +- ▁wrap +- vara +- ەوە +- 者は +- воз +- нал +- ▁offers +- έ +- 恐怖 +- 安心 +- ▁geweest +- ▁dumb +- ▁municipal +- фон +- 上げて +- tē +- 小组 +- ▁Carl +- ▁golf +- ▁Position +- ▁después +- 绑 +- '2019' +- ▁scientists +- ▁但是你 +- 경 +- ▁دیگر +- ▁excess +- লো +- erweise +- pence +- ▁prey +- 把它们 +- قة +- そこで +- ▁fünfzig +- пле +- 微笑 +- ▁cabinet +- ▁accused +- muzi +- 確保 +- ▁решил +- ▁Büro +- 的最 +- كر +- ▁formation +- ▁princes +- ですけれども +- still +- әр +- ▁баш +- ▁entertainment +- ິ +- 奉 +- '800' +- ▁собственно +- 放下 +- ということを +- bird +- システム +- ток +- ▁Tochter +- 被告 +- ▁uncertain +- ▁нельзя +- ▁شخص +- ほん +- arma +- ▁insight +- ▁ruler +- ▁altijd +- ▁habla +- ären +- ▁Here +- zunehmen +- ▁passionate +- ▁nunca +- ▁typically +- 童 +- 와 +- ▁supplies +- räum +- 温暖 +- anche +- ▁lustig +- stop +- ▁ascend +- かし +- ▁Stunde +- ▁начина +- وار +- றை +- ර් +- ▁marquis +- ▁Quin +- 伙伴 +- ▁إذا +- ▁Pop +- 惠 +- кую +- のない +- anne +- していきます +- 友達 +- ▁retire +- 来源 +- almente +- frau +- ▁ўжо +- mates +- няя +- нич +- ▁seda +- 消失 +- ısı +- ▁wrapped +- வில் +- ▁política +- 行われ +- 見えて +- ▁mau +- lager +- ▁při +- 上来 +- lett +- ލ +- dang +- ▁bez +- енный +- 哲学 +- ены +- جز +- ▁barrel +- 相反 +- ▁neighbourhood +- パス +- zeichne +- esten +- メダル +- ▁Kosten +- ▁relativ +- коп +- ▁älter +- 编辑 +- الي +- gründe +- голов +- 体を +- ஷ +- 有机会 +- ▁nobles +- 这件事情 +- が発生 +- ということなんです +- 告诉他 +- 往往 +- ▁دارم +- ũ +- yah +- 五个 +- న +- ▁argue +- ශ +- ピン +- imos +- ▁trusted +- ▁прямо +- рог +- ▁depuis +- idades +- Ч +- ▁যে +- ではありません +- ていて +- 億 +- ▁unpleasant +- smith +- わない +- ▁latest +- рг +- んじゃないかな +- nische +- ▁pulling +- を持つ +- puesto +- 乘 +- 酒店 +- ▁такого +- ▁Gelegenheit +- rats +- ▁svoj +- ▁viva +- 这就是为什么 +- 杂 +- ▁مورد +- পর +- ▁pushing +- ▁depths +- しよう +- ヨ +- Ne +- gles +- ▁guards +- 均 +- ▁hadden +- ▁maison +- ▁sketch +- вых +- 宝宝 +- 弁 +- ▁surgeon +- ▁aŭ +- ▁siempre +- sea +- 除非 +- ▁далее +- quí +- 感觉到 +- capacit +- ▁advantages +- ▁chant +- umwa +- bä +- 森林 +- ▁foul +- مار +- 矿 +- 跨 +- ▁staying +- 热情 +- мысл +- ▁paw +- ▁Straßen +- ▁forecast +- ▁собира +- اری +- 互 +- obli +- енные +- ப்பட +- ▁fum +- ▁cá +- ▁distinctly +- ада +- wari +- 飲 +- 一部分 +- 市内 +- 怎么能 +- gge +- ▁عنوان +- 出演 +- ▁sterben +- ▁reproduc +- ▁register +- ▁Mitte +- tiga +- bron +- ▁Software +- ▁knights +- たちの +- ▁место +- ▁menschliche +- ising +- ▁repent +- ▁mechanism +- taka +- ▁haut +- 需求 +- ▁stopping +- ợ +- ▁breathe +- 濃 +- 不容易 +- stick +- sagen +- ▁guarantee +- 这些东西 +- 詰め +- 缝 +- ▁sabi +- 所在 +- ランナー +- ▁представи +- ▁является +- 特别是 +- شي +- Đ +- ▁després +- 辺り +- 也要 +- ▁образом +- 听着 +- ▁earnestly +- ▁Tim +- воль +- 就没有 +- ост +- ▁oleh +- 何が +- ▁donne +- فة +- trägt +- ▁brains +- 幸运 +- ▁deadly +- станов +- valu +- ürü +- いえ +- ▁skull +- gebiet +- Mar +- 敵 +- 攻め +- ▁spielt +- source +- baren +- ▁Bevölkerung +- 都能 +- ▁stirred +- ▁commonly +- ▁pang +- ▁Before +- 角度 +- ▁tener +- ▁winning +- ▁öffentliche +- 截 +- نة +- ▁parce +- dler +- させた +- уль +- ▁Größe +- ▁nei +- ▁conservative +- ▁туда +- というもの +- 用の +- ▁boxes +- ▁reception +- ▁Şi +- ▁timber +- ▁Druck +- 発生 +- мир +- 適 +- 弃 +- ▁Sud +- 解決 +- க்கி +- ▁baga +- からも +- وح +- ▁comprend +- 在你的 +- 工人 +- 划 +- ложен +- 原则 +- 史上 +- klä +- ե +- markt +- 荡 +- kari +- walt +- オン +- ▁neues +- ▁Ergebnisse +- ▁courts +- нг +- 버 +- shot +- ең +- ▁blew +- haltung +- ▁Herzen +- грамм +- ▁participate +- ▁competi +- ちょ +- 알 +- ▁gerek +- ▁президент +- ▁esti +- ண்ண +- 공 +- 교 +- ▁fatigue +- ▁fatto +- ▁aquella +- altra +- ▁blossom +- 恵 +- 鮮 +- 瑟 +- ▁jewel +- ▁Rock +- 帝 +- ось +- ▁remainder +- ▁راه +- 特別 +- ▁technique +- ▁pillow +- opa +- 많 +- ▁category +- ▁таким +- ませ +- ▁monday +- それぞれ +- pio +- läuft +- ▁zunächst +- ▁Second +- volg +- motiv +- ▁nerves +- ▁programme +- omu +- tious +- ▁Bell +- ▁augen +- дон +- 一把 +- инский +- ▁ஆஹ் +- ▁omdat +- ▁dutch +- سته +- ▁profitability +- affe +- ▁standards +- 付近 +- 俄罗斯 +- kreis +- ▁gelang +- овых +- кор +- ▁procession +- ơ +- 将其 +- 他有 +- 爱的 +- 很有趣 +- ▁Omu +- кія +- ▁summit +- ▁fünfzehn +- چه +- 生活在 +- コー +- 情况下 +- ▁gesamten +- 海岸 +- 非常好 +- 家长 +- écri +- ▁murderer +- ▁Он +- ▁مست +- ▁accelerate +- itas +- cía +- ▁diejenigen +- ▁contracts +- ▁commun +- 高中 +- hte +- ▁delivering +- たっぷり +- kala +- ▁popula +- 公园 +- ▁domain +- ▁journalist +- ▁repar +- crit +- ための +- ▁Auswirkungen +- ▁былі +- ▁Papier +- 所以他们 +- lē +- பார் +- 外交 +- ▁Bundes +- 我们家 +- そんなに +- ▁stolen +- 低い +- 附 +- zaba +- иа +- ▁egyptian +- ା +- 달 +- 脏 +- ▁uwo +- lă +- 会不会 +- ▁Web +- ▁olduğu +- дор +- regul +- 時点で +- 必ず +- ță +- wissenschaftlich +- ▁scripture +- mper +- を示 +- ▁alterna +- kke +- حر +- shuri +- ▁format +- amerikanische +- ння +- ▁serving +- ▁doll +- ▁resemble +- ▁slain +- 走进 +- 美丽的 +- 展開 +- ▁wilderness +- ▁creo +- kind +- ▁Stein +- ▁mussten +- gramm +- ▁абсолютно +- ని +- film +- 不好意思 +- ▁sailor +- 我看到 +- 笑声 +- 嘅 +- 火车 +- 便宜 +- gid +- うまい +- 也就是说 +- 中継 +- ▁cats +- ango +- wehr +- чил +- ▁flashed +- 小孩 +- 으면 +- ▁occupy +- 不对 +- ▁victims +- rink +- ▁shan +- ▁dife +- ▁должно +- あんまり +- чай +- ▁وقتی +- 谈话 +- 珍 +- 庁 +- コース +- rechte +- ▁компани +- 后的 +- ▁fem +- ▁utili +- struktur +- 付出 +- mount +- ▁humour +- ții +- ▁respectable +- を迎え +- бри +- ▁бог +- myaka +- mast +- ▁accomplish +- оро +- 什么意思 +- ▁allowing +- ▁streams +- 扫 +- mming +- ▁Pferd +- ▁aya +- ގެ +- ▁Canada +- chief +- ▁erhielt +- ▁scared +- ▁burnt +- ▁gloomy +- ▁выбор +- lha +- ▁さて +- нулся +- ▁Link +- ımı +- ベル +- ிருந்த +- 仪 +- 睡眠 +- ▁God +- ▁Vorteil +- ▁Stellen +- ístic +- を作り +- ▁Reich +- 重点 +- 氷 +- つい +- лийн +- 早速 +- ▁số +- ▁стол +- ▁Haar +- ゾ +- 説 +- ▁equity +- ▁grove +- ▁زندگی +- お客さん +- 选举 +- 妮 +- फ +- ывать +- 開かれ +- kamer +- хай +- ▁adjusted +- парт +- ▁insanlar +- 垃圾 +- ան +- だが +- 您可以 +- mena +- ▁suitable +- ދ +- fähig +- bikorwa +- 上升 +- ▁needle +- ▁hawk +- มี +- ベスト +- ▁prend +- ▁clima +- poko +- 地元の +- ▁jos +- قابل +- ▁prudent +- 什么是 +- ▁agony +- ▁inevitable +- losen +- ▁таких +- ▁wages +- ▁otros +- date +- 双方 +- 诊 +- ▁cluster +- 桂 +- 杉 +- インド +- ▁meaningful +- iet +- ▁fruits +- 継 +- ▁status +- 的男人 +- ▁trage +- ▁polly +- zehn +- でしたが +- ▁самое +- amour +- 和她 +- ufer +- ▁transparent +- rier +- tero +- スク +- を入れ +- ▁offence +- ▁இருந்த +- ライブ +- ▁washed +- ▁obscure +- esso +- 規模 +- ▁resident +- ▁resolve +- ▁betrachtet +- ▁foarte +- 幻 +- 正好 +- ▁damn +- zugehen +- 那儿 +- ஓ +- წ +- tian +- 層 +- ▁assembled +- 中国人 +- ▁chairs +- 夸 +- ▁сур +- 解除 +- ▁Dit +- 終わり +- To +- ▁menyang +- tanz +- ▁officials +- ▁libro +- ▁Glauben +- ibu +- ▁prim +- гы +- ▁Most +- 构建 +- ▁entweder +- ▁bauen +- 是关于 +- 動物 +- ▁Mund +- ambu +- かけて +- rop +- ▁generations +- ▁Joan +- ▁dash +- ▁masses +- ▁mögen +- بات +- oud +- 込んだ +- ▁brows +- 演奏 +- 一気に +- 防衛 +- cula +- ▁Interesse +- еры +- 方針 +- 和他的 +- mog +- ຈ +- 輝 +- ▁disguise +- ▁varia +- ▁leaped +- नि +- ▁leer +- шь +- zieren +- ļa +- ına +- rique +- 彼女は +- ளை +- 雑 +- amendement +- 这本书 +- ▁confined +- 不久 +- 将在 +- ▁nephew +- imit +- бан +- 缘 +- gado +- 我们今天 +- ereza +- 墓 +- ▁domina +- 买了 +- 体制 +- 稳 +- صر +- 一万 +- 競 +- 浴 +- 的结果 +- 時から +- पा +- ▁hopefully +- ▁còn +- 什么都 +- ▁poe +- ▁fastened +- ▁brands +- ▁ấy +- 烂 +- ▁florence +- ▁legislation +- gari +- ▁высо +- barra +- ▁Plu +- aciones +- dna +- 一首 +- 賀 +- ▁december +- ▁valid +- cine +- ▁erinnert +- pole +- familie +- 琳 +- strat +- ▁humans +- gā +- ▁kinder +- ▁scri +- ampl +- ▁blast +- 琴 +- 曹 +- ▁dispar +- 绿色 +- 挣 +- ▁продолжа +- кру +- ▁steamer +- ▁arguments +- ▁toda +- を超える +- ▁kullan +- tli +- ▁Zustand +- ▁suspicious +- 脉 +- ▁obstacle +- 競技 +- 椅子 +- ▁Maß +- ▁temporary +- 的任何 +- ▁persuaded +- 如果你想 +- 逐 +- ▁cambia +- ウン +- ό +- ▁abbiamo +- ▁vary +- ▁понятно +- ぐらいの +- ものの +- 辈 +- ▁commenced +- ▁Schrei +- ligt +- 主题 +- 都知道 +- schule +- ▁separa +- web +- ▁Kaj +- 飞行 +- thon +- ▁nnyo +- ump +- ▁Service +- ▁irgendeine +- eus +- 件事 +- 这么大 +- 的老 +- ▁protected +- ▁effectively +- 分かります +- dür +- 主要是 +- кус +- ▁enorme +- ष +- エネルギー +- ▁sunset +- нэ +- wah +- ▁призна +- кино +- ▁deinen +- ▁costume +- くない +- کو +- ▁homo +- ▁کردن +- tò +- ума +- もありました +- いきましょう +- ▁seats +- ▁Dort +- ▁mars +- ▁supporting +- ▁replaced +- ▁hammer +- ▁Two +- ▁interven +- sley +- ▁машин +- 把这 +- ▁genauso +- مۇ +- нская +- ▁furnish +- ▁units +- 的爱 +- ▁strangely +- 먹 +- steuer +- 受伤 +- 関係者 +- 是这样的 +- 失去了 +- ▁اینجا +- 分け +- ທ +- ▁globe +- 市場 +- 播客 +- иг +- 资本 +- ▁contents +- hanga +- zicht +- ▁großes +- 还会 +- ▁jove +- кер +- ▁saints +- 丰富 +- ▁Vol +- ▁fazer +- ▁mou +- دون +- ▁Ntabwo +- ▁Pass +- ▁fires +- ▁devices +- ▁tienen +- нымі +- ▁mademoiselle +- ガス +- taba +- ▁achter +- 鬼子 +- 还真 +- 買い +- ▁rays +- ▁Cent +- ▁buryo +- ▁cual +- ▁amigo +- ▁murdered +- んでいる +- ▁vulgar +- elte +- ▁seas +- ▁либо +- пуска +- ▁aceste +- 申请 +- そば +- ▁Brit +- ▁bitten +- 的历史 +- ▁Natürlich +- ▁Texas +- 炭 +- ▁Schwester +- ▁блок +- ▁neighbors +- ாள் +- 一時 +- ▁двух +- rita +- ▁effet +- ▁часть +- מ +- ▁speziell +- ▁групп +- われ +- 亲自 +- جی +- ashobora +- ▁armies +- tuk +- ▁succession +- 上昇 +- ▁Minister +- 一些人 +- ৃ +- 究 +- ▁wing +- いう +- 的呀 +- anthrop +- の一部 +- ▁fountain +- 兼 +- ▁minut +- りとか +- 初の +- 把他们 +- ว่า +- ▁Design +- ▁familia +- 神秘 +- lui +- ▁testimony +- 教えて +- ▁abruptly +- ▁Une +- ▁decidi +- riet +- 类型的 +- ▁meetings +- 받 +- 월 +- рай +- space +- iadau +- ▁pall +- ▁antwoordde +- 職員 +- مز +- каў +- think +- ▁insbesondere +- ▁solitary +- ヨーロッパ +- ▁responded +- 中国的 +- ▁puzzled +- 逆に +- ▁Mul +- 赢得 +- గ +- сөн +- 不是我 +- ▁sauce +- ついて +- ▁diferente +- life +- 民主党 +- ▁pronounced +- までに +- 公民 +- ▁hohe +- ▁diverse +- ▁namely +- ▁weigh +- pian +- 这张 +- ▁thereby +- வீ +- ▁tragedy +- が出て +- ▁但是他 +- 谷歌 +- іцца +- ök +- nika +- ▁chứ +- 剪 +- ▁offices +- 你们俩 +- ▁channels +- zette +- sozi +- ▁twi +- 公園 +- gize +- rata +- 養 +- ▁scott +- ▁grip +- ▁longing +- ▁texas +- ▁diamond +- 事業 +- 这场 +- ▁Kä +- bou +- 想过 +- ுள்ள +- 一遍 +- 尝 +- schutz +- ▁clara +- ▁уу +- вяр +- 善良 +- ▁memories +- üyor +- ▁producing +- ▁sadly +- ▁wink +- 生存 +- 现在的 +- 协议 +- ▁scent +- ىنى +- hine +- ▁veces +- ▁pří +- ▁Ng +- 购 +- ▁Werk +- ▁cog +- 行政 +- ワールドカップ +- ▁Schmerz +- ▁milit +- liği +- ▁neglect +- pier +- 黑色 +- ▁என் +- ▁functions +- ▁harvest +- 시간 +- ▁floating +- が今 +- ▁metro +- lingen +- яць +- ▁partially +- ▁indication +- ▁Rei +- スタッフ +- ▁Sub +- 予報 +- ▁guilt +- gesehen +- 的学生 +- ▁sergeant +- mari +- ады +- Wa +- 平等 +- 房间里 +- 않 +- ▁documents +- ▁cavalry +- ▁பல +- fashioned +- ▁sets +- бой +- ▁nehme +- த்தின் +- ▁پیش +- क् +- 广播 +- ае +- 动作 +- ▁integration +- 石头 +- ▁результат +- ▁amas +- ▁brig +- দে +- 饼 +- ▁fiction +- 題 +- ▁кстати +- ▁shu +- ▁பிர +- しまって +- flex +- eorang +- made +- рал +- shop +- 領 +- scheiden +- ĉa +- 旁 +- 舍 +- ї +- 不是说 +- truc +- schiff +- ▁Scott +- ія +- ▁roses +- ▁但是在 +- 胆 +- ▁Ра +- داری +- 我们想 +- Ab +- ▁trabajo +- に関する +- ▁defect +- ▁Gil +- ერ +- ▁wandered +- 会談 +- ckle +- 勝負 +- Au +- meli +- ▁bose +- 飲み +- šo +- 植 +- ▁애들 +- 所说 +- vian +- ▁لقد +- 作って +- ▁satisfy +- ffle +- ▁Arzt +- ▁wann +- ▁deeds +- ▁myth +- ▁Nummer +- ▁criticism +- ▁Kro +- 故意 +- 单位 +- ▁맞아 +- ستا +- ▁guardian +- ▁indignation +- Ver +- ▁recollection +- 会見 +- ▁whoever +- break +- 気温が +- সি +- ▁gleichzeitig +- 陛下 +- ▁delicious +- 开始了 +- 读者 +- beeld +- 起了 +- ▁illegal +- 地面 +- ▁yeni +- ▁enjoyment +- ▁outrage +- 并在 +- ▁flee +- 屏幕 +- больш +- ▁interact +- ▁momentum +- ▁hano +- ▁inspiration +- liches +- ලා +- iser +- ▁glasses +- 加上 +- 暑 +- орон +- 耐 +- ▁dramatic +- ▁равно +- hla +- gó +- 协 +- 障碍 +- 倉 +- ▁sunk +- ▁шестнадцать +- ▁tendency +- ▁Island +- するなど +- 预测 +- よい +- ▁unbedingt +- ▁bleibt +- ▁шмат +- ▁disp +- angira +- arca +- ▁crimes +- onne +- ▁loyal +- ▁apostle +- ▁betray +- оны +- ▁inward +- ilia +- 烦 +- 的日子 +- ▁사람 +- lg +- 見る +- rinner +- 沉默 +- ▁seize +- ஞ்ச +- iler +- ▁правильно +- なあ +- ▁بسیار +- 媳妇 +- ▁говоря +- 主意 +- 물 +- ▁ruhig +- ▁Turn +- 不出 +- сом +- ▁Nel +- 紫 +- unddreißig +- を務め +- unta +- ▁Autor +- ▁diana +- ▁alexander +- ▁telegraph +- ▁ساخت +- нен +- ▁amen +- 焦虑 +- ▁Artikel +- аар +- حة +- ▁seves +- ▁пост +- һә +- 天下 +- Un +- 明显 +- ▁لدي +- лаг +- ▁Rand +- ▁personality +- hart +- abandi +- っていました +- zek +- ▁arrangements +- بد +- ▁sermon +- が多く +- 的照片 +- ▁ruined +- ahu +- なと +- 智慧 +- ัง +- ▁теле +- tou +- ▁geheel +- ению +- ▁своих +- ▁virtues +- ▁widely +- ▁mingled +- ▁Kir +- 我们没有 +- ccio +- ▁Club +- 我们不 +- езд +- してた +- ▁rider +- teilung +- كو +- 一片 +- ▁женщин +- سان +- 重复 +- 生日 +- ▁approved +- 绕 +- 機能 +- ishi +- ograph +- 讲述 +- 危机 +- 広がって +- 获得了 +- رە +- 意见 +- 妇 +- ▁loaded +- cation +- いいですか +- ▁fran +- услов +- ▁pastor +- 统 +- 提供了 +- 再開 +- ▁puff +- ն +- 障害 +- ▁financi +- 给大家 +- kund +- ▁tune +- arro +- ▁없어 +- ▁levi +- lade +- 今も +- ▁yea +- ▁serpent +- ▁endless +- いいですね +- いき +- ▁Where +- ▁Beste +- riz +- 离开了 +- 径 +- ränk +- ному +- 伸び +- ▁Fähigkeit +- ▁Schlaf +- ▁duchess +- 你和 +- ▁لأن +- 就这么 +- ▁executed +- ▁heels +- ▁chicago +- 성 +- ▁vader +- zahlen +- ▁periods +- called +- just +- ▁тринадцать +- さい +- dron +- 改变了 +- रि +- ▁vera +- ▁sharing +- inta +- ▁Feld +- 負 +- ▁ihe +- кров +- dog +- ▁чт +- pool +- ▁dreamed +- ▁heilig +- ▁slender +- 在家里 +- ▁uncon +- മ +- ▁그리고 +- ▁Kandi +- Union +- 英里 +- ▁chances +- ryo +- 场景 +- 遥 +- 链接 +- 移民 +- 十四 +- ▁sac +- fact +- ▁selten +- ▁Arab +- 谈到 +- ▁feather +- ▁inch +- 尽可能 +- 都被 +- 日常 +- ▁attorney +- human +- ▁helpful +- 劳动 +- 经营 +- ▁mă +- ▁Cro +- ▁languages +- ▁Esperanto +- лев +- ▁sustainable +- タン +- 生産 +- 纵 +- うちの +- ▁promotion +- lateral +- stamm +- making +- 華 +- ▁risen +- geist +- ▁vehicle +- 大量的 +- сна +- ▁careless +- ваю +- 村さん +- 一刻 +- 育て +- ▁Ча +- 取り組み +- ▁passengers +- 雇 +- း +- ▁chimney +- ▁엄청 +- ▁abundant +- ใน +- 调整 +- 場で +- moc +- ▁sao +- ▁Generation +- 男女 +- ▁provin +- ▁funktionieren +- ▁limp +- ▁calmly +- gesellschaft +- ▁Ram +- ▁quello +- ▁tv +- ▁agents +- 、4 +- あら +- 和他们 +- ▁беларус +- ▁Bezirk +- どっち +- ▁villages +- ▁intervals +- ▁cooking +- ▁printed +- ▁revelation +- ▁Gene +- 也就 +- ǧ +- 今シーズン +- 女王 +- ▁mwen +- 我们对 +- стер +- 上で +- 链 +- ▁politique +- ▁sunlight +- ▁differently +- god +- 보고 +- 暑さ +- 对她 +- ▁dost +- 图像 +- ▁poden +- igno +- çu +- ▁holes +- かれ +- 多久 +- ▁consumers +- ▁sweat +- bac +- 喝酒 +- ▁کم +- ▁movies +- ▁одной +- τ +- テン +- arian +- ▁verdad +- قول +- 司机 +- 承担 +- ▁exceed +- низ +- 今日も +- 措施 +- ▁clan +- uso +- ▁Last +- 回应 +- ▁nowhere +- ência +- ▁islam +- ɣa +- gende +- بان +- 報 +- quir +- ▁Lehr +- Ц +- ▁nerve +- ▁january +- 批判 +- 很大的 +- 男朋友 +- 通信 +- کت +- 栏 +- いきました +- ▁путин +- 町の +- 混合 +- ▁absorbed +- wami +- もともと +- èn +- 有趣 +- ▁hinunter +- state +- ▁fathers +- ▁sweep +- 情報を +- ▁alcohol +- bonye +- ggy +- රි +- fitting +- isierung +- aq +- ▁exposure +- 紹介 +- iker +- indu +- ▁friday +- цыя +- brü +- ▁faculty +- ▁convict +- ▁tad +- 誰か +- نظر +- 新型コロナ +- 업 +- ို +- 遺体 +- ▁addressing +- 什么的 +- たって +- ▁veu +- ▁presents +- ▁depression +- ハイ +- ▁Suche +- 财产 +- ▁Ту +- 前半 +- ▁joan +- を引き +- стрел +- 田中 +- ▁user +- ▁constitu +- ▁Publikum +- ▁Tour +- ەکە +- 機関 +- ▁muốn +- овал +- ▁moonlight +- ▁welke +- まだまだ +- ▁которой +- ▁participa +- 彻底 +- ▁discussions +- ▁году +- idée +- 醉 +- 出して +- ▁Nachrichten +- fordert +- ▁proces +- 高さ +- ▁Esto +- 예 +- 切って +- ▁Inhalt +- ▁fortunately +- ево +- ndre +- ▁قو +- arı +- 你都 +- فه +- 披露 +- market +- ▁сами +- tano +- 了一下 +- 平衡 +- '150' +- gekommen +- 多大 +- ተ +- ▁lieber +- zas +- ▁demands +- 多少钱 +- べき +- 飛び +- шә +- ▁stare +- 他们有 +- abantu +- 하지 +- ▁hı +- 魂 +- ▁supplied +- 豚 +- шен +- ▁preparation +- bing +- ▁heavenly +- 規 +- ▁nhất +- selt +- ▁გა +- ▁gig +- ▁можем +- 銃 +- ضا +- ▁raus +- ▁Ergebnis +- ▁forests +- ▁erstellen +- ▁Fle +- ஸ +- ▁behaviour +- 年轻的 +- lder +- энд +- тел +- யான +- ▁Please +- ▁travelling +- 多么 +- volution +- 더라고 +- ▁größere +- を変え +- ▁procedure +- 遭 +- ▁Material +- ▁campus +- を行って +- 級 +- руу +- roch +- ▁Mä +- 現在の +- 你已经 +- чын +- ▁erwartet +- ▁requirements +- 就不会 +- 専門 +- médi +- 转向 +- Lachen +- 未来的 +- ▁commune +- ▁Fluss +- 孝 +- tega +- ▁Zimmer +- 我认为这 +- ▁Cra +- レース +- 状况 +- ▁جدا +- 一大 +- 不是你 +- зор +- ▁choses +- ▁Tie +- ▁representative +- ▁pent +- ▁knot +- 有点像 +- െ +- ▁slim +- ▁Sho +- っか +- чных +- 法案 +- ța +- ▁barbari +- ▁Sto +- ▁promptly +- камі +- изм +- oog +- ▁verme +- ▁adorn +- やめ +- ▁commence +- ▁Hör +- schritt +- emt +- ところに +- ▁vz +- ▁тип +- 债 +- леч +- がん +- ▁добра +- abend +- excel +- ▁aceast +- のもの +- 你真的 +- ▁invented +- 矛盾 +- ▁neutral +- と思うんですけど +- erna +- rf +- zima +- 规模 +- ワー +- 喺 +- ▁currency +- ▁eagle +- lom +- magn +- ▁claimed +- ▁pockets +- 점 +- etto +- 的目标 +- ▁হয় +- ▁blade +- ▁laŭ +- евская +- 重要な +- dī +- ▁кабинет +- ▁zéro +- ▁francs +- 大多数人 +- вил +- ▁identified +- 你可 +- ▁logic +- 你给我 +- تس +- axe +- ▁achievement +- ▁contribute +- ▁Ober +- 反応 +- 宝贝 +- もあり +- ▁itu +- 基地 +- ▁admiral +- nydd +- shyira +- 中学 +- drin +- teen +- こんなに +- رات +- 脸上 +- ში +- ▁colleagues +- 同情 +- ▁random +- 覆 +- 挤 +- 声が +- ▁bewegt +- 结束了 +- 安静 +- 영 +- ▁weiteren +- ▁okul +- ▁начальник +- erfolg +- ▁grava +- ▁pove +- ▁Pod +- 的数据 +- ▁typical +- クリ +- schaffen +- 也好 +- ▁wrought +- জন +- kommt +- だったり +- dust +- terra +- 講 +- ▁bushes +- ▁muß +- ユ +- ▁хэл +- ▁waist +- 我一 +- 跌 +- 工业 +- ▁dave +- ئو +- 回头 +- ▁Radio +- '600' +- ▁confirmed +- ということが +- 外国 +- 来讲 +- ža +- chal +- ▁mouse +- 仲間 +- ▁alert +- ላ +- ▁Council +- 肌 +- ▁beginnt +- 铺 +- ▁Day +- ▁hired +- 全国の +- だい +- 伟 +- ук +- ▁condemned +- いよいよ +- ▁stap +- ▁música +- ithi +- ▁conform +- performing +- ▁incredibly +- ▁cresc +- ▁lingvo +- 扭 +- 胃 +- ▁thumb +- ▁honestly +- isk +- ffel +- ▁specimen +- glass +- はこちら +- ▁spark +- munt +- 西方 +- ▁grupo +- 你不会 +- ▁söyle +- histoire +- વ +- 随便 +- rama +- ಕ +- なきゃいけない +- ▁circuit +- の声 +- ▁Rue +- 练习 +- ▁prayed +- 更大的 +- 納 +- برا +- ほかの +- 회 +- ▁entdeckt +- ▁команд +- фор +- 这也 +- ▁nasıl +- nehmer +- 相关的 +- 原谅 +- рыв +- 送到 +- ▁deutsche +- IS +- ▁purse +- 上有 +- ▁soziale +- ▁rhe +- 代码 +- ует +- 輪 +- ▁Hallo +- 比我 +- iest +- かかって +- ▁tid +- posició +- ▁daring +- してくれ +- sprach +- 東部 +- 毎 +- ▁agency +- poj +- 知って +- gamba +- ▁carr +- 指导 +- ▁yeux +- 飛 +- ▁followers +- 贾 +- ▁obedience +- ▁spät +- ▁mischief +- 報道 +- 川さん +- action +- 迎 +- ▁resort +- ▁deals +- ▁warned +- 摔 +- 丑 +- ▁Einzel +- லாம் +- ほどの +- ▁mob +- ああ +- もんね +- jed +- 하면 +- precia +- 百万 +- ▁represents +- российск +- ▁entitled +- ▁derived +- ▁lace +- ▁resource +- ▁certainty +- ▁gott +- 又是 +- ▁gallop +- ジュ +- iwa +- 電気 +- 这就是我 +- руч +- ▁dolan +- npr +- Il +- ▁coarse +- ▁процесс +- みます +- ▁tenderness +- ▁charges +- 野さん +- ▁emerge +- umber +- 喊道 +- 检 +- ▁satu +- ▁sahen +- є +- ▁notwendig +- தோ +- ▁flames +- 士兵 +- ▁Seele +- خبر +- ▁Nhưng +- ▁från +- ▁کښې +- ▁아니야 +- ▁affectionate +- ▁curtain +- ▁detailed +- やら +- 我叫 +- 一系列 +- ▁пара +- oce +- ▁exempl +- 范围 +- がいる +- sions +- ▁artists +- ària +- 凭 +- ▁divorce +- ▁хоёр +- ▁corridor +- ▁lofty +- 最高気温 +- roma +- 陷入 +- 開け +- ▁nivel +- 集团 +- waka +- ב +- ▁Feind +- 损失 +- ▁орган +- mite +- polo +- 内の +- ▁Zugang +- 使って +- ▁fein +- ▁numéro +- ▁allí +- ற்ப +- ▁pressing +- afrika +- ষ +- dores +- 可以看到 +- ▁roughly +- ▁стара +- 技能 +- ▁savings +- ▁farmers +- ▁theater +- glück +- magnet +- ▁când +- ▁barely +- ▁briefly +- вялі +- போது +- ôn +- 児 +- احت +- と呼ばれる +- cloth +- ▁aka +- 和一个 +- ▁painter +- ▁challenging +- 初めての +- ▁borrow +- 完美 +- ▁pillar +- ί +- ரோ +- ▁Frei +- 军事 +- ▁advertising +- ▁solitude +- ことができる +- やってる +- 力が +- ▁bargain +- のではないか +- 不少 +- ジャンプ +- ბა +- ビル +- жо +- ▁sees +- يح +- ▁normalerweise +- bih +- ▁před +- ▁telefon +- ▁injured +- ▁marsh +- uburyo +- ▁правда +- 就把 +- ▁газ +- 瞧 +- ▁moves +- के +- ▁writes +- ▁advocate +- なんですよね +- ▁sebagai +- ▁wherefore +- ▁hoop +- maga +- ▁sphere +- 来月 +- guin +- 咬 +- ▁underlying +- ▁olduğunu +- にいる +- 主动 +- ▁plusieurs +- みんなで +- ً +- nwa +- 燃 +- lijke +- 私人 +- ▁Studie +- 例子 +- ূ +- 牢 +- ▁happily +- 따 +- ciò +- ▁идет +- ▁парти +- を入れて +- ▁ranks +- īt +- ctic +- 就是这样 +- ▁blows +- 有用 +- ▁colon +- 吵 +- 找你 +- ▁pensar +- кім +- 彼は +- 迹 +- ▁organized +- 柄 +- дог +- ▁countess +- niu +- liest +- ▁construct +- ో +- ▁newly +- ▁Kontrolle +- ▁சிற +- ▁nahe +- ▁тү +- стей +- 指摘 +- ▁announcement +- ▁tenant +- ▁mexico +- おはようございます +- vuit +- 突破 +- ▁видел +- terie +- ▁energ +- houd +- 봤 +- ▁harbor +- տ +- ▁verlieren +- avaient +- aquest +- ▁Dal +- 优势 +- ▁deja +- ember +- 讨 +- 竟然 +- ▁slecht +- initiative +- ehrt +- るんです +- ativ +- ▁Studien +- letter +- 观点 +- 到底是 +- ▁stond +- ▁penetrate +- ▁dividend +- ▁investors +- 警方 +- ▁иван +- 面白い +- っちゃった +- ▁বল +- ▁revolver +- ateur +- руш +- misch +- ▁vengeance +- シュ +- quatre +- ▁wheat +- shaw +- ▁nawe +- trop +- cret +- があると +- 指出 +- рә +- ▁simon +- 创作 +- ▁thither +- ивать +- ▁beschäftigt +- ▁brethren +- igita +- ▁Nie +- 这个词 +- ▁Brown +- قط +- ribu +- ▁bitterly +- ▁sofa +- ▁component +- ▁ventured +- これだけ +- bora +- 很久 +- 았 +- ▁Religion +- 缺乏 +- ▁Pin +- 咱俩 +- ▁panic +- 很明显 +- zorg +- 的父亲 +- ▁survive +- 一辈子 +- ▁gravely +- ▁Tagen +- ▁counted +- ▁positively +- 召 +- дым +- ූ +- ▁dacă +- 関連 +- ினார் +- 沿着 +- ▁bisher +- はありません +- だろ +- ▁elf +- ް +- 共产党 +- ▁clutch +- anten +- 咲 +- ▁casi +- یل +- ▁conversion +- 知道的 +- ▁warten +- ьте +- ▁پای +- feuer +- 瓜 +- ▁بۆ +- ▁tenir +- ▁Ну +- 不明白 +- ▁napoleon +- の映像 +- 两种 +- 自从 +- 幸せ +- hib +- jwe +- ▁podemos +- ▁pirate +- ▁bedeuten +- лова +- 我得 +- 切れ +- orden +- つ目 +- ▁weeping +- をつけて +- ছি +- 衰 +- ▁интересно +- ▁tradu +- ▁сме +- 互动 +- ស +- 행 +- がい +- ▁versuchte +- 恒 +- 르 +- ▁Anzahl +- 彼ら +- ▁practices +- ▁мед +- menti +- ▁weiterhin +- ▁restore +- ologia +- ▁computers +- ▁algun +- 用来 +- 干净 +- school +- аза +- ▁vivo +- ▁Grundlage +- ukan +- なくても +- ▁estado +- ▁attempts +- ▁Ĉu +- ▁sample +- bund +- ▁analog +- ▁celle +- ▁salva +- ▁providence +- すばらしい +- ▁House +- ▁trim +- ▁erkannt +- ▁rushing +- 旋 +- ゼ +- ▁bulk +- はおよそ +- 世界中 +- ▁findet +- cultura +- زو +- ▁instances +- зан +- ගේ +- であり +- енных +- ▁santa +- ▁jewish +- gele +- ▁gusta +- ▁condemn +- '5000' +- 司法 +- führer +- ▁sais +- үл +- 東京オリンピック +- に入り +- 诚 +- ධ +- ▁nouvelle +- ▁invite +- ovat +- ▁treaty +- ▁navy +- urteil +- minate +- іх +- 襲 +- ▁mexican +- ggle +- اي +- ▁germans +- ▁aqui +- 在我们的 +- ▁canvas +- ▁selection +- ijo +- 送り +- ▁blaze +- lığı +- ▁gesund +- gora +- ▁آب +- ▁Who +- 知り +- nız +- ▁ôl +- ▁suck +- ▁displayed +- えば +- ▁undoubtedly +- 的过程 +- طة +- ▁Así +- ▁warrant +- ▁ursprünglich +- ▁کردم +- пен +- 婴儿 +- 蛇 +- ▁هغه +- ▁illustrate +- 事実 +- ▁bureau +- fata +- なか +- ▁Richter +- mbwa +- 费用 +- 那就 +- ▁Teile +- ▁Daniel +- ▁nên +- ▁Ад +- ▁deploy +- ký +- Č +- 純 +- ▁entscheiden +- ▁چیز +- ▁Reaktion +- ▁можете +- währ +- アイ +- က +- ▁acquire +- лив +- ▁caesar +- 有事 +- ské +- ▁doth +- ▁tête +- 蓝色 +- ▁conversations +- ▁wept +- 入れる +- ▁politischen +- ▁jerk +- ▁elaborate +- 然后你 +- ▁весь +- ▁ladder +- に行って +- 分开 +- ▁advancing +- macht +- ▁které +- 電力 +- Wi +- дыр +- ▁hamwe +- とう +- ▁lasted +- タイミング +- ▁afite +- 报纸 +- 事態 +- ▁Ker +- 漂 +- ▁employer +- ▁discourse +- ▁cannon +- ▁Kommission +- yat +- shim +- ▁которое +- valo +- даў +- istoj +- breng +- ▁prevail +- ニング +- ▁julie +- nine +- ljen +- вым +- ▁pension +- 縮 +- ▁сум +- ▁kleines +- ▁publish +- lden +- ▁alex +- ▁niece +- 閉 +- に来て +- ▁simplicity +- もらった +- 吃的 +- ▁idol +- ester +- ਰ +- はね +- ээс +- 针对 +- 阳光 +- たく +- 書き +- ▁brood +- ୍ +- が続く +- craft +- 专门 +- 調整 +- んですけども +- 批评 +- ▁dependent +- 沟通 +- 全面 +- 两千 +- 掌握 +- ▁других +- kere +- 으니까 +- 基金 +- iska +- ▁kang +- empresa +- ▁daniel +- ▁четыреста +- 着你 +- 반 +- utilitza +- 会被 +- ▁riu +- 主張 +- نية +- philosoph +- ▁munsi +- ▁помог +- طل +- ▁measured +- 稍微 +- ▁وقت +- 第四 +- ▁flows +- ▁hogy +- 都很 +- ▁Act +- までは +- 朋友们 +- ▁trials +- ▁schlug +- 符合 +- 目標 +- ▁shower +- シーン +- チョ +- нные +- 分手 +- ▁kent +- ެއް +- ින් +- ▁владимир +- ▁Angelegenheit +- ▁ascertain +- ▁gaat +- ▁الث +- oja +- ▁birthday +- 続いては +- ▁robin +- 緊張 +- ▁Fol +- ▁сделал +- ▁amused +- plex +- 刑事 +- 我还是 +- 储 +- ▁Zahlen +- やす +- ▁frozen +- ごろ +- このまま +- ▁sailors +- ▁önce +- lite +- ▁eerste +- 补充 +- 走向 +- ▁». +- 現地 +- 愚蠢 +- Lo +- gă +- artagnan +- ▁suite +- іў +- 有两个 +- 机器人 +- ▁relate +- ▁fisher +- 财富 +- ▁vanity +- 尊 +- 凶 +- ɛa +- 谋 +- umba +- きています +- ▁Wild +- ▁magistrate +- ▁مرد +- Ich +- مب +- appel +- 姿勢 +- 疲 +- પ +- yez +- 工程师 +- 乎 +- მი +- ▁exemple +- ▁Even +- ▁ample +- 混ぜ +- ▁Poli +- ▁Ari +- 皇帝 +- ▁schr +- ▁picking +- 庆 +- ▁quella +- يز +- 保護 +- 結局 +- блі +- ▁Cur +- 窗户 +- ическая +- মান +- '31' +- 你来 +- ▁семнадцать +- ▁scout +- ▁Lebensmittel +- 收听 +- Qu +- 上次 +- قوم +- கால +- جميع +- wür +- ▁Good +- 建设 +- 世界の +- δ +- ▁raison +- ▁Mike +- нный +- шо +- idio +- るため +- ვა +- fällt +- ▁declined +- geza +- 如果您 +- 大声 +- すべて +- いるのは +- 赢 +- ▁obeyed +- ▁depending +- ▁colony +- 側に +- стью +- ក +- 워 +- osten +- ▁flourish +- 是如此 +- を奪 +- ▁كنت +- ▁swing +- 脾气 +- ▁garments +- 前进 +- brid +- ▁Și +- ▁sarah +- 鼻 +- ▁Ny +- Ja +- ▁swallow +- ▁entreat +- pran +- ▁angesehen +- 警告 +- ▁experiments +- 坏了 +- 援 +- kunst +- ▁correspond +- ▁быстро +- 首相 +- ziert +- ですからね +- ▁judges +- ▁passe +- ▁frontier +- 玩儿 +- ▁байх +- の影響 +- gericht +- zeichen +- bari +- 两位 +- ▁colours +- 唯一的 +- 実現 +- 鳴 +- 寻求 +- 評価 +- ▁impre +- ▁aspects +- ▁zeigte +- ▁compte +- ▁secrets +- ması +- 句话 +- ifik +- ň +- 策略 +- ▁Henry +- 一口 +- ▁Бо +- ប +- ං +- ▁chính +- gier +- বার +- нию +- ケース +- ▁fanny +- ▁curs +- 烤 +- wedd +- bian +- ▁twist +- ▁mère +- ▁почти +- сим +- 日本は +- ▁idiot +- ▁hoog +- лиз +- ▁comprehend +- ▁Wald +- 可怜的 +- 引用 +- 统治 +- тик +- ▁들어 +- ▁lawn +- きっかけ +- práv +- らし +- なと思って +- ▁ceiling +- ijwe +- ▁그럼 +- ▁susan +- 側の +- のところ +- ▁проект +- だという +- 汇 +- ▁Freiheit +- 좋 +- ▁تت +- ▁trembled +- ▁Bil +- 祈祷 +- 樹 +- estima +- cze +- ▁goat +- ße +- ことです +- ▁sai +- 俊 +- ▁сюда +- ▁Rose +- ▁install +- 威尔 +- bett +- ▁Indian +- ▁luxury +- 聖 +- 芝 +- 投稿 +- ▁Dun +- ▁повер +- などと +- dec +- ▁emma +- ▁uncertainties +- lok +- っしゃ +- ▁signor +- 频道 +- 딱 +- ▁ئۆ +- ▁servir +- 復 +- 仅 +- ብ +- 委員会 +- agira +- ாய் +- 我们能 +- ▁ministers +- を加え +- 使用的 +- paga +- ▁urge +- ▁phenomena +- 翼 +- ahan +- 指導 +- bruch +- 标志 +- abord +- osos +- ▁essence +- ए +- atori +- ▁dried +- fica +- ▁ratio +- いますが +- ▁Lang +- 半年 +- 裁判 +- ▁drops +- ▁вось +- ▁Änderung +- 芬 +- ▁Beginn +- ▁emily +- ▁дур +- ▁investing +- ديد +- әк +- 운 +- ▁skills +- ▁potentially +- ▁herunter +- リード +- ▁revolt +- ▁soit +- ▁Bor +- メン +- 权利 +- ▁vertical +- ▁believing +- хі +- 自治体 +- ▁считаю +- 金メダル +- ▁groan +- ることができ +- 演出 +- களுக்கு +- үн +- rog +- kubwa +- веч +- ifer +- ▁emphasis +- 卓 +- getragen +- ▁ليس +- ▁pacific +- なくなる +- ▁bisa +- 扇 +- ▁Jen +- ▁страны +- ▁alarmed +- 署 +- ▁Sorgen +- 係 +- ▁كما +- ▁باشد +- ▁wheels +- 最後 +- 共和党 +- ▁tho +- ива +- 鼠 +- 半分 +- yum +- 分かりました +- ugi +- はその +- フレ +- ▁September +- ▁вечер +- と言って +- takse +- ▁voller +- šu +- éra +- 涉 +- banga +- ▁bass +- ▁Diskussion +- eres +- station +- ▁forming +- ▁attacks +- ▁renew +- ▁centro +- ggs +- ყ +- ▁diminish +- ▁faded +- ▁instruction +- ルド +- сал +- ▁wach +- ▁sozialen +- 的部分 +- 増加 +- 相似 +- 净 +- 泣 +- 在这种情况下 +- 味道 +- bourg +- を確認 +- 叫我 +- ▁steve +- 师父 +- kumi +- ▁Meer +- 一代 +- ▁Städte +- ▁erwarten +- 小子 +- ▁folded +- ▁Mut +- fähr +- اخ +- ▁sleeve +- ড +- ▁subsequent +- ▁bessere +- トロ +- rong +- ▁лично +- сту +- ест +- ▁weer +- ▁giới +- ▁назва +- ▁sara +- ▁acknowledged +- bier +- ▁Boston +- ▁مد +- 孤 +- 姨 +- ▁Risiko +- غان +- 犯人 +- ▁transmit +- ▁regularly +- ▁власть +- 做到这一点 +- 確かに +- спор +- ▁finde +- грам +- 可以说 +- ▁highway +- 非洲 +- ▁crush +- ▁tett +- 横浜 +- 月份 +- ▁gelesen +- なくなった +- ▁whale +- fällig +- ▁ripe +- ▁wherein +- 이랑 +- ダメ +- 勉強 +- ▁nang +- ▁Mitglied +- ▁famille +- 繰り返し +- カード +- 智能 +- dain +- ехал +- 罗马 +- 複 +- 訳 +- '99' +- 实在 +- 楽しい +- 이야 +- 発言 +- 命运 +- aktiv +- ▁dense +- ▁Up +- ▁reside +- 大家好 +- ▁dug +- ▁genetic +- 方の +- の間 +- ▁primitive +- ▁condu +- 听听 +- ▁dropping +- 進出 +- या +- まい +- тек +- ▁lowest +- ▁хүн +- ▁Kann +- ▁trova +- 妇女 +- шир +- ▁sandy +- ▁Això +- ▁которую +- ▁gossip +- ▁Ме +- 随时 +- ▁adventures +- ▁jsme +- 对手 +- 特征 +- ミス +- ▁repose +- ▁Gruppen +- ▁jackson +- ▁cage +- ▁Gewalt +- ▁Armee +- систем +- ▁rigid +- ంట +- ▁trink +- 大卫 +- မ +- ▁tumble +- сә +- 到现在 +- 我们如何 +- ▁summon +- ▁lên +- gesetz +- クション +- そこから +- サイ +- 관 +- ▁그랬 +- 帮忙 +- ▁lantern +- ▁Klein +- 果たして +- fusion +- hild +- wirtschaftliche +- 去世 +- цо +- present +- ▁users +- ▁pelo +- сид +- ▁sağ +- ▁Schuld +- 老爷 +- 出席 +- ▁license +- 臨 +- ину +- ▁neglected +- ▁Stu +- දි +- ▁maka +- ▁Zusammen +- ▁harp +- mill +- 是从 +- скай +- 彼得 +- 度过 +- schte +- 爽 +- 漫画 +- 杀死 +- 保留 +- عرف +- ▁emergency +- 他已经 +- ▁plead +- するという +- ▁destiny +- 解放 +- 午 +- まさか +- そんなこと +- 滞 +- pell +- ▁presume +- ތ +- ▁Chicago +- ический +- ▁crois +- ▁plastic +- linda +- ▁consist +- ▁jolly +- uke +- 董事会 +- يى +- ▁dedicated +- ຂ +- ▁проста +- 体の +- ფ +- 交代 +- いただく +- ▁genoeg +- 边缘 +- ▁ninth +- ▁flushed +- 他想 +- ▁impatient +- hst +- гын +- ▁agua +- ▁basin +- ▁prosperity +- 今朝 +- posto +- 罚 +- ▁lease +- ические +- ▁idee +- ▁shouting +- ▁soixante +- ▁oogen +- リスト +- ▁frog +- 两次 +- ونه +- 区の +- trouw +- ▁consisted +- 郊 +- ▁Ibi +- ▁Standard +- ▁partir +- 声明 +- čč +- ▁cordial +- ▁brute +- ▁rond +- ほしい +- 几个月 +- ▁denkt +- 消费 +- road +- kül +- ደ +- א +- ▁знаешь +- ▁ruins +- زان +- ▁segments +- lise +- あなたの +- 着他 +- 还得 +- 思った +- 俺は +- ▁incorpora +- ウィ +- ▁принима +- 其中一个 +- ▁induced +- ▁lively +- кән +- ▁recruit +- ▁viola +- 雨が +- ▁động +- ▁peep +- fter +- ▁Sommer +- 是很 +- を探 +- 让自己 +- ▁occasional +- лах +- ▁выход +- kud +- స్ +- ▁верх +- ▁nouveau +- ▁amerikanischen +- ▁ross +- ▁взял +- ▁questioned +- ▁Begriff +- ▁anfangen +- imwe +- вис +- ▁eby +- ▁irregular +- inya +- ▁April +- мах +- 物を +- hafte +- 男が +- ▁sites +- 事を +- ▁Jahres +- ▁realm +- 纹 +- ▁erinnere +- kosten +- 成熟 +- 仗 +- ِي +- 捨て +- մ +- ತ +- 입 +- はまだ +- ▁luego +- ▁dunkle +- 三百 +- ▁Pot +- کاری +- ▁deaf +- 物の +- 其实是 +- iam +- ▁impacted +- цый +- 生徒 +- ▁thankful +- melde +- '36' +- ▁situated +- 食材 +- barkeit +- рем +- 给你们 +- 为此 +- 他妈 +- ču +- 冲突 +- ▁confessed +- альный +- 墨 +- ▁친구 +- 固定 +- 主义者 +- ▁spy +- 驾驶 +- ises +- ▁exit +- lep +- しまった +- ர்கள் +- ▁discern +- ▁preparations +- 群体 +- ▁menschlichen +- zieht +- ▁institute +- 其他的 +- ▁neighbor +- gte +- 他们可以 +- hängen +- гаар +- رک +- zier +- 呐 +- পা +- ▁jewels +- 誰も +- jj +- ▁terme +- жив +- 眉 +- ansah +- 带来了 +- iumenge +- handlung +- 电台 +- 少ない +- ▁Farbe +- 浪费 +- ▁Jugend +- ▁чуть +- 行為 +- ард +- neuf +- ガン +- lch +- mö +- ukuri +- ▁gewinnen +- 得了 +- remo +- 弥 +- ▁tại +- ▁Mai +- 当局 +- link +- 黄金 +- тели +- 的家庭 +- ▁suburb +- ▁captive +- ▁summoned +- 堪 +- 葬 +- 不说 +- ▁bump +- ▁camel +- まとめ +- ▁checked +- 一回 +- ത +- イル +- ▁ebenfalls +- gust +- gic +- ▁luna +- ▁austria +- ▁exhibit +- ög +- ▁francisco +- únic +- seven +- オミクロン株 +- 过去了 +- 石油 +- racy +- 飯 +- ▁Wil +- ▁lado +- ▁flies +- беж +- ỏ +- ▁شب +- idir +- ▁variation +- 聞く +- ▁doit +- 平静 +- ▁Hälfte +- ▁aujourd +- woman +- ▁мои +- ▁stran +- ▁convince +- ▁prendre +- lī +- ▁geschickt +- ▁perfume +- 头上 +- ▁конце +- 里克 +- ▁turk +- ▁divert +- 没人 +- حي +- 郭 +- ▁benutzt +- ですかね +- nier +- Rh +- 适应 +- ▁trebuie +- ▁сай +- 前から +- ▁pledge +- が必要です +- 冷静 +- ▁fist +- 咯 +- ▁Gefahr +- 懸念 +- ▁брат +- 予選 +- cock +- つけて +- fond +- ▁кому +- ▁cô +- 为自己 +- ▁täglich +- チェック +- 强大 +- ела +- さが +- uzu +- 拉斯 +- ▁banda +- 遍 +- ▁Länder +- ັນ +- களின் +- ▁guessed +- ソース +- hoff +- 掛け +- 在哪儿 +- වෙ +- 拔 +- ▁threshold +- ▁advised +- ▁Behandlung +- тора +- ▁chaque +- ▁varied +- kay +- カン +- lā +- ▁jerry +- kunft +- ип +- ▁publication +- ▁Gründe +- 艺术家 +- لە +- ▁Vergangenheit +- 冇 +- 深い +- ốc +- ▁pueden +- ▁sentiments +- 西日本 +- ▁readers +- ▁Element +- ▁төр +- ▁gebruik +- lisa +- ▁factory +- ▁kau +- ▁Mitglieder +- 将是 +- ▁вдруг +- 工場 +- 风格 +- ации +- ▁interna +- ▁recalled +- ▁scream +- twitter +- 解説 +- xes +- 専 +- ▁Stern +- ▁няма +- ▁visitar +- ▁owners +- 0,000 +- ▁gefragt +- さすが +- ▁خواهم +- ▁shoe +- ▁dashed +- ▁zelfs +- bola +- ӑ +- ▁Schlüssel +- ວ່າ +- ĝe +- 高级 +- ▁persuade +- думал +- ということですね +- ▁celui +- 聞 +- री +- 他人 +- ▁Ini +- নের +- ▁pře +- ▁estan +- ▁recognised +- 伟大 +- からです +- 知道你 +- ▁reeds +- கின்றன +- 陣 +- zugeben +- ▁downward +- 総理 +- ▁plen +- 商量 +- 杆 +- ▁nosotros +- ▁vater +- ▁Ва +- ▁Ell +- 唱歌 +- ▁права +- 学者 +- ▁recollect +- ▁representation +- ▁Gefängnis +- િ +- ▁Erinnerung +- 他被 +- ▁арт +- ẽ +- ać +- ▁moss +- luft +- 置いて +- ▁Akt +- سف +- 心脏 +- ▁babies +- tekereza +- 食事 +- කා +- торы +- блюд +- のみ +- 分から +- رى +- ▁drain +- aidd +- ▁Abantu +- ģi +- 行った +- 詳しい +- ▁opge +- ▁deiner +- メニュー +- mula +- 得意 +- ▁struggled +- 窓 +- 偶 +- ▁Besuch +- ங்கு +- ▁enfants +- ▁Bern +- ▁perish +- 千葉県 +- ▁від +- 困惑 +- ▁آخر +- ▁Fue +- க்கா +- できて +- kond +- ▁სა +- ▁christianity +- くれ +- ▁nka +- ڪ +- ▁segon +- lique +- 强大的 +- っぱ +- ▁gains +- 那时候 +- 카 +- '&' +- ▁rechts +- TV +- 日本代表 +- 他们没有 +- lice +- ▁наших +- ▁Beruf +- 兆 +- лес +- ▁shrink +- ▁Albert +- ayi +- ▁forbid +- ▁miteinander +- 奸 +- 靴 +- uloj +- 州的 +- ▁ashes +- クト +- дов +- ▁refresh +- тат +- ▁freundlich +- lista +- ▁rings +- ▁fancied +- aktion +- ▁diseases +- ▁bekam +- 東京の +- ▁quien +- 上下 +- 我又 +- しょ +- ▁Як +- ▁biblioteca +- ▁jemandem +- 事物 +- ckey +- суд +- ▁overhead +- どうも +- جمع +- ▁Parti +- ▁pill +- قدم +- ▁Insel +- るから +- ▁sobald +- ▁Kap +- උ +- ▁aga +- ▁என்ற +- ▁Ни +- いている +- 险 +- ▁Berlin +- ▁victoria +- rato +- simil +- сек +- ▁categories +- ▁Quelle +- ▁Lake +- seb +- dama +- ▁восемнадцать +- antoj +- が高い +- ▁лишь +- ▁año +- bring +- ▁그렇 +- нні +- ▁дня +- ற் +- 当時の +- ▁renewed +- corn +- ▁goals +- 小学 +- 两天 +- ▁Gesetze +- ▁estamos +- どうやって +- ▁livre +- 案子 +- landa +- провод +- ម +- 別に +- ▁красно +- 七十 +- ごはん +- атор +- ▁yonder +- 听众 +- acre +- ▁uncomfortable +- sätze +- ▁programa +- bê +- ▁observations +- ▁muse +- кли +- 大幅 +- 他把 +- ▁beef +- ঠ +- ▁dialogue +- ▁marvel +- 请你 +- ▁awakened +- ▁Iran +- automat +- ▁чалавек +- வில்லை +- 实施 +- ▁contributed +- ▁richtige +- 它们的 +- みました +- ▁сказала +- ▁кем +- ▁escrit +- ▁hierher +- 他现在 +- ▁indifference +- யே +- 亡くなった +- 方面的 +- 数は +- 川の +- ಮ +- ▁Objekt +- シーズン +- ▁teatre +- 制定 +- 钢 +- ▁Ressourcen +- 箭 +- ▁augment +- 担任 +- 丰 +- ▁escort +- iris +- 月から +- ница +- ▁wenige +- пут +- ız +- ▁footsteps +- ▁Umwelt +- شى +- ▁mixture +- 呼びかけ +- 南方 +- ▁erg +- 岸田総理 +- ି +- cem +- ▁tests +- неш +- mura +- gré +- ▁менее +- há +- ▁pepper +- ங்கி +- 代の +- ▁разговор +- yamba +- 等你 +- ▁indignant +- 했어 +- ▁энэ +- ▁contented +- ▁speci +- ▁Staats +- ție +- その時 +- ුව +- ▁alliance +- 上学 +- おっ +- 前線 +- చ +- ▁schönen +- 分かった +- ация +- 緑 +- 勇敢 +- ▁thoughtful +- жан +- ▁trouve +- сно +- ▁Rechts +- ର +- ▁february +- 一辆 +- 举行 +- ères +- ▁minha +- toxic +- 牵 +- 释放 +- ▁gallery +- кажу +- ▁bestand +- ▁fils +- ▁Charakter +- ▁Sinne +- sache +- ▁Gast +- 在这些 +- ▁sper +- ヌ +- ái +- ▁Wood +- 六十 +- ▁simul +- しかない +- 仮 +- 医師 +- ▁Florida +- ▁distributed +- ▁flour +- oxid +- ன்ன +- の部分 +- 出る +- ▁saat +- ▁giá +- ▁reporter +- 就没 +- ▁amy +- ▁profund +- ▁International +- ▁framework +- ვე +- zir +- ложил +- 加速 +- しまいました +- ▁Ты +- lion +- 伪 +- 杀人 +- 准确 +- 値上げ +- ▁Organ +- することで +- ▁funciona +- нак +- どうしても +- 夕方 +- ▁вс +- 为我们 +- ▁gezeigt +- ponent +- ワクチン接種 +- ▁velvet +- ▁attraction +- と思いますね +- 巻 +- 購入 +- ▁Spaß +- ▁här +- ▁Baum +- 必要な +- ▁instruct +- ▁lordship +- 知らない +- ▁arbeitet +- 稍 +- 怖い +- ▁Ehre +- 실 +- 覆盖 +- ▁ладно +- ▁absorb +- ▁tread +- 踏み +- cate +- 誘 +- 空港 +- ▁patriot +- িয়া +- trust +- ▁Beth +- ▁transactions +- ▁tạo +- firma +- ▁Gö +- 实践 +- teg +- とり +- ▁claro +- もので +- かというと +- 打了 +- 我需要 +- ▁admired +- ▁bronze +- duction +- Bu +- ▁одного +- yla +- Ş +- 的女儿 +- جن +- ▁стала +- ▁conceived +- цей +- ▁akan +- biologi +- ▁palabra +- ▁stolz +- デン +- wärts +- ▁jsou +- ▁twilight +- ▁Brazil +- ▁verbracht +- reka +- ▁понимаете +- つける +- ppi +- ▁calcul +- general +- ▁igual +- ▁wealthy +- usia +- оо +- ▁harmony +- ▁Code +- 協 +- ▁принят +- 强调 +- пала +- ▁symptoms +- ▁trading +- ▁chef +- ▁answering +- 降低 +- 著 +- ▁expedi +- 这个地方 +- ▁swimming +- ▁froh +- ▁roused +- 車が +- フォ +- ▁chatter +- brun +- Univers +- ▁earliest +- hita +- ▁max +- ▁awoke +- 農 +- ladi +- ▁scor +- 垂 +- 教练 +- vollen +- ▁уверен +- 儿啊 +- pfel +- Ko +- ▁bate +- 慎 +- 夫婦 +- ▁tunnel +- ▁visto +- あん +- ▁uncertainty +- 有限 +- ▁conquer +- ▁decades +- ▁Lü +- ▁Mach +- ▁Sehen +- чыць +- 差し +- ▁warriors +- なさい +- 四年 +- под +- illon +- 狠 +- 感激 +- vik +- ▁decade +- ▁lime +- 的确 +- ▁Elizabeth +- 선 +- ボー +- ▁plunged +- 实验室 +- ▁Nachricht +- ühr +- 泊 +- ▁Viņa +- ▁managing +- ▁seul +- heden +- ▁Höhe +- ▁robber +- ▁testament +- bereich +- medic +- ipun +- トラック +- cott +- antic +- ބ +- ▁собой +- 发挥 +- мін +- ▁Mond +- ▁carro +- どうした +- aco +- ていきます +- ▁Després +- 凝 +- 计算机 +- ▁Podcast +- ▁получа +- ▁fais +- ▁mould +- ▁полу +- паль +- 想像 +- ▁Schutz +- step +- 相比 +- いち +- けん +- ną +- బ +- ーター +- ▁principi +- 二零 +- mail +- ▁hire +- ▁legte +- ▁degli +- ▁плохо +- کا +- 会長 +- ランキング +- хүү +- 盐 +- ▁limb +- ▁mineral +- 最喜欢的 +- 取った +- ▁proven +- mack +- ▁Themen +- ▁democrat +- 才会 +- 通報 +- new +- ▁satan +- ▁yaptı +- ▁jene +- koll +- შ +- ▁retro +- ▁عم +- '2015' +- 払 +- ▁Ces +- ▁innocence +- 間違い +- ▁array +- ▁yid +- ▁déjà +- ▁şekilde +- 始まった +- あなたは +- ▁electro +- 邮 +- 文明 +- 入院 +- داد +- 当她 +- ▁upright +- ▁jours +- ポン +- ▁Cel +- すこと +- ▁ekonomi +- ▁suicide +- きっと +- كت +- ▁corruption +- ▁tue +- ▁Karte +- 危機 +- мас +- ▁الل +- っこ +- ▁apprehension +- 磁 +- worthy +- ▁constrain +- lwa +- ▁jacket +- problem +- ▁anxiously +- ▁hohen +- ▁কর +- angi +- ▁subscribe +- ▁проблема +- ▁цяпер +- 篇 +- 好看 +- ▁lösen +- ▁parson +- গা +- ש +- 廊 +- 天然 +- ▁своего +- 联盟 +- üü +- ▁cob +- 赖 +- ▁Sä +- ▁rattle +- тин +- おく +- ޭ +- 华盛顿 +- messen +- ▁göster +- ▁muchos +- зон +- 拆 +- ▁tracks +- 不确定 +- ▁المن +- ランド +- ▁niba +- ไป +- ▁resulted +- 这个国家 +- もあった +- leta +- ▁multaj +- ▁classic +- 梨 +- ކު +- empre +- վ +- ▁matthew +- ▁strategies +- ▁Rad +- セン +- ねぇ +- 屋さん +- 旨 +- ▁amazement +- ږ +- ▁같이 +- mbang +- ▁Max +- 曜 +- ▁terribly +- schütt +- ▁адзін +- と発表しました +- ▁Gottes +- 拿到 +- 構 +- クイズ +- ▁hideous +- ▁مهم +- ▁каза +- 타 +- tzt +- ▁çalış +- 来吧 +- 平和 +- ▁twe +- ▁mule +- クリーム +- 成绩 +- ▁vrij +- というのも +- ▁weißen +- ▁cathedral +- ▁viņš +- ▁pobre +- 构 +- てくれ +- issement +- শি +- ▁tenth +- ▁pretended +- 朵 +- дт +- ▁thief +- ▁planted +- ▁persist +- 喷 +- ▁долго +- ▁zufällig +- ddu +- 的精神 +- たった +- анд +- 钻 +- 郡 +- ▁завтра +- ▁eminent +- ▁losses +- ▁drie +- 棋 +- annya +- 楚 +- ▁причин +- ▁flick +- ▁bekommt +- ▁pode +- ▁unterstützt +- ▁Tiere +- 的内容 +- が出る +- ▁какое +- ▁Ball +- するために +- ▁mwaka +- 回目の +- ▁visits +- hne +- ▁australian +- ▁oldest +- ▁variable +- ssystem +- ▁rely +- ▁стоит +- 客人 +- altro +- 亡くな +- ▁dispers +- 被害者 +- bber +- ▁Kerl +- 裤 +- 等我 +- ▁Mikro +- ▁Barr +- овый +- ▁occup +- ች +- くり +- 我确实 +- ையும் +- ▁situas +- 洁 +- finanz +- ▁gewe +- 徳 +- داخل +- ▁threatening +- 失望 +- ▁Beweise +- ろうと +- ▁holl +- 准备好 +- ▁bells +- 啲 +- ▁shakespeare +- 拳 +- скую +- kasi +- 推动 +- ▁Schlag +- ým +- ▁oncle +- ▁dorthin +- ▁assert +- ಲ +- 培训 +- ▁unwilling +- 位の +- ▁bills +- ▁drivers +- ▁instru +- 弟弟 +- 各国 +- tip +- ▁avail +- kade +- 瞎 +- 公子 +- 历史上 +- エリア +- ▁tierra +- ▁старо +- 皆 +- ▁headquarters +- 翻译 +- 組織 +- ▁Feder +- ood +- экс +- ▁videos +- 为我 +- ception +- 官员 +- 審 +- ▁자기 +- ▁Kollegen +- imbu +- nywa +- ▁raven +- ▁sultan +- ffy +- guha +- 阻 +- шым +- рек +- ▁Chan +- 夏天 +- 対戦 +- ▁derzeit +- けば +- 自分たち +- ▁einzigen +- '2020' +- 籍 +- ▁pluck +- ▁Allgemeinen +- ▁Einfluss +- 为什么不 +- ▁environmental +- сць +- ▁separation +- siniz +- ▁Fal +- 娶 +- ▁මේ +- ▁induce +- ▁ebenso +- ▁donner +- ▁снова +- orde +- 打席 +- 概 +- 收拾 +- ▁Finger +- ▁Schwarz +- やすく +- ▁linen +- ▁filling +- 贡献 +- 震惊 +- ▁Präsidenten +- ▁proceeding +- 地图 +- champ +- issabte +- ▁быць +- 带走 +- зав +- ▁kämpfen +- 捜索 +- ▁policies +- 演技 +- лап +- 思いました +- ▁egy +- ▁плат +- 分配 +- 驱 +- 耳朵 +- 降る +- ▁sally +- ▁gotta +- 氏は +- どういうこと +- عتقد +- 繁 +- バッター +- ▁decree +- をかけて +- ▁deinem +- ▁beggar +- ジョン +- tino +- ▁gehören +- hwa +- 授 +- łu +- ▁strongest +- ▁recommendation +- ▁nchi +- zil +- 了个 +- ▁prepara +- 电子邮件 +- 知事 +- ▁trabaja +- arak +- 覚えて +- 前回 +- ▁habitual +- cky +- 耶 +- ▁செய்த +- cina +- łem +- ▁pencil +- ▁ĝin +- そもそも +- 였 +- ▁triumphant +- tiği +- ▁visiting +- ▁recording +- 变得更 +- 牺牲 +- ▁hesitation +- ▁erschien +- 千万 +- kende +- rrington +- ùng +- ▁conquest +- ▁openly +- ▁sali +- ▁herauszufinden +- ▁особенно +- бод +- せい +- ▁sulla +- ņu +- 弯 +- ▁tug +- ▁européenne +- ▁gewisse +- čin +- ением +- てた +- ▁promises +- дат +- ırı +- ▁buiten +- ızı +- ▁inflict +- mädchen +- ▁ermöglicht +- ▁maintenance +- ▁curiously +- خواه +- ▁hình +- ▁третья +- ▁кир +- 战略 +- лон +- ▁rocky +- 来週 +- straße +- 问他 +- ▁mächtig +- 炉 +- 纪念 +- ́ +- ホントに +- antwoord +- 完成了 +- コーナー +- ▁musician +- ▁Chinese +- キュ +- 信心 +- ▁mansion +- 奏 +- ąc +- 娱乐 +- ▁extension +- ▁decay +- ▁arbeitete +- ▁dood +- 很好的 +- やん +- ▁hoy +- 근 +- ▁anguish +- 僕が +- が見 +- ▁electricity +- espera +- ▁cove +- ▁feathers +- lif +- 说的话 +- なります +- ▁hilft +- entes +- 有问题 +- ▁reuni +- 安慰 +- ирует +- diplom +- ję +- deki +- anja +- 找不到 +- цвет +- brand +- 闘 +- 有着 +- 居民 +- නා +- したもの +- troph +- ▁purely +- ▁troop +- ずつ +- рост +- ▁nicholas +- шей +- ▁moeder +- ショ +- ▁Sonnen +- ▁aucun +- してくれる +- 物語 +- 乾 +- முறை +- ▁landlord +- ▁interval +- 一套 +- unternehmen +- 怨 +- 宏 +- 部长 +- ▁менән +- ▁lagi +- ▁historian +- ්‍ර +- ▁erect +- ▁waved +- кнул +- ▁plains +- мал +- rce +- tuvo +- 残って +- 泳 +- 图书馆 +- ▁inclination +- kamp +- ▁такі +- 出发 +- にくい +- ▁verde +- 盯着 +- ▁jimmy +- ▁messages +- ▁liebt +- 点儿 +- ▁lifting +- пры +- ▁productivity +- پل +- креп +- ▁witnesses +- яз +- るんですけど +- 师傅 +- année +- ▁Mehr +- ▁equivalent +- ▁regi +- ën +- زي +- てくれる +- 突き +- ▁wütend +- ▁translation +- 回忆 +- ▁هنا +- 導 +- ▁partit +- ▁maintenant +- cela +- ▁außerhalb +- のことを +- ▁turkey +- ▁які +- 有任何 +- ▁disciples +- 終 +- なと思います +- 梯 +- kole +- ▁Künstler +- ▁konzentrieren +- ▁crimson +- енко +- 私たちの +- ▁Sonne +- 符 +- ▁garrison +- യ +- ▁furious +- 金属 +- 出于 +- ssé +- ▁durchgeführt +- ▁victor +- dele +- ▁packed +- 漂亮的 +- ▁madre +- aggio +- үүр +- ついた +- 在外面 +- 长得 +- ▁cần +- ▁blowing +- දු +- ▁Mari +- ▁strictly +- ющих +- lessness +- ▁Prä +- ajo +- 资料 +- ▁Lord +- くれて +- 肚子 +- ▁wounds +- ▁nếu +- チーズ +- carna +- ホール +- 들이 +- ску +- だんだん +- 克里斯 +- ▁бүр +- ▁demonstrate +- haga +- 寻 +- 追加 +- рей +- 头脑 +- 立つ +- 芳 +- जा +- ▁Oku +- 西部 +- 期望 +- ▁saber +- れている +- 柏 +- ▁девятнадцать +- 거 +- инг +- うちに +- ▁nhận +- ▁sommes +- なのに +- ▁betrayed +- Ç +- つもり +- るんですよ +- त् +- ▁herein +- りたい +- nium +- 人気の +- 现象 +- 抬 +- 的公司 +- ნა +- hali +- ▁admirable +- 髪 +- 这里有 +- ▁ultimate +- ▁devas +- つけた +- 募 +- ▁warmth +- ▁reject +- 贸易 +- 警視庁 +- 簡単に +- 感受 +- ▁organizations +- ▁realmente +- ▁schwarzen +- ▁Glo +- '75' +- ▁unjust +- 居然 +- 的例子 +- ▁Jungen +- ▁Què +- ования +- ▁retra +- 一些东西 +- ishwa +- ▁dingen +- ▁nime +- ▁què +- цов +- 取って +- komeza +- 躺在 +- ▁gravity +- ▁Таму +- ▁englishman +- ▁artistic +- ▁housing +- 在于 +- ▁allan +- 温柔 +- amerika +- 的时刻 +- fahrt +- ▁schätze +- ▁Opfer +- 伦敦 +- ▁greeted +- ▁ranch +- ▁tú +- ▁exile +- 小时候 +- 董 +- ▁illusion +- ▁Finanz +- ▁willst +- ▁Come +- ▁geheim +- ▁weep +- ▁Waffen +- bó +- vā +- 昏 +- ▁underneath +- dığı +- ▁Jane +- ▁вопросы +- ▁dopo +- 杰克 +- 主義 +- gesprochen +- ▁groote +- ▁история +- 受け入れ +- 負担 +- ▁масс +- awo +- ▁cứ +- ▁advise +- 涨 +- 笑顔 +- plu +- ▁আর +- 兽 +- ▁stroll +- 哪些 +- ▁conceive +- なった +- ▁nachdenken +- ▁precede +- 先輩 +- graben +- ▁Einer +- ▁Boot +- バック +- ілі +- дова +- скі +- 无论是 +- eira +- ▁comedy +- 你得 +- ▁Però +- 入れて +- роў +- ▁narra +- ography +- 味が +- 帰って +- 拍摄 +- 评估 +- ▁inquire +- 类型 +- گان +- ▁bestehen +- ▁nacional +- ▁fremd +- 天空 +- ▁opponent +- gebildet +- ものは +- escent +- ▁blown +- ▁unterschiedlich +- ▁substitute +- 我只 +- ▁withdrew +- ▁Kri +- 込め +- ▁From +- ▁explosion +- fragen +- ▁exclude +- 女性が +- papier +- ▁heiße +- ▁praktisch +- ▁mga +- ▁foster +- 滋 +- ▁Earth +- ▁troviĝas +- 教室 +- 到时候 +- けが +- ▁frightful +- ▁nationale +- 在那个 +- ланд +- ▁firing +- ора +- たん +- 存在的 +- 镜 +- trakt +- 術 +- اث +- ▁那我们 +- ▁scarlet +- ▁exhaust +- хар +- ▁circum +- ▁ancora +- 皮肤 +- 替え +- 充满了 +- づけ +- 放心吧 +- 你看看 +- ▁ажил +- ▁yourselves +- 串 +- 做一些 +- ▁enlighten +- تاب +- ▁vierzig +- 统计 +- ▁harris +- kanye +- ثر +- 申 +- ▁moan +- ▁impressive +- ▁Tele +- кур +- цыі +- 导演 +- 你说的 +- いなかった +- ставить +- ▁blend +- ▁wretch +- ▁descent +- seid +- ▁stages +- 剤 +- ▁정도 +- 我知道你 +- ▁Holz +- ▁boven +- ルール +- ▁هە +- ▁adjust +- 続けて +- 海上 +- ▁Argument +- chau +- 勇气 +- 洪 +- 見ると +- ▁motionless +- が必要 +- ▁Schulen +- ▁Spitze +- ▁tenia +- 明け +- 遅 +- 投手 +- chain +- 跟踪 +- ▁Zeiten +- ▁mọi +- 待って +- haupt +- daj +- 的妻子 +- ▁urgent +- tack +- ▁publi +- 桶 +- 盆 +- 夹 +- ▁crushed +- これまでに +- ▁oriental +- てくる +- ▁reverence +- 在过去的 +- ▁heroes +- arlo +- ▁toilet +- しゃべ +- クラス +- ünü +- paro +- することが +- mela +- ▁jealousy +- fant +- 挡 +- ▁significance +- 系列 +- 灾 +- ▁gym +- завод +- 気に +- ▁tipp +- ▁barbara +- ▁Actualment +- ▁Today +- 態 +- ющие +- ▁discussing +- 能源 +- ▁granda +- ▁спросил +- onic +- ือ +- ▁Neben +- さない +- アー +- ▁아이 +- ▁hizo +- いたします +- 外国人 +- มา +- klop +- 反映 +- wirken +- すと +- フォー +- ьян +- そのあと +- ▁кара +- ▁jeff +- 死者 +- ሰ +- ▁violently +- 読み +- giving +- ▁하나 +- чик +- 之下 +- 回り +- 조 +- တ +- umbi +- ▁convent +- ▁altered +- 成为一个 +- ▁conven +- 으 +- ▁affirm +- ▁المح +- ▁Kern +- angka +- ஃப +- 听见 +- 的经历 +- 燕 +- 赔 +- 」「 +- ▁pav +- ▁starke +- ▁tiger +- 且 +- 的发展 +- pois +- ▁busca +- らが +- ыт +- ความ +- ologische +- ▁другие +- の上に +- ▁comrades +- ゅう +- ত্র +- 充分 +- tez +- ▁petition +- 人群 +- руб +- tafel +- 到来 +- ▁sailing +- ఇ +- ▁милли +- 超え +- ▁Hü +- ▁четвёртый +- 取决于 +- yobozi +- لق +- 写作 +- strahl +- るために +- ▁edition +- ▁possibilities +- 社交 +- ▁attribute +- ▁enjoying +- サイド +- ured +- 手指 +- 叛 +- istische +- ▁tự +- 法庭 +- ▁бизнес +- 开玩笑 +- ▁academic +- ▁позвол +- 贷款 +- 为他 +- ▁Vall +- 比例 +- princip +- ەی +- ▁increasingly +- 爆炸 +- ▁heartily +- ▁japanese +- êr +- 巻き +- enfant +- ından +- ▁collabora +- undvierzig +- 尘 +- ▁whither +- 不怕 +- ką +- mēr +- ▁그러면 +- ▁diversos +- ▁medal +- ifies +- стары +- valent +- ▁ungefähr +- 쪽 +- ▁dagegen +- 高齢者 +- ▁তিনি +- ড় +- 記念 +- larda +- 态度 +- ▁leisten +- ▁связан +- ▁assez +- ▁stove +- 白い +- ებ +- 痴 +- ▁mới +- 殺害 +- 創 +- ▁align +- 特别的 +- ildi +- ▁Karriere +- ▁laat +- richtung +- 真っ +- adores +- 疫情 +- といえば +- 맞 +- ▁proceedings +- 不一定 +- ▁throng +- дает +- 美国的 +- ▁genom +- 企 +- 泪 +- ▁greeks +- ▁compound +- ▁reporting +- escola +- どおり +- ▁butler +- ▁groupe +- ట్ +- дад +- めっちゃ +- 年前に +- three +- ҵ +- 闷 +- 詳しく +- 著名的 +- ▁envy +- 一眼 +- もらえ +- ▁punish +- يرة +- 骄傲 +- デザイン +- ▁menjadi +- 悩 +- を得 +- দু +- 進む +- 好事 +- 一座 +- ▁cargo +- 你再 +- 聞こえ +- 작 +- ▁ваши +- でしたね +- ▁platforms +- ▁clair +- るんですね +- ▁personne +- 现在我们 +- において +- ▁madness +- 본 +- ▁Wesentlichen +- ▁konuş +- ▁откуда +- tius +- енная +- вит +- يج +- ▁shops +- zep +- ží +- ▁Botschaft +- ▁devant +- ▁abraham +- ▁respective +- 马克 +- شو +- здоров +- ▁motives +- ības +- ▁encouraging +- 辣 +- 還 +- ▁möglicherweise +- ▁Realität +- 国外 +- 尼亚 +- larında +- 挺好的 +- ▁거지 +- ▁Ding +- exist +- 再生 +- ހ +- 揭 +- 高橋 +- gression +- ▁zusätzliche +- ▁karşı +- 做的是 +- ▁beobachtet +- õi +- ▁Genau +- үүн +- ▁anim +- 徹底 +- キン +- 下げ +- ▁şu +- 失敗 +- ▁Hab +- பட +- ▁Quel +- rono +- ▁Cer +- ▁تلك +- の動き +- 感覚 +- 続ける +- mania +- bala +- 给自己 +- લ +- ▁Strom +- ▁Што +- 精彩 +- ▁jew +- ▁Entscheidungen +- ▁customs +- ▁dismay +- 大学的 +- 视为 +- なお +- ஐ +- ▁lachen +- ドラ +- ото +- ▁porch +- 寄り +- ▁consul +- ▁dusk +- 全世界 +- ▁diverses +- ພ +- ▁excellence +- 她会 +- رن +- ▁concentra +- 議会 +- ▁Over +- ழ் +- 我们看到 +- ▁mach +- ▁Regen +- 万一 +- ▁Пер +- すべき +- ▁Frieden +- ▁шаг +- oph +- ▁viene +- 若者 +- ▁hostile +- 拿走 +- 注意力 +- į +- spiegel +- ていない +- 中国の +- dige +- 万美元 +- 发明 +- dorf +- ▁россия +- tesse +- зве +- шло +- ▁скоро +- ▁dentro +- ▁ngày +- してきました +- ▁metge +- ▁echter +- 聚集 +- 劫 +- ٹ +- ▁Führung +- ɛe +- ▁villain +- ▁deceived +- ▁eenige +- 的变化 +- つつ +- sieg +- ▁traurig +- ▁membres +- ận +- もう一度 +- 站起来 +- ありがとうございます +- tòria +- ▁trente +- ▁Imp +- čen +- ▁protested +- 试着 +- ▁welfare +- 福岡 +- ▁oui +- гр +- 病気 +- 某人 +- roning +- 中には +- ▁encountered +- 浩 +- 真实的 +- ▁vile +- ▁battery +- 提升 +- ου +- ира +- 摘 +- ▁Amerikaner +- ր +- ▁ambassador +- に入る +- ▁بش +- 这个故事 +- ▁tengo +- ▁fragments +- 舌 +- タイプ +- ิน +- ▁relatives +- 提前 +- ▁secretly +- 晴 +- 我们俩 +- rührt +- ▁Center +- ▁martyr +- 邻居 +- ▁süß +- ▁exceptional +- ほうがいい +- 魏 +- 嫁给 +- 床上 +- 这真的 +- ダンス +- park +- ▁eigenes +- ▁naught +- ▁yapı +- 道歉 +- ▁catching +- 这份 +- ▁verstanden +- 透明 +- тся +- 的生命 +- ▁wichtiger +- 沮丧 +- '65' +- ▁montre +- ▁tarafından +- 依赖 +- ▁aufgrund +- ホーム +- ▁swarm +- 全力 +- 終わ +- ▁earthly +- 捉え +- ပ +- ▁expanding +- 懒 +- ▁Uganda +- 辆 +- ▁morris +- 唉 +- 有钱 +- gero +- ▁només +- 孟 +- ▁Nó +- ▁cơ +- できるよう +- ▁haunt +- かって +- しまいます +- ▁satisfactory +- 你为什么 +- 差异 +- てきました +- ▁unmöglich +- ▁давно +- ▁Wohn +- 做过 +- 厨房 +- ışı +- 到这里 +- ▁compensation +- ▁teh +- ▁aroused +- kulu +- cava +- ▁verses +- ▁каким +- ▁deliberately +- ▁zullen +- 爱你 +- lje +- ▁carl +- ▁계속 +- 消费者 +- 日本で +- schluss +- lıyor +- 広島 +- ▁أنا +- 常见 +- ▁Joseph +- ▁muscles +- ▁tarde +- 向上 +- ▁проблем +- ัน +- ▁cao +- 瞬间 +- onym +- バラ +- ▁Journal +- 緊急 +- ▁Winter +- ▁моя +- 更有 +- ▁بخش +- 的房子 +- ceea +- mişti +- ライト +- ▁calculated +- ▁général +- 茂 +- 심 +- ▁cuatro +- 生まれた +- ▁travelled +- 成就 +- かつて +- ▁joc +- ▁parting +- ▁hört +- ▁sống +- stup +- meze +- щен +- ▁адна +- ским +- ▁attending +- ▁crest +- 把握 +- ▁cellar +- ▁الناس +- beck +- 男性が +- 好吃 +- னு +- ▁justified +- ້າ +- рв +- 动力 +- ▁Straf +- どのように +- लाई +- ▁woke +- ▁fascinating +- صح +- ▁vrai +- に住む +- cite +- ▁Fest +- 狱 +- ▁tumult +- かく +- けない +- ්‍ය +- ▁дух +- ▁holland +- 仇 +- ▁inspector +- ▁Dol +- 大小 +- 誉 +- ▁Jahrzehnt +- みましょう +- ▁Gall +- ▁hiện +- 停下来 +- 居住 +- wandel +- мел +- މ +- 悠 +- ▁slaughter +- 肝 +- の前に +- 粉丝 +- ▁swamp +- を集め +- ▁befand +- ▁пятьсот +- ▁Edward +- 加油 +- ▁femmes +- geschlagen +- ▁wilson +- ▁failing +- ▁Früh +- ▁manuscript +- めの +- ▁000 +- 情报 +- quadr +- ▁observing +- ถ +- ▁tommy +- 看过 +- するよう +- ▁twas +- ▁Labor +- ▁jahre +- ▁cruelty +- ▁flowing +- писа +- ▁Other +- ▁trenta +- ▁corrupt +- 如果说 +- 厅 +- 계 +- igihugu +- ▁ກະ +- ▁causing +- шча +- 少爷 +- ▁severely +- ▁dünya +- leiter +- ティング +- အ +- yel +- ических +- ▁nineteenth +- ማ +- 成功的 +- 的看法 +- ▁Traum +- ▁Gui +- ▁edit +- ▁exterior +- 思维 +- held +- 色の +- ▁sincere +- لىق +- ▁sever +- ▁considerably +- 有一点 +- logi +- ▁också +- 团体 +- ходят +- ▁colonies +- berries +- kunde +- ▁oldu +- determin +- ▁poets +- 与此同时 +- 貴 +- ▁incremental +- bereit +- ▁lowered +- ໍ +- 激动 +- ▁Gas +- 富士 +- зер +- ▁Sar +- なるほど +- ▁cooper +- قب +- 轻松 +- ographic +- ▁uneasy +- ▁ancestors +- ște +- core +- ▁colli +- ▁okw +- ının +- 損 +- 経営 +- 変わる +- modul +- valuation +- 说的是 +- தன் +- 状態で +- bû +- ▁مخ +- lò +- ▁должна +- ▁confine +- насці +- ▁devour +- ▁shaft +- ▁purchased +- mwi +- 物种 +- 僕の +- 찮 +- 阿尔 +- ▁paradise +- ▁glare +- альная +- евич +- ▁rejected +- ▁стать +- シェ +- ▁Glas +- 艰难 +- ▁lily +- ▁flora +- 之一是 +- ▁aliaj +- ▁starb +- 働き +- ▁Seit +- '.000' +- ▁Zweck +- ▁Fähigkeiten +- 災害 +- なこと +- 迈 +- ▁commissioner +- フリー +- 피 +- ▁verändern +- 冒险 +- adel +- ▁begonnen +- 小学校 +- 后果 +- '32' +- ubuzima +- 的身份 +- ▁allah +- ▁screw +- 早い +- ▁Strateg +- ách +- ▁fram +- igte +- ▁заяв +- ▁dritte +- പ +- ▁iemand +- хә +- 两人 +- рым +- jja +- ▁vot +- われて +- ▁nuevo +- ▁erklärt +- せず +- އް +- ▁zufrieden +- 歩いて +- ▁declaration +- AI +- 的文章 +- ▁مردم +- おう +- technologie +- ▁книг +- rani +- 保守 +- ▁confer +- ▁questi +- affi +- ▁mijne +- ▁hither +- 这些事情 +- ▁twentieth +- ▁White +- ▁hue +- jih +- garde +- დე +- ▁greeting +- ebwa +- ▁Sachen +- ▁gladly +- 稿 +- ▁encuentra +- ウイルス +- خی +- سة +- ▁sour +- ▁equi +- ▁tempest +- ▁провер +- rava +- द् +- 伙 +- تها +- ▁psycho +- ▁blocks +- ▁Öffentlichkeit +- 暂时 +- ▁shopping +- 他要 +- ▁disagreeable +- ▁dominion +- 井さん +- வாக +- ▁marketplace +- ▁compromise +- 浜 +- いただきたい +- 作る +- 위 +- YouTube +- ziehung +- ▁terrorist +- 随后 +- ▁seltsame +- 血液 +- وش +- ▁tragic +- ▁danced +- ▁excessive +- мыш +- fari +- sail +- ็ +- 是一名 +- ▁gaf +- ▁invested +- 深入 +- 奴隶 +- ੀ +- ▁destined +- ▁böse +- 夕 +- ается +- 人士 +- ▁gulf +- そうで +- 很快就 +- ▁eldest +- ▁Angeles +- 従 +- வின் +- 我非常 +- prüf +- 車の +- 纪 +- ▁placing +- 営業 +- ▁lovers +- ▁tornar +- leistung +- 東海 +- 苦し +- kuza +- ▁然后呢 +- vuze +- 虐待 +- فن +- trans +- ▁membre +- したということです +- maschine +- ▁Ash +- laba +- ▁Stre +- そうか +- ையில் +- 恐怕 +- ▁footprint +- ▁gush +- kiza +- گیری +- 公式 +- ▁Ruhe +- ▁imperfect +- ▁posted +- prop +- 的目的 +- ▁prospects +- ▁Version +- このような +- ކ +- ո +- கிற +- ▁arrange +- ▁мяс +- ▁transportation +- 装置 +- ▁Dü +- itel +- ļu +- คุณ +- 你喜欢 +- ▁basa +- vro +- ▁নাই +- ▁Euro +- praw +- ▁militar +- ▁Fel +- теп +- ▁twisted +- 筹 +- ▁fosse +- ▁юу +- ▁Fred +- ▁harbour +- slov +- pov +- ▁கட +- ອງ +- 你没 +- лэг +- ▁недо +- ▁wishing +- 上げる +- 扱 +- ▁retorted +- 疑い +- ▁އެ +- ivity +- Ra +- cado +- 不管是 +- 无论如何 +- 即将 +- ▁aange +- ாத +- ▁lifetime +- вання +- 哎 +- kräfte +- irira +- ▁defeated +- დი +- ▁llega +- ▁слово +- ▁آل +- ▁Kurs +- ▁lebte +- ▁Med +- گرد +- 制裁 +- 다가 +- 歇 +- ▁broader +- quant +- ▁slate +- ▁запад +- を終え +- ▁crawl +- алт +- нула +- ▁рыб +- ▁verstehe +- зм +- 严重的 +- ▁mereka +- 要不然 +- ありまして +- ▁Central +- ▁amazon +- ▁دارند +- ниц +- ▁mater +- ▁regulatory +- ▁Verfügung +- 丘 +- 已经被 +- ▁offerings +- ▁Tio +- லே +- 一路 +- ёл +- ర్ +- ▁gevoel +- お天気 +- ▁chorus +- ▁shallow +- 祥 +- ▁дерев +- 的其他 +- amaga +- ▁trata +- іст +- Reg +- ▁Monaten +- ▁schwach +- ▁Bio +- rew +- ▁cinco +- ▁Vertrauen +- オンライン +- 辩论 +- 说到 +- ▁dön +- 宣言 +- ってきました +- ▁roi +- ないか +- 下载 +- 这将是 +- ω +- ▁phenomenon +- اغ +- 売り +- кас +- ▁foam +- ▁tako +- ▁trumpet +- kür +- 野球 +- 行われる +- 旦 +- ķ +- ▁platja +- خانه +- 打电话给 +- ▁bloody +- かける +- ▁attentive +- ▁reckless +- 倒是 +- のほうが +- ▁publicly +- 教师 +- пля +- 護 +- 不相信 +- 山口 +- ▁gefährlich +- ▁johnny +- ▁punct +- فهم +- 形象 +- ▁lump +- 神奇 +- 不是吗 +- 赚钱 +- 有意义 +- জি +- ▁йо +- ▁bonds +- 겠 +- 糟糕的 +- ▁shaken +- ປ +- estudi +- ▁prose +- ▁chains +- 伝わ +- cac +- ▁wist +- قت +- ▁spectator +- 庫 +- ▁comparatively +- ▁zulk +- ▁notable +- ▁Пры +- cida +- ▁sustained +- volk +- ▁сторон +- ▁Kongress +- いたのは +- ần +- ▁pow +- ▁waving +- ▁breathed +- 供应 +- ▁höchst +- ▁получил +- ▁juda +- 僕も +- ▁Manchmal +- ▁banner +- үз +- ▁corpse +- 心中 +- ▁einiger +- 确实是 +- bericht +- ▁Orte +- ▁Angel +- 服装 +- 柴 +- ▁Аднак +- 三天 +- ▁Umgebung +- ▁Flor +- ▁corte +- ▁migra +- ▁expanded +- ▁positioned +- 始まる +- ▁تش +- ▁Бу +- 线索 +- чал +- ▁Big +- 的父母 +- 融 +- ▁philadelphia +- ▁concrete +- ▁hacia +- いるので +- ▁niemals +- gyn +- ▁schneller +- ▁compris +- ることで +- 有一次 +- 凤 +- ▁tribunal +- ▁engineers +- таб +- drücke +- ▁voran +- ▁dumm +- 싶 +- вшись +- ▁anstatt +- ront +- なんとか +- garten +- 恐らく +- коло +- '34' +- 等于 +- acqua +- 觉得自己 +- ▁manier +- ▁voz +- ことが分かりました +- だけでなく +- ▁بالا +- ▁большой +- 的第一个 +- 누 +- 整体 +- яў +- 这个世界 +- ▁dishes +- たくさんの +- ▁över +- ▁shocked +- 经历了 +- 栄 +- ▁pleasing +- ابت +- 物理 +- koresha +- ▁ojos +- ▁Parliament +- いらっしゃる +- பதி +- 一杯 +- 標 +- 难以 +- ▁dien +- ▁buena +- ▁якія +- の間に +- ▁naval +- ▁teori +- 责 +- ▁plato +- өрө +- kera +- ▁searched +- ▁remembering +- ▁ceva +- ▁interpretation +- ▁месте +- ▁deemed +- ▁positiv +- azioni +- ▁exhibition +- ▁davant +- ▁dome +- 少女 +- geschäft +- 难过 +- sanga +- ▁loudly +- ▁sinner +- werp +- 马上就 +- rima +- ▁থেকে +- 玻璃 +- رح +- ▁begannen +- ▁cherish +- ▁bail +- ่อ +- ▁Ara +- потреб +- ආ +- ເ +- 보다 +- preis +- ▁McC +- ▁creep +- ▁behandelt +- フル +- ▁fees +- اك +- 打破 +- ستر +- лены +- ▁drowned +- 卑 +- ▁unabhängig +- ৰি +- きれい +- ▁mô +- 知道我 +- treffen +- ▁People +- 你今天 +- 还可以 +- 最初に +- 新型コロナウイルス +- ▁announce +- ▁ocup +- ▁решение +- 请求 +- issant +- trek +- ▁bout +- ▁Great +- 自ら +- ▁نوع +- ▁ribbon +- おいしそう +- ペン +- ▁ibintu +- ziri +- нский +- るんですか +- ▁திரு +- ancia +- ▁exploit +- 厳 +- ▁contemplate +- كە +- 工厂 +- foc +- ▁inquiries +- ▁observer +- ▁entry +- cora +- িত +- ивает +- ҙе +- hield +- equip +- を与え +- 相同的 +- ▁practic +- ▁smallest +- 年度 +- ▁unity +- 値段 +- 就像我 +- ৰা +- 一篇 +- ▁reducing +- ▁مص +- ▁wrist +- 小さい +- 遇到了 +- ▁injustice +- ච +- 就是我们 +- ▁gasped +- 之中 +- ▁zouden +- home +- 它们是 +- ▁مختلف +- 蔵 +- ▁Madame +- ▁manche +- 婆 +- intel +- ようになった +- ▁দেখ +- ▁controlled +- ▁fazla +- ▁coral +- remos +- ▁bending +- 瞒 +- おっしゃって +- ▁Não +- ▁provinces +- ▁peng +- ▁мала +- 你可以看到 +- ▁florida +- ▁Estas +- ▁disclose +- 说服 +- 错过 +- 浸 +- 認 +- ត +- ▁flexibility +- ▁entertained +- 実施 +- ▁diamonds +- あんた +- 这首歌 +- ▁frac +- 生きて +- '46' +- ግ +- の名前 +- ▁thorough +- ▁multipli +- ким +- ▁dahin +- 尸体 +- ▁seeds +- 遅れ +- asso +- boj +- bě +- grand +- ▁Mini +- 因为她 +- යක් +- 仔 +- 岳 +- ▁Lass +- liku +- ием +- 花园 +- ▁besoin +- ▁anos +- 诸 +- ▁oogenblik +- ニューヨーク +- ▁può +- ▁British +- 提到的 +- इ +- 出口 +- ▁legacy +- ▁fraud +- ▁corporation +- 見えます +- ัก +- 歌手 +- بخ +- ј +- 藤さん +- ▁있었 +- 找我 +- ▁Hinter +- 並 +- ▁vraiment +- ▁bann +- வ் +- টে +- デビュー +- ▁consolation +- 欣赏 +- 変わった +- 摆脱 +- 我当时 +- 这句话 +- ▁loans +- ▁verkaufen +- 飾 +- ▁Sex +- 飲食店 +- валь +- ▁alexandr +- ▁нормально +- 所谓 +- ▁вещи +- 余り +- υ +- ▁drill +- ▁preceding +- 斗争 +- 我们从 +- ▁Stand +- 的母亲 +- länder +- imiz +- 一些事情 +- ▁zweifel +- ▁quanto +- ▁salon +- 穆 +- ▁misschien +- ▁Motor +- ▁prev +- qü +- ebla +- 指定 +- szcz +- ▁ambitious +- 面包 +- uganda +- 雾 +- 営 +- بور +- рин +- ▁tribu +- 元素 +- ▁alongside +- 哀 +- 했는데 +- ▁negli +- ▁أنها +- 第五 +- ▁Rede +- ▁Nova +- ซ +- 始めて +- ▁fuck +- にとっては +- 问问 +- ▁tenemos +- 狭 +- το +- 人たちが +- ▁kya +- ▁Ing +- ▁हो +- こうして +- obten +- ▁العالم +- 我才 +- ▁antaŭ +- ▁yielded +- ▁treu +- 说说 +- ында +- slag +- ▁bella +- ▁руки +- 편 +- 劇 +- ▁krijg +- '700' +- 输入 +- ▁erzählte +- ▁quasi +- ▁hommes +- 何度も +- lý +- 逐渐 +- ▁банк +- ▁komt +- 咩 +- насць +- ▁dürfen +- ▁прад +- ▁இட +- ங்களை +- noma +- რე +- かれた +- ыць +- 邪恶 +- ▁ĉiuj +- 怎么做 +- 地域の +- ▁cough +- ▁многие +- 膜 +- دام +- ▁calculation +- ▁студ +- 农民 +- に向かって +- ▁machinery +- fühl +- ▁jonge +- 这就是我们 +- 活用 +- 长时间 +- Ө +- モデル +- ▁mandat +- ▁neighbours +- 狙 +- వా +- рот +- ▁clue +- ▁mentre +- алга +- شون +- 这样的人 +- ▁fanden +- ▁weekend +- ▁heroic +- ▁Kamera +- ▁recommended +- ▁Komp +- ▁geschlossen +- ▁Hintergrund +- ▁normally +- ▁viu +- 感染拡大 +- ▁كۆ +- eqq +- 代理 +- ▁زمان +- بدأ +- alde +- ▁түүний +- ▁elector +- 看一下 +- ▁thor +- لند +- ▁побед +- うえで +- 竜 +- ▁проблемы +- ▁стране +- aggi +- چە +- ▁selle +- ストレート +- Ү +- 燃料 +- ▁constructed +- ▁henri +- stricken +- ▁прошло +- ▁misma +- шке +- рош +- èl +- ▁ehemalige +- 亿美元 +- orna +- тая +- న్న +- ということになります +- 青年 +- gezeichnet +- ረ +- Ingenieur +- ショット +- ▁tricks +- 我可 +- ßen +- ▁glowing +- 노 +- ▁hymn +- ▁olive +- ▁towers +- 莲 +- sponsor +- 自体 +- энне +- фо +- ▁feeding +- ▁nueva +- 下一 +- ▁کردند +- makers +- biro +- 合法 +- 在线 +- andra +- ▁spraw +- 再来 +- პ +- 培养 +- 乔治 +- いただきました +- ▁знает +- ▁mason +- gence +- umbu +- どころ +- ▁داشته +- போ +- ▁downstairs +- ▁بم +- 出た +- 是一个非常 +- ▁judged +- ល +- muka +- ▁ashore +- ▁Ausbildung +- opera +- hour +- بوو +- 祸 +- ▁collapse +- 的角色 +- 2% +- 挨 +- ŵ +- 脂 +- vallen +- 急に +- ▁campo +- fili +- ბ +- тары +- mien +- ศ +- ▁intercourse +- ผ +- ▁Rahmen +- пита +- ▁gast +- 好奇 +- 轨 +- 乐队 +- ование +- 没有办法 +- 脑子 +- ▁traveling +- ural +- 笑话 +- ▁polític +- どこに +- 这些是 +- 면서 +- ▁Wy +- ически +- 话说 +- jó +- 過ごし +- ической +- 鈴木 +- に入れ +- jährige +- kurs +- ▁formidable +- ▁pinch +- ▁assigned +- ▁Können +- ▁verdienen +- уют +- werte +- ▁fluid +- ▁پێ +- брос +- ▁avoided +- чих +- ▁memiliki +- バランス +- ▁kell +- ▁Anem +- ▁richtigen +- сси +- ▁amazed +- برد +- بال +- ▁Quant +- ▁могли +- вест +- ▁supplement +- ▁Werkzeug +- 暴露 +- unch +- ▁terrace +- voor +- 戏剧 +- 大好き +- ète +- 姜 +- ▁어떻게 +- ▁Figur +- raba +- ▁sina +- 最佳 +- 廷 +- 八年 +- ▁Rücken +- 大夫 +- lustra +- ▁flush +- ▁difícil +- ▁rejoined +- ▁Oni +- رز +- ▁reinforce +- 女的 +- ▁patterns +- ありますね +- avais +- ▁ceux +- çar +- 膨 +- ▁triste +- 場面 +- ちゃって +- луу +- шиг +- கூட +- 成分 +- ▁senza +- ▁опас +- ▁negoci +- flamm +- wirtschaft +- もそう +- 五百 +- 标签 +- ▁Auge +- woord +- を守る +- 坑 +- アジア +- ▁것도 +- ▁vaccin +- 隐藏 +- ▁côté +- теля +- 复杂的 +- bö +- ▁shells +- 크 +- 履 +- それだけ +- prise +- control +- zwei +- ▁parlament +- Italia +- 邓 +- ▁alto +- ▁chuck +- していない +- ならない +- ▁yaşa +- ให้ +- альна +- шёл +- ▁Obama +- ▁Road +- ▁exclamation +- ▁tới +- شكل +- 给予 +- 有利 +- 現実 +- 跟我们 +- 世界各地 +- astro +- ▁More +- ▁Vergleich +- だということです +- 晃 +- 爆发 +- 父親 +- elimina +- ▁completion +- ▁kostenlos +- ▁wussten +- 年以上 +- 这么多年 +- たかった +- ▁acute +- таў +- ▁conquered +- ▁benshi +- ▁Sau +- ▁torch +- ▁мире +- ▁maintaining +- ▁spider +- child +- ▁baker +- ▁тийм +- 鍋 +- ▁dasselbe +- ▁Best +- ▁offend +- ▁язык +- ▁insects +- 踢 +- ਸ +- ئی +- لَ +- ▁agitation +- Alb +- ▁Bord +- ▁göre +- ▁Quer +- ▁attach +- ▁sinking +- 这可能 +- 呼び +- 朕 +- 彭 +- ▁reluctant +- ியா +- zukommen +- ике +- ▁좋아 +- 国防 +- 掘 +- ▁Museum +- ▁saba +- ▁Zug +- ▁mußte +- лена +- ▁لن +- ▁độ +- 老鼠 +- ▁öffnen +- ▁vorne +- ▁batter +- できません +- Vi +- 资格 +- ▁hazard +- gata +- ▁nancy +- ▁гос +- ▁economi +- 太平洋 +- んじゃないですか +- ▁выгляд +- ▁الأمر +- ▁marvellous +- 西班牙 +- ходить +- ▁Party +- ▁stack +- دىن +- 但我们 +- ▁muchas +- ▁ҡу +- čí +- ▁halbe +- 葡萄 +- ▁Pil +- ▁dwelt +- ▁havis +- ▁adoption +- ▁différent +- 各种各样的 +- 당 +- 会社の +- gebrochen +- ség +- 的消息 +- 勢い +- ின +- ▁participation +- ▁fühlt +- 灵魂 +- 叹 +- дея +- 指控 +- ▁möglichen +- schlaf +- icio +- lili +- ▁aufgenommen +- 各地で +- ▁logical +- 目が +- ▁котором +- ▁competitors +- 待ち +- 配合 +- ▁لأ +- ▁adjustment +- 足球 +- ▁muti +- ▁germ +- ▁이거 +- の情報 +- labora +- っち +- 古代 +- пат +- ▁cai +- 自杀 +- 打击 +- ▁charlie +- лага +- くれた +- ▁север +- kenntnis +- 可爱 +- 公里 +- 看起来像 +- ▁virtual +- ▁guitar +- streit +- gawa +- ▁Such +- 1% +- ▁weiße +- ▁ivan +- ▁خلال +- ▁Wohl +- ▁leise +- ansi +- 逻辑 +- 하게 +- ▁oxford +- ште +- ▁revel +- ▁sahip +- bintu +- ▁tien +- ▁trauma +- ▁trước +- ▁honourable +- ▁probability +- Est +- ▁Mak +- gereza +- 矢 +- ▁lớn +- 回復 +- ▁brisk +- rende +- プレ +- emis +- 我开始 +- ▁potent +- 客气 +- 几次 +- 还记得 +- това +- ▁mevrouw +- ▁eighteenth +- ывает +- ▁fing +- wohl +- こちらは +- 是对的 +- iện +- jana +- 得更 +- 连续 +- ▁süre +- ائل +- தாக +- 在里面 +- 走り +- ▁ardent +- 的事儿 +- buk +- ▁chuyện +- wuchs +- زى +- ▁allgemeine +- 肠 +- 吻 +- 抱歉 +- 得太 +- ゼロ +- 这个东西 +- ▁March +- 听说过 +- ▁زمین +- ▁fragment +- ▁بودند +- 舒服 +- ジャー +- öpfe +- ▁dieselbe +- 要請 +- ▁reasoning +- modell +- لات +- xxam +- 斯坦 +- 的天气 +- ▁خل +- ▁cùng +- introdu +- 有名 +- Й +- 稀 +- meni +- ▁Proto +- 这是你 +- vocation +- 大丈夫です +- ▁плане +- なもの +- ▁Erfahrungen +- しましたが +- 賃 +- ▁welcher +- ▁riep +- ▁legisla +- けた +- ▁мной +- hong +- ▁você +- ▁baseball +- ▁slap +- objet +- ▁Nda +- ▁شيء +- ಯ +- ijas +- vēl +- ĝo +- mada +- ▁mystic +- EC +- 課 +- ▁experts +- 杂志 +- 昭和 +- 因为这 +- ▁yose +- ▁preference +- ▁Flug +- 簡単 +- ▁impatience +- 쓰 +- プレゼント +- หน +- ▁ولی +- ▁slay +- ▁så +- 今後の +- ▁числе +- ▁ຢູ່ +- ▁хотите +- ▁никаких +- ▁நட +- lette +- mong +- していると +- ▁več +- ▁dismissed +- ▁Wissenschaftler +- ▁liquor +- ▁pursuing +- を目指す +- glaub +- бро +- ▁buff +- 下班 +- ▁ilk +- ▁Untersuchung +- ▁Tradition +- ▁linked +- ▁knit +- ▁successor +- linie +- ▁Matt +- ▁количество +- ▁French +- センチ +- நேர +- ário +- ▁insect +- aigua +- qq +- アフリカ +- ރު +- キング +- の一つ +- ▁converted +- ▁vault +- wain +- schel +- samkeit +- ỉ +- ▁personnes +- ▁staircase +- 咨询 +- ▁slumber +- ▁Со +- corr +- schicht +- ▁clasped +- sigur +- ▁concur +- 姉 +- ▁hẽe +- ▁pueblo +- ▁Cat +- 任何事情 +- ▁جهان +- 去哪儿 +- нных +- marin +- kaya +- ▁Todes +- ләр +- ▁Gan +- ੇ +- ▁routine +- 竞选 +- 如果是 +- 生病 +- ▁punished +- ▁libre +- قات +- ▁bamb +- ▁demonstration +- ▁retained +- ▁nhìn +- ▁엄마 +- ▁Worten +- kapa +- ල් +- ▁siege +- ▁üç +- を伝え +- 女生 +- ▁schützen +- ▁família +- 严格 +- ▁singer +- 青春 +- ▁Besitz +- ▁poems +- しております +- 考试 +- わら +- 女の子 +- バル +- ▁Merc +- ▁scope +- なきゃ +- 不是一个 +- ▁loyalty +- 躺 +- 研究所 +- ▁juffrouw +- 英尺 +- ▁verkauft +- груз +- ▁jongen +- 贝尔 +- ▁أع +- ▁pai +- 读书 +- 现在已经 +- 问道 +- 很长 +- щих +- esca +- ckel +- ▁thanked +- ▁Produktion +- ▁Milliarden +- 子供たち +- ▁bodily +- gada +- 鉄道 +- گل +- 显 +- ▁Both +- ▁carrier +- fér +- aime +- 的许多 +- arrêt +- profit +- ▁breathless +- いたら +- 妖 +- が一番 +- ▁verbessern +- 瘦 +- ▁mall +- ないので +- ▁traces +- ▁timp +- 后悔 +- téri +- 向前 +- یز +- 範囲 +- ▁dealt +- 乖 +- ▁desirable +- 去看看 +- 考える +- ▁erster +- лик +- ▁рассказыва +- サイト +- ıldı +- клон +- 即使是 +- ▁Home +- ngingo +- 際に +- ▁abode +- してます +- ▁всю +- ▁près +- 興味 +- 街道 +- wè +- ški +- ▁precaution +- 芽 +- ▁원래 +- 解决方案 +- ▁이러 +- 届け +- ▁collective +- ▁pious +- kina +- ▁Struktur +- tata +- 든 +- ▁trotzdem +- AR +- ▁offensive +- おき +- Tech +- ▁Ал +- 最后一个 +- ▁Dorf +- ▁Deutschland +- ちゃんの +- してほしい +- ▁streng +- வும் +- ▁horrid +- ▁Kontakt +- ▁molly +- 牧师 +- sprache +- ▁Haushalt +- 昌 +- ▁Fünf +- ▁regain +- ▁Ländern +- 考えた +- 一起去 +- ህ +- ▁terrified +- ▁learnt +- ▁witnessed +- ▁trov +- ▁keiner +- ▁Beziehungen +- 把我们 +- زل +- ▁amafaranga +- 起来了 +- ▁franchise +- ▁abundance +- ▁atlantic +- ▁airport +- كس +- せない +- kong +- ▁conclu +- 的态度 +- 的音乐 +- ▁Sind +- 蜂 +- ▁nữa +- たんですけど +- 回报 +- ுடைய +- ▁domini +- ▁shillings +- ▁encara +- ▁entgegen +- ţă +- виз +- ▁обще +- ަށް +- ▁Verwaltung +- ▁شروع +- ▁Aktivität +- 癌症 +- yandi +- ▁seulement +- 得好 +- esprit +- yaga +- 想办法 +- ▁Francisco +- の予想 +- ▁Wein +- 晶 +- ït +- تنا +- ▁serie +- ▁characteristics +- ▁mesmo +- ▁Schulter +- 阔 +- ▁کے +- laki +- nood +- 的状态 +- sett +- フト +- ▁Virginia +- メーカー +- ▁acum +- ▁Vila +- muş +- кана +- カラ +- ▁tract +- ▁шар +- fordern +- スマホ +- 季節 +- ▁داده +- ново +- 減少 +- 任何东西 +- ▁части +- ები +- යේ +- へん +- ▁consolid +- 惩罚 +- ▁Krebs +- ▁pregunta +- ▁дараа +- ▁barri +- ▁кроме +- ▁поле +- 受欢迎 +- коў +- lux +- 柜 +- iek +- 店舗 +- itari +- 参考 +- भा +- ▁договор +- ▁recess +- atura +- 识别 +- ▁bieten +- ▁என +- 換 +- ▁Fortschritt +- ▁trotz +- ▁youngest +- कार +- 对对对 +- க்கிற +- 跑了 +- 予約 +- 颗 +- ▁lawyers +- ▁своим +- ▁Nya +- 嫂子 +- ▁mining +- ▁submitted +- ▁кил +- ▁guided +- 女性の +- 안 +- 迁 +- ทํา +- ▁bắt +- ওয়া +- 温泉 +- नी +- ▁bike +- ▁tossed +- ஸ்ட +- ▁Brand +- ▁ثم +- ▁Ти +- 纠 +- ▁சரி +- 었어 +- ▁emerged +- ▁versuche +- これまでの +- 包含 +- ▁offended +- ▁già +- ▁passer +- 您说 +- 锦 +- klin +- ▁rechten +- 地球上 +- тара +- ▁machten +- 下次 +- ▁privat +- 疾 +- ను +- ▁slice +- தற்கு +- ▁destination +- てしまった +- дали +- 你可能会 +- ▁comprehensive +- ワイ +- 数が +- τα +- amiento +- рать +- ▁Theorie +- らせ +- Music +- ▁columns +- ▁зрения +- 坊 +- ▁incapable +- 내 +- 一根 +- ▁Jun +- ▁guerre +- ▁prudence +- ▁spielte +- жим +- kiwa +- කි +- ▁relax +- ifiziert +- ▁Slide +- ▁errand +- ▁drawer +- 年生 +- 落とし +- てない +- ▁reserved +- ▁мира +- 惹 +- 鶏 +- ▁suffice +- ▁premium +- ▁handful +- été +- ▁олон +- であれば +- party +- ▁истории +- 看待 +- ▁работы +- ▁اینکه +- ▁borders +- 最大の +- енным +- 終了 +- čno +- ▁winding +- 加拿大 +- あんな +- ▁Johnson +- ってください +- beera +- ▁dreaming +- ▁tropical +- 方案 +- ویل +- ▁georgia +- සා +- ▁있고 +- ▁amidst +- 扯 +- เขา +- ▁emerging +- ▁Roger +- ▁projet +- ستی +- ▁Gel +- ▁drap +- ▁spit +- hund +- мак +- 议员 +- 际 +- zusetzen +- ピッチャー +- 意大利 +- விட +- رض +- ▁rép +- ▁хө +- ▁Long +- 带来的 +- ▁слож +- 扮演 +- нк +- ▁அறி +- ▁converse +- 超越 +- 引き続き +- JR +- 大手 +- fowl +- pata +- ▁goddess +- 妃 +- ▁commend +- ディー +- рис +- ▁Hotel +- ラスト +- ním +- rän +- gah +- 多个 +- 教え +- 佐藤 +- ▁boldly +- 悩み +- ▁которого +- 自転車 +- ちゃんが +- 核心 +- vacu +- ▁resent +- ▁último +- 的大脑 +- 发言 +- cule +- ▁wählen +- ― +- 辱 +- 강 +- ruka +- 傾向 +- еду +- ▁reicht +- ▁répondit +- дин +- 绳 +- 雕 +- 你知道我 +- 工作人员 +- ▁boiling +- ▁моск +- 顺利 +- ▁polic +- terior +- ▁sect +- 荣誉 +- хэн +- わせ +- irdi +- itatea +- ▁draft +- 的衣服 +- تور +- 3% +- 堵 +- யோ +- ාව +- να +- raub +- 悟 +- 侯 +- ▁entschieden +- ▁Zeichen +- 感謝 +- ▁Planeten +- ▁fueron +- 就知道 +- ▁loi +- iteit +- ▁gestern +- ▁otras +- ▁Öl +- ▁neighbour +- ▁standpoint +- сар +- 完全に +- 不舒服 +- VTR +- ▁spaniards +- ▁Sozial +- ▁dirt +- ▁hwn +- 颜 +- 晨 +- abanya +- рий +- ▁chiar +- 斤 +- ▁getötet +- ▁unnecessary +- bizi +- brew +- ▁پار +- Plattform +- ▁gewonnen +- 規制 +- 发送 +- を使う +- ▁priority +- ▁Geheimnis +- ▁suspended +- 同時に +- geteilt +- ▁willingly +- ▁seien +- ▁Unser +- 不动 +- ▁Fund +- AS +- ▁nama +- ކަ +- 感动 +- ţii +- american +- 你们都 +- ▁justify +- ▁steward +- ▁Kim +- 舅 +- мур +- 袭击 +- اشت +- ▁реально +- 正直 +- 没问题 +- līdz +- 最後は +- 阶 +- 남 +- ▁bản +- ▁이게 +- ▁இரண்டு +- 歴 +- ▁нэр +- ▁Wol +- ▁clung +- 大使 +- ▁Flo +- ▁Industrie +- udge +- ▁massa +- ▁此外 +- ▁clergy +- のもと +- 免疫 +- ▁работает +- 相撲 +- ▁থাক +- ▁candidate +- かなと思います +- 跟大家 +- ordre +- hala +- ▁canadian +- 小朋友 +- aña +- ▁coordina +- teeka +- plin +- といって +- 抗议 +- 羞 +- ង +- ▁spreading +- ▁sadece +- ▁einzelne +- 的任务 +- ▁Tā +- ▁sinh +- ▁allies +- ▁behave +- ▁wildly +- ▁generated +- パラリンピック +- 这段 +- 明星 +- سبب +- 時間を +- ▁strand +- presi +- 준 +- 抱怨 +- 首脳 +- ▁Market +- ▁Harris +- ▁Unit +- atrice +- boden +- 清晰 +- ماذا +- 大学の +- ţe +- விட்ட +- ▁innovative +- ▁database +- 肯定会 +- ▁capa +- ▁actua +- morph +- ▁einzelnen +- bali +- ▁juan +- いだ +- 忍受 +- ▁creator +- ▁Denk +- urwa +- ս +- ▁artillery +- މަ +- ▁توسط +- ▁gilbert +- んや +- stürzt +- ▁telah +- あい +- ▁situé +- 笔记 +- ってくれ +- ضحك +- ▁anthony +- wissenschaft +- しゃ +- ▁tante +- 一点点 +- ▁большая +- menya +- ӗ +- ရ +- 规划 +- ▁vilaĝo +- 合って +- ▁preacher +- ▁ноль +- ▁verder +- 从事 +- ▁spreche +- ▁potatoes +- ▁corpo +- था +- ▁faz +- ਨ +- ▁geliebt +- 放松 +- 的产品 +- ▁Angriff +- ▁thật +- ▁irgendwo +- curi +- 高校生 +- ▁petr +- ▁Their +- проч +- ニュー +- ▁spared +- ފ +- 这个节目 +- 戒 +- ▁Nachde +- 千葉 +- ibyo +- τη +- 就好 +- ▁fortnight +- 周末 +- 見ていきます +- 我想知道 +- хам +- ▁consumption +- ▁আৰু +- ▁sympathetic +- ▁Konzept +- んだよね +- ▁Geräusch +- んだって +- ▁subsequently +- ▁Russia +- ▁کسی +- ことがある +- ▁afforded +- ự +- まえ +- pfa +- flug +- ▁queste +- ▁progressive +- 似的 +- mita +- кет +- ▁sentir +- 桌子 +- ▁хочет +- ▁Rasse +- ▁Fällen +- anın +- があるんです +- 築 +- рван +- と共に +- ▁Dick +- マジ +- 此时 +- ▁Spo +- ▁bonnet +- ҥ +- āju +- 扩大 +- 这两 +- 体重 +- ෙන් +- шил +- مَ +- 也能 +- tiere +- 但在 +- 唤 +- ▁çocuk +- ▁heutigen +- 冬天 +- ▁Put +- 彼らは +- ▁guarded +- ▁نشان +- 向我 +- قام +- stained +- ▁estoy +- 靠近 +- ▁protein +- ப்பட்டது +- 争论 +- ați +- ่น +- ▁buchstäblich +- ▁усё +- ▁Lor +- тура +- ▁pensi +- まん +- وض +- ▁evangeli +- 是非 +- полага +- 原始 +- عي +- ிலும் +- мян +- 不信 +- afi +- ድ +- 拓 +- ふだん +- 消失了 +- ▁يتم +- ▁amusing +- ▁punch +- ▁när +- 听到了 +- 资产 +- ▁Kath +- 哭了 +- ▁tremble +- ▁leiden +- ánh +- 有助于 +- ▁prosper +- itse +- ▁عليه +- рев +- சை +- ▁Haut +- ▁внимание +- 详细 +- ▁있잖아 +- 投資 +- ▁garanti +- град +- ▁가서 +- ▁другом +- ごと +- 新鲜 +- ▁faintly +- ▁Amazon +- ▁Ан +- 耀 +- ▁Erklärung +- IC +- 反而 +- quarter +- ▁来一首 +- 性别 +- 罩 +- ▁charlotte +- ▁attained +- ▁детей +- ▁profond +- ▁نیز +- ▁Яны +- 但是如果 +- ▁Männern +- ▁поскольку +- 配置 +- gespielt +- ▁eran +- ▁Fur +- ▁algunos +- ▁unua +- ▁отношения +- 菊 +- 姐妹 +- 選手権 +- 护理 +- ▁strive +- wright +- 誓 +- ▁halted +- Argent +- ▁поводу +- ▁morir +- ▁Gewinn +- ▁seguir +- ▁requested +- '37' +- ▁Alice +- 我跟你 +- ▁schlimm +- ▁генерал +- 挖 +- χ +- ▁кооператив +- 蓄 +- 自動車 +- ▁merchants +- ▁그래도 +- autor +- ▁Те +- ▁wichtigsten +- 考虑到 +- нә +- ▁Ray +- 埼玉県 +- ź +- 咪 +- ▁удар +- 広がり +- 叫什么 +- 或许 +- ûn +- ▁November +- geworfen +- ধা +- ▁assuming +- ▁Außen +- ▁Debatte +- ▁nhân +- 利亚 +- ▁muslim +- гээ +- Michel +- ▁serait +- 山さん +- ன்று +- bris +- ▁telegram +- 笨 +- 陶 +- عرض +- '198' +- 調べています +- 会发生什么 +- ▁smash +- ▁петр +- 盲 +- ෂ +- ▁вроде +- ▁sólo +- ▁Times +- 信用 +- 술 +- 파 +- 訪問 +- ▁mı +- komst +- ඳ +- ▁александр +- ▁happier +- 毫无 +- ▁Roma +- ▁kalt +- niveau +- қә +- kurikira +- 終わった +- твар +- poro +- аваць +- 你就是 +- ▁deserved +- īja +- '33' +- ¡ +- 陰 +- ▁speculation +- 警察官 +- 大きさ +- 八十 +- visa +- ▁rey +- 十万 +- seks +- 也得 +- 去年の +- ▁Andrew +- 我刚才 +- 这可能是 +- tausch +- 继 +- ▁conspicuous +- ▁remembrance +- gebung +- ▁скажу +- 旅游 +- ▁jedno +- schreiben +- 相处 +- ▁respectful +- ▁plague +- すべての +- 不幸 +- чна +- ென் +- kuta +- ▁vehicles +- stell +- 每周 +- 之处 +- 给您 +- ацион +- ▁Anna +- わけですね +- म् +- ▁tempted +- おととい +- ▁جای +- 而已 +- 赤ちゃん +- covid +- page +- ระ +- ▁fig +- ッツ +- 年前の +- ▁theories +- 究竟 +- − +- wanga +- prost +- ▁pony +- ▁heures +- ▁samuel +- seitig +- 就跟 +- ▁дуу +- どうなる +- かかり +- 整天 +- もう一つ +- 倾向于 +- 溪 +- ▁prevailed +- ▁یاد +- ▁climbing +- пот +- ▁sõ +- führt +- чо +- ▁investigate +- sobola +- jski +- 忧 +- दि +- ▁mike +- ▁Song +- wish +- ▁Tä +- 形状 +- စ +- asyon +- ▁roast +- haired +- ▁vais +- 記者 +- тим +- ▁luke +- ඒ +- ặ +- ▁confederate +- 올 +- ▁masa +- credi +- ەکان +- Work +- udio +- ▁disagree +- 向他 +- 傘 +- kämpft +- ▁довольно +- Смех +- ▁vraag +- drag +- ▁proto +- ▁sûr +- 的建议 +- ▁seeming +- حمل +- 耍 +- ▁whereupon +- ▁carries +- 抵抗 +- の結果 +- 陵 +- ▁Zwischen +- 매 +- 菅 +- 博物馆 +- 六个 +- werken +- すぎる +- ▁darunter +- ▁intervention +- を示しました +- ▁implementation +- 共有 +- cji +- ▁embargo +- 줄 +- ▁negotiations +- ▁torrent +- rilla +- 都已经 +- 更重要 +- 水分 +- డు +- ▁شوند +- ▁null +- خارج +- ▁usage +- をしていた +- 扶 +- 문 +- 산 +- 列表 +- ▁suited +- улы +- ▁выступ +- それも +- 袖 +- 次は +- 始めました +- ▁approximately +- を続けて +- 这座 +- ێن +- ▁compass +- ций +- ▁quaranta +- ▁tym +- ▁bibli +- مات +- ▁بىر +- klad +- ировал +- 你不要 +- ▁необходимо +- ▁promising +- ▁Meilen +- lege +- loge +- ▁figured +- 申し +- ときは +- ▁equality +- 之类的 +- ▁erhob +- ケーキ +- 認識 +- ▁reconcile +- ▁yabo +- ▁debat +- コード +- haya +- 那我就 +- 惨 +- 昆 +- ▁слишком +- お互い +- 交渉 +- ▁Daher +- ▁plea +- ▁habia +- 会让 +- чны +- 孕 +- 笑了 +- 喜马拉雅 +- 訓練 +- ▁говорили +- ▁места +- 編 +- рма +- 組み +- 就开始 +- त्र +- ▁تخ +- вший +- ▁Grenzen +- 我以为 +- 注册 +- 伝統 +- ரே +- ▁Sendung +- ▁souvent +- 绝望 +- ▁gesicht +- гьы +- かけた +- ▁franz +- 砸 +- ▁ఆఁ +- ▁pauvre +- ▁rejoice +- 本周 +- lamp +- נ +- ▁cuộc +- ▁donald +- 行きます +- 这是一个非常 +- тав +- 上がった +- 就是一个 +- istischen +- ή +- кина +- に行った +- ▁Nick +- నా +- ▁clearing +- ▁tinha +- 에는 +- タル +- 乃 +- zeichnung +- ▁товарищество +- 桜 +- 卒業 +- يه +- ▁luz +- 왔 +- ▁qo +- ladı +- baum +- 完美的 +- 疗 +- いるという +- ▁verdient +- 오 +- ▁слыш +- ище +- ▁tact +- middel +- 迎えた +- 玲 +- お二人 +- ▁curtains +- alimenta +- ▁tooth +- のですが +- ▁foresee +- Risas +- àtic +- コメント +- 产业 +- ▁Lager +- gewalt +- んでしょう +- حص +- ▁fühle +- ▁respected +- 宣传 +- 行吗 +- たこと +- चा +- bürger +- ▁alchemist +- ▁Jones +- чака +- ▁шест +- ľ +- 俱乐部 +- ▁денег +- 繰り +- karte +- 黎 +- 比你 +- ▁shrill +- піс +- ▁accordance +- තා +- ▁بشكل +- 营销 +- ▁halo +- ▁washing +- ▁heath +- ワーク +- ▁mature +- ▁Wohnung +- ▁representatives +- information +- ھا +- material +- ▁rosy +- ▁regulate +- ▁cinquanta +- ▁veteran +- dov +- 只需要 +- ▁hull +- ▁但是他们 +- 跟她 +- 产生了 +- 時には +- 一颗 +- ▁riot +- 这并不 +- ▁pagan +- ▁veux +- ▁evolu +- luck +- ▁será +- ▁übrig +- ▁resta +- 负担 +- ▁başka +- ▁пример +- ▁parle +- ন্ত +- estro +- ▁Regeln +- vió +- 尿 +- ුණ +- 素晴らしい +- ▁தொ +- pí +- phra +- ▁efter +- 糸 +- ု +- 楽しめる +- ▁persian +- ▁Fil +- ▁возник +- 了下来 +- ▁willkommen +- 饱 +- 糟 +- 畑 +- ▁gigantic +- ▁buffalo +- ▁meditation +- ユー +- ▁solemnly +- よろしくお願いします +- ▁explica +- 溜 +- ਦ +- ▁wünschte +- 備え +- lige +- ubwi +- виду +- 我不认为 +- очка +- خان +- ancien +- ▁supposing +- ▁gloves +- ▁lahko +- ▁работу +- 访 +- sional +- 所以我想 +- ከ +- ገ +- และ +- シリーズ +- てくれた +- ▁смог +- ▁Lied +- の方に +- ▁confront +- ▁சில +- ▁parler +- ▁agnes +- 坎 +- 撕 +- ▁medizinische +- 少数 +- Man +- 正义 +- 微博 +- ıcı +- ▁jungle +- طب +- ▁vicar +- ▁Grad +- ▁thereof +- 像你 +- lach +- '38' +- ▁Verständnis +- ▁энерг +- ギャ +- ▁blog +- 一个新的 +- ▁samo +- IP +- ▁junior +- ▁kümmern +- ▁commis +- burger +- 機会 +- ▁хол +- ブリ +- ▁توان +- อง +- 沼 +- ▁calendar +- ▁angefangen +- ▁கொ +- 这时 +- 敏感 +- ▁tlie +- というのを +- ▁fürchte +- excursió +- ራ +- ツアー +- 天堂 +- ▁oficial +- 達成 +- bouw +- ▁forbidden +- 全ての +- 価値 +- ▁bruce +- ジー +- 胶 +- ▁Lernen +- 我有一个 +- 野党 +- обр +- あさって +- いるのか +- ▁nützlich +- ▁partial +- ▁tempt +- يون +- シュート +- ▁dachten +- 平安 +- ▁ruled +- ▁integrated +- 新型コロナの +- ▁grind +- vina +- ▁сильно +- ▁месца +- んだから +- 可以用 +- ▁dernier +- сет +- cato +- ▁голову +- raient +- ▁ayuda +- くなった +- 開幕 +- baye +- ▁гри +- 所以它 +- 及时 +- プラス +- ნი +- 驾 +- ▁mortgage +- ▁awesome +- 怀孕 +- ▁нават +- дела +- ▁float +- ▁Revolution +- 一看 +- 違います +- ▁садовое +- 槽 +- ▁invasion +- ▁особо +- ▁splash +- 相手の +- عاد +- ▁dla +- 国連 +- ▁contend +- ▁bubble +- ਹ +- 只会 +- ▁tính +- ▁martha +- ▁چرا +- 你不知道 +- risti +- ▁хто +- の天気 +- paka +- ▁المت +- 建て +- коммерческое +- ▁tersebut +- 細胞 +- ▁snapped +- حدود +- 进化 +- natured +- 围绕 +- toren +- 臓 +- 稼 +- 我们认为 +- 新型コロナウイルスの +- ▁adequate +- 监控 +- ▁precipita +- ▁lorsqu +- venue +- 股票 +- ったこと +- ▁inspire +- ▁verließ +- ▁Га +- ▁sensor +- 空中 +- ठ +- ਕ +- ▁Aspekt +- ▁intens +- শা +- 見つかった +- ▁remedy +- みたいに +- ったのは +- ▁greatness +- ▁comunica +- гул +- ఆ +- かさ +- っていうか +- 楽しんで +- 立法 +- ▁müsste +- licit +- BC +- ▁دهد +- ▁Ansicht +- ▁sozusagen +- ▁awhile +- த்துக் +- ▁Apple +- ▁obliga +- ▁dolor +- іль +- ுள்ளது +- ▁Vari +- 批准 +- ▁components +- ▁Latin +- ▁rebellion +- 预算 +- ▁genial +- ক্ত +- 爆発 +- ▁Mannes +- tawa +- ▁சொல்ல +- 炒 +- ▁thursday +- මු +- гур +- ▁gasp +- ▁focusing +- ▁June +- 拿出 +- ▁Bald +- ▁естественно +- ▁настоящ +- 棍 +- 記憶 +- ▁chariot +- ▁comrade +- ▁лицо +- ▁rachel +- メント +- 九点 +- ▁altri +- 有更多的 +- ▁nuit +- 㗎 +- エル +- ▁resolute +- ensemble +- চি +- 就得 +- 的项目 +- ருக்கு +- ▁nannte +- ̣ +- ▁Verantwortung +- 所以这是 +- 将会 +- ▁lemon +- gänge +- 涉及 +- ョ +- kili +- eṭṭ +- ▁Antrag +- ▁blanche +- されていました +- ▁Gru +- 戻って +- ▁تنها +- ことによって +- ▁Town +- ▁leider +- mali +- ▁yep +- 你妈 +- 塗 +- 梅雨 +- ▁добро +- 的速度 +- ▁которым +- 芸人 +- 選手たち +- kord +- bald +- ▁Bol +- plant +- agh +- 伸ばし +- кала +- 我们不能 +- 欣 +- ▁preach +- ▁breit +- ▁இருக்க +- ▁செய்ய +- ▁pilgrim +- ▁voix +- ▁alguns +- ▁veya +- 请问 +- заў +- どこか +- ического +- ती +- rauch +- 的概念 +- PR +- щие +- ranye +- ▁één +- ▁fé +- 政治家 +- drop +- 取消 +- とみられる +- ▁accomplishment +- ▁vegeta +- ▁camin +- アプリ +- ▁assumptions +- mütig +- ailleurs +- ▁Во +- wadde +- prozess +- ▁resulting +- жды +- こん +- открыт +- асці +- ފަ +- ensor +- zaam +- ▁actively +- ksa +- ▁Ці +- juk +- эш +- körper +- インタビュー +- 来来来 +- yama +- чным +- issait +- ▁uncommon +- ▁despatch +- 但他们 +- ▁klas +- ▁Valley +- ▁часто +- ▁tế +- 奪 +- ▁Open +- န +- ▁façon +- なんでしょうか +- ▁gag +- ▁Start +- ▁отдел +- 说法 +- ▁добры +- いこう +- grä +- ▁louise +- ▁gewisser +- reiche +- 崩れ +- ▁fulfilled +- 措置 +- 这话 +- ▁gedaan +- いたい +- ▁wail +- diye +- 近づ +- ▁тобой +- ▁sheriff +- 限定 +- 校长 +- 運営 +- ▁gyfer +- adju +- そうですよね +- 柯 +- ▁occurrence +- ട +- 这一次 +- ▁folgte +- 过得 +- 的专辑 +- 夜晚 +- 事務所 +- 惜 +- ▁aunque +- 等到 +- ボールを +- 夏の +- ▁falta +- ▁frühen +- ▁daraus +- ▁saith +- ▁Mira +- ▁sanft +- 尴尬 +- んですかね +- ▁religiöse +- ▁nennt +- дель +- ▁شک +- ▁childish +- ▁мнение +- ▁stalk +- ▁خوش +- Һ +- ▁bởi +- 見込みです +- ▁kişi +- ▁acaba +- ▁Live +- ruff +- ▁approve +- ေ +- 賛 +- züge +- রু +- 工夫 +- 铜 +- ▁همچنین +- 형 +- ▁reflecting +- 入れた +- 也不知道 +- 醒来 +- related +- аас +- ▁filter +- ▁sunny +- ▁cuenta +- 蛮 +- 熬 +- ▁catherine +- ▁respekt +- 尽快 +- ▁vertraut +- ▁cautious +- 겠다 +- kami +- ▁États +- ▁warrior +- ▁circular +- ▁orang +- チェ +- ▁specially +- قان +- ▁doom +- 裔 +- ▁kubi +- ▁raid +- わず +- 你又 +- ▁erklärte +- われた +- hurst +- ▁strait +- 弄清楚 +- ▁класс +- 它可以 +- ありますか +- 拐 +- 체 +- バイデン大統領 +- 揺れ +- gibt +- reise +- いただいた +- ▁dump +- ▁meek +- ▁hayi +- proof +- fassung +- ▁Stock +- 坡 +- 煤 +- 遗憾 +- ▁Experiment +- トマト +- 协会 +- ▁contribu +- 东北 +- ▁aynı +- sız +- ▁geschaffen +- ▁secondary +- ▁pitt +- auto +- гуля +- mies +- lohn +- 離れた +- сот +- 所有人都 +- スペイン +- 維持 +- ▁Tema +- ▁আমি +- 日まで +- 銀行 +- 整理 +- 原子 +- 殿下 +- вернул +- ▁goede +- ▁relates +- 近くの +- ▁клуб +- ▁douglas +- 仪式 +- ▁paz +- ▁implica +- কি +- korera +- 试试 +- ▁translated +- ▁тое +- 单独 +- ியது +- ▁algorithm +- 몇 +- ▁случай +- ▁anterior +- 俳優 +- ▁comic +- ▁candidates +- もうちょっと +- 一緒 +- ość +- ▁nước +- ▁thay +- ▁policeman +- 足を +- 測 +- ▁combine +- ார்கள் +- ▁Pour +- ▁gaining +- 更容易 +- ▁bloß +- ▁Punkte +- જ +- ▁chocolate +- ည +- 労働 +- それぞれの +- ▁robbed +- ▁fourteenth +- 专辑 +- 物価 +- 北方 +- یده +- ▁commanding +- বু +- ▁joyous +- ▁drehte +- ▁товарищ +- ▁eingesetzt +- ▁sullen +- 五千 +- 姑 +- ▁девушк +- 我以前 +- ▁elderly +- を取って +- けさ +- 日目 +- 织 +- ▁elektr +- ▁hearty +- ▁trigger +- トル +- ▁waarom +- ▁zač +- หล +- ▁schaute +- ▁starve +- erade +- ▁yapma +- ▁precise +- ▁kinderen +- ▁حول +- rolle +- ▁productive +- мова +- ▁bằng +- 酬 +- ▁შე +- ulin +- ▁regulations +- 直後 +- ▁насколько +- 祝福 +- 结论 +- ▁Kanada +- ▁philosophical +- ▁slash +- dynami +- 他是一个 +- くなります +- ▁shelf +- '95' +- ますけど +- ▁deprived +- ▁stray +- 出门 +- 小屋 +- そうそう +- вался +- ▁mujer +- ու +- 泄 +- ▁моей +- 窃 +- ▁überrascht +- ▁diğer +- ▁حتى +- ▁loin +- 雨雲が +- ▁importantly +- ▁fiery +- ▁contradict +- ▁Яна +- ▁balloon +- ając +- ▁einfacher +- ▁bestowed +- 島の +- город +- ▁moyen +- 浪漫 +- ▁தலை +- ▁fortress +- ▁lebih +- schild +- nimi +- coli +- というような +- ▁sprak +- ▁fright +- ▁benutzen +- 吞 +- ▁Schwierigkeiten +- ▁estão +- ▁vide +- ▁frederick +- 延長 +- 的城市 +- ināt +- 貌 +- ▁Hey +- 雰囲気 +- ▁aggr +- ▁wiederholt +- າຍ +- ▁musket +- ▁swan +- TO +- ▁Gang +- cala +- ێک +- look +- ▁الْ +- 社員 +- ▁wales +- ▁problème +- こちらも +- zusehen +- ▁پو +- sichtig +- ▁electronic +- гээр +- 把你的 +- ▁server +- ▁exertion +- 屏 +- ല +- ▁ejemplo +- ▁invariably +- fugi +- 外部 +- gruppe +- mord +- 為 +- ந்தி +- ▁señora +- двига +- ▁exert +- 諸 +- ▁كبير +- ▁feedback +- ▁Terra +- 大切な +- ющий +- そこまで +- чар +- ▁Var +- 食べた +- ▁glancing +- 薪 +- 还有什么 +- ▁compact +- 审查 +- 原さん +- ▁хоть +- ▁أحد +- mén +- 絶対に +- ▁merge +- ってきて +- ▁swallowed +- ▁Wachstum +- ▁Technik +- مدينة +- ▁fossil +- ▁organiza +- 把这些 +- 引っ +- を見つけ +- 阁 +- てほしい +- нө +- ▁impart +- いますね +- ▁numero +- あふれ +- 立場 +- kutu +- ▁correspondence +- 增加了 +- ▁ragged +- А +- ▁hindi +- ▁dyn +- ▁successive +- がこちら +- ▁verdammt +- 严肃 +- ▁barren +- ▁prairie +- లు +- ▁Ora +- ▁понять +- ▁vamos +- ▁conventional +- に参加 +- ▁vegetables +- ▁стали +- ▁تغییر +- 希腊 +- ▁kelkaj +- 算了 +- '48' +- ацыі +- ▁kitty +- 踊 +- ▁Wahrscheinlich +- meza +- ▁swore +- ▁cheerfully +- zego +- ▁storage +- تك +- ▁bezahlt +- muz +- 五月 +- jol +- дей +- oğu +- icamente +- ▁hinauf +- син +- ▁prova +- ▁letzter +- ▁temperament +- ▁rencontre +- ▁influenced +- ラーメン +- ▁некалькі +- ▁parlour +- ▁Mariya +- fläche +- ▁Meister +- 提出了 +- を求め +- 有意思 +- няў +- ▁polar +- ▁Verwendung +- ▁стен +- ەم +- 的作品 +- ▁verstand +- 所以如果你 +- ▁mieux +- ▁요즘 +- ▁diversity +- бак +- 恐れ +- 案例 +- 洲 +- ▁tamam +- ▁salary +- ▁возможность +- 它将 +- kret +- 氧 +- 龍 +- ▁industries +- chá +- ▁Vier +- ▁swinging +- ▁bacon +- пись +- ▁edith +- 诶 +- ັດ +- ▁знаком +- фу +- ою +- ừng +- ▁impress +- 立って +- ões +- хад +- 锐 +- ▁resemblance +- 罢 +- 拯救 +- 我也是 +- ▁tightly +- けがを +- лева +- 货币 +- ▁beautifully +- యి +- ▁Histori +- ▁Harry +- 訴え +- 集団 +- даль +- 短信 +- 可以通过 +- лаш +- 苗 +- ▁summary +- 프 +- ▁первых +- 企画 +- oxy +- っつ +- ▁celebra +- 准备好了 +- ▁обрат +- 大胆 +- tuig +- θ +- ▁mabel +- бла +- метр +- 50% +- ▁fugitive +- ▁babe +- だよね +- 名单 +- ▁haunted +- 做到了 +- lerde +- white +- ▁technische +- 意味で +- 脂肪 +- ▁dissolve +- zze +- ▁일단 +- ▁loath +- ▁intensity +- 提案 +- 提交 +- ▁steckt +- 耶稣 +- ▁orbit +- ▁русски +- ▁fiercely +- 年後 +- 只是一个 +- Ex +- ▁sakj +- 查看 +- ▁آر +- ▁Ost +- ▁stump +- ▁enthalten +- ▁bitterness +- 会合 +- 他又 +- ▁hesitate +- 神奈川県 +- 键 +- كار +- 鹰 +- ▁درباره +- жиг +- ▁cabeza +- lada +- ▁bidding +- тыш +- ▁cautiously +- 主播 +- Gelächter +- ▁erlaubt +- ▁reconciliation +- 崩溃 +- وارد +- pion +- ▁fapt +- 協議 +- ▁gemeinsame +- 키 +- ▁دارید +- ▁Qual +- 東日本 +- 三千 +- ▁میں +- ▁venus +- ▁undertaking +- 所以我认为 +- 克拉 +- ▁câu +- われる +- гэр +- aurait +- ▁никак +- かわい +- 别说 +- hilfe +- ▁writ +- beug +- ▁sombre +- ptic +- 如果有 +- NG +- limi +- 的事实 +- ▁cảm +- rott +- ▁район +- ▁desolate +- ▁picturesque +- বো +- 晕 +- ذهب +- ることができる +- ▁weinig +- ▁siya +- ▁stain +- 惑 +- ▁pourquoi +- ▁строительный +- ▁doğru +- ▁Institution +- 送给 +- ▁Indien +- 干啥 +- design +- ゆっくり +- 近い +- ▁Sicher +- ▁раньше +- 용 +- ▁effektiv +- NATO +- ▁incentive +- ▁assisted +- 什么东西 +- ▁stirring +- ▁corresponding +- हि +- 复制 +- 窝 +- ▁Füße +- ▁tất +- ències +- ▁Ati +- 钥匙 +- ▁mysteries +- ▁bietet +- ▁gegenseitig +- ▁எழு +- ▁tej +- 庆祝 +- เล +- ▁நகர +- るもの +- மீ +- نز +- sinde +- サル +- になってる +- 上空 +- 言われた +- ▁Julia +- ۋا +- ▁grundlegende +- ▁comte +- pida +- ▁speedily +- 我们希望 +- respect +- 普通の +- ▁thoughtfully +- ▁Är +- 宜 +- sorge +- ▁betrifft +- ▁dụng +- ար +- 你如何 +- 地址 +- ▁يكون +- лета +- 都说 +- 赏 +- 強調 +- ▁Sab +- лос +- tijd +- ▁bezahlen +- ▁Serie +- イタリア +- ▁flexible +- ▁isolated +- ▁angrily +- ゲスト +- 被认为是 +- 人工 +- tauchen +- ▁точки +- 張り +- ▁Right +- borg +- ligi +- about +- 匠 +- さんから +- ▁passive +- ▁delayed +- かす +- ダン +- জে +- 想着 +- ▁vacant +- 宴 +- ▁congregation +- 分かり +- خور +- ▁juice +- ستخدم +- るべき +- 子どもの +- ▁poble +- 三振 +- けれど +- 緩和 +- ▁pigeon +- сны +- ▁большое +- ▁Westen +- әһе +- сни +- ▁ensuite +- ▁agencies +- ▁remorse +- ▁смотрите +- الات +- 工事 +- 터 +- ▁отвеча +- igkeiten +- ▁Universitat +- bwiye +- という感じ +- 통 +- ▁identific +- 男性は +- 冻 +- ▁quá +- 日曜日 +- ▁সেই +- ミン +- ído +- ▁parcel +- ▁êtes +- ▁ringing +- 癌 +- ▁baixa +- ▁благо +- するか +- 组合 +- ▁predomin +- reisen +- hnung +- ▁கரு +- 贪 +- ▁Häuser +- ▁nowadays +- ▁Victoria +- ثلاث +- imecres +- ▁ошиб +- 保健 +- ▁goose +- ▁nieuwe +- ▁consented +- 匪 +- ▁geloof +- ▁Würde +- ▁pup +- 集まって +- ▁parade +- これらの +- 周围的 +- 美好的 +- bildung +- ▁plank +- ▁blink +- ▁behalten +- ▁сказали +- ▁каких +- ▁දෙ +- 佑 +- 呂 +- ▁bestimmt +- ▁بده +- ţa +- 但她 +- 寿 +- ▁ўз +- iera +- ▁shrewd +- ▁рядом +- меж +- 毎年 +- ▁persistent +- ▁addict +- ▁mogelijk +- ▁Christian +- ▁disconnect +- ▁dadurch +- gisha +- ▁politicians +- ▁audio +- 让人们 +- ▁Harvard +- ▁Niemand +- fí +- ড়া +- ▁digest +- 同一个 +- 契約 +- ▁corona +- kku +- 広い +- 以色列 +- ▁Kreuz +- 陪伴 +- ゃ +- ▁Gü +- ▁uitge +- ▁seasonal +- ▁sanction +- Th +- යා +- vär +- 幻想 +- ▁Kate +- 麦克 +- 榜 +- ▁exchanged +- ▁verfolgt +- メジャー +- ▁jardin +- ▁Kritik +- ▁Islam +- 心态 +- 侵 +- ▁console +- ▁الان +- ▁fulfil +- 多数 +- fiel +- ▁voraus +- conscious +- sohn +- 부터 +- 時半 +- ▁canon +- ▁zahlreiche +- 盒子 +- মু +- länge +- pila +- ▁линия +- 偶然 +- ▁whatsoever +- 转变 +- ▁eleventh +- 暗示 +- 心理学 +- ▁albert +- 表现出 +- 蜜 +- ▁pennsylvania +- 새 +- らん +- たくない +- tev +- плы +- 扑 +- ▁taun +- 手中 +- ▁onward +- імі +- 空間 +- ▁thời +- ▁евро +- ▁tuesday +- ▁scotch +- ▁смысле +- しているということです +- ▁redeem +- čni +- 評 +- лык +- ▁Divendres +- ประ +- ▁tested +- ▁passar +- 偶尔 +- ▁Group +- ▁знаем +- 二十四 +- 想定 +- ▁Satz +- 淘 +- 摧毁 +- ▁dapat +- ▁helmet +- ▁historic +- 特定的 +- ▁youthful +- ▁relieve +- ▁chris +- ▁argued +- 十几 +- ▁eerst +- ▁документ +- ▁poate +- мор +- 退休 +- 你有没有 +- 帰り +- ▁මෙ +- হু +- 鎖 +- 長く +- ▁deliberate +- казаць +- 違 +- ▁shed +- ographie +- 舒 +- ▁jaun +- ▁wanneer +- ▁ببین +- 燃烧 +- taking +- ▁Schau +- 发现自己 +- 出てきた +- comm +- وجه +- ▁contro +- ▁angenehm +- চ্ছ +- ▁awaiting +- عَ +- ▁watu +- ▁overwhelming +- 宠 +- ▁peuvent +- ▁erlebt +- が好き +- 仕事を +- 体系 +- vidi +- ▁relating +- ▁sweetness +- ▁rhai +- ▁круг +- カリ +- ▁هستم +- ▁disput +- 発達 +- schnitt +- ▁Bü +- ▁recognise +- ▁tracta +- 只是为了 +- 通過 +- ではなくて +- 始まって +- ▁discharge +- 不出来 +- ▁inventor +- ▁bog +- ▁français +- 贤 +- 锻炼 +- びっくり +- аваны +- 公正 +- ゅ +- ▁страна +- 安装 +- ▁kwenye +- ніка +- urage +- 在网上 +- ▁drown +- 年ぶりの +- terri +- zellen +- ת +- セル +- いかがですか +- 授業 +- ▁morgan +- ▁miller +- ほうが +- ▁neuer +- 论文 +- ▁wunder +- ▁Fach +- ▁skies +- 标题 +- ▁Sitz +- zional +- خواهی +- 見てみましょう +- ▁transformed +- 没办法 +- ▁melted +- ▁encontrar +- ▁genre +- 擅长 +- ▁Middle +- 说实话 +- ática +- ności +- グル +- ▁cultivated +- ▁pioneer +- 基準 +- 生态 +- ▁இல்ல +- ▁neden +- スープ +- ▁Questo +- ▁pry +- 食感 +- ▁Wall +- ▁regulation +- 锋 +- 我认为这是 +- 近くに +- gemeen +- ▁hospitality +- ▁erected +- ▁Have +- ▁interaction +- greif +- ಂ +- ▁tissue +- ▁таго +- ▁элек +- 不要再 +- ▁Brun +- ▁gill +- っちゃって +- what +- 変え +- ▁adapted +- 铃 +- マンション +- جار +- ▁frighten +- ▁Gw +- ▁Top +- ▁juist +- ▁Jeff +- ▁wrth +- ▁frisch +- 好听 +- ▁penalty +- ▁څه +- ▁marion +- ▁Front +- ▁Arch +- ▁dicho +- ော +- ▁optimistic +- ▁Zusammenhang +- әл +- 铁路 +- ▁accounting +- ▁vocal +- оби +- ▁representing +- ▁cancel +- ĕ +- 转移 +- రి +- 七年 +- ▁kubera +- 饮食 +- ▁unfold +- 无聊 +- ▁Stephen +- ▁bestow +- ▁регион +- ▁terrific +- 监管 +- 場所に +- وک +- ▁matin +- ▁conveyed +- ▁склада +- ペース +- ▁adhere +- ついに +- And +- ▁underground +- tuvi +- ▁apenas +- ▁allowance +- ▁противо +- Rires +- ▁нашего +- ▁نیاز +- ▁begon +- ▁harold +- ことから +- 定期 +- 返し +- ベース +- ▁кост +- 测量 +- ▁deceive +- ダウン +- 部署 +- 应对 +- 找个 +- 命名 +- ▁bucket +- ▁traitor +- ඇ +- ʻ +- ވަ +- gá +- ▁அமை +- ▁Zweifel +- овым +- 殺人 +- 落下 +- ▁Tell +- ▁стало +- 跪 +- ▁Lieblings +- ▁earthquake +- రు +- рик +- 処 +- ▁pavement +- 我真的很 +- 離れ +- ▁mora +- 開いて +- 十个 +- ww +- indre +- eerde +- 次に +- 否定 +- ▁violin +- ▁numa +- ドリ +- 加州 +- ましたけど +- ▁моему +- vēr +- ▁enfin +- いける +- ▁plunder +- grado +- ジャン +- ▁podía +- били +- ▁mourn +- ▁circula +- ▁screamed +- ▁eternity +- ▁privi +- ほう +- ▁되는 +- 正面 +- ▁üle +- ombra +- ▁வரு +- pane +- åg +- ▁entlang +- 团长 +- 驻 +- マル +- 残る +- ných +- 思いを +- ▁Jackson +- ҭ +- も多い +- ▁එක +- を行い +- achtig +- 的证据 +- ▁geschehen +- 慮 +- ▁gentil +- ▁найти +- わし +- 分裂 +- impi +- 悦 +- ▁định +- 弁護士 +- 陽性 +- zubringen +- 早点 +- ▁autonom +- 手術 +- 種目 +- 我说的 +- ޮ +- 审判 +- 年纪 +- ▁其实我 +- ▁gris +- ▁показал +- ▁tourist +- быт +- 机场 +- ▁interrupt +- 守り +- 筋肉 +- ▁manière +- ユニ +- 作戦 +- ▁proced +- 響 +- ▁morality +- ▁Wunder +- igeze +- ▁awfully +- ▁gesti +- ▁Allerdings +- ▁학교 +- ▁dwarf +- 上市 +- ▁futbol +- кен +- ▁construir +- 疯 +- 大雪 +- ▁physics +- ▁beteiligt +- オーストラリア +- ▁hearth +- эння +- ▁cavern +- бат +- евский +- 路线 +- іі +- ▁Donc +- ና +- ▁appreciation +- ▁trousers +- 基础设施 +- ▁gewissen +- 城镇 +- 你看到 +- ▁организаци +- 悬 +- 抹 +- ▁hinzufügen +- ▁brillant +- ▁Donald +- ご飯 +- ▁dominant +- рах +- 伙计 +- meɣ +- ▁benim +- 鉴 +- выше +- 郁 +- 捷 +- クリスマス +- ▁ມັນ +- ▁اسم +- その中で +- 看不见 +- ывают +- らせて +- 饮 +- йын +- かぶ +- 掌声 +- ори +- ▁puzzle +- ្រ +- 队伍 +- ▁carved +- ది +- ▁admission +- слуш +- 鼻子 +- ouvri +- pta +- ▁yani +- ▁extending +- ப்படுகிறது +- தில் +- 官方 +- шчы +- ▁пойм +- 皆さんに +- रे +- ▁minim +- ▁forgetting +- rseits +- طي +- 日々 +- unterschiedliche +- teko +- bewegung +- ▁coffin +- ▁Information +- 挥 +- いきたいと思います +- ▁arribar +- kubernetes +- ▁nachzudenken +- '55' +- 狙い +- '3000' +- ▁ultra +- лым +- 業者 +- ▁تحت +- ▁menace +- ▁Instrument +- いかない +- ▁Boy +- گا +- ▁Gehen +- ەیە +- ▁capability +- 양 +- dział +- වේ +- 经典 +- の仕事 +- abri +- 都不知道 +- 的家人 +- луг +- 游泳 +- ▁owl +- 仍然是 +- ▁attachment +- 今から +- ▁Apo +- ▁наступ +- Oh +- 所以当 +- ▁тихо +- ▁casting +- 然后在 +- 常に +- ▁laatste +- weza +- тир +- マス +- ▁bộ +- ▁luther +- ▁عام +- ▁скажем +- ▁меньше +- 溶 +- ▁делает +- ▁Hinsicht +- ▁ambient +- ▁бя +- 一号 +- illion +- ▁Zweiten +- ajja +- ▁подобн +- ▁sylvia +- 縁 +- ごめん +- ▁trở +- ▁crude +- すみません +- fanya +- 灾难 +- นี้ +- ▁dritten +- ▁transferred +- ▁freight +- ▁chemin +- ▁milieu +- 他认为 +- を発表 +- ▁cruise +- ▁deepest +- нап +- леш +- ▁Ecke +- ▁Kreis +- 要不要 +- öß +- ▁Minute +- ▁процент +- 广州 +- ▁sublime +- ▁получается +- ▁Brad +- 然后是 +- ▁allgemein +- 农村 +- ▁болно +- ▁Eigenschaft +- 比較 +- ▁grandi +- drängt +- ۋ +- ▁அதிக +- ▁Cri +- 場所で +- سك +- ▁çek +- щий +- 纽 +- 冯 +- ▁живот +- ▁مې +- 便利 +- krimin +- 当然是 +- ▁kicked +- MS +- 友好 +- ▁Krankenhaus +- ▁Trotz +- じゃないか +- 成果 +- 剩下的 +- ▁Vision +- ▁verdade +- ▁pê +- ▁Түүний +- ▁پیدا +- '=' +- ▁пусть +- ▁Privat +- マネ +- ▁Quar +- 物体 +- ▁ນີ້ +- ませんか +- 单词 +- 触れ +- 山上 +- ママ +- koloni +- bogen +- ▁đổi +- ▁Tanzania +- 在我看来 +- 太陽 +- нец +- 生长 +- ▁Dev +- ▁scrutin +- نَ +- ▁девятьсот +- llah +- の裏 +- trum +- に加え +- ▁fulfill +- ▁regardless +- ▁surpass +- ▁வந்த +- ▁seixanta +- ▁inflation +- ▁augenblick +- орд +- ▁infinitely +- ▁ufite +- 时光 +- ▁Lauf +- 精力 +- ēr +- が確認され +- மெ +- හා +- ▁பேச +- schmerz +- unterricht +- reɣ +- 创造了 +- ▁veure +- ▁sechzig +- steller +- ▁retour +- ▁untersucht +- に入った +- 方がいい +- ▁constitutional +- 号码 +- ▁educational +- มัน +- ▁Those +- ▁Quando +- ▁herbert +- 以便 +- ▁années +- ▁acres +- 帆 +- ▁maître +- ▁langer +- 罗斯 +- ▁syria +- office +- ▁nebo +- ▁контрол +- ▁everyday +- ▁ähnliche +- ▁diferents +- නවා +- 密码 +- ▁Blue +- ▁broadcast +- žu +- дают +- أن +- pik +- 月亮 +- stimmung +- ▁Krä +- ▁satellite +- ▁weltweit +- ▁figli +- ▁tailor +- くれる +- 腐 +- ሽ +- の写真 +- ▁كه +- 変更 +- ▁negroes +- ▁همین +- ▁Acht +- strom +- مەن +- 勾 +- 妨 +- 一夜 +- 働いて +- ▁lachte +- ▁persisted +- perto +- larga +- படி +- ▁Wirkung +- ▁gezicht +- ▁فرا +- geladen +- овые +- vana +- ▁bemerkte +- ▁beliebt +- ▁гаражно +- 싸 +- ないといけない +- ▁provoca +- ▁Ausdruck +- 两者 +- ▁canvi +- ▁complexion +- гран +- ▁vedere +- DA +- ӡ +- häuser +- とかも +- 留下来 +- ▁چون +- Atlanti +- schwer +- 姿を +- 死去 +- ▁bewildered +- ▁refrain +- ▁verfügbar +- ▁dije +- ▁praying +- ▁fuera +- 代价 +- ▁Selle +- হে +- ▁hyd +- 全身 +- يين +- ▁немного +- ▁أخرى +- ▁Qualität +- 护士 +- 年齢 +- ▁tension +- Prince +- ième +- шет +- 谦 +- ẩ +- ucu +- ▁ними +- ছা +- ▁Ky +- 知道他 +- 蔡 +- 拦 +- instagram +- ovitch +- ▁orphan +- телей +- ▁hablar +- ▁subsist +- ▁grape +- アナ +- давать +- фан +- ▁välja +- を使い +- 汽 +- 另一种 +- нікі +- 排除 +- ▁scientist +- ভি +- лыг +- ▁tribute +- таш +- ▁lind +- 低気圧 +- ▁ohio +- ▁universit +- 简直 +- zaj +- ▁Letzte +- țe +- abaye +- ▁nke +- 週末 +- 仏 +- 主持人 +- ▁먹고 +- ▁recherch +- ▁wohin +- ▁pulse +- ▁lazy +- ▁impatiently +- ▁invalid +- ىدى +- を巡って +- 富有 +- ▁identical +- 霸 +- 刊 +- responsabil +- 違反 +- ▁futuro +- ▁داریم +- ителей +- ▁Zeitung +- سون +- 置き +- ▁pete +- 基督教 +- щения +- 時代の +- 上げた +- ▁военкомат +- 赤い +- 安全保障 +- ▁descri +- ▁Cle +- ▁Kapitän +- ▁regelmäßig +- ▁verfolgen +- 脅 +- 高騰 +- ▁Einrichtung +- itarian +- 大规模 +- 是个好 +- âr +- ▁Brust +- ▁herausfinden +- ▁privacy +- ▁важны +- ▁Out +- mitglied +- ▁dedicat +- 廃 +- ▁signature +- ▁பகுதி +- ▁arriva +- ▁quiero +- この時間 +- abba +- ▁Nehmen +- ▁enlarge +- ாங்க +- ▁Lady +- 趁 +- ▁greece +- ▁surgery +- ▁dunkel +- dokument +- ▁quiere +- ってしまう +- 雨が降り +- ▁hause +- ▁discretion +- 的风险 +- ほんとに +- ▁Universum +- ▁Foo +- kê +- ▁Pala +- ▁exclusive +- крат +- ▁assumption +- ▁sev +- を持ち +- ▁exhibited +- ▁такую +- ▁hỏi +- ▁produziert +- ▁jersey +- ▁Schönheit +- 额外的 +- ▁Vorstand +- ▁sotto +- ▁eagerness +- funa +- ▁unseen +- ▁jumping +- ▁legitimate +- ▁physically +- ▁hafi +- ▁poetic +- iyordu +- 唱的歌 +- 崇 +- ▁rubbed +- ▁humility +- 启动 +- ▁accessible +- ▁hoarse +- ▁nơi +- ▁bois +- үй +- حب +- cari +- ▁Fleisch +- ▁Для +- singa +- 犹豫 +- ▁Bedingungen +- ▁englische +- ▁sneer +- を挙げ +- ▁sentimental +- 运营 +- ▁jaroj +- 覧 +- 我一直在 +- 潘 +- ▁ingredient +- 真ん中 +- ▁Alexander +- ▁brigade +- ▁oxygen +- 相同 +- 过度 +- 校园 +- 何だ +- ключа +- شە +- تُ +- ▁Rang +- 远离 +- 相次いで +- ▁byinshi +- ▁tätig +- umugore +- ▁dictate +- ▁nhau +- ția +- 船长 +- ▁năng +- 侠 +- 誤 +- となっている +- 但是如果你 +- ▁hyper +- 该怎么办 +- 大学生 +- ればいい +- 这很 +- тоў +- ság +- ▁fifteenth +- ▁đâu +- 길 +- ▁известно +- ▁glacier +- einig +- сво +- 那一刻 +- に乗って +- ẻ +- 罐 +- ▁arriving +- ▁který +- ▁закры +- べる +- 革 +- ▁retirement +- ▁marching +- ှ +- ▁annoyed +- ▁üblich +- yerek +- говарива +- kampf +- දා +- 提议 +- ▁Western +- なぁ +- ▁kubona +- ▁کجا +- gezi +- 疏 +- 进展 +- ▁города +- ▁hurriedly +- ▁kiuj +- 年ぶりに +- ▁appearing +- NA +- ▁elfu +- 鸡蛋 +- 涛 +- ▁bernard +- ▁manual +- бед +- ▁banc +- 美しい +- schneiden +- لعب +- ▁Maßnahmen +- ▁superstition +- speicher +- ▁embark +- 観客 +- koko +- ▁manipula +- お話を +- ▁joyful +- হি +- ▁incessant +- ▁courtesy +- ҳа +- ▁fain +- imbi +- '[' +- 为他们 +- ▁determina +- 本部 +- 民間 +- もらいたい +- 裸 +- أت +- 做了什么 +- лыш +- kiye +- bleib +- ▁şeyler +- 売れ +- ▁Germany +- 我很高兴 +- ありますよね +- 呵 +- ▁вокруг +- 专注于 +- ▁sequence +- 予算 +- ▁indirect +- ▁bilden +- lässig +- 合适 +- ຽ +- ჩ +- You +- 所属 +- ▁tries +- ▁speeches +- カット +- ▁trivial +- ▁posterior +- 見通し +- ▁rhan +- оруж +- 去过 +- ҩ +- ▁monstrous +- 遊び +- ▁hàng +- ▁союз +- 都不会 +- 見られます +- ▁ernsthaft +- ▁Tatsächlich +- ▁мозг +- しん +- beho +- horse +- ▁breach +- ファイ +- ▁když +- ▁muscle +- ▁comparable +- ▁grasped +- 誕生 +- ▁Nta +- ▁zyn +- ▁Они +- 有几个 +- 碑 +- Ю +- ▁Firefox +- ▁carolina +- 控え +- ່າ +- 布莱 +- gruppen +- 澤 +- ▁круп +- 働く +- نق +- 볼 +- ▁yake +- ▁tiek +- 冠军 +- পে +- baho +- ▁Streit +- 晋 +- ▁Brü +- ▁направлен +- 维尔 +- fär +- presa +- についても +- ▁tõ +- ▁administrative +- ▁communicated +- ubah +- реп +- க்கிறது +- 老大 +- 選ばれ +- ▁благодар +- ▁desperately +- corre +- šķ +- ▁sweeping +- 怎么可能 +- ggie +- ▁recur +- ▁உட +- ▁floated +- 推出 +- прэ +- 在上面 +- 織 +- ◆ +- ▁twelfth +- 腺 +- 女孩子 +- ▁counting +- ▁hurrying +- 如果没有 +- ▁Abschluss +- ▁stealing +- ▁Deck +- 稲 +- ▁Bevor +- कि +- みてください +- ▁کمی +- ▁Verkehr +- ▁Martí +- ▁assess +- 逮捕された +- ▁حرف +- gekomen +- 天才 +- 类似的 +- ▁Online +- ď +- ▁እንደ +- 订阅 +- 渋谷 +- ▁už +- サイズ +- 支配 +- чку +- ▁advertise +- ▁wanjye +- urile +- 丧 +- ▁aussieht +- ▁общественн +- ▁Like +- ▁kirk +- ▁tennis +- ▁журналист +- ▁сторону +- ▁دنیا +- 온 +- လ +- ▁главное +- ▁fiz +- funktion +- lå +- ▁fotografi +- шат +- 対策を +- かれて +- 缠 +- ወ +- ▁вполне +- ▁Flugzeug +- ▁trường +- grond +- ▁echoed +- ▁phát +- だいぶ +- ▁Sara +- ▁conversa +- ▁stimme +- ▁Quina +- 指数 +- 祖父 +- wahl +- ▁klug +- righteous +- рап +- ▁mujeres +- 的痛苦 +- 六年 +- 全都 +- ▁clasp +- 浏览 +- топ +- ▁horizontal +- 坚定 +- ▁wengi +- ▁bored +- 局长 +- ▁travaille +- த்திற்கு +- fluss +- 岗 +- 現状 +- ▁但是当 +- ▁Operation +- فور +- ▁junto +- 你到底 +- ▁convenience +- 抑郁 +- ▁survived +- ▁образова +- 公寓 +- लि +- ▁mesure +- ització +- パラ +- ▁mourning +- ▁dart +- ▁Grün +- ސ +- ਿ +- ▁wednesday +- 外出 +- ▁hasty +- 完整的 +- ▁compre +- வரை +- 议会 +- ఏ +- 會 +- ▁farklı +- kracht +- 你可以在 +- カップ +- 无数 +- ▁Gute +- гийг +- ▁llarg +- ▁elevated +- ▁elsie +- ▁Kommunikation +- あたり +- impine +- 特殊的 +- ழி +- тере +- ▁そのため +- нием +- ▁armor +- ▁Weiter +- 在中国 +- ško +- É +- යට +- ▁thyself +- 沸 +- ▁achtzehn +- ▁extinct +- 太多了 +- ▁dresses +- ▁Prime +- ▁carrera +- ுகிறது +- 不认识 +- ▁expenditure +- ▁innumerable +- 気象庁 +- 公安 +- grown +- 不开 +- ▁infantry +- ▁abide +- に合わせて +- '39' +- 疲れ +- ▁schuld +- スキー +- ▁jog +- وضع +- ▁européen +- ▁seria +- 合格 +- いら +- ာ +- 伐 +- ▁உம்ம் +- రా +- 无关 +- ▁diffus +- দিন +- 的语言 +- ▁Sarah +- 书中 +- storm +- 受害者 +- 仕組み +- ▁banquet +- 早餐 +- кос +- 亿元 +- 10% +- 供給 +- アイデア +- технолог +- ▁diwujudke +- ่ง +- ▁energetic +- ▁bunny +- 从来不 +- burgh +- ிருக்கிற +- ▁glittering +- 嘘 +- 8% +- 留言 +- 二十五 +- CD +- さえ +- ▁geändert +- ▁увидел +- ▁roedd +- 你这么 +- BA +- ▁spray +- ことができます +- 有能力 +- alina +- ▁disposal +- ▁système +- ▁dreary +- ▁quarante +- ▁بأن +- ▁vient +- 第三个 +- ▁vacation +- ▁Ohne +- 币 +- 倡 +- ▁unnatural +- 결 +- 少なくとも +- ▁Another +- みんなが +- ▁fuss +- ▁خواهد +- ▁patro +- ▁personage +- ▁жыв +- ▁ddim +- альным +- ▁scheinen +- ▁probabil +- ▁Bewusstsein +- ▁Militär +- 裙 +- ▁কথা +- ▁Sagte +- ▁whe +- pola +- ▁missus +- 我觉得我 +- ▁quaint +- viel +- ▁telescope +- 涵 +- ▁тупик +- 在某种程度上 +- 言うと +- 传递 +- 的灵魂 +- दा +- ▁töten +- 事务 +- ▁demonstrated +- 教训 +- maro +- ▁figura +- しろ +- 痕 +- ▁предлага +- ▁metrics +- ண்டி +- ▁Iyo +- を前に +- 4% +- ▁marian +- hagen +- ▁ради +- цеп +- ▁слушай +- ▁демократ +- ▁ситуация +- ▁Drogen +- ▁dose +- افت +- ▁اول +- ▁suppress +- bril +- ▁beschlossen +- 涂 +- 謎 +- ಪ +- badde +- ▁있는데 +- ▁drunken +- ▁seule +- ▁afge +- 囲 +- 爸妈 +- 棚 +- 峡 +- ▁bacteria +- ▁erscheinen +- が続き +- ț +- قار +- хоз +- 紧急 +- 好朋友 +- рада +- ▁examining +- 同性恋 +- 韩国 +- 很高 +- ▁спец +- ヘル +- ере +- 一歩 +- batu +- ▁automobile +- 執 +- を含む +- ▁gerecht +- ▁welcomed +- ▁agricultural +- っていうのを +- ▁tudo +- 相信我 +- 喜欢你 +- ▁woorden +- 彻 +- তু +- ارات +- 这都是 +- 模糊 +- 逆転 +- ダブル +- ▁мае +- ショー +- ▁dirigi +- 检测 +- 哪怕 +- 我父亲 +- ▁eric +- із +- ▁parc +- dodd +- 饰 +- រ +- ▁December +- 겠지 +- ▁yali +- ▁gordon +- ▁Stamm +- बा +- ▁ikintu +- مین +- ச்சு +- 美好 +- ▁interrog +- Aplausos +- EM +- 警報 +- ▁Treffen +- ▁Tau +- ▁rive +- を食べ +- ▁sử +- ▁останови +- ▁oliver +- onian +- ▁Ez +- stuk +- 逛 +- ▁внутри +- ▁decisive +- ▁unglücklich +- の様子 +- 広がる +- 这个项目 +- ▁Klima +- ▁primero +- jang +- ▁Betrieb +- ▁sealed +- ▁insane +- ۔ +- ▁gewoon +- 为您 +- ▁tenderly +- ▁самый +- ▁oppose +- ▁ответил +- eremoni +- саб +- ▁correctly +- FIL +- าน +- ▁어디 +- ▁realidad +- behörde +- gerufen +- уха +- 房子里 +- ▁sujet +- ▁classroom +- ▁hübsch +- ▁sekolah +- ▁گروه +- ▁Gli +- 足以 +- ▁Carolina +- yorum +- ▁epidemi +- áz +- liwa +- ボン +- ▁feminine +- ▁które +- ▁primo +- ▁verdi +- кот +- ▁graham +- mele +- 你们两个 +- िक +- 感受到 +- 无人 +- 될 +- ▁knelt +- ▁tìm +- ▁hebrew +- ▁Meter +- กล +- ▁clothed +- 使える +- 陽 +- amazi +- Kanal +- ▁бага +- 心灵 +- 逸 +- ▁klingt +- ▁видео +- лоб +- 撤退 +- 景色 +- nect +- ▁vorsichtig +- ಗ +- ▁bachelor +- ▁хочешь +- ▁شرکت +- 見ていきましょう +- もあって +- 6% +- ▁Mah +- ▁Су +- லோ +- வேண்டும் +- 浓 +- ▁carpenter +- ▁shrub +- ▁nourish +- 始める +- ようになって +- しまして +- ▁awareness +- 闯 +- ▁невозможно +- ▁나오 +- boro +- ▁strife +- ▁dismiss +- 综合 +- িয়ে +- witz +- حدث +- pür +- 图片 +- 놀 +- 鍵 +- ▁subdued +- spoonful +- ▁Finally +- 看不到 +- 运动员 +- کات +- ▁rector +- 的角度 +- ▁faculties +- 麺 +- 円安 +- 緊急事態宣言 +- ▁molecule +- ▁plough +- ▁вчера +- ▁tiến +- Pierre +- مند +- 市では +- ▁Ми +- bika +- ▁obstinate +- ▁saviour +- 庞 +- pflicht +- 大海 +- ▁habitat +- 这是我的 +- urira +- 識 +- ですとか +- hani +- ▁candid +- 屁 +- ▁ممکن +- ▁এবং +- ▁ລະ +- tsinda +- شته +- 农业 +- 不同意 +- ▁Februar +- లో +- ிலிருந்து +- 太子 +- kleri +- ▁яму +- ▁draught +- 前提 +- ▁envia +- ▁também +- ▁crust +- ▁Калі +- ▁Verfahren +- ▁manifestation +- ▁verbringen +- ▁честно +- 做饭 +- 今天晚上 +- ▁видите +- kò +- ▁marshal +- ▁Bäume +- ▁astonishing +- ▁conjecture +- ▁embarrassment +- 畅 +- 眼泪 +- koli +- альные +- ▁concentrated +- 岩石 +- ười +- ▁amiable +- ▁hiyo +- ধ্য +- 自行车 +- ▁societies +- 舰 +- ▁አዎ +- ▁realise +- ▁pouvoir +- mico +- に移 +- 就行了 +- 合适的 +- ▁setanta +- fenster +- ▁dismal +- ▁Wunsch +- ▁wolves +- lil +- 建設 +- ▁rwose +- annu +- ▁aircraft +- イチ +- 拥抱 +- 電車 +- ▁sixteenth +- ▁Kurz +- Episode +- ▁فیلم +- ību +- 並んで +- 三点 +- cò +- ▁yella +- знача +- ▁حا +- この辺り +- альных +- いくと +- ▁Album +- ▁radiant +- ▁nossa +- 层面 +- хим +- ▁diversaj +- ▁imitate +- 谋杀 +- ▁resentment +- ▁shark +- 总结 +- 進化 +- 运作 +- ▁assertion +- ູ +- ▁Praxis +- にあります +- ▁confidential +- uğu +- wego +- ▁Ро +- ▁embraced +- nutri +- 与其 +- ▁buzz +- ▁camino +- يط +- 视觉 +- achtet +- 良い +- ▁скорее +- 珀 +- っていうふうに +- 继承 +- 你刚才 +- ▁صورت +- ▁países +- имся +- 是一样的 +- тэн +- ▁гэтай +- ▁находится +- ▁voilà +- ▁startling +- 我想要 +- 维持 +- ▁tray +- රු +- ▁повтор +- 的主题 +- contin +- 的人来说 +- ▁demanda +- 旧統一教会 +- ▁inspection +- 先ほどの +- ▁Senat +- ▁breadth +- sehn +- ального +- 明明 +- ▁respira +- جنوب +- 落在 +- 耻 +- 試験 +- ▁explaining +- 确 +- ▁perdu +- ▁gorgeous +- 陌生人 +- ▁Absicht +- ولد +- 遇见 +- шан +- 高級 +- ▁parlor +- хлоп +- ษ +- ▁Dijous +- ▁schlafen +- 改造 +- ▁miriam +- ▁Té +- ▁shipping +- そこは +- äck +- ステージ +- 十分钟 +- 太郎 +- ▁pasture +- ワード +- ▁nicely +- 増えて +- ▁beobachten +- 网上 +- ▁fröhlich +- ▁އަ +- தொடர் +- モー +- льны +- ▁стоял +- дзень +- ▁газет +- 名为 +- を認め +- 但这是 +- 决心 +- origine +- 느 +- Gelach +- foje +- ▁charter +- 这些问题 +- ▁vinden +- ▁Nieder +- yumba +- பர +- が出た +- ▁everlasting +- ▁trouver +- zí +- 成年人 +- ▁keer +- ▁Anwalt +- kaka +- ▁nosso +- ▁asserted +- овали +- AD +- 接到 +- କ +- ĥ +- 疫苗 +- 这一切都 +- 理性 +- ▁polished +- ▁flavor +- смотрел +- 産業 +- 你爸 +- ▁பய +- 逗 +- ▁Unión +- ▁rumor +- そうですか +- 我就不 +- ▁attributed +- ツー +- kları +- ▁passenger +- ▁bliss +- 喽 +- ሁ +- ▁verheiratet +- ▁mindestens +- ▁پنج +- ▁highness +- verfahren +- تَ +- 利润 +- ▁funkci +- ▁readiness +- ▁escala +- ▁канал +- ▁система +- ராக +- 抛 +- ▁Demokratie +- いただきたいと思います +- arbre +- 在此 +- ▁vind +- 我们有一个 +- ▁واحد +- ▁gosh +- 拨 +- ▁depressed +- ṛṛ +- ▁unlock +- の前で +- 俺が +- ▁거의 +- 小麦 +- ▁whereby +- ▁tint +- mizi +- ▁stretching +- 趋势 +- 名古屋 +- ภ +- ấu +- ▁putea +- 试验 +- ▁clergyman +- 劣 +- équipe +- খে +- 決まり +- ший +- ▁motiva +- ▁Atem +- ▁ئەم +- 遮 +- 천 +- 煙 +- ▁Bildschirm +- パパ +- 回到了 +- ▁await +- ▁voted +- 构成 +- 滅 +- ▁Hari +- ▁righteousness +- ▁женщина +- 白天 +- ▁gerald +- 旋转 +- 我想说 +- ▁surf +- 酱 +- ▁Tief +- দ্ +- ▁உள்ளது +- 尸 +- ứng +- boek +- brook +- ▁Erwachsene +- 激励 +- щик +- ▁acceptable +- ▁món +- ▁enthusiastic +- ▁upside +- ่ว +- umuryango +- 収穫 +- 欺负 +- ▁engaging +- ▁Reform +- ▁chop +- үнд +- 的需求 +- 很简单 +- loch +- ▁EBITDA +- ނު +- 龄 +- ▁Spring +- ▁logo +- ▁engel +- ▁fry +- 私たちが +- ▁stammt +- 焦点 +- ▁Mexico +- ▁kerja +- 都内の +- For +- 大厅 +- ▁noranta +- einheit +- ちゃんは +- 我们开始 +- ▁Option +- ▁사람이 +- 足够的 +- んだね +- SA +- ई +- ▁gewöhnlich +- 炒め +- ▁squeeze +- 技巧 +- ▁tyrant +- ▁کمک +- ▁animated +- ▁coverage +- 獲得 +- ▁кап +- ▁Schrift +- ауы +- 見えない +- ▁그치 +- カフェ +- が流れ +- 亲密 +- ▁purity +- 等一下 +- 就好了 +- ▁foremost +- ▁niedrige +- కు +- halen +- ட்டை +- zünd +- ▁olur +- ▁eliminate +- pez +- ▁xem +- 重视 +- ▁konzentriert +- ▁extinguish +- ▁cursed +- ▁louder +- ▁disdain +- strich +- の中から +- フライ +- Krista +- ▁الأول +- ▁plantation +- ▁eindeutig +- ▁einzigartig +- 弦 +- 訪れた +- рю +- 盒 +- ▁hauptsächlich +- ▁Тэрээр +- 保障 +- ▁সং +- ▁Norden +- ▁stamped +- ехать +- verkehr +- wszy +- ▁pleaded +- 忌 +- 熱中症 +- empi +- арга +- 一分钟 +- ▁kadın +- адзе +- 我妈妈 +- živ +- 袭 +- ▁меч +- ▁квартал +- ▁Garten +- ▁frantic +- ▁Hij +- ▁iraq +- がついて +- ▁ئې +- 凌 +- ▁squirrel +- ▁denomina +- ▁imposed +- цэн +- 他们已经 +- ▁Theater +- ▁yiwen +- ▁Pap +- 央 +- ▁tüm +- ▁depended +- 亦 +- ▁gerçek +- ▁berühmte +- hize +- ▁Veränderungen +- ▁unworthy +- feind +- дох +- Instagram +- ▁Benutzer +- ▁dernière +- ▁Biz +- ▁زیر +- ießen +- ▁attempting +- ▁процентов +- が見つか +- 接受了 +- ▁связи +- ▁слышал +- 你有什么 +- யூ +- ცი +- نے +- ▁nearby +- 踩 +- ▁nhw +- ▁درست +- شعر +- ▁waiter +- 容器 +- серьезн +- 前後 +- schijn +- ӧр +- environ +- ▁tiuj +- 壳 +- ▁افراد +- ▁Muster +- 会发生 +- ▁아무 +- ली +- से +- はどんな +- eeuw +- сидел +- 娃 +- 睁 +- sammlung +- குறி +- ▁shit +- пыт +- 营养 +- просил +- रो +- chè +- ▁complained +- ▁Szene +- оф +- ▁imitation +- цам +- runner +- 保罗 +- ▁بدون +- ▁Mol +- 痛み +- iĝo +- ▁tackle +- скіх +- ▁mehreren +- vance +- ▁öğren +- 本质上 +- ボード +- 隔离 +- ▁encouragement +- 政党 +- ▁үйл +- 文本 +- konna +- weiß +- 辜 +- 担忧 +- third +- อน +- бач +- ▁devote +- おいしく +- ▁January +- ▁consumed +- ▁pyramid +- ▁verursacht +- ▁banking +- コロナ禍で +- 決まって +- ▁realised +- ▁Syn +- 向こう +- 轩 +- ▁международн +- ▁orchestra +- 账户 +- ▁أيضا +- ▁привет +- ▁digo +- ▁мере +- ▁reaches +- ▁nhiên +- ▁aktuelle +- stow +- あそこ +- 况 +- 紀 +- ǧǧ +- ▁retten +- ▁stability +- ▁mož +- ▁يُ +- ▁waking +- ▁Cada +- 됐 +- 车站 +- 你想要 +- 並み +- ەڵ +- ▁collaboration +- 歳で +- 더라 +- ਤ +- ▁skeleton +- ▁Church +- ▁duration +- clav +- ▁другое +- ▁frère +- ▁Institute +- ▁quina +- இன் +- rijk +- 最新的歌 +- 我刚刚 +- актив +- ▁phần +- ▁wandte +- ▁Power +- ▁région +- ▁வந்து +- ▁cierto +- 基本上是 +- ▁Back +- が生まれ +- ▁whispering +- ▁страх +- ▁copies +- ▁rouge +- ▁убийств +- ▁eloquent +- ▁Hong +- ▁kuva +- ющим +- Net +- 晚了 +- ▁nostra +- 我们一起 +- 然后他们 +- движ +- 的反应 +- 这样的话 +- 考え方 +- 舒适 +- あるんですけど +- லில் +- 意味着什么 +- locat +- ▁boiled +- 不明 +- ▁fashionable +- ▁proprietor +- 複数の +- 框架 +- ▁beantworten +- ▁segundo +- 導入 +- альной +- おなか +- ▁cinquante +- 札 +- ▁guinea +- ▁gabriel +- 的作用 +- 買って +- わかる +- ▁geschah +- aquell +- ▁fino +- درا +- সু +- ▁Händen +- kamera +- ▁expertise +- ▁scenario +- ▁حيث +- 次々と +- 連携 +- 打って +- 我心里 +- 嫂 +- を出して +- 诈 +- 太棒了 +- を目指し +- 扩展 +- ▁concentration +- 修复 +- ▁boca +- fay +- 机制 +- లే +- ▁дверь +- 底下 +- 侦 +- 栗 +- ▁Interview +- ▁agitated +- 沃尔 +- みる +- ▁curios +- āka +- ▁solely +- хгүй +- 발 +- ▁Gedicht +- ▁klicken +- 到处 +- 不管你 +- 提示 +- 覚え +- zah +- ▁ayrı +- 捡 +- ▁warfare +- ▁colonial +- ▁аан +- ▁superintendent +- ▁放一首 +- 一顿 +- 这些都是 +- ▁répond +- 小学生 +- でもいい +- 가지구 +- ▁lawrence +- ایت +- legung +- sexual +- 詰ま +- アリ +- 敦 +- 验 +- மைய +- してしまう +- 谨慎 +- ▁difficile +- ▁конкрет +- ▁describing +- jährigen +- ▁bastante +- 诚实 +- ▁exercised +- furi +- ▁facile +- ี่ +- ▁celebrate +- Risate +- 金曜日 +- ▁Mission +- ▁спас +- umunsi +- 对他的 +- zelve +- 星星 +- ▁erano +- ▁Osten +- ▁gael +- 慧 +- ▁ප්‍ර +- 朋友圈 +- ▁tusschen +- yita +- 今度 +- 周年 +- 聚会 +- дні +- 漠 +- 耗 +- 毫无疑问 +- 轰 +- ▁скажите +- ▁sandwich +- ▁chambre +- ▁traveled +- ▁decidedly +- ▁حالا +- ▁despise +- nesi +- ŝa +- ▁Schauen +- 水果 +- ▁herald +- 婚礼 +- ▁overwhelmed +- ▁heathen +- 一堆 +- netz +- ▁mississippi +- 土曜日 +- ▁internacional +- あすの +- hydr +- 跳舞 +- ▁enthält +- ▁reel +- 按钮 +- 有效的 +- mayı +- ▁resigned +- ▁quantities +- ▁submission +- ваецца +- ▁stärker +- 倒れ +- estructura +- ▁Gegensatz +- ▁llibre +- 走过 +- ▁reminder +- وں +- щение +- Wow +- ▁içinde +- 还想 +- ▁contrived +- ▁ignore +- 我也不 +- 져 +- ▁gregory +- ▁hejuru +- ▁korea +- ▁realiza +- 娘娘 +- ▁cooked +- ▁Stimmen +- ▁satisf +- 脆弱 +- ▁vaguely +- 顶部 +- 误会 +- 無料 +- 受到了 +- 的时候呢 +- 把手 +- ▁subsidi +- ▁necesita +- 假装 +- ▁persecu +- ▁dintre +- ▁endured +- lender +- étais +- ▁litter +- 愧 +- なのです +- 我们发现 +- ▁Tamen +- ▁hopeful +- check +- 声称 +- 意义上 +- 僕ら +- 各个 +- ▁vertrauen +- පා +- ▁khu +- ▁pathetic +- 不清楚 +- 側は +- 一个很好的 +- 六月 +- kker +- ▁hả +- ▁harness +- ▁vanish +- geblieben +- 塚 +- ▁orchard +- 争议 +- තර +- 的核心 +- ▁bland +- ▁heftig +- ▁terrorism +- 并非 +- நிலை +- 中午 +- 衆 +- ▁arnold +- 貨 +- ▁gehabt +- 7% +- فكر +- 演唱的歌 +- 分布 +- 戦闘 +- ▁spake +- ▁negativ +- ▁kimwe +- 畏 +- 眼前 +- ▁بۇ +- ▁sorgen +- 圣经 +- 只要你 +- ▁flowed +- 当成 +- ▁önemli +- ▁zurückkehren +- 砲 +- ▁Soldaten +- はっきり +- energia +- 言われ +- が大きく +- ▁plein +- éré +- 彼女の +- ▁kasuta +- 战士 +- ▁repeating +- invest +- ▁virtuous +- ▁laboratory +- ネタ +- руп +- ად +- 贼 +- 殴 +- ▁буй +- ▁இர +- Video +- ىلى +- fydd +- 几乎没有 +- 山田 +- гуль +- ▁Pel +- 任命 +- ▁discontent +- ▁ຊິ +- ▁winner +- 可爱的 +- ▁verbreitet +- 星球 +- ▁ааа +- 耐心 +- ▁overtake +- 災 +- ▁подумал +- ▁hände +- 打扰 +- வெளி +- ▁wonderfully +- ▁staatliche +- 的房间 +- に来た +- ▁nursing +- ▁dunia +- 笼 +- ▁chưa +- ▁Verlust +- Domin +- kommst +- монт +- 逃跑 +- 估 +- 你还是 +- ▁stepping +- 驱动 +- ▁сначала +- しばらく +- 衝撃 +- ▁blake +- ▁Frankreich +- ▁exploration +- と思うんですが +- ▁clinic +- 違って +- 寒さ +- ▁какую +- ▁soort +- meid +- ▁slack +- ▁күр +- ց +- ▁Ozean +- ić +- 退出 +- ▁historically +- ▁punika +- 画像 +- ▁weighed +- 本地 +- ấp +- 济 +- ▁pouvait +- ヒント +- 레 +- ▁vuitanta +- ▁verantwortlich +- ▁neunzehn +- hampton +- alist +- ▁склад +- 時ごろ +- Comp +- '47' +- ▁Cafodd +- amategeko +- ▁mnie +- ওঁ +- ▁öffnete +- デー +- あなたが +- ▁enorm +- 明治 +- 今大会 +- '`' +- ▁archbishop +- ▁иногда +- ▁прежде +- ▁göz +- ▁entrar +- ▁знать +- числ +- 奇妙 +- ▁kuvuga +- ▁grub +- ▁rubber +- 坐着 +- に関しては +- ▁preaching +- işle +- ▁psychological +- ▁survivor +- ▁Oberfläche +- 这个想法 +- 脖子 +- 观看 +- ▁Verstand +- ▁кож +- ▁нужны +- ▁diff +- integra +- ▁Hinweis +- ▁maakte +- 我希望你 +- 循环 +- ▁Simon +- 中止 +- ▁crucial +- ▁праца +- ▁thông +- дук +- ▁ownership +- ந்தார் +- ▁Paar +- ▁carta +- 大変な +- ▁hayat +- ់ +- ▁ситуации +- 欺骗 +- ▁regime +- まるで +- مُ +- وص +- 一个女人 +- 資金 +- ം +- ▁kompliziert +- ▁Geburt +- 衝突 +- ▁Play +- ▁Ärzte +- ▁snatched +- خنده +- īgi +- vè +- ▁küçük +- ▁navig +- 両親 +- تحدث +- ▁attire +- ▁Pause +- 連れて +- ▁Einsatz +- kî +- ▁Free +- 认识到 +- லு +- 扩 +- 男生 +- 仓 +- ▁Laura +- ▁magnitude +- ацыя +- torial +- ▁tercer +- 岸田 +- テスト +- بى +- état +- ▁máy +- schläge +- 激烈 +- ▁같은데 +- ▁kep +- 这就像 +- পি +- φ +- 肩膀 +- ▁psychology +- ▁wünschen +- ▁wiped +- を求める +- ظهر +- ▁streak +- ▁Aktion +- لې +- ▁vấn +- ▁owed +- ▁assessment +- ▁solomon +- 魔法 +- ▁digging +- ▁Kleidung +- ▁волн +- піса +- 직 +- ښ +- 叠 +- 垫 +- ▁provoke +- ▁disturbance +- 范围内 +- 教学 +- ▁труб +- ▁Deutsch +- ێت +- ▁করা +- ▁Englisch +- fluent +- ▁какого +- 陪你 +- sulta +- ▁applause +- ▁тэгээд +- ას +- ▁mmhm +- ▁rascal +- тәр +- ▁honesty +- ▁Phase +- Risos +- ▁постоянно +- 申請 +- ັກ +- ▁hängt +- ▁affecting +- ▁Veränderung +- ▁опыт +- હ +- ▁اليوم +- ▁друж +- 碰到 +- ▁Bühne +- ▁порядк +- ҭа +- 新聞 +- ▁Stimm +- ▁Süden +- مام +- 演説 +- 世界上最 +- leitung +- 遣 +- 北日本 +- 감 +- 碳 +- ▁collecting +- っぽ +- ができて +- やりたい +- ▁vardı +- ▁reap +- 背中 +- ▁Farb +- 焼け +- ないよ +- 摄 +- 하다 +- 외 +- ▁appealed +- ッキー +- ▁prick +- 上手 +- お届け +- kono +- ▁мэдэ +- 顾问 +- 很清楚 +- 斑 +- ▁интернет +- 刃 +- һын +- ▁نور +- awal +- ▁flashing +- ▁Since +- 大师 +- ▁macro +- เก +- ▁unconsciously +- ▁passé +- ▁dreaded +- ძ +- ▁cependant +- 초 +- ▁Там +- ▁бело +- ▁personnel +- 犯行 +- ▁priorities +- шев +- ▁grote +- neuron +- ▁treating +- âme +- ▁Bach +- 有许多 +- සු +- ▁Pic +- ▁Ereignisse +- 感染対策 +- ▁discoveries +- spoiled +- lith +- 喝了 +- ታ +- ▁Geschlecht +- ▁excursion +- 保険 +- ▁fonction +- 場に +- maktadır +- ▁judicial +- 安倍元総理 +- ▁Sobald +- lardan +- кажет +- ディング +- ▁harmless +- 这么一个 +- ▁ministry +- ▁ຫັ້ນ +- ▁cotxe +- 嘉宾 +- を取る +- ىسى +- lomb +- という話 +- ▁siaj +- ambul +- ▁referring +- 小小的 +- ▁utterance +- 角落 +- ▁kehrte +- パリ +- 捐 +- ▁provincial +- 想出 +- ▁benefici +- ▁Aku +- ▁исслед +- ▁Kong +- ıp +- 激情 +- 周期 +- ▁Ruf +- 坐下 +- ▁ewig +- ▁African +- ▁çünkü +- ▁academy +- ▁Maybe +- 无限 +- čči +- ▁connu +- 这孩子 +- ▁banker +- 村上 +- ▁authentic +- 寂 +- 郷 +- ▁kết +- ヴィ +- ▁luncheon +- ▁알아 +- 冷凍 +- ▁resume +- андр +- ▁refined +- clus +- 这样的一个 +- ாளர் +- 鲍 +- ▁nobility +- ▁Ул +- ໍາ +- を重ね +- ▁嗯嗯 +- 談 +- ▁awaited +- فَ +- ▁Aussage +- ღ +- ▁vermute +- 涌 +- హ +- 月曜日 +- ▁tốt +- esque +- ▁جدید +- 選んだ +- ▁Wann +- 身后 +- アイス +- カ月 +- ▁beschreiben +- 诱 +- ▁chwarae +- 附近的 +- inclou +- 什么样 +- 請 +- කු +- ल् +- ▁initially +- 期节目 +- ▁roaring +- ▁Ар +- ▁другим +- ▁oven +- 必须要 +- 20% +- ▁saloon +- ▁врач +- せん +- ▁lewis +- ▁vicious +- ▁Zentrum +- ▁brazil +- 的权利 +- 美味 +- 不许 +- ▁பயன்படுத்த +- ▁вульф +- ▁видимо +- 先発 +- きれいに +- ▁ужас +- ▁obtaining +- ▁Aufnahme +- ▁podría +- ▁sadness +- 拿出来 +- 必要がある +- лыҡ +- 作业 +- 采用 +- ▁vya +- ▁feat +- ▁Although +- なければならない +- 大規模な +- 推进 +- 我只想 +- ▁durum +- 还有其他 +- どうする +- œuvre +- ▁eloquence +- ▁бөгөөд +- 栋 +- 鏡 +- būt +- günstig +- 开会 +- ▁Grab +- ▁அவர்கள் +- ロシアが +- voja +- ▁felicit +- ▁attendance +- 否认 +- ぇ +- ლა +- わずか +- ▁hunted +- ようやく +- 爵士 +- ހަ +- 然而 +- ▁mournful +- 長期 +- wamu +- 期限 +- 询问 +- ▁установ +- ▁rainbow +- 騒 +- ▁diligent +- ▁vergangen +- ▁asylum +- ▁yanjye +- koht +- ▁comfortably +- gerät +- 凶手 +- ▁armour +- pari +- ▁dignified +- ▁cuerpo +- ▁Prinzip +- associa +- つま +- ▁excite +- ▁matches +- ▁brauche +- ▁كې +- ddling +- ▁baggage +- ▁outstanding +- 秒钟 +- ▁vierzehn +- 克服 +- ▁blazing +- பின் +- 下がって +- ▁руку +- jící +- わたし +- න්නේ +- ▁consegui +- 他们正在 +- ▁qualified +- ▁tradi +- 统一 +- 人が死亡 +- buah +- ▁защит +- ▁donkey +- 新幹線 +- 欲しい +- クル +- ifuza +- miento +- ▁lumber +- jye +- ▁meteor +- ▁gradual +- களும் +- ▁crowned +- quisition +- ショート +- 糊 +- ही +- チャレンジ +- னும் +- ▁एक +- ▁sydney +- ▁Taylor +- 克莱 +- 拿起 +- リーダー +- 兔子 +- 其他地方 +- ▁Graf +- ▁ужо +- ël +- өнгө +- ▁fünfundzwanzig +- ▁estimated +- 一趟 +- ▁quoted +- த்தா +- spruch +- 激しく +- ▁Был +- čil +- トラブル +- пустил +- ▁seventeenth +- ▁thirteenth +- ▁compelling +- ▁seemingly +- ▁نگاه +- 更好地 +- ▁bunk +- のまま +- nev +- 借り +- ▁кре +- krist +- 七月 +- ▁Atom +- spezifisch +- 一直是 +- Orient +- йтесь +- ▁meilleur +- '120' +- ▁habt +- ▁liking +- ▁legislature +- どのような +- 一块儿 +- いくつか +- ▁romp +- ▁trench +- ▁сильн +- 凑 +- 鸣 +- 登録 +- ▁frail +- 获取 +- ▁Main +- いること +- 広く +- プリン +- 親子 +- 段階 +- 豆腐 +- 很长时间 +- ▁Castell +- 真理 +- ▁треб +- ▁endeavoured +- Institut +- 萌 +- Infrastruktur +- 堀 +- 诉讼 +- ▁прекрасно +- ってほしい +- キャン +- 徐々に +- ▁يجب +- ▁vall +- ზ +- eisen +- ▁Gewicht +- ▁العمل +- ▁contemporary +- 戦略 +- ▁wesentlich +- కి +- 予定です +- っけ +- ▁bello +- ▁socialist +- ということなんですね +- ▁cement +- ▁그걸 +- ▁shifting +- ▁Sup +- ▁дене +- ▁governed +- schäm +- ▁jurisdiction +- ▁giorno +- ▁triple +- funk +- ▁sneak +- 院长 +- 食料 +- чныя +- vira +- ▁spoon +- сця +- ▁silenci +- 出售 +- 几十年 +- geordnet +- ▁Philosophie +- ▁congratulate +- リズム +- ▁scheen +- ▁пятый +- ▁tidings +- ▁podem +- 北陸 +- 大姐 +- ▁hệ +- ▁Lind +- accus +- иров +- 另 +- 付いて +- ▁vegades +- ▁কৰি +- ▁inherent +- räumen +- ▁Vorschlag +- ▁Dabei +- ッジ +- ▁Interessen +- 得很好 +- неп +- ▁keel +- 一阵 +- ▁treasury +- ▁sculpture +- ▁vật +- ▁Beach +- できなかった +- ちょっと待って +- 巨人 +- ▁Verein +- 乗せ +- ▁Ple +- 冲动 +- 休み +- syll +- ත්ත +- ോ +- ▁غیر +- ロック +- чки +- 回答说 +- うまみ +- ලි +- thorpe +- 其中一些 +- をつか +- ▁outdoor +- に向けた +- ▁amuse +- К +- ▁bantu +- uwen +- 辅 +- lulu +- নী +- ativa +- 網 +- 詹姆斯 +- 懂得 +- 太空 +- 四处 +- いずれも +- ▁Vertrag +- ▁verbinden +- 脊 +- ఎ +- ▁обычно +- ▁dispatch +- 切った +- と指摘 +- ▁komplett +- 火事 +- ▁migration +- kintu +- 働 +- 札幌 +- ▁касается +- 告诉他们 +- ▁ingenious +- だとか +- عادة +- 金钱 +- ضع +- 般的 +- ▁fling +- 正如你 +- ▁durchführen +- コーヒー +- スケート +- 的意思是 +- 很多事情 +- ▁crisp +- ▁grunt +- ▁kutoka +- ES +- 爵 +- ▁dự +- ▁catastrophe +- ▁tưởng +- ▁disregard +- ▁gezegd +- ▁Kredit +- 強さ +- ▁بودم +- OS +- beruf +- ▁handling +- ▁pesca +- 根本不 +- ▁Champ +- ▁девят +- 晒 +- ▁evaluate +- ▁Dewi +- ▁ответствен +- щего +- 认知 +- ovna +- ▁paragraph +- 決めて +- ▁roared +- ▁Quindi +- 毫不 +- 름 +- ▁Sitzung +- கிறது +- ▁willow +- 欢迎来到 +- 船上 +- 维护 +- ▁tanta +- ▁Europäischen +- ▁Molt +- শ্ +- tiene +- 種類の +- を超えて +- ▁terminal +- ▁consulted +- ▁portal +- алды +- ▁المع +- assassinat +- 証明 +- 标记 +- يار +- 一起工作 +- ▁ئەو +- ▁Pflanzen +- ▁embarrassed +- kawa +- ▁serene +- ▁streaming +- ▁jason +- ▁stride +- ▁лиш +- 多次 +- භ +- ▁almighty +- ▁hurricane +- ▁Science +- ▁سره +- fashe +- quadra +- 常常 +- 国民の +- ▁dạ +- põ +- ▁discount +- を出す +- 到目前为止 +- fähigkeit +- 谈判 +- スパイ +- ▁patiently +- ▁lautet +- ▁болох +- 惊人的 +- fleur +- ▁prosperous +- 委屈 +- ică +- ▁Brian +- 两百 +- ▁ভাল +- ▁brandy +- 实在是 +- àng +- ▁produit +- палі +- 客厅 +- を示す +- ▁gezwungen +- исто +- stairs +- ▁lapse +- 镜头 +- 般 +- ▁Està +- operative +- ▁Veranstaltung +- 二人 +- දී +- ▁moll +- ▁courteous +- رَ +- ▁Oberst +- 谁呀 +- 車両 +- анг +- ▁série +- ▁behandeln +- பட்ட +- とかそういう +- лок +- ▁کړ +- ▁Austr +- 看起来很 +- 酒吧 +- ▁বলে +- пок +- インターネット +- 天皇 +- ▁estaban +- зур +- 极端 +- ▁distrust +- بری +- 去哪里 +- ▁сельсовет +- ▁نحن +- ▁erhöht +- ▁mặt +- 軒 +- ▁Abendessen +- ▁accusation +- 领导人 +- льная +- ▁görün +- 年生の +- 伊藤 +- 支払 +- 肌肉 +- ▁zitten +- したうえで +- chimp +- 恋爱 +- ▁ег +- ▁зелен +- 动机 +- ▁Konflikt +- 군 +- ▁sabbath +- '".""' +- ▁kapit +- セント +- ▁polish +- ▁simultaneously +- की +- ▁kugeza +- 相当于 +- ▁годы +- علوم +- итесь +- ▁expressing +- іла +- 美女 +- umugabo +- قطع +- ▁schickte +- ▁реша +- ▁Fälle +- ெய் +- migr +- 己 +- ální +- ▁людям +- ▁некоторые +- バーディー +- fungu +- ▁executing +- بحث +- schieben +- 引发 +- 质疑 +- ▁Gründen +- grenzen +- ▁persecution +- ▁Zitat +- 土砂災害 +- ▁besorgt +- ▁unfair +- 到这儿 +- 인데 +- عات +- ▁ребята +- ouvre +- 第二次 +- рыс +- ших +- ▁тус +- しまい +- 思われ +- 鹅 +- ▁Katze +- ▁strengthened +- kamu +- ▁Royal +- ombro +- ▁folgt +- ▁destaca +- ▁همان +- خورد +- 倦 +- スポット +- rechnung +- ▁inheritance +- ىدۇ +- ▁பிற +- ▁Kevin +- ▁behaved +- 数百 +- 明显的 +- roving +- ▁наконец +- 稚 +- 구나 +- 犹太人 +- 确认 +- ▁தீ +- لِ +- 二十年 +- 为何 +- ходил +- жат +- märk +- ұ +- ▁الوقت +- ▁depois +- ▁цар +- ▁despised +- 商人 +- ొ +- ▁besuchen +- 詐欺 +- スタイル +- ▁überzeugt +- ここの +- wili +- ▁Life +- 特别好 +- ▁ziet +- ラム +- を続ける +- rinda +- 호 +- kanya +- ▁chairman +- 木さん +- トイレ +- крыва +- ▁stooped +- ▁Schatten +- ▁kuwi +- 一本书 +- ebene +- вец +- ▁занят +- ▁garment +- ▁Danach +- ▁ăn +- ▁Как +- が続いています +- 遂 +- क्ष +- ▁acceptance +- ▁körperlich +- 義務 +- 该怎么 +- ائي +- ▁krista +- ителя +- ымі +- ▁Neuro +- ▁semble +- を進めて +- 見られる +- 遭受 +- ▁Einheit +- ▁ditch +- ▁Sydney +- ▁üzerinde +- 葛 +- ▁российской +- ▁шестьсот +- ▁advertisement +- ▁lucruri +- 伯特 +- 小林 +- ▁bamu +- հ +- ▁Pakistan +- ▁hành +- わからない +- ▁historische +- kiem +- ▁nghe +- かつ +- 约会 +- もらえる +- tsiooni +- ▁preached +- 울 +- 胳膊 +- ▁exaggerate +- ▁subscription +- ▁sworn +- ▁evolved +- 认可 +- verhalten +- ▁hạ +- нде +- ▁путина +- ▁accumulate +- いくら +- ▁Dž +- 先頭 +- ▁berlin +- 僅か +- ▁Knie +- 数据库 +- ▁жест +- ▁زیادی +- ▁envoy +- ▁самого +- väg +- 录音 +- جعل +- タイトル +- ▁protecting +- brian +- 緩 +- 勘 +- もしかしたら +- ▁shrugged +- willig +- ▁иә +- නය +- 三个月 +- 時代に +- 音频 +- 来看看 +- මි +- ▁vicinity +- ▁choosing +- ▁வழி +- 奇迹 +- ▁Schreiben +- лээ +- croft +- ▁kontrol +- бот +- ▁izmanto +- ▁좋은 +- пуск +- parent +- ▁container +- 疯了 +- 尼斯 +- 確認された +- ▁thicket +- ▁верн +- ▁dankbar +- 并将 +- 大陆 +- ▁comercial +- ▁vorhanden +- jev +- 对面 +- ▁tiefer +- ▁cama +- 不能再 +- だと思う +- 則 +- 鸭 +- ▁soutenir +- 幺 +- ▁Schlacht +- ▁chaos +- ▁meisje +- を行った +- ▁conjunt +- ▁Ansatz +- 皇后 +- 环境中 +- 님 +- 世紀 +- も含めて +- '98' +- ობ +- त्य +- ▁derecho +- ▁davis +- ▁Шу +- お酒 +- ▁verhindern +- ▁komunumo +- ▁mochte +- こだわり +- 设施 +- 天使 +- ▁schade +- позиц +- 9% +- пай +- ▁richmond +- ▁посмотрел +- eusement +- meester +- ỹ +- োৱা +- 久しぶり +- 候选人 +- ங்களில் +- ন্দ +- ▁Zusammenarbeit +- 少しずつ +- ▁Tausende +- 东方 +- いただき +- aquestes +- ▁gefällt +- гада +- 薇 +- ▁mathematics +- ▁처음 +- lago +- amara +- zentrum +- ▁forgiveness +- ▁Each +- ▁அதன் +- ▁Deci +- 他にも +- ▁mirth +- 建立了 +- Ɣ +- сор +- ▁Wörter +- Bahn +- ▁bajo +- ▁carne +- 可怜 +- thought +- größe +- ガラス +- ▁screaming +- ▁ändert +- 培 +- 给了我 +- અ +- ▁thôi +- ▁indicator +- ▁alfred +- ▁کنی +- ▁gezien +- جلس +- ▁disciplined +- ▁housekeeper +- 体操 +- 还挺 +- ▁submarine +- いきなり +- كرة +- ▁erneut +- ▁Medizin +- 资助 +- vå +- ▁lucru +- ▁разные +- ▁oars +- ливо +- 可惜 +- ▁Oxford +- Kampagne +- ▁generosity +- ▁무슨 +- ญ +- 縦 +- 偽 +- ível +- パワー +- ▁moviment +- 尽量 +- ▁universitat +- ME +- ễ +- ▁нравится +- ▁понимаешь +- ▁böyle +- 学术 +- こんにちは +- ▁kvar +- 摊 +- 棵 +- ▁hereafter +- Franc +- ▁prussia +- ஷ் +- 天哪 +- ▁Hügel +- 最新の +- ▁Korea +- ▁мөн +- ▁হয়ে +- ▁kaiser +- ático +- ▁mooi +- 晩 +- ึ +- ▁cambio +- holm +- ственно +- ▁implied +- ▁év +- 我个人 +- ▁jenny +- 就是因为 +- Ĉ +- を通じて +- ▁değiş +- ▁borrowed +- 是否有 +- ▁Tout +- ▁festgestellt +- きょうも +- ▁تک +- 短暂 +- ▁franklin +- ▁piled +- 还是要 +- 自主 +- یەک +- ▁contempor +- 狩 +- 불 +- نظام +- 亲戚 +- 活跃 +- 真心 +- 会让你 +- ▁کشور +- ování +- ▁stesso +- бег +- 临时 +- 八点 +- いろいろな +- घ +- 螺 +- க்கை +- ▁consultation +- ▁Wut +- ▁Personal +- ▁quedar +- ▁こうした中 +- ▁Ку +- ▁prolonged +- ▁folgenden +- ▁temporal +- ▁bleef +- ăng +- バター +- ▁Saya +- ▁detected +- ▁Про +- ▁translate +- 信念 +- асць +- ないんです +- ▁کوچک +- 両方 +- ▁contrari +- ▁அத +- ோம் +- お肉 +- ņa +- ▁Einstellung +- したいと思います +- ▁встреча +- wyl +- 侵攻 +- 我刚 +- ۱ +- 房地产 +- ষ্ট +- ▁ஆனால் +- 收藏 +- مثل +- ▁Philip +- ▁reliable +- ▁conspiracy +- ▁indispensable +- 日本海側 +- の歴史 +- ▁কোন +- ▁superiority +- 子弹 +- 的意见 +- ▁conqueror +- 帖 +- 迎え +- ▁одоо +- 優しい +- ическое +- wyth +- ▁одну +- wirkung +- ▁financing +- ▁ascended +- كتب +- 八月 +- ▁zoals +- ヶ +- ▁கட்ட +- ▁petty +- ▁cricket +- すぎて +- 得起 +- cross +- 加强 +- crypt +- ▁jünger +- ▁ຫວາ +- ▁considér +- ▁Studio +- вд +- 另外一个 +- ▁kennedy +- ▁castell +- าม +- ▁abrupt +- ▁buli +- identifi +- ▁disadvantage +- ▁නො +- ▁arasında +- ража +- ▁хотят +- ▁apron +- ▁damned +- 不在乎 +- ▁horace +- 帮助我们 +- communica +- жин +- 貸 +- たちに +- ▁complement +- ▁والم +- джи +- ▁Rick +- கிறார் +- ▁maximum +- อา +- ▁ҡара +- ▁lebendig +- ▁счита +- 毫 +- ▁mechanic +- ෑ +- ナンバー +- 餐厅 +- 援助 +- ▁khá +- ▁creu +- apport +- ▁continual +- 了多少 +- ところです +- 但我认为 +- ▁Villa +- ▁reagieren +- ▁нічога +- 筒 +- 贫困 +- ▁puerta +- ▁pathway +- 效率 +- 津波 +- ▁Europ +- ▁бесп +- ▁счет +- 对抗 +- 生物学 +- writer +- 認め +- ▁extravagant +- ▁umbrella +- ▁jullie +- ▁distressed +- ▁precisa +- 称为 +- ▁honorable +- ూ +- 伊斯兰 +- 尊敬 +- ▁clinging +- ▁бала +- льных +- pā +- ▁civilized +- 出てきて +- BI +- ▁apparatus +- ▁затем +- にわたって +- 道具 +- ▁Grenze +- ▁велико +- печат +- ▁babi +- ▁blunt +- ▁محل +- 漆 +- ছো +- ▁vegetable +- regierung +- かき +- ▁ocasi +- ▁lacking +- 颤抖 +- ▁thereupon +- 另一方面 +- 最後まで +- düğü +- 七点 +- basha +- bikora +- 共享 +- 存储 +- ▁clark +- 是什么意思 +- ▁schoon +- ▁Nahrung +- ▁Elektro +- ▁yapıyor +- ことば +- kibi +- ▁Tony +- hér +- 粮 +- 起床 +- :“ +- Râsete +- 萧 +- ハウス +- partei +- 分别 +- ▁principalment +- 戴着 +- ▁پرو +- occupa +- 部落 +- ▁favourable +- ▁expose +- 売り上げ +- ▁Marie +- 怪我 +- ▁практически +- ▁별로 +- 偷偷 +- ▁complexity +- eût +- vamo +- ▁automatic +- mysl +- ремен +- dimensional +- прям +- ▁Beweis +- 犠牲 +- нең +- anomena +- строй +- ▁طريق +- の間で +- ▁ethel +- 締め +- 只有一个 +- 分散 +- ▁alright +- プラ +- ▁approaches +- ြ +- 汪 +- овского +- человеческ +- ượ +- 発売 +- ▁quindi +- คน +- ▁diplomat +- ▁mulher +- 人才 +- ▁scold +- 灰色 +- 寸 +- 叙 +- ▁covenant +- ▁Mind +- ▁Four +- 气候 +- ▁kennt +- сер +- ▁pew +- guye +- валася +- ▁instructed +- ▁இல்லை +- 地看着 +- 国葬 +- ▁газар +- 掩 +- 筆 +- 艾伦 +- 飛ば +- ID +- ▁substitu +- tracht +- 名称 +- だと思って +- ▁mientras +- 相手に +- ▁Jason +- appropri +- ▁höre +- 捜 +- ▁தனது +- ▁مشکل +- بند +- 犹太 +- ジョ +- ▁Dienste +- 武装 +- ydı +- ▁இருந்தது +- ▁праз +- gemacht +- ▁feder +- 炊 +- 合理的 +- leuchtet +- ▁Bereit +- ▁taylor +- そうと +- ивают +- 惊喜 +- 知道吗 +- ▁constance +- あげる +- ворот +- 台上 +- plau +- 剥 +- 古老的 +- 也知道 +- ▁strategi +- ▁amateur +- ▁mettre +- 日军 +- んでしょうね +- ゥ +- ▁orleans +- 说出来 +- 眼里 +- ▁blunder +- あいつ +- 一个小时 +- ▁moist +- ▁teatr +- 以一种 +- ▁разве +- 欺 +- ▁vernünftig +- 疼痛 +- রের +- ▁Kohle +- géni +- ▁oyun +- ▁healing +- brä +- father +- 王国 +- 伸出 +- 就不能 +- 火山 +- ▁пару +- 最后一次 +- ▁Kö +- 巾 +- abaturage +- ▁defiance +- ▁москвы +- 観光客 +- 够了 +- ▁olw +- ▁açık +- ▁primi +- czas +- ▁المس +- ▁blev +- ▁sauber +- ▁voting +- ▁complicat +- ณ +- ▁través +- ▁optimize +- ▁melodi +- ▁lavoro +- ▁подожд +- ▁войны +- するのが +- ▁diminu +- と呼ばれ +- ▁самых +- ▁bijna +- ▁bildet +- つながり +- 棉 +- روس +- 始终 +- ▁yacht +- ▁packet +- šā +- しているんです +- ▁Wid +- ▁hose +- istisch +- ▁prezent +- ▁missionary +- ▁commonplace +- 駆け +- プロジェクト +- ▁circus +- クラブ +- ▁customary +- ▁exclusively +- 鑑 +- 枠 +- 吵架 +- ▁peine +- 一起来 +- 時まで +- いいね +- ▁mathematical +- 珍しい +- ▁иначе +- ▁depriv +- ▁venice +- ▁sitzt +- 留给 +- ▁Court +- ▁zooals +- ぷ +- ▁versteckt +- ▁stata +- ▁billig +- TA +- shima +- 树林 +- ▁iawn +- ▁plac +- ১ +- ▁memorial +- 在做什么 +- ▁thường +- ▁ladyship +- world +- 危険な +- ▁До +- の中でも +- ▁mostrar +- 昨晚 +- ▁appreciated +- ▁جنگ +- ▁bluff +- 庙 +- ▁emphasize +- ▁renown +- 沟 +- 陸上 +- 一点也不 +- lê +- сия +- 椅 +- œ +- 函 +- ▁admiring +- ▁sacrament +- 财务 +- 节奏 +- 礼貌 +- 广场 +- ▁implore +- ицы +- マリ +- 这个事情 +- いいのか +- があるので +- 年级 +- kiko +- ▁exam +- っていない +- ▁diameter +- ▁Palm +- бә +- 起诉 +- ▁ہو +- 大好きな +- ▁cetera +- ▁पर +- もう少し +- 瘾 +- 涙 +- вания +- ▁overflow +- ▁ожида +- 临床 +- ▁сябе +- männer +- ▁contradiction +- 吊 +- ▁사람들 +- ▁ساعت +- ▁العديد +- ▁никакого +- 的思想 +- ▁obstant +- andika +- ▁legion +- ▁cultiv +- ▁arriba +- ▁przed +- võt +- 行う +- ય +- ▁allerdings +- ogene +- schalten +- demokrat +- ▁traced +- ▁считает +- ▁produc +- 春天 +- ▁burada +- 赶快 +- င် +- ં +- ゼレンスキー大統領 +- ▁случилось +- ▁состав +- Ҡ +- ▁bemerkt +- 原本 +- 現金 +- Gerät +- のようなもの +- енә +- ▁Pur +- ▁kreativ +- ▁behauptet +- ▁للم +- ▁новый +- ▁hardware +- свет +- ければ +- 贫 +- 誰が +- ▁marque +- ▁stuart +- を見ると +- ▁Menschheit +- 深深 +- очку +- ব্য +- ▁roam +- ▁kujya +- 二百 +- 行不行 +- 慣れ +- ▁savu +- 原発 +- ▁hakkında +- 规矩 +- ▁stubborn +- ▁полно +- ▁übrigens +- ▁offenbar +- ▁tipus +- ▁strained +- madı +- ドン +- 朝から +- ロボット +- ▁verletzt +- 的说法 +- ண்ட் +- 尤 +- 我听说 +- 救助 +- 体調 +- ▁cooperation +- 做了一个 +- ▁junger +- 一点儿 +- ▁dusty +- 开枪 +- ▁Angebot +- 珊 +- ▁Тэд +- 义务 +- නු +- interest +- 血管 +- ▁trouva +- වැ +- истов +- ▁ҡал +- ģ +- ▁vulnerable +- ▁receipt +- 洗濯 +- تعلم +- 厕所 +- ▁conductor +- ▁schreibt +- ▁Verbrechen +- ▁замечательн +- ▁adviser +- ▁hostess +- 挙 +- ע +- ▁cylinder +- ▁امروز +- ▁treason +- ▁Sever +- ıyla +- ▁Vogel +- ▁wertvoll +- 书记 +- 跃 +- ▁gravel +- ▁preliminary +- ▁bảo +- 証拠 +- ▁solved +- ▁будто +- わよ +- 果然 +- вацца +- ことになりました +- 媒 +- یں +- ▁accuracy +- ▁commodity +- ▁District +- بيع +- ĵ +- ▁implemented +- 三月 +- バレ +- ▁краін +- цией +- 能看到 +- 或其他 +- 嗨 +- അ +- ▁belangrijk +- 舟 +- 포 +- 償 +- ▁komplexe +- ▁basketball +- ▁Sekunden +- ▁noisy +- ▁interruption +- 说完 +- ケア +- illus +- ▁compliance +- ▁اتفاق +- ▁psalm +- ▁electrical +- ენ +- ▁vragen +- ▁shun +- 逮捕されました +- ▁severity +- 之内 +- 么 +- half +- 找出 +- ٍ +- ▁موقع +- ▁Signal +- 我问你 +- ▁pobl +- цяг +- 契 +- 贯 +- ▁făcut +- ▁Đây +- 阴影 +- 南京 +- ▁pouvez +- ▁Spieler +- евой +- kipe +- тап +- 花钱 +- ▁doktor +- ▁вперед +- ▁обязательно +- ▁صحبت +- iyoruz +- 製品 +- ஞ +- 抬起 +- 合意 +- ▁quả +- ▁coch +- ковский +- 儀 +- する方針 +- ▁fringe +- geschrieben +- が起きた +- 価 +- ▁государство +- buye +- ▁внутрен +- 疑いが持たれています +- ▁мама +- угл +- ாவது +- になれ +- ▁salad +- 什么都不 +- ▁ghastly +- 匆忙 +- 忽视 +- ▁universities +- ▁Handlung +- cull +- ▁maggie +- ▁Papa +- ̀ +- 旺 +- ▁zerstört +- ▁vapor +- ▁bafite +- 欲望 +- ▁sicherzustellen +- ▁Voll +- টো +- ▁материал +- ▁gemein +- ▁sorrowful +- 诗歌 +- ibindi +- 保安 +- ▁đấy +- 不管怎样 +- ▁automatically +- まっている +- ムー +- ▁Shu +- 怎么着 +- 苏联 +- ▁Jersey +- ▁произошло +- ▁Bạn +- ▁Viertel +- exclusi +- 售 +- 唯 +- 取代 +- ▁handeln +- ▁blur +- 相机 +- 种植 +- ▁hark +- 污 +- ▁псих +- ▁ritual +- ▁потеря +- 你放心 +- ▁rejoiced +- طلب +- ▁visage +- ぶつ +- operation +- ▁камен +- ▁conseil +- ▁liable +- 蚊 +- эргэ +- ▁यस +- работал +- üßt +- ランク +- ▁occhi +- ▁Мин +- ▁beendet +- ▁kitten +- ▁зуб +- ▁Kenya +- ▁ikibazo +- ▁أيضًا +- デジタル +- ▁abbey +- 会觉得 +- ично +- ிருக்க +- を通して +- 那不是 +- жыць +- 通行 +- ▁longue +- ▁Heimat +- ▁intrigue +- قدر +- бен +- ▁joven +- bücher +- 山本 +- ▁priorit +- 承受 +- 结束时 +- wezi +- ▁regal +- ▁emit +- ▁анти +- 判決 +- ኝ +- ▁eyebrows +- ▁bicycle +- ▁çıkar +- дина +- みそ +- பர் +- 争取 +- 个性 +- 五分钟 +- ก็ +- ▁смотри +- kontroll +- 밖에 +- ▁exalted +- 消え +- ▁gebeten +- ER +- ▁прибыть +- 弾道ミサイル +- ▁решения +- ▁அவள் +- 火星 +- 怖 +- 预期 +- 衡 +- störung +- усь +- グルメ +- ▁minority +- ▁neighbouring +- ▁Leidenschaft +- ▁oppressed +- 你会看到 +- gène +- ▁tutor +- 陷 +- ▁äußerst +- 嘞 +- ▁començar +- objekt +- ▁proverb +- கம் +- anstalt +- ▁holiness +- ▁шүү +- ▁государства +- ▁мус +- ▁pregunt +- 砍 +- ▁überzeugen +- ▁다른 +- слух +- ▁twig +- зад +- analyse +- そうした +- 战场 +- 网友 +- ლ +- Ḥ +- ▁njegov +- ▁repeatedly +- ▁اولین +- ▁любой +- ▁archer +- ▁اور +- 積み +- étude +- 我总是 +- ▁zweihundert +- ▁komis +- 抚 +- ごとに +- ▁resurrection +- 杠 +- ▁Mehrheit +- ▁squadron +- frica +- 合理 +- 農家 +- sensibil +- ទ +- ▁структур +- ▁бүтэ +- 引き上げ +- ▁Innen +- нікаў +- 加工 +- ▁производ +- 单身 +- 呈现 +- ▁Schnee +- ▁برنامه +- ▁gleaming +- 応え +- ▁creeping +- ▁ligne +- ▁працу +- ▁corri +- เส +- 現れ +- ▁перш +- очки +- ▁genutzt +- 皆様 +- 総裁 +- ▁robinson +- ▁часов +- нена +- ▁kettle +- 诗人 +- شاهد +- äß +- ▁muerte +- ▁fake +- ▁société +- ▁микрорайон +- 밥 +- ブラジル +- ▁desirous +- 一个男人 +- ▁spectrum +- springen +- 孙子 +- ▁सम +- りません +- 不太好 +- stāv +- ▁prediction +- したところ +- ▁coil +- ▁Fast +- ゴン +- コーチ +- ▁proclaimed +- ▁jugador +- ▁توانم +- ஊ +- 体内 +- ▁interference +- 四百 +- が増えて +- 打つ +- wickelt +- ▁Мне +- ▁kvin +- дро +- ▁crab +- ▁Literatur +- ▁shawl +- ▁outfit +- 倾听 +- 不良 +- ▁Chef +- zuhalten +- 普通に +- ▁そんな中 +- ▁groaned +- の方は +- 艇 +- ▁Petr +- ▁Wach +- bole +- еньки +- 难受 +- 発信 +- 及其 +- ▁scatter +- ▁drifted +- ▁rejoicing +- ▁друзья +- ▁karakter +- 是一件 +- assemble +- を進める +- でしょうね +- ▁Befehl +- 直前 +- జ +- 亚马逊 +- 社交媒体 +- miseks +- 设计师 +- ▁majoria +- 很可能 +- 也许是 +- испол +- 飘 +- ø +- أصبح +- ▁orthodox +- ▁thieves +- 鹿児島 +- 难以置信 +- 明天早上 +- jū +- национальн +- 热爱 +- ுகிறார் +- ▁piety +- あれは +- 农场 +- AC +- ▁مرا +- ▁eleanor +- ▁prêt +- ▁کتاب +- 大谷選手 +- 行事 +- ▁allusion +- ▁yavuze +- ▁trá +- ▁суу +- ▁gọi +- 雀 +- மோ +- 不然 +- かしら +- 优秀的 +- blé +- リアル +- gewinn +- 导致了 +- 辩 +- 旬 +- リオ +- iddwa +- ブランド +- 内閣 +- ▁وقد +- 册 +- ▁concession +- 選択 +- ▁Cambridge +- 込 +- لەر +- ▁ĉefe +- ▁dragging +- ▁sparkling +- ▁consistently +- 吹き +- ▁пакуль +- holz +- ドア +- 做得很好 +- attend +- ▁benjamin +- ▁shifted +- ▁Spur +- ваюць +- ▁hynny +- ▁elevation +- 軽く +- ▁trình +- ボタン +- ganya +- операци +- ▁رسید +- 又不是 +- ▁frenchman +- 看着我 +- ▁suppressed +- kijk +- ▁perquè +- ▁জন্য +- ▁remarkably +- aĝo +- ▁ernest +- 军官 +- ▁download +- mette +- ▁Microsoft +- 沖 +- 勧 +- archiv +- سرع +- 一支 +- ひとつ +- ▁цаг +- dessus +- 当前 +- 释 +- wendung +- されたのは +- 意志 +- に近い +- 这是什么 +- スペース +- ▁ruling +- كۈ +- genomen +- ▁malheur +- سلام +- ▁выборы +- 県内 +- ▁australische +- ▁untersuchen +- 鎌倉 +- 促进 +- ▁Geschenk +- 诊断 +- ▁jeanne +- waż +- ▁groom +- を受ける +- ▁lettre +- ▁adjacent +- 砖 +- 挟 +- эль +- ▁presque +- 远远 +- 地理 +- 的感受 +- ▁Eric +- читыва +- concili +- ▁basil +- 配信 +- ▁desenvolup +- 桐 +- 縫 +- 跑到 +- 同じように +- ▁freuen +- 諦め +- 雨雲 +- ▁selben +- لج +- 三次 +- 平方 +- ▁vaig +- ▁Social +- カナダ +- ▁москве +- 定位 +- すり +- ▁getrennt +- bbling +- ▁syr +- ▁integrity +- UN +- پە +- エース +- ▁Verbraucher +- 舎 +- ▁caracter +- 見てみますと +- விய +- 听过 +- 谁能 +- 深度 +- 术语 +- と思うので +- 消除 +- 撑 +- ▁şimdi +- ▁savoir +- 代わりに +- حصل +- ▁Medikamente +- やっと +- ຫຼ +- を獲得 +- ▁pitiful +- ▁легко +- ▁besiege +- 有趣的是 +- 集合 +- generation +- ▁publisher +- жым +- ಡ +- 穆斯林 +- ▁declaring +- ビジネス +- ▁elkaar +- ▁visibility +- 争い +- ▁scary +- 慢点 +- ▁leiten +- って言った +- 我也不知道 +- ড়ি +- ▁westward +- ▁repress +- ▁fehlt +- ृ +- ▁installed +- ▁сожалению +- ▁언니 +- 雇佣 +- ▁repos +- ▁парк +- ▁accuse +- سپ +- みたいな感じ +- 飛行 +- 阿里 +- ▁demonstra +- ▁ridicule +- ▁மிகவும் +- 脑袋 +- ▁Company +- চে +- ▁Senator +- AT +- ▁veranda +- 征服 +- 布里 +- يَ +- 丈 +- ▁சேர் +- 崇拜 +- ivamente +- ▁Water +- ▁glimmer +- していること +- II +- 衛 +- 喜剧 +- 手紙 +- ▁집에 +- ējā +- ▁Block +- ▁väl +- undneunzig +- 詞 +- ▁слов +- ▁Kalifornien +- ει +- haza +- 趣 +- ▁Basis +- ▁Cela +- قۇ +- 动议 +- 是多么 +- やろう +- ▁neighboring +- ▁Hast +- алда +- вание +- どこまで +- ▁lavora +- ▁erstellt +- ▁кеше +- ▁Perspektive +- ▁cualquier +- ▁chemistry +- ліз +- ▁inherited +- もち +- ▁surge +- 消費 +- ώ +- ▁erforderlich +- 須 +- ▁обнаруж +- ▁descending +- avons +- mbri +- ▁televisi +- ▁europäischen +- ▁Está +- ▁rocket +- druž +- ခ +- ▁맨날 +- 従業員 +- ▁среди +- غو +- 穿上 +- ▁phụ +- 任何一个 +- ぱ +- вших +- ▁wizard +- レシピ +- 谁知道 +- ▁batteries +- historie +- ▁laquelle +- ▁svět +- тыя +- 질 +- ▁hợp +- ▁tiếp +- ▁نزدیک +- スイーツ +- ▁vermeiden +- ▁striving +- ▁aufmerksam +- 上课 +- 機械 +- ▁empower +- 決して +- 开门 +- ▁Gerechtigkeit +- ▁힘들 +- 療養 +- ▁Three +- existent +- abhängig +- ▁чём +- ▁peggy +- пресс +- ވެ +- ▁systematic +- ▁než +- ▁simplement +- ▁verwirrt +- せっかく +- されてる +- 赞助 +- 预防 +- ▁två +- 赋予 +- ▁существует +- ▁utility +- ▁Wesen +- soever +- ▁Alors +- 業務 +- 爪 +- ▁beschrieben +- ▁supernatural +- ▁فإن +- ▁analyze +- ▁rezult +- ອນ +- 流动 +- ▁listeners +- ▁futur +- Liber +- 残疾 +- 厌 +- 험 +- PA +- 輸入 +- يص +- ▁automatisch +- 欧米 +- ▁Belgi +- 引导 +- わけですよね +- ▁영화 +- ▁skilful +- ▁называется +- ēl +- دۇ +- sparen +- 歌词 +- ▁Schließlich +- 芒 +- 分かんない +- ப்படுத்த +- ▁Republic +- 公表 +- ীয় +- 几分钟 +- 晚餐 +- 桌子上 +- schlüssel +- скія +- ▁Цяпер +- ▁музыка +- ▁Russland +- ▁найд +- ▁merciful +- 迹象 +- ▁printing +- ▁growled +- ▁речь +- 気分 +- 可能性があります +- ▁plunge +- ▁பெண் +- ▁melhor +- ání +- ▁Fä +- ▁transit +- ▁гэсэн +- ▁Gesamt +- ándose +- artisan +- ▁Clark +- кле +- What +- 一个巨大的 +- ▁Dreh +- raad +- 给出 +- ▁perished +- ▁overthrow +- ▁mantle +- rides +- studie +- 为什么会 +- ▁lingered +- 完整 +- ▁scroll +- 底部 +- ▁Treppe +- provi +- 前往 +- 福利 +- 钢琴 +- صنع +- ▁подход +- だったので +- 遗产 +- ▁infirm +- පු +- するのか +- ▁Geschwindigkeit +- ▁contemplation +- ▁loneliness +- 芯 +- 토 +- 据说 +- acca +- நா +- ▁koran +- ▁schimb +- ңә +- ▁Тут +- ▁plug +- ▁torre +- decorat +- preservation +- ސް +- ▁трудно +- を巡る +- ائية +- 黒い +- ▁Mario +- ▁handled +- ▁biological +- 场所 +- ▁تأ +- 哲 +- ▁brightness +- យ +- ▁October +- ▁adjoining +- ▁irgendwann +- 虹 +- ▁schafft +- 问一下 +- ▁ethics +- 微妙 +- 総合 +- reißen +- ▁показыва +- ▁sparkle +- ▁faci +- ▁Brasil +- marsch +- ▁entrepreneur +- ucci +- 出会い +- плеч +- 목 +- ▁Schauspieler +- ▁largo +- 评价 +- ▁sniff +- ▁recibi +- こんな感じ +- 村庄 +- губ +- ▁bölge +- ▁چطور +- ▁avenge +- 派遣 +- ▁đồng +- ▁новая +- ▁achtzig +- 齢 +- ▁practised +- 老百姓 +- ▁plaça +- があれば +- 座位 +- 安倍 +- 车辆 +- 良く +- ▁друга +- ▁дежур +- ौ +- 自動 +- ▁وهو +- ▁fué +- legation +- あした +- ▁pip +- 디 +- ▁intimacy +- ▁пункт +- ▁ecosystem +- 网站上 +- ложить +- 凭什么 +- ▁aldı +- ▁wambaye +- フィー +- 発電 +- ▁regent +- になってくる +- 飛行機 +- stunden +- ▁Emma +- 回事 +- 比尔 +- 颠 +- ▁Gouverneur +- ▁delicacy +- ▁обсужда +- 絞 +- ▁removal +- 歩く +- getrieben +- ▁basta +- ▁ясно +- ковская +- ▁sasa +- ベン +- 职位 +- 盈 +- ▁furchtbar +- 致力于 +- 繁荣 +- 整備 +- ▁übernehmen +- ▁අප +- われわれ +- 小型 +- 深夜 +- ▁Manche +- 児童 +- 仕掛け +- ▁একটি +- ▁Bush +- ҡан +- ▁alleged +- 走路 +- を紹介 +- ▁promet +- େ +- ▁دختر +- ホームページ +- 約束 +- யு +- を起こし +- larına +- prinz +- ▁بأ +- 奋 +- 四月 +- 你会发现 +- 福島 +- 墨西哥 +- ▁latitude +- ▁እን +- 我就想 +- ▁horseback +- ரெ +- рская +- っていきます +- 哟 +- ▁psychische +- ▁dainty +- ▁inquiring +- ▁başladı +- ▁خاص +- 하니까 +- 好听的 +- ▁chiama +- ▁knocking +- ▁carelessly +- 达成 +- ▁понят +- ▁precept +- േ +- 债务 +- ▁schlimmer +- 最重要的是 +- 姥 +- 枯 +- 見た目 +- 转身 +- ħ +- 破壊 +- ▁Wichtig +- 典型的 +- ▁lawful +- ▁caravan +- 来找我 +- ▁самым +- rühm +- 凍 +- 描いた +- ޅ +- 新規感染者 +- 依頼 +- 不算 +- ▁forsake +- 密切 +- schieß +- ▁semana +- kuti +- ীর +- ▁geschafft +- ▁président +- ▁socrates +- 頑張り +- ▁malice +- က် +- ▁Million +- ▁revolutionary +- моў +- ▁tavern +- 島さん +- чала +- ▁Sco +- څ +- ▁Griff +- の様子を +- ▁fantastisch +- ▁максим +- ▁verlangen +- ▁verdict +- キャンプ +- を抱え +- 時間帯 +- ▁너가 +- ื +- ペア +- ▁шоссе +- 男の子 +- ▁Muslim +- 抑 +- ▁Dazu +- моло +- 搁 +- 秩序 +- ▁Schluss +- берег +- ▁რომ +- ▁поднял +- ▁athlete +- 慢慢地 +- pharma +- ▁bobby +- entreprise +- すき +- ▁könne +- ▁realizing +- 交换 +- ▁metaphor +- ▁Investor +- ્ય +- ▁nadie +- たいと思います +- ▁stitch +- ▁dimly +- คร +- 即便 +- 一応 +- ▁pedra +- ▁interface +- ▁قىل +- ància +- 把它放在 +- アーティスト +- ▁wußte +- spitze +- 很喜欢 +- って思って +- 艘 +- კა +- を訴え +- ▁Umugabo +- ▁shattered +- garuka +- 回复 +- saison +- 友人 +- biza +- ▁resign +- ▁renewal +- ছেন +- を止め +- ▁Dach +- 半島 +- ▁removing +- 是什么样子 +- 有人说 +- ビア +- 会話 +- 学位 +- ▁racing +- 哨 +- ▁секрет +- ▁pubblic +- скры +- ▁아직 +- geschnitten +- angwa +- 价值观 +- czą +- 有这样的 +- ウム +- باب +- өс +- ホント +- ▁cynnwys +- ▁restructuring +- 共和国 +- 亚洲 +- ▁metod +- ▁نفر +- ▁thích +- ビール +- zieh +- 業界 +- dringen +- niedrig +- と見られる +- ▁qualche +- 失礼 +- ฟ +- Ž +- ▁зүйл +- ▁measurement +- фарм +- เร +- ਲ +- ▁гораздо +- 鹏 +- ▁ہے +- sabye +- īga +- ходзіць +- öffentlich +- 暑い +- ▁roland +- ▁tariff +- 皆さんも +- ▁我想听 +- న్ +- 練 +- 冤 +- 阿拉伯 +- 幻灯片 +- ▁massacre +- 봤어 +- ▁Beine +- سوف +- ▁kritisch +- ▁frock +- ▁разных +- ▁Mama +- സ +- 拾 +- 録 +- ▁Đó +- ▁Betracht +- 同伴 +- 使命 +- ▁consisting +- бло +- ▁daddy +- ▁matrimoni +- プログラム +- 明智 +- 真诚 +- ▁rotten +- ▁convertir +- ▁смерт +- 墙上 +- 服用 +- appelle +- ▁twain +- ▁Dunkelheit +- ▁Identität +- ▁pharaoh +- ▁structural +- 겨 +- ธ +- سط +- ▁будуць +- 多年来 +- やってみ +- ▁Arthur +- 发行 +- 童年 +- 忘记了 +- ▁whim +- æ +- ▁என்பது +- ▁quivering +- 先制 +- 依靠 +- 那天晚上 +- тычна +- 兔 +- kārt +- stift +- 感染者数 +- ▁алло +- ▁влия +- 嫌疑人 +- ▁olympi +- ▁помню +- ▁توانید +- ▁keenly +- ▁Pflege +- กับ +- ▁около +- 広げ +- bido +- ▁Später +- アナウンサー +- 린 +- ছিলেন +- ટ +- ▁supplier +- ▁geistige +- 解散 +- ▁нашем +- 深く +- わかった +- Direct +- писать +- ▁ўсе +- ▁stimulate +- 六点 +- 稽 +- おすすめ +- 拝 +- әү +- 埃及 +- ▁avea +- ▁quoth +- ▁принял +- simila +- ▁posible +- 추 +- ▁città +- 收获 +- ▁Pflicht +- ▁Sehr +- ▁constable +- gaciro +- 通道 +- ▁jasper +- 된 +- ۇن +- ▁Avenue +- ▁hurled +- ▁چهار +- ıdır +- ▁пасля +- сцю +- ▁falsehood +- 好消息 +- ▁Golf +- 斯顿 +- ▁boundary +- 恰 +- ৌ +- β +- ▁beberapa +- 銭 +- uɣal +- ▁حو +- ▁stripped +- ałem +- சூ +- ▁Kommentare +- ▁countless +- გი +- 下がり +- għ +- ▁있다 +- 祈 +- ▁obedient +- ▁precedent +- ▁dialect +- ště +- を目指して +- ▁charley +- веж +- に警戒 +- どうなって +- 玄 +- 얘 +- ગ +- ▁Innovation +- ▁venerable +- ▁Schaden +- గా +- ▁deployment +- ▁discharged +- ▁bribe +- ▁choked +- เด +- ницы +- ▁Бер +- ▁shareholder +- ▁irresistible +- 색 +- ▁ertragen +- ▁دانش +- 猜测 +- håll +- ▁skr +- ▁начала +- jú +- حاول +- ិ +- ▁شدند +- してくれた +- ▁kombin +- درس +- ▁cuanto +- ▁fakt +- ▁loaf +- 후 +- 予測 +- 治愈 +- 细菌 +- escence +- ▁Diana +- 辰 +- ▁ermöglichen +- ▁области +- ▁apprehend +- ▁sincerity +- ▁Marine +- ▁conduc +- ▁глаз +- मि +- 字母 +- 午前中 +- 不止 +- ▁atrodas +- ▁встрет +- ▁coneix +- リップ +- europäische +- träger +- 日期 +- ▁splendour +- 準決勝 +- ▁Kauf +- ▁equipped +- 伊朗 +- ▁Verfassung +- ▁racial +- ▁wistful +- يست +- اقتصاد +- ▁begrijp +- ▁überprüfen +- 挣扎 +- ▁вижу +- 聊聊 +- ▁greet +- 躁 +- ק +- 创伤 +- ▁ведаю +- 旅程 +- ▁llegar +- етесь +- ▁mbili +- 寒い +- ▁calor +- ▁conoce +- ▁worte +- undsiebzig +- ▁stumbled +- 剣 +- ▁займа +- 楼梯 +- 市长 +- 低下 +- ▁вспомни +- ▁holmes +- 未知 +- ことになります +- ډ +- 辨 +- ▁contemptuous +- '......' +- ▁darted +- zustand +- ▁грани +- ビデオ +- ▁soothe +- 짜 +- 创始人 +- ▁imprisonment +- ▁intensely +- 在乎 +- leɣ +- traction +- ificació +- fellow +- ంది +- foli +- 対決 +- بِ +- 长官 +- 머 +- ▁Ankaŭ +- 纯粹 +- ▁unmittelbar +- ▁Ursache +- овское +- ▁granite +- ▁avem +- 一生中 +- گەن +- анс +- ▁epic +- ▁virtually +- ▁tylko +- を防ぐ +- ▁podia +- ▁snatch +- 替代 +- 費用 +- 购物 +- 組み合わせ +- 長崎 +- ▁لذا +- 더 +- ▁واقعا +- ▁maior +- ▁ieder +- をはじめ +- 点钟 +- ელ +- ▁Kontext +- ▁Verbesserung +- サポート +- geleitet +- ތަ +- ▁wickedness +- ▁kugirango +- 装饰 +- ▁azul +- コロナ禍 +- 集体 +- ▁Null +- Europe +- 幹部 +- ▁Umfrage +- 澄 +- স্থা +- ▁cafe +- 展开 +- пак +- ▁приходит +- 携 +- 教えてくれ +- 晚安 +- 夫妇 +- εί +- 如果不是 +- 谈过 +- ▁controversy +- ▁nyingi +- ▁lần +- まとめて +- につながる +- ようになりました +- ▁beeinflusst +- ▁Italien +- ▁classical +- スリー +- bilidad +- нув +- ピーク +- ▁erleben +- と述べ +- ▁humid +- 海军 +- brennen +- ▁henceforth +- ▁گرفته +- 栄養 +- йшоў +- ▁famine +- 之所以 +- ▁improvis +- жә +- ▁المست +- ▁burial +- ів +- ешься +- 冷たい +- 实话 +- ▁Fou +- ▁przez +- ▁Mathematik +- ▁furnace +- ▁ອື +- 舞蹈 +- ▁Abteilung +- ḥem +- ▁Fair +- ▁avut +- ▁dringend +- ▁Lincoln +- ▁вариант +- ▁bemerkenswert +- 困扰 +- ంద +- ▁fertile +- 另一边 +- ▁sangat +- 基金会 +- 注文 +- між +- ▁Sagen +- 告诉她 +- ಹ +- ▁instinctively +- อย่าง +- 恳求 +- 製造 +- ▁gratify +- ぼく +- ▁grit +- ▁Anderson +- ▁turtle +- ▁unusually +- 赢了 +- 会导致 +- ▁Karl +- ▁Wetter +- gültig +- ▁römische +- 摄影 +- 吃完 +- ▁declara +- '250' +- 团结 +- 每当 +- 知ってる +- 酵 +- ▁Kapital +- 职业生涯 +- 重症化 +- вернуть +- ambaye +- 洪水 +- observa +- ွ +- スペシャル +- ▁equation +- 恭喜 +- ▁инде +- 宪法 +- ▁northwest +- ▁Müll +- ▁oyster +- ▁devons +- 几年前 +- ந்தது +- ▁Verteidigung +- ミー +- ▁Details +- ▁gewann +- 蛋糕 +- ▁Kleid +- つながって +- ▁combina +- 被迫 +- ▁geldi +- ▁confronted +- 僵 +- 季节 +- ▁그건 +- ▁soothing +- ത്ത +- ▁хэрэг +- 牛肉 +- ▁papel +- ▁Meeres +- ▁Fox +- ▁Darüber +- 偏见 +- メール +- お茶 +- 卡尔 +- MA +- Tool +- 扮 +- ▁crise +- ▁efficiencies +- ▁participants +- ▁refusal +- ▁알바 +- ņēm +- ▁여기 +- BM +- école +- ▁upgrade +- ▁superb +- ते +- 言わ +- ▁черт +- ▁господин +- ▁fireplace +- ▁Campus +- ▁Hollywood +- ▁experiencing +- 震度 +- ▁никого +- ▁системы +- 可靠 +- klima +- 帽 +- 誕生日 +- ▁видим +- ブルー +- 惯 +- ▁biology +- ▁annoyance +- गा +- 回去吧 +- に入れて +- vogel +- ▁современн +- ▁Wolf +- சோ +- 失踪 +- ▁spill +- 埃尔 +- 这让我 +- 大众 +- チュ +- ▁ignored +- 变得更加 +- ▁beforehand +- ై +- ▁anticipation +- ▁imprisoned +- 伴侣 +- トランプ +- ▁ilgili +- ▁பண்ண +- ▁maggior +- ▁hydro +- ▁unexpectedly +- ▁opportun +- ▁jî +- 肢 +- ባ +- 孫 +- ▁entscheidend +- ▁விளையாட +- ▁salud +- 英語 +- ▁смысл +- কো +- ▁fui +- ▁pike +- こんなこと +- 分野 +- 艳 +- ը +- ▁staggered +- ▁League +- னால் +- 不幸的是 +- Datei +- mdash +- ▁cedar +- 部隊 +- おうち +- ▁biraz +- 慰 +- 拥 +- Community +- ▁gouvernement +- 暮らす +- ▁drog +- ▁இசை +- 打印 +- ▁turkish +- 过程当中 +- ▁кел +- М +- 这是关于 +- ▁barber +- ▁kinh +- ▁bezeichnen +- 松本 +- ▁subordinate +- 嘲笑 +- まれた +- 包围 +- 非法 +- 買い物 +- Ɛ +- ▁pequeño +- 忽略 +- 猛烈 +- kundig +- ▁бич +- ▁stockings +- 終わって +- бежал +- 王爷 +- าร +- ▁அல்லது +- ▁moore +- 跟你们 +- ▁인제 +- ▁Kiel +- ▁lúc +- ▁apology +- ロシア側 +- ▁eĉ +- が出ています +- 措 +- 昂 +- ແລ້ວ +- ▁phantom +- ▁població +- 吉尔 +- わかって +- getreten +- ▁exceeding +- ▁Management +- ▁Şimdi +- 虚拟 +- 这段时间 +- ▁communion +- っきり +- 植え +- 这个过程 +- ુ +- お伝えしました +- ▁встреч +- ▁besuchte +- ৰে +- したのが +- が発表され +- 胀 +- ▁remnant +- したのです +- нис +- mıştır +- ▁شدن +- ▁colleague +- 抑制 +- 润 +- ▁президента +- 環 +- 伞 +- ▁tecnologia +- ▁последние +- ▁restoration +- あらゆる +- まいります +- ▁qualcosa +- fleck +- ▁بیمار +- ▁vegetation +- ▁distracted +- ▁hamlet +- თი +- schneid +- satisfied +- నే +- கொள்ள +- bwenge +- ▁எனக்கு +- 玫瑰 +- なければいけない +- だからこそ +- 継続 +- ▁aufgewachsen +- ▁explicit +- ული +- ▁nightmare +- komeje +- 书籍 +- 려고 +- burton +- bär +- ▁chama +- girl +- பிடி +- 深圳 +- ▁Küche +- 实力 +- govor +- 努 +- ▁собственн +- ▁або +- 俄 +- ▁affliction +- ▁chancellor +- ▁suivant +- ▁Beide +- 輸 +- 电池 +- стоян +- ▁babylon +- ▁Ça +- こともある +- ▁kız +- ▁scoundrel +- ▁vorbereitet +- ▁apologize +- 折磨 +- ▁pierced +- ساعد +- ▁protector +- ▁lydia +- ▁connais +- ▁actress +- 患有 +- ▁tromp +- ▁rejoin +- ▁Kenn +- ▁quién +- 蕾 +- 격 +- わかりました +- を含め +- 反馈 +- ▁grandeur +- ▁maud +- ▁Pfund +- 几周 +- 格雷 +- しません +- ivität +- ▁brace +- ▁trọng +- 루 +- tempo +- گذاری +- ▁পরি +- liegt +- ▁Bang +- 婷 +- ▁Vietnam +- ▁cœur +- ▁doppelt +- へえ +- 言ってる +- ▁już +- 收到了 +- 幽 +- ▁nötig +- ▁четвёртая +- 민 +- ים +- 介護 +- ▁людзі +- گران +- ங் +- 家具 +- 動いて +- ▁isaac +- ▁першы +- সব +- RO +- 坐下来 +- ▁Investition +- ▁verzweifelt +- ▁Maschinen +- ▁솔직히 +- origen +- だけではなく +- ▁خب +- 遭遇 +- ▁crave +- 更快 +- ▁effi +- 大爷 +- 黙 +- ▁Canadian +- ▁aufgeregt +- 绅士 +- pathie +- 布朗 +- ▁devient +- 返回 +- ▁ooit +- 优秀 +- ▁Protest +- ▁predecessor +- 預 +- 티 +- ▁Stärke +- ▁dirige +- ▁sáng +- ることができます +- ▁бывает +- ▁faisait +- يقة +- 所以如果 +- undfünfzig +- 尔顿 +- 彦 +- built +- ้น +- держать +- ▁хамт +- ▁prodig +- යෙන් +- ια +- 椒 +- ▁tyranny +- ▁않아 +- ▁evolve +- ▁proprio +- ▁없는 +- ▁bombard +- ▁Ohio +- ырға +- 역 +- gespräch +- ▁хамгийн +- ▁мистер +- 困難 +- ▁Thu +- ほかにも +- therapie +- ▁revolu +- バイク +- ▁finanzielle +- 辩护 +- ▁scrub +- ▁judging +- ▁freue +- ▁крем +- wash +- 来到这里 +- 逃走 +- ▁última +- ▁انسان +- ▁Lä +- ▁müde +- 加盟 +- ணை +- 西安 +- 土著 +- ▁ministre +- 役割 +- ▁geholfen +- ▁hết +- ▁Madrid +- ▁Stuhl +- 疑問 +- 昨天晚上 +- 我的朋友 +- 跑步 +- ▁баб +- corp +- گشت +- ▁knapp +- 要素 +- Restaurant +- ▁kürzlich +- ▁voluntary +- ▁член +- ▁angst +- ▁ubwa +- ▁wartete +- ▁inhabited +- 分ほど +- 汤姆 +- ▁трав +- と見られ +- 初め +- গ্র +- ตร +- ▁پسر +- ▁woher +- koop +- technolog +- stelling +- 巢 +- ▁Michigan +- ▁hamilton +- 浑 +- iPhone +- ▁gekauft +- ▁아닌 +- ▁девочк +- ▁министр +- озер +- ▁boundaries +- ▁exploring +- シャン +- фар +- ▁repel +- バンド +- ▁volont +- ▁позвони +- ▁employee +- ▁trobar +- ▁paddle +- 黛 +- ▁обраща +- ▁identi +- ▁Einkommen +- ▁radiation +- راض +- 动手 +- ▁chú +- stehenden +- 递 +- ▁mcc +- 收看 +- ▁Clinton +- ▁Vorsitzende +- 运输 +- '900' +- ▁sincerely +- ▁Küste +- matur +- 取る +- 던데 +- ▁specialist +- ケン +- 搬到 +- ▁voet +- zulassen +- ▁ankoraŭ +- ▁grinned +- ▁municipi +- ▁zweimal +- ▁үҙе +- 抗議 +- ▁gorge +- ▁имею +- ▁Weltkrieg +- ируют +- ▁Patri +- ▁settlers +- ▁بچه +- 傅 +- قليل +- દ +- ▁Dimarts +- ▁오늘 +- ▁공부 +- ▁Вось +- ▁crawled +- ▁suspend +- ▁daudz +- 申し上げ +- ▁durfte +- ▁brake +- チン +- ぽ +- ▁Master +- ▁certificate +- ▁страшно +- ▁statute +- ▁Kaiser +- ▁Beau +- 有名な +- ҟ +- ẹ +- ▁profi +- ▁popularity +- 饶 +- ▁repetition +- ▁sechzehn +- effizient +- 差距 +- ▁cobert +- 突出 +- 选手 +- ▁bleeding +- ▁рабіць +- فرد +- 做些什么 +- ▁patrol +- 升级 +- 九月 +- ▁однако +- 味わい +- 微信公众号 +- 끼 +- ▁얼마 +- ▁фильм +- ▁drilling +- ström +- ▁মই +- 話し合 +- ▁plateau +- ▁komuni +- 今天早上 +- ▁tumor +- stritten +- 折り +- 当たり前 +- 時刻 +- ▁inevitably +- ▁kontraŭ +- ▁liệu +- 巣 +- 迷惑 +- ▁fascinated +- ючы +- 発展 +- 解答 +- ▁Doktor +- 지만 +- ▁wolle +- ▁gerçekten +- hagi +- brett +- 寨 +- ▁انتخاب +- ▁battalion +- ▁Európ +- 岸田総理大臣 +- ▁средств +- 巴黎 +- 站着 +- 有很大的 +- 越多 +- ▁sigui +- ▁жар +- 认为这是 +- ▁Schön +- ってきます +- ▁natuurlijk +- église +- 贈 +- ރި +- ▁specio +- ▁yankee +- 言われる +- 報じ +- ▁autour +- ▁Estados +- 也是如此 +- сцен +- IM +- ▁Pont +- வர்கள் +- ▁Notiz +- 感知 +- 如果你愿意 +- ỡ +- ▁어떤 +- グリーン +- ▁специальн +- ▁2010 +- ▁delegate +- ▁Depression +- ▁wallace +- 你能不能 +- 神社 +- 赞成 +- ībā +- trekken +- ▁Stone +- ▁cielo +- 僧 +- ▁Haufen +- بەر +- ▁nasty +- ▁placid +- ▁abbot +- ▁имел +- 这么好 +- ▁erfordert +- ▁отец +- ▁bên +- ▁trifling +- ▁angemessen +- 慈善 +- ▁legislative +- كَ +- ṭṭ +- 針 +- ▁Verkauf +- ▁Ле +- 江戸 +- 嶋 +- ථ +- パフォーマンス +- 猩 +- ▁взять +- 尽く +- 辉 +- ▁медведев +- ▁transcend +- ங்களுக்கு +- 局面 +- ▁glove +- ▁приехал +- ▁violation +- 昨年 +- 脇 +- ▁Health +- ক্র +- 企业家 +- ҙар +- 住房 +- lendi +- ▁mound +- ▁gestorben +- ▁ungewöhnlich +- ▁mouvement +- ベー +- 無事 +- 防御 +- ▁elementary +- ▁kneeling +- を広げ +- öffne +- 七个 +- важа +- ▁Pul +- ▁далеко +- 在这一点上 +- ▁reconstruct +- ▁одном +- 废话 +- рина +- ▁opini +- 静岡県 +- ▁стане +- 指标 +- 狐狸 +- ד +- ▁Ariko +- ▁Global +- ▁pretence +- 轨道 +- ▁magnetic +- ▁gravit +- CM +- 楽しく +- ▁столько +- ▁refusing +- きちんと +- 污染 +- ▁demokratische +- ▁принципе +- 布拉 +- ▁Dennoch +- 确切 +- ▁ivory +- ▁Bauern +- ▁Zucker +- やろ +- ▁frente +- ▁сельск +- ▁petrol +- 影响力 +- 差点 +- 海底 +- antrag +- ▁Bundesstaat +- яўля +- ▁роман +- রো +- ▁probablement +- ▁siebzig +- ▁antonio +- guna +- キック +- ▁strove +- röst +- ないこと +- ▁hiç +- litten +- ▁начинает +- ▁Führer +- ▁introducing +- ▁miglior +- ですもんね +- ▁apollo +- ▁relaxed +- ▁Го +- sinzi +- kunga +- 手臂 +- ▁домой +- ▁glitter +- 老太太 +- ▁dodge +- ▁бюджет +- ▁Fakten +- گار +- activitat +- ▁parecía +- ▁cradle +- ▁дуб +- добав +- خوان +- ▁viņu +- prej +- 模仿 +- ▁bazı +- коммун +- 写道 +- ▁treachery +- ▁vị +- ▁Looking +- espècie +- ▁거기서 +- కా +- ના +- 性质 +- LA +- 毅 +- ▁праблем +- ▁exclaim +- ▁aufhören +- 异常 +- 到最后 +- ▁courtyard +- 勢力 +- ▁prophecy +- ▁recipe +- ▁doomed +- 优雅 +- 迈克尔 +- ▁Ды +- ▁furiously +- ▁sicherstellen +- 尾巴 +- tempered +- 这样的事情 +- ▁thức +- 抱着 +- ۋە +- ▁американск +- пэўн +- ▁hội +- ▁Jordan +- 人工智能 +- ▁trenches +- レーン +- ზე +- ▁bridle +- ▁suspense +- ▁Schriftsteller +- 匹配 +- ▁binding +- プリ +- ▁heutige +- 感動 +- ▁depict +- きれいな +- dolf +- ▁Direktor +- ▁benötigt +- 등 +- ▁missouri +- ▁paradox +- ▁warehouse +- ▁Johann +- forschung +- やったら +- いかに +- 发射 +- ▁compel +- ▁massachusetts +- ▁وهذا +- ▁conosc +- ▁entschlossen +- ▁gaunt +- 仕上げ +- 徴 +- ơi +- ▁дети +- ▁dikontrak +- ▁néixer +- ▁долларов +- 塑造 +- ▁uplift +- لىرى +- 教徒 +- 任何地方 +- ▁камер +- chamber +- ▁marilla +- ▁Stell +- ▁haughty +- ▁sledge +- ▁facilit +- ▁каш +- 百五十 +- 在那儿 +- sicherheit +- 案内 +- 久保 +- ັ້ນ +- වල +- ▁monastery +- ▁Überzeugung +- ▁crooked +- ▁эксперт +- ▁intolerable +- 掃除 +- ▁холод +- 弗雷 +- вшие +- ҟа +- فعال +- 我第一次 +- 大楼 +- kirche +- ព +- ▁ammunition +- ▁applaud +- давал +- ▁medicina +- ▁schooner +- ▁Christi +- ▁orienta +- 一体何 +- っぽい +- 顺便说一句 +- ▁ເດ +- ▁necessita +- 代替 +- 浸水 +- 服从 +- ▁ethical +- 苍 +- 言います +- ▁многих +- ▁وإ +- حاضر +- ▁говорите +- ▁emphatic +- 聞きました +- 困境 +- ▁سے +- 拠点 +- 不记得 +- いらっしゃい +- 有什么事 +- arrell +- 楠 +- ▁survival +- ▁өмнө +- 碰巧 +- lož +- 抜き +- ▁outbreak +- streich +- 任何其他 +- ▁держа +- ▁plaster +- 崔 +- ▁Если +- キャプテン +- 來 +- 皿 +- ▁хотелось +- 步骤 +- ▁черн +- ▁hagati +- ▁surround +- ▁Twa +- ▁அதை +- ▁Nachmittag +- ▁baptism +- ▁секунд +- ごめんなさい +- 决策 +- ▁reasonably +- 介意 +- ▁eky +- という状況 +- ▁anfing +- 食べ物 +- ▁banyak +- ▁injuries +- ނަ +- 失礼します +- 病例 +- 甘い +- тверд +- ▁Fremde +- ▁الذين +- keneye +- ▁zaidi +- ▁ravine +- ▁accommodate +- 朴 +- ▁biscuit +- 衆議院 +- ▁victorious +- أخذ +- ▁Großteil +- そうなんですね +- ▁augustus +- ▁вызыва +- 初戦 +- 能找到 +- ▁நீங்கள் +- 二零零 +- mówi +- 举起 +- 服务器 +- freiheit +- structure +- 神経 +- 妥 +- 信頼 +- ゴルフ +- 经历过 +- 默默 +- ▁Creek +- ▁aṭas +- ▁Guerra +- 宮崎 +- ▁siguiente +- 兵器 +- ▁replica +- 赔偿 +- ▁hiểu +- 過去最多 +- 臂 +- ▁resol +- ▁panting +- жер +- 时尚 +- मु +- Qué +- 涼 +- ▁illustrious +- ▁indefinite +- 厄 +- ▁bedeckt +- ▁shrine +- 潜水 +- ▁exig +- ▁حتی +- дзіць +- ▁спин +- 竞 +- рист +- と比べて +- 케 +- ▁preocupa +- ▁preĝejo +- ▁vẫn +- ▁behaupten +- яўляецца +- ▁notamment +- 運転手 +- ▁weariness +- ▁rimwe +- 吉田 +- そっか +- ▁flint +- 衷 +- 豹 +- ▁زۆر +- ▁заметил +- gypt +- ▁Milch +- 大人気 +- 很多时候 +- рожд +- ▁второго +- 卸 +- 祝你 +- мель +- कु +- 被告知 +- ▁correspondent +- ▁propaga +- 读到 +- 作战 +- 燃え +- ▁우리가 +- ▁passionately +- ▁För +- ▁хор +- 甚 +- 頂いて +- ք +- ▁bệnh +- ▁offspring +- ▁Ancak +- トレーニング +- この時期 +- 買う +- 因为这是 +- 乗客 +- 强迫 +- 市長 +- ▁researchers +- が行われました +- freude +- ▁гэтыя +- ▁scenery +- ignit +- енько +- 物品 +- 紅 +- ▁Original +- 찍 +- hypno +- ▁режим +- ▁ahubwo +- honneur +- 行星 +- ▁imaginary +- winkel +- өгө +- ▁ваша +- ▁tâm +- ޑ +- ▁Président +- 見てください +- 奖励 +- ▁giống +- ▁حيا +- ▁clatter +- ▁circulation +- 調理 +- ございます +- ▁பாட +- 从哪里 +- 很酷 +- 对我说 +- ▁Urteil +- ▁Entdeckung +- ▁proclamation +- 查询 +- ▁wireless +- なと思いました +- ▁deixar +- ▁거는 +- مجموعة +- rühren +- 协调 +- 活発 +- schuh +- რო +- 른 +- そろそろ +- 支撑 +- ▁아니면 +- 有足够的 +- 品质 +- になりそうです +- لدى +- 裕 +- ▁grammar +- ▁lượng +- ▁преступлени +- 牛奶 +- ▁đường +- ▁만나 +- ▁ricevis +- ▁außerdem +- ▁wholesale +- 列車 +- ▁jupiter +- 和我一起 +- ▁acabar +- 液体 +- ▁있지 +- cyaha +- 碎片 +- ▁crater +- 十月 +- impuls +- したあと +- ▁elektron +- 分ごろ +- ある程度 +- 跟他说 +- ▁titre +- ▁своими +- ▁acuerdo +- නම් +- ▁бүх +- いませんでした +- 話す +- 大切に +- 認められ +- ▁хотели +- 放置 +- illard +- Mobil +- 그 +- ニュースをお伝えします +- 监督 +- ētā +- aardig +- ▁discrimination +- 延伸 +- รา +- 流量 +- ▁considerat +- 었는데 +- ▁pronto +- 贷 +- 素材 +- ▁алексей +- ▁caroline +- 屁股 +- 辞职 +- 占据 +- 我不得不 +- ಗಳ +- 很开心 +- eater +- ▁Ahnung +- ▁secular +- 理念 +- 貴重な +- ▁Abschnitt +- ▁hiring +- 寒気 +- ▁vigor +- ▁fick +- ▁decorated +- ดี +- 跟随 +- ▁español +- ▁помочь +- ▁entsprechend +- 인가 +- ächte +- ▁Zehn +- ▁quinze +- 双手 +- ▁đô +- yorsunuz +- 共通 +- ▁tutta +- 仰 +- ▁sentido +- ▁accommodation +- ▁frequency +- 友谊 +- ▁Nigeria +- 邮件 +- ▁публи +- ámos +- 就业 +- सि +- ▁fiddle +- ▁أول +- ▁northward +- 很奇怪 +- 这就是你 +- ▁бүл +- 机关 +- 愁 +- ▁Tränen +- ▁airplane +- சிய +- ▁moralische +- ▁දැ +- ▁luôn +- spetta +- ▁fiend +- 干预 +- ▁potenc +- 勃 +- ޓ +- ▁transparency +- ▁hypothesis +- 守備 +- 作为一名 +- ▁damsel +- 勝手に +- ▁fancies +- ▁bấ +- RE +- ▁cruz +- 不允许 +- お昼 +- ▁запис +- працоў +- ハハハ +- 한데 +- ▁realization +- 随机 +- 分解 +- köz +- ▁характер +- 轴 +- urukundo +- ▁surtout +- 印刷 +- 我从来没有 +- 现金 +- オフ +- ▁chị +- ▁lascia +- tropic +- ▁rwego +- ▁Carol +- ött +- と思っています +- فريق +- 弓 +- ▁recupera +- レストラン +- މު +- 宿泊 +- ▁abolish +- jumu +- ▁قم +- ▁diventa +- ▁chronicle +- 师兄 +- ▁умер +- 研讨会 +- 嘴唇 +- 一首歌 +- որ +- ▁allocation +- にならない +- ▁existiert +- ▁homeward +- gewicht +- 马车 +- ▁beneficial +- ▁Hunderte +- ▁Thor +- ▁различ +- धा +- 写信 +- undsechzig +- ಟ +- 随着时间的推移 +- ▁полностью +- ▁çoğu +- 駄目 +- シャツ +- kogu +- ▁mwana +- てくれました +- прыг +- ▁prolong +- なんですけども +- 起源 +- ▁Matthew +- 限り +- ▁repentance +- ▁hermano +- ▁dinero +- ▁oscar +- исты +- 氛 +- ▁securing +- ▁ukuthi +- ▁derjenige +- ▁Beitrag +- 上午 +- 난 +- ▁gibb +- ▁Evrop +- コントロール +- ▁Records +- 牙齿 +- ▁Ні +- ▁ғой +- ▁jimmie +- ultima +- ▁Earl +- ▁complac +- 相遇 +- 拘 +- ▁verlangt +- ēji +- 玩具 +- 出発 +- 框 +- ▁deceased +- ▁причем +- ▁geöffnet +- ▁melody +- ▁få +- ▁있을 +- ▁مرة +- important +- 投资者 +- ▁southward +- ▁உள்ளன +- 航行 +- 借口 +- ční +- េ +- ▁erheblich +- 視聴者 +- ▁heiraten +- 就是为了 +- ▁neunzig +- 復帰 +- 回顾 +- ▁dagger +- 言いました +- ▁feverish +- 尖叫 +- ▁Hass +- ▁fearless +- ▁programming +- yonna +- ▁extremity +- ▁avere +- ▁minimal +- гээд +- こない +- 났 +- ▁wondrous +- ▁دیگه +- すごいね +- losigkeit +- продукт +- ▁unaware +- ▁factories +- კი +- 起作用 +- ▁millionaire +- লের +- черед +- 躍 +- 钉 +- ▁varieties +- ▁mauvais +- ▁vairāk +- ▁booth +- ▁dónde +- ۇق +- service +- 最早 +- ▁unkind +- 이나 +- fisch +- ▁adverse +- ▁узнал +- ▁가고 +- ▁athos +- ח +- 乾燥 +- روب +- न्छ +- ▁darkened +- ▁applies +- 亨利 +- ▁приказ +- って言う +- ▁முன் +- વા +- ▁spontaneous +- ▁দিয়ে +- schrecken +- stancia +- ల్ +- ▁갔다 +- gefüllt +- 普段 +- ▁speck +- なんだろう +- ▁Вот +- 营地 +- டெ +- gelaufen +- 邻 +- ▁Acest +- 掲げ +- ▁corporal +- おかげで +- 呼んで +- নো +- ▁Fernsehen +- ▁galley +- 天主教 +- ▁precision +- ▁uneasiness +- ▁фотограф +- ▁pēc +- 遵守 +- ▁Again +- ▁kontrollieren +- ▁olabilir +- ▁luce +- ▁rubbing +- bwy +- ▁decoration +- ▁repay +- ▁kullanıl +- ▁immigration +- 毯 +- 蒋 +- ▁volatility +- ▁похоже +- 쪼 +- ▁grievous +- つなげ +- マリウポリ +- 一个地方 +- 進み +- 反复 +- ▁tiên +- ▁Waffe +- ▁высоко +- はありませんでした +- ▁expressive +- 増えている +- 皱 +- 돌 +- ▁نبود +- ▁Dutzend +- と思うんですね +- 对你来说 +- ▁geography +- steigt +- ▁variant +- 助理 +- ▁Vögel +- ▁احساس +- ▁Klin +- ▁residential +- Imperi +- ▁modified +- ▁solange +- ▁filings +- αν +- وظ +- ▁splendor +- ▁Kaffee +- әлә +- eficient +- 豊かな +- ▁معا +- ▁старш +- ▁сложно +- ▁хва +- หา +- πο +- ▁Burg +- ▁федеральн +- ▁лож +- ▁prostitu +- 伤心 +- ▁Howard +- опо +- まらない +- ▁vieux +- хватил +- 巫 +- 吕 +- ▁đúng +- ▁nightingale +- 选项 +- 同士 +- に到着 +- 設定 +- ▁postpone +- ▁нужен +- ▁крут +- 绝不 +- ▁robbery +- ▁Му +- ▁snarl +- ▁cél +- வான +- ▁Anthony +- ▁Krankheiten +- ▁reappear +- あるんですね +- 清醒 +- тянул +- 违反 +- ▁život +- ക്ക +- 琼 +- 防犯カメラ +- Effekt +- ▁elastic +- horaho +- 思え +- мәй +- ▁troy +- てみよう +- سطح +- kombe +- ▁Tanz +- ▁wipe +- 漢 +- ▁cherche +- 粮食 +- ▁držav +- 模様 +- 知識 +- ▁trả +- ▁mold +- ɣur +- ▁softened +- 絡 +- 袁 +- ▁기억 +- 忠诚 +- 预计 +- ▁descendants +- 結び +- 别忘了 +- 还有一些 +- ▁machst +- อบ +- ▁modification +- 挽 +- 刮 +- 不断地 +- klā +- ذكر +- 这两天 +- ▁Philipp +- 主持 +- ▁sıra +- 上涨 +- kreuz +- ▁அவன் +- трымліва +- ▁ເອົາ +- ▁sprinkle +- ▁hesitating +- 目撃 +- 資料 +- ▁chinesische +- ▁transmission +- ▁trebui +- 风景 +- cloud +- かかった +- 疫 +- ってくれる +- 傾 +- ebɣa +- ▁pregnant +- ▁memorable +- ▁Unterricht +- ▁majestic +- ▁Transport +- ▁abyss +- ▁voce +- 挺好 +- ▁Station +- 主人公 +- لىك +- ganira +- ▁geeignet +- ▁kentucky +- ▁telèfon +- 茨城県 +- 酢 +- よろしくお願いいたします +- ▁begeistert +- にもかかわらず +- ▁profesor +- 清理 +- ▁사실 +- ▁rumour +- ▁Forscher +- ▁cupboard +- 見つけた +- 千万别 +- と思ったら +- ▁нашу +- ▁хэсэг +- 翁 +- キャラクター +- ▁ນະ +- ▁охран +- ordinate +- 考えると +- ▁gelten +- ▁chalk +- ▁пути +- ▁competent +- 赠 +- ▁cecilia +- ▁спокойно +- ▁exempt +- 苦労 +- ▁cambridge +- 美洲 +- ゆっくりと +- ▁краіны +- 減ら +- 下一步 +- ▁cripple +- ▁sunrise +- 没法 +- ▁vincent +- かなと思って +- 毕 +- ரும் +- 平常 +- 祖先 +- ▁நெ +- lood +- 喘 +- ಬ +- ラジオ +- منطقة +- ▁civilian +- 快递 +- ัด +- 仆人 +- ▁liquidity +- ▁Onkel +- 地铁 +- ▁thiết +- 参观 +- 来自于 +- وست +- ▁jelly +- 爸爸妈妈 +- stunde +- 見ている +- 'ON' +- ▁Termin +- ដ +- 嘱 +- ▁hudson +- ▁நிற +- ▁fraction +- গু +- দ্ধ +- 媳妇儿 +- 近づいて +- ứ +- 支出 +- すてきな +- 贺 +- ▁ceremonies +- ▁поддержк +- ▁безопасности +- ▁말이야 +- ▁regió +- ▁obstruct +- ▁mercat +- 转移到 +- 领先 +- 美容 +- даецца +- 活力 +- ី +- ▁shrank +- ▁mañana +- այ +- ▁têm +- NN +- 広い範囲で +- 乐意 +- intensive +- 教団 +- 番号 +- ▁galv +- 약 +- ▁لذلك +- ▁ஆகும் +- ▁дахь +- ▁полковник +- ▁নিয়ে +- 谈恋爱 +- ▁nursery +- ▁flaming +- ▁Darwin +- ▁شکل +- 短期 +- 挫 +- ▁Georgia +- 霊 +- ▁negotiate +- ▁gahunda +- ▁fuerza +- ▁Kapitel +- ▁puritan +- 尊严 +- ▁এখন +- ▁இருக்கும் +- ブロック +- 撒谎 +- লাম +- ▁noticing +- ▁rebuke +- ▁vexed +- 年目 +- ĝoj +- вэр +- 生きる +- ▁выступа +- 赴 +- ▁очевидно +- gång +- 明らか +- liegenden +- 各自 +- зву +- 해가지고 +- ับ +- ▁Yani +- ▁матери +- ▁сделали +- ▁آنجا +- ▁Zunächst +- ▁Пасля +- ▁싶어 +- ▁наук +- ▁جوان +- ▁homoj +- 毛病 +- 几百 +- 重量 +- ޔ +- ▁Lächeln +- ▁vijf +- ▁imperative +- 财政 +- писыва +- 曲げ +- なのかな +- ハリ +- ▁Landschaft +- дорож +- ēju +- につなが +- ▁betroffen +- 貧 +- ▁یافت +- 修改 +- ▁Porque +- 懸 +- แล้ว +- ▁einschließlich +- ▁jüngste +- ▁übertragen +- ▁государстве +- ▁Мар +- ▁Señor +- եր +- 国民党 +- 目指 +- 可见 +- 闺女 +- 些什么 +- ▁resignation +- weichen +- ▁rusty +- ているということです +- 指南 +- 祖母 +- 侍 +- ▁منطقه +- ▁பின்னர் +- ވާ +- ▁utilization +- ▁nhỏ +- 野蛮 +- ▁Beck +- 我们确实 +- ▁hannah +- 飲んで +- diğini +- ▁зараз +- 虽 +- 全国各地 +- rigg +- ▁düş +- 督 +- ▁Sala +- 併 +- époque +- ▁malgranda +- ▁proclaim +- pferd +- ▁Anzeige +- ▁yardım +- jyanye +- ▁gait +- ନ +- ▁Bemühungen +- 洒 +- 翠 +- ▁싶은 +- 哭泣 +- technik +- 清洁 +- ▁Fac +- temperatur +- 光明 +- ติ +- ▁Lippen +- 僚 +- ばっかり +- ▁Roboter +- ாட்சி +- mahanga +- ▁dreizehn +- 站住 +- ▁Funktionen +- 自衛隊 +- 花费 +- 公布 +- ▁implant +- ▁murray +- 深处 +- ▁partake +- цаў +- 琪 +- ▁excellency +- ▁insignificant +- ご存じ +- ▁especie +- ▁deputy +- দেশ +- ъезд +- 物質 +- ▁verteilt +- ▁spinning +- spirited +- ▁fairies +- ▁Bydd +- ống +- ▁exerc +- ワイン +- yitibwa +- いらっしゃいます +- 喜び +- やってきた +- ▁humil +- ▁kumenya +- ическим +- 作られた +- 八百 +- えっと +- ▁alumni +- ▁отделения +- ▁kulturelle +- ▁headache +- 呼ばれ +- ▁zamanda +- ▁ekster +- වන +- થ +- ใจ +- ▁així +- gebunden +- 行列 +- ▁прошу +- ▁oblige +- ▁тады +- amenye +- 判决 +- 是时候 +- プレッシャー +- ▁Terror +- ▁jordan +- ▁погиб +- ība +- ▁ведае +- 時過ぎ +- ▁Pep +- 转换 +- を持っている +- ▁snug +- ▁долг +- bourne +- という意味 +- 尺 +- ▁Schicksal +- ▁hóa +- ポーランド +- ހު +- agrada +- ▁utilisé +- どれだけ +- ▁желез +- ▁może +- ▁oppression +- 因为它们 +- 自豪 +- 融合 +- schossen +- դ +- ▁grâce +- ▁посмотреть +- 枕 +- ▁foliage +- むしろ +- 损害 +- குதி +- ▁பிரி +- dığını +- ▁restaur +- 婆婆 +- ▁inizia +- ▁Leiter +- 拠 +- 分离 +- 侄 +- ▁geoffrey +- 깐 +- 遵循 +- ▁begrenzt +- riff +- ▁хозяйство +- ▁হবে +- ющей +- ▁Public +- ıyı +- お子さん +- Psycho +- ▁Glen +- 昨夜 +- 様々な +- نامه +- ▁twinkle +- strafe +- ▁healthcare +- 算法 +- ▁worthless +- 遠く +- 乐观 +- ▁vardır +- 著名 +- 象征 +- ▁مادر +- 显得 +- ▁worauf +- ▁چو +- '2011' +- puesta +- 締 +- ▁மிக +- āli +- ▁아빠 +- ▁fathom +- ▁новые +- ▁valiant +- ▁fanatic +- 很快就会 +- бросил +- ▁gusto +- ▁procura +- 傲 +- 喻 +- 火曜日 +- ▁scruple +- ▁unbekannt +- ▁몰라 +- ▁chronic +- ▁முன்ன +- ▁ziek +- 誇 +- ▁folosi +- juri +- ▁Anruf +- 恼 +- ▁оружие +- ▁eccentric +- ▁inconvenience +- ▁luxurious +- ▁đưa +- ▁benannt +- ▁puedo +- ▁defensive +- 同じような +- ▁звоните +- たりとか +- 艰 +- bearer +- 灌 +- ▁enclosed +- ▁lizzie +- verhältnis +- ▁አይ +- ▁pickwick +- ▁Armut +- ▁nelson +- ▁allemaal +- kumva +- ▁klub +- ▁commencement +- ▁discord +- alphabet +- ▁nördlich +- ポーズ +- 驳 +- ▁đối +- ▁чинь +- ‍ +- ▁südlich +- 郎さん +- ክ +- 項 +- ▁erfüllen +- ▁Что +- ▁головой +- 嘴里 +- ować +- ▁hinweg +- 拉丁 +- ▁самой +- を求めて +- 食べられる +- に当たる +- прашива +- シンプル +- ▁sarebbe +- 职责 +- 模拟 +- 国境 +- ▁다시 +- ▁titan +- テロ +- 藤井 +- builder +- ▁Massachusetts +- ▁gäbe +- ▁먹어 +- ▁сосед +- ▁heritage +- 早晨 +- ▁rappel +- ণে +- ▁ehren +- ▁politika +- ▁facilitate +- 卫星 +- ▁lächeln +- ▁erhöhen +- 严厉 +- おしゃれ +- ▁Pacific +- 康复 +- 暴行 +- と思うんですよね +- ▁prostrate +- 胡子 +- 这时候 +- ஃப் +- ▁antagonist +- ▁фед +- 权威 +- 眼镜 +- ▁Wang +- ▁депутат +- ▁существо +- ▁hubiera +- ლო +- ▁olacak +- 孤立 +- ▁affront +- 予防 +- ▁Susan +- klagen +- ▁parrot +- 日常生活 +- ▁měl +- ▁لطفا +- 茫 +- ▁موضوع +- 栽培 +- ▁Board +- ▁Northern +- しょうゆ +- 市にある +- ▁prosecution +- ▁можешь +- アニメ +- 边界 +- dependence +- американ +- 埋め +- alytic +- ▁animation +- ▁وكان +- 農業 +- 尻 +- จาก +- ラウンド +- ▁magician +- состоя +- ▁freak +- 再一次 +- ▁лидер +- ▁داره +- 子育て +- ▁verbal +- ▁benötigen +- 끔 +- பெயர் +- 貼 +- アイドル +- fleisch +- ▁Point +- ▁پیر +- ▁Branche +- 計算 +- ▁burglar +- খন +- 速い +- ▁furent +- 悪化 +- ▁wholesome +- 普及 +- ▁gaily +- 秘书 +- Produzent +- 悼 +- ▁enforcement +- ות +- 场合 +- 侵入 +- ▁nommé +- ▁아니라 +- ▁oggi +- ▁fiber +- 偉 +- ▁perceiving +- ▁dinosaur +- チャンピオン +- موسيق +- සේ +- yinza +- ▁들어가 +- killer +- ▁plump +- 进攻 +- いったん +- 婦 +- ▁HIV +- ▁haciendo +- ▁немножко +- ▁оппозици +- ▁thereafter +- богат +- سازی +- 会出现 +- ▁écrit +- ▁disappearance +- ▁хаце +- 百姓 +- ▁وهي +- говорил +- ▁prakti +- ต้อง +- ▁nerv +- ▁Kelly +- ▁Ausnahme +- 動く +- σε +- ▁reverend +- ホン +- ▁угодно +- 抄 +- ▁магчыма +- ▁எல்லா +- ▁Erstens +- ▁crag +- ▁машина +- ▁forthwith +- 携带 +- වත් +- ▁earnestness +- ▁interposed +- ▁представлен +- ▁trẻ +- 記事 +- hati +- ▁stieß +- ▁sponge +- ೇ +- ▁Columbia +- ▁Großbritannien +- ▁федерации +- ничтож +- ▁offense +- Bomb +- 吉姆 +- ێکی +- ▁estudio +- ▁darwin +- ▁viên +- ຸ +- ▁возвраща +- смеш +- 裁判所 +- 吾 +- ▁완전 +- 成千上万 +- ▁abilities +- 関係者によりますと +- 别动 +- 30% +- 武汉 +- ▁craig +- ▁economist +- わけじゃない +- ▁ülke +- ▁fung +- ▁cyose +- ▁herausgefunden +- ▁допустим +- 脑海中 +- ▁맛있 +- ▁دقیق +- ▁Truppen +- 連勝 +- ▁perilous +- 骨头 +- ▁هنوز +- カウント +- ▁unangenehm +- ▁exhort +- ▁heavier +- රා +- 流浪 +- 我爱你 +- 你也可以 +- ▁kijken +- 処分 +- '2012' +- ▁Walter +- ▁reflex +- 関心 +- ▁Teufel +- ▁congratulations +- ▁Dilluns +- 鶴 +- CEO +- ▁Tippett +- ▁achieving +- ▁Business +- roost +- 永久 +- замен +- ▁Clara +- このうち +- 身材 +- ▁junta +- 輸出 +- ▁دیگری +- ▁vendor +- が出ている +- ▁сёння +- 幽默 +- ▁Francis +- ▁regula +- পুর +- 兵士 +- ▁Normal +- sponde +- たらいい +- 段階で +- ▁composer +- ▁Junior +- ▁leonard +- されていて +- ▁Eindruck +- solució +- ▁southwest +- ▁equipo +- ▁Metall +- ▁voters +- வன் +- ▁mosquito +- ▁irgendetwas +- ▁següent +- ▁loại +- င်း +- 現役 +- alisierung +- 穿越 +- ▁fervent +- 描いて +- 电视台 +- nachricht +- 主流 +- 广东 +- waardig +- 필 +- ▁Toronto +- ▁alteration +- ▁diligence +- 閉じ +- との関係 +- государств +- ▁Wilson +- στ +- シア +- мовы +- ▁curr +- тып +- 主演 +- ▁neugierig +- ▁элемент +- ▁vibration +- お弁当 +- 甜蜜 +- ▁nikola +- ▁chacun +- 登记 +- ▁flirt +- ▁rapidity +- ▁pourrait +- ▁ومن +- быстр +- avion +- ব্ +- 几十 +- ▁людзей +- ▁Geschmack +- 構造 +- 日連続で +- が必要な +- 続けた +- כ +- ▁sequential +- ▁whistling +- 垣 +- ▁Gestalt +- ▁그래가지고 +- 交換 +- ▁compose +- праў +- ▁estudiant +- 憧れ +- ▁infernal +- ▁věc +- ▁navigation +- 选民 +- ▁recap +- 享 +- ▁америк +- ▁Hungar +- 天赋 +- ▁emerald +- ▁पनि +- ▁شامل +- ▁Motiv +- ▁aufregend +- 此刻 +- ▁generating +- وى +- ▁вялікі +- ▁оказыва +- myśl +- ▁fácil +- ▁treacherous +- 湘 +- そっち +- ▁harriet +- 雷雨 +- 一瞬 +- ▁pouco +- 特別な +- 智力 +- ගෙන +- ▁hunne +- 绩 +- ▁Emotionen +- ಅ +- に基づ +- 威廉 +- ▁beseech +- ▁dramatically +- 落ち着 +- 非難 +- 見通しです +- ▁срок +- んですけれど +- ulira +- プラン +- 搅 +- ▁advisor +- ▁knives +- acağım +- ▁Ла +- ▁警察によりますと +- 几个小时 +- 是正确的 +- ▁schrie +- ரின் +- 改正 +- ▁lyric +- ▁могла +- ବ +- ▁penetration +- ▁Nächste +- ▁být +- atrix +- ساز +- 你为什么不 +- ▁konata +- ётся +- たぶん +- ० +- ▁superficial +- ▁unreasonable +- ▁điểm +- ▁grotesque +- ▁coroner +- ▁Beschreibung +- ▁다음 +- ▁refreshment +- 昭 +- 传达 +- ▁надеюсь +- ំ +- ▁Ontario +- ▁divinity +- ▁vehement +- ▁settling +- 保育 +- ▁лучш +- ▁bekomme +- っていう感じ +- ▁Witz +- 歩き +- ضاء +- diagnose +- 沿岸 +- 衡量 +- げん +- ▁நல்ல +- 改进 +- ிடம் +- ▁большие +- ▁Vä +- ▁Stress +- ▁транс +- ▁dauern +- platte +- ఁ +- १ +- ▁humiliation +- ▁بیرون +- ▁Könnte +- 軍事侵攻 +- ことにしています +- लो +- れん +- டோ +- ждения +- ▁dickens +- 江湖 +- ▁ansieht +- ▁insgesamt +- ▁вещь +- ▁دنبال +- 寒冷 +- ▁lobby +- ハム +- 年ぶり +- 死刑 +- 在接下来的 +- 绘 +- פ +- ▁thú +- ▁millones +- ▁Presse +- コート +- エイ +- 右边 +- entrada +- liselt +- ▁Engagement +- 芋 +- ▁worüber +- ▁regretted +- 首席 +- そうなんだ +- ▁costru +- を決める +- fuß +- റ +- ▁Margaret +- 亭 +- 参议员 +- ▁Nutzen +- sluit +- étend +- gambi +- ▁workshop +- ▁Sprach +- schleunig +- બ +- ▁además +- ▁золот +- 聞かれ +- ▁endowed +- ▁strode +- крыты +- 하면은 +- '4000' +- ▁kommun +- ত্ত +- 总理 +- ▁миллионов +- ▁escaping +- န် +- ウクライナ侵攻 +- ▁முதல் +- ▁Provinz +- ▁Questa +- 有哪些 +- ▁occupant +- ▁rugged +- 調べに対し +- ▁البر +- ▁Gedanke +- 我只是想 +- 篮 +- 贩 +- ঝ +- ▁arguing +- ▁хлеб +- ▁Certain +- を巡り +- ▁پشت +- 生き物 +- ▁parola +- ▁수도 +- 主教 +- 包装 +- 遗传 +- เธอ +- 举办 +- 陥 +- 艦 +- ▁shabby +- 透露 +- скага +- ▁picnic +- ▁construcció +- 占领 +- ▁activist +- işim +- であること +- ▁davvero +- ▁crític +- 珍惜 +- ▁çalışma +- ▁другого +- ▁rogue +- ▁geliyor +- ্ট +- ▁todavía +- ▁ډېر +- ▁गर्न +- おかしい +- ▁действия +- こういうこと +- ին +- ▁примерно +- ▁Greg +- られていた +- 猴子 +- ▁adieu +- ▁готовы +- ▁akzeptieren +- 纱 +- ▁Bewertung +- おそれがあります +- ▁вопросов +- ▁hybrid +- ▁único +- ▁کردیم +- ▁reprit +- escena +- ▁Ҡа +- ▁hoặc +- ▁nostrils +- ▁champagne +- やり方 +- ▁smote +- 圧倒 +- ならば +- ▁babiri +- セカンド +- 才知道 +- 連覇 +- ▁идти +- ▁imposing +- Book +- waarde +- yczn +- らっしゃる +- ▁hoorde +- ▁verbessert +- ▁zooveel +- 形容 +- もらいました +- ▁inviting +- іўся +- ▁volcano +- 新潟県 +- ▁eastward +- froid +- ніз +- mauer +- lösung +- ▁undertook +- 伤口 +- ивается +- ▁زمانی +- කට +- イヤー +- 興 +- ▁militärische +- マイナス +- 这部电影 +- ▁trifft +- ▁доктор +- ▁analytics +- ્ર +- 领袖 +- ▁notorious +- ▁piercing +- ▁película +- ▁compara +- ▁молча +- ▁commentary +- ▁Morris +- станци +- チュー +- ▁conscientious +- 坠 +- ▁Stoff +- غۇ +- 对我们来说 +- серд +- 受け止め +- ▁Brüder +- 皇家 +- 提起 +- 検証 +- ގ +- rechnet +- ழை +- ▁yakın +- ▁alluded +- ▁Parlement +- ▁ripple +- ▁trocken +- вуча +- ▁Saison +- といわれて +- ▁Hugh +- 議長 +- 敞 +- શ +- ▁erscheint +- ▁خاطر +- ▁нужна +- sighted +- 做不到 +- ふた +- 向かい +- 分类 +- 見たこと +- ▁comparative +- 翅膀 +- 丛 +- ▁necklace +- 交往 +- 建築 +- 大伙 +- ▁станция +- ▁geraten +- ▁Gebet +- ▁peuple +- ▁weibliche +- 重症者 +- ▁Vortrag +- ▁Раз +- گذار +- ▁acerca +- பை +- してしまった +- どうでしょうか +- ▁জান +- ▁disclosure +- ▁geschieht +- ▁здравствуйте +- ▁apprentice +- ▁Blumen +- シングル +- ▁одним +- 入侵 +- ▁näi +- に関して +- ▁wakati +- ▁качестве +- ғыҙ +- ▁blickte +- ▁anecdote +- ایل +- ▁secund +- ▁سەر +- على +- ▁devout +- 整整 +- 现在正在 +- dzē +- 脆 +- 羡慕 +- ▁Houston +- ▁Erwartung +- ぴったり +- ▁genießen +- ▁شاید +- ▁nombreux +- ▁Bruce +- ▁genus +- 两周 +- パット +- ▁лежа +- gefahren +- ▁آس +- อยู่ +- ▁Pennsylvania +- ▁છે +- 佐々木 +- durchschnittlich +- 机械 +- 晴れて +- ▁humbly +- ▁afecta +- ▁тракт +- 屋根 +- ▁করেন +- 知らせ +- ▁diagram +- ▁evitar +- くなっている +- ▁intuition +- ▁jonathan +- blätter +- ▁default +- ▁measuring +- зван +- ▁어제 +- ▁protocol +- últim +- してくる +- 処理 +- ეს +- 发誓 +- ▁Mount +- autant +- 如果有人 +- ▁миров +- 障 +- ▁анализ +- ▁அழை +- 如果你能 +- 停電 +- 的角度来看 +- வரும் +- 친 +- 戚 +- ▁Präsentation +- ▁Festival +- 伊丽莎白 +- ▁Geräte +- ▁иметь +- ▁cherry +- ▁Vergnügen +- ▁بىلەن +- ▁때문에 +- 淹 +- ヴ +- ▁Portugal +- ▁Crist +- 尤其 +- ▁Major +- の様子です +- 趣味 +- gesteld +- 糊涂 +- 色んな +- ▁اصلی +- ▁Ausschuss +- వు +- ▁pluraj +- 室内 +- ировали +- 構え +- runde +- 棄 +- ▁گوش +- ▁михаил +- 医疗保健 +- ▁waarop +- を決めました +- 体现 +- ▁voiture +- ▁Ufer +- ▁Route +- もらいます +- ▁tác +- میر +- 拒 +- を果たし +- ▁nachgedacht +- 페 +- ▁комитет +- ▁ມີ +- ▁داستان +- 减肥 +- геҙ +- ジン +- 左边 +- ▁Sorge +- ▁чаго +- ▁incense +- ▁العام +- 旭 +- ▁đại +- ▁بنابراین +- ▁смотреть +- ▁دلیل +- キム +- 말 +- ▁investor +- 塞尔 +- 小伙子 +- 屎 +- ▁Jennifer +- ും +- ▁уровне +- ▁homage +- ▁видели +- 正しい +- ▁laboratori +- に住んで +- ▁illinois +- ▁tiền +- サラダ +- ▁boughs +- ▁russell +- ▁sagst +- 警備 +- zuziehen +- 甘み +- ▁sinister +- ரீ +- ような感じ +- ریک +- 姚 +- ▁Wähler +- ▁columbia +- ▁ekzistas +- ▁perplexed +- ▁братьев +- 渔 +- ▁grill +- ▁exalt +- kontakt +- ▁feit +- ▁governess +- ▁kurya +- ▁Kindheit +- ▁sichtbar +- پتۇ +- เรา +- ▁hump +- ▁پول +- spread +- 愈 +- ▁clumsy +- ▁plutôt +- 취 +- ▁Lewis +- 関東地方 +- ▁каманд +- 哲学家 +- ▁написал +- ▁jazz +- そのとき +- ▁tiel +- よろしく +- ▁Sekunde +- پوش +- 甲子園 +- ▁Widerstand +- jüdische +- ▁pretext +- ▁début +- ▁Standort +- ▁половин +- ▁shovel +- йшлі +- С +- ▁dennoch +- schwäch +- 毒品 +- 救命 +- ▁tiam +- ▁forbear +- ▁convincing +- ▁miraculous +- ▁поговорить +- ▁mugihe +- intérieur +- 睡着了 +- ▁여자 +- 100% +- 하기 +- 修理 +- ruḥ +- 翌日 +- ▁siebzehn +- ▁waistcoat +- 继续前进 +- ▁cuán +- ▁urging +- 給付 +- mıştı +- 茹 +- វ +- ピンチ +- 80% +- 缓慢 +- ▁Ли +- 保密 +- 镜子 +- ▁felix +- あると思います +- つらい +- ▁خودش +- ▁detachment +- ▁prescription +- 貢 +- 都道府県 +- ▁cavalier +- もしかして +- 尼克 +- ▁petersburg +- ▁zunehmend +- đ +- layan +- 哄 +- ō +- ▁zukünftige +- ▁declining +- ▁extern +- சொல் +- 积累 +- っていうのも +- europa +- स्त +- ▁starving +- 祭り +- 呼吁 +- ٌ +- ▁corazón +- ▁сталин +- ▁eugene +- ▁participating +- 做生意 +- ▁condens +- 描かれ +- łow +- できれば +- ▁zacht +- 删除 +- 適用 +- ▁скажи +- ▁Definition +- intérêt +- 滥 +- ▁Một +- schloß +- ▁প্রতি +- 取り組んで +- ▁tolerate +- ▁điện +- ▁auction +- ნე +- ▁Gefangene +- zungu +- ▁hieß +- 董事长 +- ▁calamity +- ▁precipice +- ▁ایجاد +- ▁hoffnung +- ▁nuovo +- 囚犯 +- ▁două +- タイムリー +- 主管 +- ▁Rw +- ▁حسنا +- ▁meditate +- ▁Fakat +- メダルを獲得 +- دعو +- 博客 +- ▁schweigen +- ▁cemetery +- ▁lloyd +- 審査 +- 啤酒 +- 成績 +- nął +- ▁rook +- ▁Association +- ▁Perezida +- ▁baltimore +- ▁endurance +- 洛杉矶 +- 消耗 +- 物理学 +- ющее +- стреля +- 很多人都 +- 揺 +- ច +- 这辈子 +- ▁Knochen +- ▁και +- ▁видно +- ▁Wirklichkeit +- ▁چشم +- ソフト +- ப்போ +- 弟子 +- 1,000 +- 干什么呀 +- գ +- ▁অব +- ▁unreal +- ▁Kristo +- gewandt +- ▁হয়েছে +- сроч +- ▁volgende +- ▁gelukkig +- 하면서 +- ▁زبان +- ▁arbitr +- ምን +- ▁Davis +- 書いた +- ергә +- ▁marcus +- を持った +- 尉 +- ▁hilfreich +- ▁вместо +- ▁څنګه +- ▁irgend +- ▁gambling +- ▁উপ +- ▁возможности +- просить +- ▁unterscheiden +- ▁feststellen +- ゴー +- 食堂 +- ▁gelebt +- んでしょ +- знания +- ▁estudiar +- زده +- ▁норм +- жир +- ▁shameful +- 열 +- ▁течение +- ▁stammered +- 阴谋 +- уулах +- ▁ransom +- kapital +- ▁franco +- 奈良 +- 顺便 +- ▁slipping +- ığın +- ალ +- ▁wichtigste +- 料金 +- 坛 +- ▁малая +- 属下的一个 +- 谐 +- 박 +- いかがでしょうか +- ▁ماشین +- 読んで +- ▁шестой +- Tabelle +- ۲ +- ▁algún +- ▁unanimous +- ▁thống +- ▁skupin +- 暮 +- やめて +- 曇り +- писал +- 驶 +- ▁fidelity +- ▁pouvons +- ▁mondiale +- 速報 +- ▁Überleben +- 離れて +- lardı +- ▁quitted +- ぴ +- 販 +- ▁느낌 +- ▁воздух +- ▁patriarch +- 沙漠 +- ▁развива +- глядзе +- 優先 +- ▁Má +- தான +- 你怎么知道 +- ▁dispense +- 変えて +- ီ +- 鸦 +- ▁Eigentum +- ▁discouraged +- 這 +- こういうふうに +- 阶级 +- せば +- ▁leitet +- theorie +- ▁cultivation +- leihen +- eceğim +- 巨大な +- ▁Lektion +- มาก +- らせる +- торгов +- ▁Empfehlung +- ▁celestial +- ▁occidental +- алтай +- ▁athletic +- 桁 +- affaire +- ものすごい +- ▁civilisation +- ▁اتاق +- 这几天 +- ▁Europäische +- 注定 +- 该地区 +- 析 +- 掏 +- ▁Mitgliedstaaten +- ▁recognizing +- 력 +- ▁казалось +- ▁Sturm +- パーク +- рабатыва +- ▁военно +- ▁sentinel +- どうしよう +- ▁spike +- 良心 +- временно +- ຖ +- 甄 +- 抛弃 +- ▁получить +- ▁abgeschlossen +- 伍德 +- 残念 +- ▁collector +- ▁микро +- ▁joshua +- ▁период +- ့ +- ▁பெரிய +- Source +- ющего +- くなっています +- ▁astronomi +- 汇报 +- 復活 +- țele +- デモ +- хир +- 仙台 +- 囊 +- 舱 +- ▁coincidence +- ▁compromis +- メイン +- inspiring +- ▁politeness +- 碧 +- ▁வழங்க +- 扉 +- ▁pudding +- ▁baptist +- ▁Vull +- ▁epoch +- ▁combusti +- entwicklung +- ▁дней +- 负面 +- 帰国 +- ▁байгуул +- ▁Nachbarn +- ▁대학 +- espér +- ▁Disney +- спя +- ডি +- なじみ +- ▁Bedürfnisse +- 极其 +- ▁بسیاری +- ▁zurückkommen +- うどん +- 悄悄 +- ▁зохио +- メダリスト +- ▁kesk +- ▁possono +- 棕色 +- 総理大臣 +- වෙන +- nummer +- 異なる +- 城堡 +- ғына +- ▁relaciona +- ▁hobby +- ▁людьми +- mektedir +- ▁caballero +- ▁του +- ▁ہے۔ +- ▁адрес +- ▁никакой +- ▁باشه +- ▁durchaus +- ▁außen +- ▁politician +- höchste +- を行いました +- عامل +- ણ +- ቀ +- যোগ +- 六个月 +- ▁sophia +- endroit +- どうでしょう +- ێر +- ファー +- је +- فضل +- 感染症 +- 让我们看看 +- 屋顶 +- 飛車 +- ▁ذات +- drž +- 泼 +- asanzwe +- ား +- 厚生労働省 +- ▁dungeon +- ▁جيد +- 押さえ +- ▁vollkommen +- క్క +- zwingen +- ведения +- ▁Mühe +- ▁seneng +- нести +- 幼儿园 +- 磅 +- 腔 +- 烦恼 +- ▁Fahrzeug +- 眼神 +- ▁чисто +- ▁далей +- を迎える +- ▁sexuelle +- オリジナル +- 马丁 +- ▁aufbauen +- ausschuss +- における +- 周囲 +- 狮子 +- できるだけ +- gegriffen +- ▁langue +- ウクライナ軍 +- ▁herzlich +- ▁suffi +- ▁İki +- ▁gehst +- 苦しい +- توانیم +- 塑料 +- ▁chơi +- ▁khó +- ▁არა +- ▁самые +- ▁tedious +- 感染状況 +- ước +- ▁întreb +- 每一次 +- 岭 +- ▁Vậy +- ▁discomfort +- ▁настолько +- 捐赠 +- ▁капитан +- konsum +- ▁رجل +- ポリ +- ходили +- ▁다니 +- ▁économique +- 敗れ +- génér +- ▁Cross +- ルート +- lumina +- 吸收 +- ▁косм +- 假期 +- klapp +- 验证 +- ▁Fond +- ▁bizim +- ▁portuguese +- ▁rubbish +- 복 +- oubli +- 干吗呀 +- ▁хот +- 运气 +- тыўна +- ▁இப்ப +- ▁kanggo +- ெட் +- 寡 +- ▁sanctuary +- 써 +- よろしい +- 邸 +- ▁tradicional +- ▁bandage +- ▁ukrain +- 渡辺 +- ミニ +- というわけで +- ▁mängi +- ちゃいます +- ▁рух +- abash +- ▁Gedächtnis +- ▁pièce +- 医療機関 +- ▁immune +- 火災 +- ▁forlorn +- genossen +- ▁хоча +- räsentiert +- ▁horribly +- ▁безусловно +- ▁кӱ +- ▁семьсот +- ▁sweetheart +- ▁مؤ +- 解雇 +- 涉及到 +- ▁воды +- 況 +- 塘 +- ▁harvard +- 罰 +- ▁Speicher +- ▁benedict +- ▁fellowship +- 在这方面 +- 英文 +- ▁pronounce +- ţ +- ▁proprie +- ▁болсон +- リュ +- ▁celebration +- ▁Güte +- 正在进行 +- 蔽 +- 청 +- 膝盖 +- ▁радио +- ▁rustic +- ▁общество +- ▁pulpit +- ▁Fußball +- ▁Josep +- cliffe +- ▁தெரி +- 現代 +- podobn +- ▁fascination +- ▁który +- ▁devait +- ▁دهند +- 再現 +- ▁geographical +- 变革 +- ▁мисс +- 史密斯 +- ニック +- ▁Egypt +- строить +- 精神病 +- ▁모르겠 +- ▁русско +- gegenwärtig +- 둘 +- 씩 +- ▁ĉirkaŭ +- 喫 +- एको +- 神话 +- ▁titul +- ▁Träume +- ▁আস +- 厳しく +- ▁dazzling +- ▁erwiderte +- ▁Überraschung +- ▁gedanken +- 增强 +- 基督 +- ાર +- ▁luggage +- ▁이번에 +- täuscht +- ড়ে +- ▁mwiza +- әҙер +- щим +- ▁marvelous +- 入り口 +- wahrscheinlich +- 述べ +- ▁velmi +- ർ +- ▁Londres +- ▁تولید +- ▁Sonntag +- ▁hôm +- 腐败 +- 갖고 +- 承認 +- 考验 +- ▁Chu +- ▁aisle +- ▁beauties +- ambigu +- ぼう +- ▁hippo +- 霉 +- ▁overlooked +- ▁Takže +- ▁moisture +- తా +- ▁hoàn +- ってみよう +- 太平洋側 +- ▁cultivate +- ▁wobei +- ▁ecclesiastical +- édé +- 爱尔兰 +- ▁пространств +- おばあちゃん +- ▁Training +- పో +- 餐馆 +- ▁dripping +- geschenk +- ▁auditor +- ▁unequal +- amatu +- 白宫 +- mutima +- ▁fisherman +- 疆 +- ないですか +- ▁drake +- 判定 +- ▁disseny +- kungu +- 買った +- ▁troublesome +- Blanc +- ▁доступ +- 证实 +- ▁mẹ +- ▁மனித +- ▁Vermögen +- 급 +- 引擎 +- づらい +- Unis +- ▁Anspruch +- 房屋 +- 引退 +- ▁борис +- માં +- ▁Kategorie +- ▁зусім +- 잡 +- 娅 +- ▁Spanish +- ▁thanksgiving +- లా +- ▁хороший +- ▁honom +- 隐私 +- ▁flip +- ▁occurring +- ▁Ereignis +- wheel +- ウォー +- 生み出 +- だと思うんです +- quote +- ▁Despite +- まいりましょう +- tumye +- ▁humorous +- 女優 +- ▁Voraus +- ってしまった +- ▁Köpfe +- 最終的に +- ▁rhyme +- ▁clump +- ▁видеть +- ▁luckily +- ▁رنگ +- ▁malaria +- 生涯 +- патрэб +- ప్ప +- ▁Foundation +- ▁secrecy +- 谜 +- 纤 +- ŝanĝ +- ▁Provi +- ▁дүр +- ご覧いただ +- беҙ +- ▁audit +- ▁spice +- ▁süd +- கல +- 吸引力 +- 色々 +- ▁drüben +- ▁schüttelte +- ▁completamente +- 決断 +- ▁думать +- 励 +- 塑 +- ▁novelty +- 龟 +- ▁Flügel +- ▁diferencia +- ▁cristian +- ▁urmă +- ▁jesuit +- ▁fördern +- َلَ +- と述べました +- 晴れる +- を発表しました +- 言える +- 陌生 +- ▁medication +- 季度 +- ▁lächelte +- 綱 +- ున్నా +- gratul +- ▁моего +- سې +- ▁اين +- 兄弟们 +- ▁ئەوە +- 卿 +- 荒谬 +- 弘 +- ▁제일 +- ▁будешь +- 适用于 +- 食べたい +- 40% +- ▁Ре +- 场比赛 +- ▁xả +- ▁kostet +- ▁bố +- Werbung +- ▁Academy +- ▁mohammed +- ▁آمریکا +- 唐纳德 +- 罗伯特 +- ▁помощью +- 自殺 +- ▁Vì +- ▁Rauch +- 剧院 +- ▁curate +- ▁Moore +- を越え +- 一件事情 +- ▁алма +- ▁distint +- ▁absolv +- ▁deceit +- ▁propriety +- 怪物 +- 根本就不 +- 度目の +- ▁Entfernung +- ▁Après +- ▁signifas +- 日ざし +- ▁Pläne +- ▁Nerven +- ▁güzel +- ビッグ +- ▁hydrogen +- ▁winzige +- farben +- 鞭 +- ▁thompson +- ঙ্গ +- ▁griechische +- ▁хөгж +- 観察 +- sloten +- ▁chunk +- ▁installation +- クリア +- 汚 +- 빠 +- ុ +- ▁elapsed +- ▁Government +- 毁灭 +- ▁rapture +- しさを +- ▁Symbol +- 不思議な +- gestiegen +- ▁practise +- ▁athens +- ▁recreation +- պ +- 猿 +- ▁موجود +- 現象 +- ▁крайней +- ▁morbid +- 感冒 +- ждение +- 引入 +- ▁делают +- ▁moustache +- 洗澡 +- ▁되는데 +- 選び +- flipp +- ならではの +- ▁chemist +- ▁rustle +- ▁Student +- ղ +- ▁longtemps +- ▁verschwunden +- 讽刺 +- ▁sturdy +- 游客 +- ▁arising +- ▁irritated +- ダム +- ▁твой +- عالم +- ▁heroine +- 見たい +- 税收 +- オレンジ +- ▁üret +- 耕 +- 恥ずかし +- ▁왜냐면 +- ▁sidewalk +- ▁никому +- ▁protože +- ▁involving +- ▁alguma +- krebs +- бель +- ▁geplant +- ść +- нюю +- torium +- ▁abnormal +- ▁condescend +- 滤 +- 参议院 +- 別れ +- ▁Cousin +- ▁kansas +- ▁contributing +- ▁ஆன் +- ▁волос +- 带领 +- ▁constantinople +- ▁inasmuch +- ում +- ▁Ähnlich +- 分かりません +- ▁spiral +- ▁tradici +- 追いかけ +- 睇 +- 水曜日 +- ވެސް +- ▁reassure +- ▁Melbourne +- ▁gegründet +- ▁водо +- 北京オリンピック +- ▁voyez +- 介入 +- 获胜 +- ▁سمت +- 虑 +- 溢 +- ▁která +- verwandt +- ▁බව +- ピンク +- میل +- ▁Kommentar +- 漬け +- lassung +- エビ +- 嫉妒 +- ▁Klimawandel +- ▁солдат +- 指责 +- ▁основан +- ▁implies +- 排名 +- 飼 +- ▁Rechnung +- ▁monotonous +- ▁spēlē +- ▁medieval +- ▁rhetoric +- ▁detached +- ▁Mountain +- ▁isolation +- ▁войск +- 解决这个问题 +- ▁хочется +- articula +- ▁umutima +- ▁curb +- ▁liefern +- 伯格 +- ▁Multi +- ▁russische +- 矮 +- ▁Zuhause +- ▁malcolm +- ▁nevoie +- läufig +- ▁shelves +- 落ち着いて +- ▁смерти +- ▁feudal +- 澤さん +- あえて +- klassi +- ▁constituent +- ▁другая +- ▁rabbi +- ライス +- ▁Sklaven +- ▁الواقع +- まもなく +- ▁dictator +- 丫头 +- 荷兰 +- ▁சீ +- ▁salmon +- ▁flores +- っていうところ +- 初期 +- 卧 +- ▁hypothe +- ▁entfernen +- ▁insolent +- 不合适 +- ▁মানে +- ρα +- ▁Dacă +- ▁Montag +- ▁чуж +- рожа +- 準 +- ▁Folie +- 慈 +- 抖 +- ▁Colorado +- ▁Nutzung +- ▁cognitive +- ▁după +- مدرسة +- 残忍 +- 요일 +- sexuell +- ▁القر +- 尋 +- ▁kemudian +- ▁persuasion +- 狄 +- 줘 +- お客様 +- ▁jefferson +- ▁pivot +- ▁машины +- نقل +- ▁استخدام +- ބަ +- ▁whipped +- ▁geleden +- ▁escucha +- ▁Could +- ▁остров +- ▁cavall +- quê +- 须 +- ជ +- ▁versteht +- 拭 +- interesse +- ▁eksp +- ▁disappoint +- ▁även +- 钩 +- katholisch +- ▁کودک +- 紫色 +- ▁cố +- 代の男性 +- Time +- 收益 +- ▁чад +- ▁elevat +- ▁hacía +- ▁Alkohol +- 蔑 +- 褒 +- 从那以后 +- ▁извините +- ▁тело +- ▁spirituelle +- யார் +- ▁sünd +- 设法 +- ▁geographic +- 獲 +- முக +- ▁impamvu +- ▁хэдэн +- ▁Physik +- ▁umfasst +- 反抗 +- ▁concede +- ▁обща +- ▁zwang +- 取引 +- ministerium +- 蹲 +- ০ +- ▁Prüfung +- ▁embedded +- ▁possiamo +- タクシー +- ▁пятая +- 出てきました +- ▁discrimina +- ェ +- 能做到 +- ▁clenched +- ▁pequeña +- ▁tennessee +- 哮 +- 煎 +- かっこいい +- ▁请播放 +- ▁așa +- ▁Jemand +- gehoben +- befehl +- ▁mildred +- ▁disrupt +- mètre +- コスト +- ▁нашим +- ใ +- 膝 +- ▁ausgewählt +- ▁nécessaire +- ▁eclipse +- 换句话说 +- 丼 +- 誠 +- جنس +- ▁daisy +- ▁dzīv +- மும் +- 納得 +- kräftig +- ▁merupakan +- コラボ +- 記者会見 +- 收购 +- ▁crusade +- 金額 +- höhe +- ایە +- ▁hína +- ▁snuff +- ▁социал +- möglichkeit +- ijoro +- ▁clamor +- 順位 +- ▁husk +- ▁Flüchtling +- 奥巴马 +- ▁duidelijk +- ▁குறை +- twenty +- ▁discut +- ▁пройд +- お待ち +- 发动机 +- 警官 +- ତ +- ▁aufzubauen +- 这个样子 +- 넘 +- ▁сергей +- 愛知県 +- ▁shroud +- コンビニ +- 行方不明 +- ▁люблю +- ▁rusange +- ▁твои +- となりそうです +- 訴 +- ▁augustine +- чёт +- ものすごく +- ▁Society +- 动态 +- ▁vierundzwanzig +- ▁ocurr +- ▁mitigate +- konomi +- ▁testify +- ▁чист +- ▁имеют +- ▁destructive +- ▁историю +- ▁мальчик +- ▁alcuni +- 渠道 +- 砂糖 +- ▁besagt +- علام +- waffen +- 原則 +- ▁agafar +- ▁supposition +- ▁diplomatic +- ▁marshall +- fünfhundert +- ▁pilgrimage +- 今のところ +- ālā +- ▁legitim +- ித்தார் +- ▁мысли +- ሚ +- ▁securities +- 辖 +- ▁bestätigt +- umukobwa +- ▁Therefore +- 軟 +- ▁problém +- 並ぶ +- ҙың +- ▁Họ +- 寄付 +- ченко +- gerissen +- ▁hâ +- ▁компьютер +- ▁முக்கிய +- こんなふうに +- 媛 +- 놓 +- ▁vigour +- ▁apparition +- ▁imbaraga +- ▁gratified +- symmetri +- ▁clash +- ▁milestone +- hundertfünf +- ▁Doctor +- ლებ +- ▁camí +- عيد +- 鸿 +- ▁disponible +- ▁butterfly +- ▁teenager +- ▁carlyle +- ▁Mereka +- ▁хэв +- ступил +- とみられています +- entendre +- 棘 +- ▁enabling +- ▁faltered +- ▁bizarre +- ▁nodding +- präg +- 重症 +- ▁cartoon +- ▁hareket +- とみられます +- ▁Republik +- பாடு +- ▁width +- ▁риск +- ▁Runde +- ẫ +- ڈ +- ▁zugänglich +- ျ +- 詩 +- مجتمع +- ゲット +- 散步 +- dämm +- ▁eigenlijk +- 菓子 +- 飛んで +- 级别 +- 厌恶 +- 齿 +- ▁ingenuity +- ▁последний +- ▁руководств +- ▁NASA +- ▁muffled +- ▁theoretical +- ▁நிறுவ +- 女孩儿 +- ▁shilling +- ▁ethnic +- ▁сделан +- 合わせた +- క్ +- счастлив +- 茅 +- ▁Indonesia +- ▁مدرسه +- ▁정말 +- ▁Fehl +- 豪華 +- ▁chestnut +- 伙计们 +- が止ま +- 新宿 +- ▁பெரு +- 了解更多 +- ▁серьезно +- 績 +- 面试 +- 结局 +- pflege +- Á +- թ +- ▁crouched +- フルーツ +- 최 +- ▁espacio +- خصوص +- ▁eindelijk +- 悲剧 +- zauber +- physiologi +- ▁подготов +- ▁лепш +- 一个例子 +- 远处 +- 合計 +- చ్చ +- 赎 +- ຢ +- ▁ecstasy +- ▁نمایش +- ӹн +- 実態 +- rechnen +- менять +- ▁новых +- 竟 +- ▁landlady +- 繊 +- ▁gutanga +- ▁ominous +- ▁voulu +- 証言 +- 演示 +- ▁junk +- ▁integrate +- 隠れ +- ▁Außer +- ▁Entschuldigung +- ▁Kommissar +- 扫描 +- ▁hoofs +- wäss +- اگه +- ▁лица +- 嘿 +- ▁merchandise +- ▁செயல் +- ▁elkander +- ▁spüren +- ▁clown +- ▁важна +- ▁calculate +- 収入 +- 続けている +- 灵活 +- ▁தனி +- ▁fügte +- ▁взаимо +- ▁갑자기 +- ▁Republikaner +- ▁infidel +- ▁desolation +- ▁längst +- 坚强 +- ▁cicl +- 行きたい +- lehrer +- ▁literal +- 韓 +- 非常有趣 +- ▁marcel +- ▁Intelligenz +- 冈 +- ▁пошли +- 气候变化 +- が必要だ +- ▁странно +- με +- 种族主义 +- の疑いで +- ▁yahweh +- 斥 +- 至关重要 +- ▁Kämpfe +- ▁detained +- ▁هنر +- ▁sovint +- ▁syllable +- ▁mittlere +- schalt +- aufnahme +- トルコ +- ▁цели +- ▁judith +- ▁spacious +- 海滩 +- کۆ +- ▁yazı +- ▁भए +- ▁Minnesota +- ▁использовать +- ▁languid +- ▁آورد +- ▁reiterate +- ▁Patrick +- ▁убива +- ▁توجه +- Europa +- ▁تواند +- 崎さん +- ▁Richtlinie +- ▁kibazo +- ▁potenziell +- ▁deferred +- ▁பிறகு +- ނެ +- ▁usurp +- 羽毛 +- schwor +- نوشت +- ▁appoint +- ▁sancho +- ▁குழந்தை +- ▁Үүний +- ▁línea +- ▁Studium +- ▁Ireland +- ▁Modern +- 病床 +- льныя +- ▁кровь +- 査 +- 心疼 +- 렸 +- ▁يوجد +- owski +- ▁konkret +- ▁பற்றி +- ▁categori +- ▁نقش +- дзь +- 炼 +- ▁நிகழ் +- ▁indicating +- ▁Gegenteil +- ▁Emily +- ▁война +- 行われている +- ▁presidential +- ▁Little +- கொள் +- 肤 +- ▁Existenz +- 拜访 +- ▁antony +- ▁Samuel +- 見つかり +- ▁může +- 垒 +- 慷慨 +- ▁Ernährung +- ▁displeasure +- ッグ +- 捉 +- ▁говорим +- ▁değiştir +- 必然 +- ▁condicion +- ▁welsh +- 拜拜 +- 失业 +- ▁sparrow +- アピール +- ▁sociedad +- ދަ +- ދު +- ▁사람들이 +- ▁mercado +- 見つけ +- 文書 +- ▁Auftrag +- ▁Annahme +- ▁Coast +- ներ +- 霜 +- ▁boyunca +- 時半ごろ +- ▁asteroid +- ▁коротк +- ▁قانون +- ிற்கு +- nshingano +- ▁musí +- 边境 +- ▁riddle +- 伍 +- 謝 +- ▁Illinois +- ▁دانشگاه +- schließt +- ▁पु +- イラン +- ▁ĉu +- ミング +- ジョー +- ▁comunidad +- ▁companionship +- 轻易 +- qqim +- ▁portray +- ▁үнэ +- ёшь +- 好奇心 +- になりたい +- 虾 +- bitekerezo +- ▁Pēc +- ▁antiquity +- ▁científic +- 淋 +- アルバム +- ▁acontece +- おととし +- 師匠 +- gemeinschaft +- 看一看 +- きょう午前 +- 抜いて +- 谢谢大家 +- ▁bırak +- versorgung +- ▁Konferenz +- GPS +- ▁혼자 +- ▁gracias +- ▁athenian +- ▁persoon +- ▁inaugur +- ▁менш +- 群众 +- ▁northeast +- ▁vorgeschlagen +- 雨が降って +- ▁patriotism +- 档案 +- luğu +- ໃຫ້ +- ▁defiant +- ▁malicious +- ▁Kansas +- ▁chaplain +- 残酷 +- ▁bertram +- 交付 +- 消化 +- ▁Felsen +- ▁bathroom +- おじさん +- ▁байр +- ▁palju +- ▁Alpha +- ▁Katastrophe +- ▁Respekt +- ▁обязан +- ツイッター +- ▁oyna +- ▁غذا +- ▁أفضل +- ▁لدينا +- filtr +- 层次 +- 主导 +- 속 +- ጥ +- ▁sophisticated +- ▁буквально +- ▁façana +- 侮辱 +- ▁дороги +- 前两天 +- 将棋 +- ▁너는 +- ريخ +- ුරු +- 労 +- 戴安娜 +- 逝 +- ▁سیستم +- ̃ +- 剥夺 +- ▁ensued +- 这是一件 +- schwimm +- 是不可能的 +- 辞め +- ▁pueda +- església +- süchtig +- ▁birçok +- 出租车 +- 귀 +- 麗 +- 적으로 +- 注射 +- schränkung +- ▁snare +- ▁skate +- ▁retard +- 一生懸命 +- ▁ängstlich +- ▁vegada +- ডা +- あるんですか +- 起訴 +- räte +- 徽 +- ▁Posteriorment +- ▁nyinshi +- ▁trabalho +- 코 +- ▁చె +- ▁Больш +- ロンドン +- ▁verwandelt +- ▁bagian +- 設計 +- zugreifen +- ▁பழ +- 语音 +- ▁naples +- 世の中 +- 括 +- 嚟 +- ఫ +- 挖掘 +- 世帯 +- ▁scottish +- 見直し +- ركز +- 現れた +- ▁Stich +- ▁refinement +- ▁keith +- 老虎 +- бега +- ▁temporarily +- コンピュータ +- 腸 +- 昆虫 +- アート +- '1.5' +- 維 +- ▁straightforward +- ঐ +- 凌晨 +- 繁殖 +- ধি +- beamte +- ▁руках +- ▁задерж +- ▁остава +- 積極的に +- 匆 +- ▁Interessant +- ▁законопроект +- liśmy +- ▁cantonada +- ▁مرکز +- 杭州 +- ▁verurteilt +- 噴火 +- ▁адказ +- ▁Nacional +- expliqu +- ▁rebuild +- people +- ıyordu +- 눈 +- 설 +- キッチン +- ▁لطفاً +- ▁decât +- ▁일본 +- ▁prodigious +- ▁Jacob +- 散歩 +- 传奇 +- ▁klassische +- ▁существу +- ▁форма +- 釣り +- ▁подпис +- 风暴 +- ▁Opera +- ▁институт +- ическом +- ▁michigan +- バッグ +- ▁clinton +- それこそ +- весел +- 商業 +- ハンド +- ipps +- ▁spouse +- ▁trustee +- ▁площад +- ▁uzata +- صاب +- geheimnis +- 披 +- ച +- ▁sorgfältig +- 현 +- แต่ +- ▁discreet +- chirurg +- といわれる +- ുന്ന +- ▁возраст +- ▁birkaç +- schirm +- 环节 +- ▁intact +- ▁Então +- طبق +- 亨 +- forderung +- 階段 +- 教导 +- auftrag +- kümme +- 所需的 +- ▁Jimmy +- ▁kümmert +- 대로 +- ▁aquellos +- እ +- ▁susceptible +- 痕迹 +- ▁fuerte +- トレー +- ▁invece +- ложения +- 静岡 +- kündigt +- ▁hoffentlich +- ▁audible +- 학년 +- ▁Finanzierung +- າມ +- ▁simbol +- rätt +- ாலும் +- ▁سخت +- ▁ĉefa +- ▁veröffentlichen +- ▁медицин +- ▁دوباره +- アスリート +- ▁건데 +- ordination +- あぁ +- ▁utawa +- 判明 +- マウンド +- 木曜日 +- PCR +- ▁produzieren +- ▁tactics +- 可能性もある +- ிங் +- هدف +- artista +- 違った +- 弊 +- ▁bijzonder +- ▁nghệ +- ▁boulder +- 逃避 +- 减轻 +- 唉呀 +- ▁Einfach +- ▁Hütte +- ▁Feli +- ▁Charlie +- 反発 +- ▁navigate +- 極めて +- ▁дожд +- ▁забыл +- ▁bourgeois +- ▁steadfast +- 졌 +- ሆ +- ▁voulez +- ▁силы +- فروش +- ▁Chief +- 想一想 +- າກ +- 항 +- 芸術 +- ▁सु +- ▁implicit +- ▁duncan +- ▁واحدة +- ▁humming +- muster +- 装备 +- ▁membership +- کشید +- ▁bequem +- ▁vieille +- ▁begleitet +- ▁empfind +- ▁果啲 +- ▁impulsive +- ▁அரச +- ▁позвонил +- ▁düster +- ▁bunlar +- ▁Offizier +- ▁دغه +- 贫穷 +- ▁করতে +- 多长时间 +- 赞美 +- ▁boost +- باد +- ▁успел +- 没见过 +- 変わらない +- 肾 +- ▁industrious +- ▁конфликт +- ▁беларускай +- ▁carrière +- ▁zgod +- ▁renounce +- 股份 +- глянул +- faktor +- 臨時 +- 拜托 +- building +- ▁demselben +- ▁Spiegel +- ▁enchanted +- ▁그럴 +- 抚养 +- ▁아예 +- ▁conserve +- 姐夫 +- ▁erwähnen +- ▁influential +- ▁первого +- ▁кандидат +- vermögen +- ▁penitent +- 受益 +- ▁wiederholen +- atangiye +- க்காக +- 面积 +- ▁aconsegui +- ▁columbus +- ▁verpflichtet +- 貫 +- ▁tournament +- 令人惊讶 +- ▁hinterlassen +- ▁servicio +- ▁словно +- 地板上 +- ىرى +- シート +- キーウ +- 训 +- ਜ +- ▁Ayrıca +- ▁bình +- ▁resembling +- ▁birlikte +- ▁আমার +- ▁vienna +- ▁retiring +- ▁Yagize +- 贵族 +- ▁mnoh +- 宿舍 +- 成为一名 +- 投降 +- ▁Zahn +- ▁Ня +- عيش +- ▁fritz +- крыл +- ▁execu +- 乏 +- 瓷 +- ס +- ▁gobierno +- ▁westminster +- ▁Усё +- 책 +- ▁temporada +- 隙 +- 昇 +- ಾಗ +- ▁мужик +- ლე +- լ +- ▁llavors +- シュー +- 教師 +- ランチ +- ▁тэг +- сурс +- 早已 +- ▁Bridge +- ▁geleistet +- ▁mỗi +- 水準 +- ▁되지 +- ▁triangle +- ▁fuori +- 玛丽拉 +- изова +- ▁Dichter +- 異常 +- 炸弹 +- ▁elevator +- ▁gateway +- ルーム +- 观念 +- ▁signify +- ▁distraction +- 推广 +- equilibri +- ▁wunderschön +- 哑 +- 弗兰克 +- 谣 +- ▁مكان +- 疑惑 +- ▁Bürgermeister +- ▁beetle +- রাজ +- ことはない +- verbrauch +- 風景 +- ▁kaldı +- zusammenarbeiten +- ▁appelé +- kandida +- ▁compost +- ▁заўсёды +- ▁степени +- ▁erstaunt +- ▁tödlich +- 对他来说 +- ▁seguro +- ッカー +- 怜 +- を対象に +- τι +- झ +- ▁requiring +- indirimbo +- ▁gufata +- förmig +- ▁thrice +- ▁piteous +- espai +- 百六十 +- 背叛 +- ▁برخی +- チェン +- ▁Prinz +- 暴風 +- ळ +- ▁развития +- ▁хүрэ +- ▁Firma +- 报仇 +- ▁chuckled +- ▁sacrifi +- されていない +- お疲れさま +- ▁Experten +- ▁республик +- ▁peninsula +- 乗用車 +- ▁좋아하 +- ▁parliamentary +- ල්ල +- ாமல் +- 简短 +- ▁forfeit +- ङ +- پذیر +- 畳 +- 冷蔵庫 +- ▁rôle +- بناء +- ▁Summe +- ▁любим +- ▁spars +- ▁konkur +- ើ +- ែ +- ੋ +- ▁Així +- ▁lấy +- ▁않았 +- 汀 +- డి +- 打败 +- ▁unendlich +- ▁гости +- ▁сабе +- ▁tehnolo +- بێت +- ▁posibil +- 揮 +- 逢 +- ▁chuyển +- 眞 +- ▁Kennedy +- ▁miliard +- ▁эфир +- ọ́ +- ▁метод +- なりません +- schäf +- ▁роль +- 这项工作 +- ېرى +- 虐 +- 恭 +- ▁Ukraine +- ▁gratification +- ▁सं +- ěl +- 另一件事 +- ▁teilweise +- 新潟 +- 並べ +- こいつ +- ġ +- ▁কিছু +- 태 +- ▁perchance +- グッズ +- ▁transplant +- ▁impartial +- 入ってる +- 小さく +- んねん +- 的一件事是 +- ▁lehnte +- ▁distingu +- ▁metropolitan +- 처럼 +- ▁gegessen +- 呈 +- ▁trouvé +- ▁recurring +- お菓子 +- ▁ຫຍັງ +- ホワイト +- 담 +- 兜 +- આ +- 阪 +- 塌 +- 锡 +- ढ +- २ +- 扛 +- ỳ +- 雌 +- 忽 +- 偿 +- И +- 捧 +- 釈 +- 滨 +- ሄ +- 娇 +- ូ +- 铭 +- 滩 +- ャ +- ύ +- ޯ +- 斌 +- 절 +- 종 +- 託 +- ޫ +- 缶 +- 崖 +- ദ +- 潰 +- 緊 +- ɗ +- 蔓 +- 仑 +- ஈ +- 브 +- ৎ +- 厦 +- 扰 +- អ +- 벌 +- 증 +- ২ +- ਵ +- 骚 +- 吨 +- 歓 +- 竖 +- 址 +- 瞥 +- ള +- 渋 +- 挪 +- 暇 +- 掛 +- յ +- 铅 +- 钓 +- 橡 +- 拡 +- 狐 +- 줬 +- 출 +- ٽ +- এ +- 柿 +- 络 +- 乙 +- ቃ +- 幾 +- 亜 +- 嗅 +- 咕 +- 喔 +- 畜 +- 茄 +- 글 +- ጠ +- Б +- 學 +- 플 +- 勉 +- 咸 +- 锤 +- ð +- 건 +- 능 +- ఉ +- 歧 +- 叨 +- ҿ +- 烫 +- 坤 +- 芦 +- $ +- 監 +- គ +- 践 +- 침 +- 蟹 +- 唠 +- 합 +- ຜ +- 堤 +- 肘 +- 宪 +- 임 +- 梳 +- 霞 +- 薛 +- 병 +- 순 +- 攀 +- 驴 +- 灣 +- 甩 +- 邊 +- 妄 +- 론 +- 軸 +- 메 +- 脈 +- 튼 +- 蓉 +- 赐 +- ਮ +- 葱 +- 魅 +- 盼 +- ံ +- 秃 +- 甭 +- է +- 란 +- ぺ +- ጣ +- ৱ +- 窟 +- 靖 +- 颈 +- 壶 +- 꾸 +- 앞 +- ኛ +- 浆 +- ঙ +- 仆 +- Д +- 叉 +- 亀 +- 猴 +- 茎 +- 삼 +- 嬉 +- 澳 +- 颁 +- 笛 +- 커 +- 稻 +- 엔 +- 筛 +- 魁 +- 閣 +- 渣 +- 蹴 +- 搏 +- ੰ +- 肆 +- ں +- ਆ +- 蛙 +- 磊 +- ସ +- 點 +- 汰 +- 棟 +- 陕 +- 憎 +- 绣 +- 歪 +- 頻 +- 趟 +- 岂 +- О +- ވ +- 胞 +- ష +- 표 +- 噴 +- 堕 +- 圏 +- 咳 +- 淑 +- 庸 +- 疚 +- 嘎 +- ג +- 滝 +- 譲 +- 炫 +- ପ +- 蓬 +- 绵 +- 谎 +- ዳ +- 碍 +- 巷 +- 驰 +- ኔ +- ጋ +- ξ +- 평 +- ű +- ါ +- 詳 +- 圭 +- 顽 +- 蹦 +- 枉 +- 頑 +- 慣 +- 鋭 +- 鲸 +- 栖 +- 姫 +- 嫩 +- 큰 +- 渊 +- 掠 +- ಳ +- ਂ +- 衔 +- 憋 +- 癖 +- 顧 +- 확 +- 얼 +- 宰 +- 厨 +- ડ +- բ +- ဆ +- 颖 +- ੱ +- 碌 +- 駐 +- 覇 +- 禅 +- 肿 +- 乞 +- 們 +- 듣 +- ਪ +- 匿 +- 梗 +- 幹 +- ޖ +- 俘 +- 접 +- 彪 +- 醋 +- 阅 +- 紋 +- ሉ +- ୁ +- 國 +- 袍 +- 癒 +- ° +- 夷 +- 腻 +- Î +- 愣 +- 堅 +- 賢 +- 沾 +- 贬 +- 绸 +- 먼 +- 맛 +- 灿 +- 끝 +- 吟 +- ണ +- 駆 +- 镖 +- 활 +- 妆 +- 硕 +- ჯ +- 硅 +- 몰 +- 纷 +- 彫 +- 渗 +- 陋 +- 賄 +- 陀 +- 셨 +- – +- ჰ +- 奎 +- 杏 +- ڑ +- ମ +- 译 +- ט +- 盾 +- 盔 +- 贞 +- 溺 +- 坪 +- 잠 +- 육 +- 쁘 +- 竭 +- 佢 +- 辽 +- 袜 +- 栈 +- ሎ +- ፈ +- ೊ +- Í +- ፍ +- 詹 +- 怎 +- 仿 +- 婶 +- 循 +- 백 +- 馅 +- 橙 +- 徹 +- 鍛 +- ሱ +- 儒 +- 恕 +- 耸 +- ೂ +- 淳 +- 翌 +- 餌 +- 庇 +- 捞 +- 斐 +- 膏 +- ۵ +- 럽 +- 隅 +- 啪 +- 辐 +- 熙 +- ඔ +- 紛 +- 捏 +- 떨 +- 손 +- 駒 +- 愚 +- 椎 +- 朽 +- ̉ +- 踪 +- ዚ +- 帘 +- 嘟 +- 颊 +- 惧 +- ኮ +- 藩 +- 筑 +- 廉 +- એ +- ሳ +- 葵 +- 慕 +- 泛 +- 窒 +- ધ +- 랬 +- 昧 +- 족 +- 屿 +- 죽 +- 팔 +- ယ +- 粥 +- ዋ +- 餅 +- 討 +- 廣 +- 붙 +- 씨 +- 犹 +- 叮 +- 萩 +- 歹 +- 咽 +- 湧 +- 侣 +- 蝶 +- 捆 +- В +- ڻ +- శ +- ખ +- 懲 +- ؛ +- 哩 +- 尹 +- 웃 +- ỷ +- 망 +- 즈 +- 贱 +- 瞅 +- 斎 +- П +- ሪ +- 졸 +- 貯 +- 郵 +- 频 +- 囚 +- 鲨 +- 凳 +- 缸 +- 짝 +- ۀ +- ɓ +- 뭘 +- 홍 +- 옷 +- 쳐 +- 참 +- 痒 +- 혼 +- 眨 +- 揉 +- Ғ +- 테 +- ծ +- 咒 +- 绒 +- 厘 +- 변 +- 십 +- 厢 +- 琐 +- ਼ +- ẳ +- 缴 +- 驼 +- ዲ +- 嵐 +- 礁 +- 粹 +- 독 +- 俳 +- 妞 +- 쉬 +- 毙 +- ዛ +- 岐 +- 闇 +- 肮 +- ـ +- 債 +- 盯 +- 銅 +- 卦 +- 莹 +- ။ +- ቅ +- 樱 +- 笠 +- 薯 +- 醇 +- 栓 +- ़ +- 崛 +- ካ +- 刹 +- 奨 +- 迅 +- њ +- җ +- 릴 +- 투 +- 谭 +- 俯 +- 帳 +- 帐 +- 瑶 +- 떡 +- ោ +- 溝 +- ೀ +- 谍 +- 습 +- 噩 +- ҷ +- ੁ +- 淀 +- 勺 +- 簿 +- 曝 +- ւ +- 饺 +- 棺 +- 斩 +- ። +- 貝 +- 鼎 +- Ё +- 뒤 +- Ŝ +- 별 +- ိ +- 殻 +- 舗 +- 婿 +- 韵 +- ੈ +- 충 +- 酔 +- 繋 +- 剛 +- 愤 +- 韧 +- 웠 +- ಣ +- ฐ +- 哺 +- 哼 +- ඟ +- 嗡 +- 緒 +- 姬 +- 慶 +- 匈 +- 懐 +- ഷ +- 挠 +- 氓 +- இ +- 桩 +- ۍ +- ៅ +- 纲 +- 妾 +- 軌 +- 渴 +- 聘 +- ם +- 衍 +- 랐 +- ŷ +- 奄 +- 酋 +- ူ +- ହ +- 睹 +- 拌 +- ຶ +- 绪 +- 瘫 +- 濱 +- 隧 +- 瞄 +- ൂ +- 耿 +- ൻ +- 吱 +- 喇 +- ഗ +- շ +- 嘻 +- ಷ +- ಚ +- 霧 +- 넣 +- 怠 +- 杖 +- 錦 +- 屠 +- 빼 +- 鞠 +- 眺 +- 藻 +- 栅 +- 矛 +- 冊 +- ထ +- 聆 +- ശ +- 怡 +- 宵 +- 악 +- Ы +- 嚷 +- 패 +- ァ +- 勋 +- 언 +- 慨 +- 赦 +- 萍 +- ռ +- 막 +- አ +- ζ +- 豁 +- 휴 +- 肚 +- 捣 +- ٿ +- 셔 +- 昨 +- 皓 +- 喃 +- എ +- 喉 +- 貿 +- 趴 +- 迭 +- 謀 +- 孩 +- ቤ +- 薦 +- 粛 +- 哒 +- ീ +- 趾 +- 酿 +- 섯 +- 痘 +- 茜 +- 蚀 +- 菇 +- எ +- 躬 +- 誌 +- 佬 +- ¿ +- 俵 +- ċ +- 꺼 +- 渐 +- 卒 +- 鸽 +- 發 +- ళ +- ហ +- 亩 +- 唇 +- 壇 +- ಶ +- 蝇 +- ચ +- 蜀 +- 隻 +- 俱 +- 泌 +- 剿 +- 磕 +- ቸ +- அ +- 衬 +- 처 +- 垮 +- 琉 +- 墅 +- 쯤 +- 畀 +- 険 +- 扁 +- 橱 +- 창 +- 咁 +- 婉 +- 특 +- 沒 +- 倫 +- 噜 +- 钦 +- 傍 +- ӷ +- 嗓 +- 枫 +- 답 +- ਗ +- 茸 +- 兑 +- 攒 +- צ +- 惰 +- 림 +- 숙 +- 榄 +- 氢 +- 喧 +- 览 +- 澜 +- 羅 +- 忏 +- 憩 +- 拱 +- 轿 +- Ú +- 슬 +- 倩 +- ਅ +- 剔 +- 距 +- 禀 +- 揍 +- ޒ +- 嵌 +- 瞬 +- 憲 +- 蹭 +- 凹 +- 판 +- ィ +- ९ +- 凸 +- 橘 +- 苔 +- 蕉 +- 浇 +- ৯ +- 獄 +- 穂 +- „ +- 贸 +- ʼ +- 읽 +- 聪 +- 료 +- 옆 +- 乜 +- 골 +- 對 +- 谨 +- 斧 +- 켜 +- 縄 +- 菱 +- '#' +- 吼 +- 허 +- 嗽 +- 蹄 +- 拇 +- ಜ +- 該 +- 텐 +- 북 +- 髓 +- ਬ +- 浄 +- 荘 +- Ô +- 죠 +- ះ +- 栃 +- 몸 +- 瓣 +- 莓 +- 굴 +- 塾 +- 遵 +- ן +- ۹ +- 甸 +- 娟 +- 蠢 +- 함 +- 獣 +- 缅 +- ೋ +- 틀 +- 각 +- 啫 +- 屯 +- 經 +- Г +- 餃 +- ੂ +- 療 +- 绍 +- 槛 +- ჭ +- ధ +- 겼 +- 曦 +- 涅 +- 涡 +- 鄙 +- 霖 +- 麟 +- ભ +- 冥 +- 谅 +- 희 +- 饲 +- 潇 +- 飽 +- 骆 +- 哉 +- ఒ +- ઓ +- 萎 +- 膚 +- 斉 +- 皂 +- 屑 +- 悯 +- 衫 +- 鉢 +- 축 +- ሞ +- 며 +- 법 +- 芙 +- 疤 +- 帜 +- 罕 +- 蝠 +- + +- 향 +- 寇 +- 丫 +- 힘 +- 朋 +- 拙 +- 荆 +- ஆ +- 늦 +- 황 +- 撇 +- 택 +- 戳 +- 랜 +- 撰 +- 璃 +- 釜 +- 혀 +- 盏 +- ォ +- 択 +- 沛 +- 臀 +- 莽 +- ሀ +- 酮 +- 록 +- 诵 +- 绊 +- 婪 +- ૂ +- 硫 +- 품 +- 碁 +- 郝 +- 匀 +- 颇 +- 聋 +- 賠 +- 删 +- 阐 +- ណ +- 妊 +- Х +- 辟 +- 丞 +- 牡 +- 석 +- 익 +- 噬 +- 拟 +- 瞪 +- 刈 +- 坝 +- 嵩 +- ۳ +- 욕 +- 详 +- ሩ +- 檬 +- 媚 +- 虏 +- 粪 +- 닐 +- ҽ +- 蜗 +- 惦 +- ൾ +- 鐘 +- 淮 +- զ +- 베 +- 铸 +- 綿 +- 缉 +- 蘑 +- 垄 +- 粤 +- 슷 +- 풀 +- 맨 +- 骸 +- ٬ +- 唬 +- 绞 +- 블 +- 婴 +- ധ +- 蒲 +- 넌 +- ួ +- У +- 综 +- 塊 +- 择 +- խ +- 膳 +- 蒜 +- 蝙 +- ਇ +- 嚼 +- 榴 +- 曽 +- 때 +- 枢 +- 於 +- 偵 +- 涩 +- ആ +- 诡 +- 鳄 +- 矩 +- 溯 +- 贿 +- 검 +- 쓸 +- 칠 +- 厉 +- 責 +- 靓 +- 송 +- 炖 +- 疹 +- 肃 +- 咧 +- ଲ +- 旱 +- ඹ +- 魄 +- 哋 +- ○ +- 션 +- 꼬 +- ञ +- 婢 +- 캐 +- 烘 +- 苛 +- ջ +- ខ +- ਟ +- 肇 +- 栽 +- 熄 +- 馨 +- ળ +- 紗 +- 채 +- 환 +- 窄 +- 禄 +- 탈 +- 권 +- 腥 +- 噌 +- 祐 +- 妓 +- ୟ +- 訓 +- 淫 +- 懦 +- 昊 +- 磯 +- 糕 +- 贡 +- 篷 +- ሺ +- 捍 +- ങ +- 광 +- 铲 +- ۴ +- 墟 +- 粧 +- 娥 +- ৫ +- ဖ +- 祁 +- 忆 +- 啸 +- 〈 +- ෘ +- 懈 +- ಇ +- 拧 +- 凿 +- 톡 +- չ +- 녀 +- ڤ +- 김 +- 汐 +- 糧 +- 谓 +- 瀑 +- ޝ +- 寓 +- ਣ +- 扒 +- 衅 +- ఈ +- ജ +- ۾ +- 剃 +- 腫 +- 勿 +- ញ +- 奕 +- 깨 +- 卜 +- 꼭 +- ඕ +- 砕 +- 澡 +- 嚣 +- 閥 +- Ĝ +- 邱 +- 簡 +- 飙 +- ৩ +- 芭 +- 떠 +- 庶 +- × +- 蛛 +- 麼 +- औ +- 째 +- 철 +- 锯 +- ぃ +- 鉱 +- 嗰 +- 鹤 +- 혹 +- 嘶 +- 舆 +- 穀 +- 冗 +- 诫 +- 恤 +- 箸 +- 鎮 +- ז +- ᱟ +- 巩 +- 彬 +- 嬢 +- 瘟 +- 诀 +- 埔 +- 砰 +- 舔 +- ષ +- 밤 +- 詰 +- 顕 +- ዘ +- 煽 +- 綾 +- 窥 +- 絆 +- 움 +- 宛 +- 撼 +- ಧ +- 咔 +- 與 +- 陳 +- 芹 +- 陡 +- 掷 +- 廓 +- 逻 +- ബ +- 唆 +- 寧 +- 怯 +- 鹦 +- 裹 +- 翰 +- ቶ +- ෞ +- 벽 +- 奮 +- 너 +- 齋 +- 승 +- ዎ +- ኩ +- 뽑 +- ഇ +- 讳 +- ភ +- 拽 +- ଦ +- 못 +- 彤 +- 當 +- 퍼 +- 缪 +- 唾 +- 渦 +- 跤 +- ዝ +- 掐 +- 峭 +- 梭 +- ށ +- 兮 +- 窑 +- 應 +- 屉 +- ঢ +- 伽 +- џ +- 菩 +- ฮ +- 潤 +- 辑 +- ៉ +- 께 +- 땐 +- 鈴 +- 暂 +- 廖 +- ॉ +- ഒ +- 屡 +- 峻 +- 鹉 +- 熏 +- 鞍 +- 呻 +- 雯 +- 곳 +- 搂 +- 蜡 +- ฉ +- ৪ +- 깔 +- 說 +- 헤 +- 缆 +- 涯 +- ធ +- 掀 +- 孽 +- ഹ +- 奠 +- 련 +- 짐 +- 樊 +- 粋 +- 衙 +- ҕ +- 녁 +- 叭 +- ڊ +- 멀 +- 큼 +- 詠 +- 劈 +- 높 +- আ +- 蕨 +- 掃 +- భ +- 驯 +- 篠 +- 뜨 +- 痪 +- 窮 +- 騎 +- ຟ +- ሮ +- Ř +- 촌 +- 歉 +- ణ +- ฝ +- 잔 +- 沦 +- 绽 +- Τ +- 樣 +- 暢 +- 폰 +- 窍 +- 條 +- 봉 +- 泵 +- ൽ +- 빨 +- 암 +- 纺 +- 寛 +- 悉 +- 潭 +- ୋ +- 焚 +- 畔 +- 嘲 +- 捂 +- 껴 +- 輔 +- 棕 +- 饥 +- ថ +- 籠 +- ဲ +- 佣 +- ଏ +- ڏ +- 泻 +- 柠 +- ഞ +- 류 +- ፣ +- ƙ +- ۽ +- 钞 +- 呜 +- 葫 +- ។ +- 嶽 +- ቢ +- 濁 +- 仨 +- ӣ +- 飓 +- ഭ +- 沐 +- ಆ +- 邀 +- 赁 +- 冕 +- 哗 +- 禽 +- 酶 +- 侃 +- 锈 +- 呪 +- 熔 +- 揚 +- 奢 +- Э +- 趋 +- 嗦 +- ផ +- 衝 +- 窖 +- 阀 +- 扳 +- 摂 +- 응 +- ඊ +- 쉽 +- 筷 +- 妍 +- ओ +- 斬 +- 肋 +- 클 +- 胺 +- 亵 +- 叽 +- 咎 +- 桨 +- ሥ +- 앉 +- 潔 +- ዬ +- 錯 +- 극 +- 宙 +- 禾 +- ৮ +- 궁 +- 넷 +- 丐 +- 睦 +- ଣ +- 끄 +- 딩 +- ફ +- 赋 +- 蘭 +- ۸ +- 논 +- 徊 +- 徘 +- Ш +- 琦 +- 빌 +- 颤 +- 颂 +- 착 +- 氨 +- ։ +- 썼 +- 擅 +- ‐ +- ぉ +- 蓮 +- ৬ +- 쿠 +- Κ +- 釣 +- 捅 +-  +- 拢 +- 鵬 +- 叱 +- ३ +- • +- 嚎 +- 싼 +- ഴ +- 苑 +- 놨 +- 啓 +- 冨 +- 嘢 +- 鷲 +- ଇ +- 킨 +- 邵 +- 狮 +- 燥 +- ޕ +- ಭ +- 犀 +- 馒 +- 癫 +- 沫 +- 늘 +- 瑜 +- љ +- 禧 +- 딸 +- 瘤 +- 咖 +- 抒 +- 棠 +- ५ +- ቱ +- 噂 +- 舵 +- 곤 +- 凄 +- 抠 +- Ņ +- ሌ +- 拷 +- 蓋 +- 寮 +- 斋 +- ४ +- ഉ +- 걱 +- 呦 +- ሬ +- 俭 +- 蚕 +- 揽 +- 컴 +- 舶 +- 맥 +- 焕 +- 倭 +- 睿 +- 瞳 +- 鹊 +- ಎ +- ಥ +- 辻 +- ☎ +- 铛 +- 弔 +- 락 +- 兩 +- 钙 +- 崽 +- Π +- 钝 +- 낫 +- 밀 +- 銘 +- 縛 +- 殊 +- 藍 +- 俞 +- 惩 +- 刁 +- 튜 +- 褪 +- 脾 +- 谤 +- 跋 +- ८ +- 쌤 +- 획 +- Ф +- 呕 +- 雁 +- 躯 +- 迦 +- 恳 +- 啱 +- 梵 +- 關 +- 孵 +- 晏 +- 鴨 +- ਉ +- 棱 +- 疎 +- 恍 +- 匂 +- 咀 +- 濒 +- 渲 +- 绷 +- 냈 +- 淆 +- 胰 +- ሻ +- 實 +- 팀 +- 坟 +- 龚 +- 쁜 +- 谊 +- 溃 +- ћ +- 髦 +- 诽 +- 拎 +- 醤 +- 曇 +- 阎 +- 찾 +- 娩 +- ଥ +- ሲ +- 渺 +- 骼 +- 蘇 +- ६ +- 啃 +- 揣 +- 椰 +- 嗑 +- 弧 +- 懵 +- 찌 +- 笘 +- 辙 +- 渎 +- 苟 +- ۷ +- ቆ +- 빵 +- ଗ +- 汹 +- ۶ +- 檐 +- 喵 +- 騰 +- 窦 +- 歼 +- 葩 +- 범 +- Ș +- 억 +- 隘 +- 襟 +- 逍 +- 攞 +- 櫻 +- ቻ +- 锚 +- 赃 +- 喀 +- 璐 +- 蔼 +- ဘ +- 區 +- 範 +- 绰 +- 沪 +- 碟 +- 沥 +- ଟ +- 딴 +- 쩌 +- ኧ +- ७ +- ਖ +- 胚 +- 篱 +- 幡 +- 嶺 +- 験 +- 掺 +- 蚁 +- ৭ +- ਚ +- 篤 +- 暫 +- 聡 +- 鷹 +- 茉 +- 氟 +- 叩 +- 擁 +- 掰 +- 嗎 +- 乍 +- Ṭ +- 溅 +- 煲 +- Ở +- உ +- 핑 +- 旷 +- 烬 +- 睫 +- 굉 +- 탄 +- 沧 +- 跷 +- 剰 +- 런 +- ๊ +- ઉ +- 岔 +- 枣 +- 渕 +- 扼 +- 咏 +- 佟 +- Ā +- 悚 +- 灶 +- ẵ +- 靳 +- Ο +- 醸 +- 褐 +- 愉 +- 媳 +- 筝 +- 觅 +- 彰 +- 逮 +- 逞 +- 矫 +- 殷 +- 센 +- 盎 +- ঃ +- 巅 +- 聽 +- 澈 +- 亞 +- 姗 +- 赂 +- 鑫 +- 聂 +- 闸 +- Ä +- 퇴 +- 螃 +- 冉 +- 簧 +- 疟 +- 갑 +- З +- 倔 +- 绎 +- 翅 +- 搵 +- 僻 +- 眷 +- 藓 +- ଅ +- ኑ +- Ǧ +- ௌ +- ଯ +- 萝 +- İ +- 芥 +- ٻ +- 壕 +- 謡 +- 媽 +- 긍 +- ձ +- 褶 +- 鉛 +- 첫 +- 惶 +- 笹 +- 徙 +- 搾 +- Ҳ +- 걍 +- 膀 +- 揪 +- ໊ +- 逾 +- 왕 +- ഡ +- 렌 +- 씬 +- 悖 +- 痩 +- 裡 +- 揃 +- 挚 +- 娄 +- 眩 +- 氣 +- ਈ +- ጀ +- 膛 +- ଜ +- ੍ +- ፋ +- 甥 +- 驸 +- 荧 +- 雞 +- 灸 +- 焉 +- 琅 +- 煌 +- 唧 +- 戮 +- 뛰 +- 쩔 +- 팅 +- 춰 +- 骏 +- 凛 +- 볶 +- 欄 +- 镶 +- 墜 +- 猶 +- 械 +- 酌 +- Α +- 듯 +- 瑛 +- 滕 +- 챙 +- 镯 +- 蠕 +- 丙 +- 灼 +- 訟 +- 鄂 +- 馈 +- 柬 +- 黏 +- 轶 +- 豫 +- 氯 +- 幫 +- 喚 +- 惚 +- ઈ +- 渠 +- 镀 +- ୀ +- 漱 +- Ý +- ӯ +- 皈 +- 咗 +- 莺 +- ឹ +- 柵 +- 碱 +- ጊ +- 徑 +- 隋 +- 啰 +- ሊ +- 祠 +- 층 +- 诏 +- 텔 +- 찬 +- 箇 +- 钧 +- 뉴 +- 體 +- 痫 +- 麒 +- փ +- ᱩ +- 녔 +- 搓 +- 柚 +- 竿 +- 轄 +- अ +- ಒ +- 榨 +- 립 +- 蛤 +- 惭 +- 炳 +- 飢 +- ဟ +- ቺ +- 帧 +- 鳞 +- 곱 +- 헬 +- ଆ +- 锣 +- 倪 +- 鸥 +- 錠 +- ڳ +- ဝ +- ๆ +- 견 +- 琶 +- 饵 +- 將 +- 怂 +- 蔭 +- 蛾 +- 榆 +- 鎌 +- 揾 +- 탕 +- ዐ +- 倘 +- 秉 +- 賭 +- 菠 +- 瑙 +- 囱 +- 훨 +- 缕 +- ఓ +- 撩 +- 篡 +- Ī +- 缀 +- 짓 +- 踝 +- 辫 +- Σ +- ၏ +- 邢 +- 氮 +- 존 +- 탁 +- 硝 +- 萱 +- 拴 +- 烛 +- ޗ +- 铝 +- 锥 +- 쇼 +- 暦 +- 焊 +- 릭 +- 腎 +- 瘩 +- 淼 +- Μ +- 乒 +- 牲 +- 疮 +- 蓓 +- 酪 +- 霄 +- ޢ +- ኪ +- 搐 +- 츠 +- 绅 +- ៃ +- 빡 +- 粟 +- 遏 +- 颅 +- ጉ +- 링 +- 퓨 +- 磷 +- 耽 +- 祟 +- 瘍 +- 염 +- 謙 +- 霾 +- 臻 +- 猟 +- 诞 +- ៊ +- 蔷 +- 賊 +- 訂 +- 贅 +- Щ +- 晾 +- Õ +- ଶ +- 霆 +- 喪 +- 剖 +- 嗒 +- 樋 +- 疙 +- 靶 +- 纬 +- ਡ +- 값 +- 娴 +- 貞 +- 擒 +- ൊ +- 跚 +- 厩 +- 烯 +- 炽 +- आ +- 駄 +- 侑 +- 袱 +- 픈 +- 玮 +- 朔 +- ኖ +- ዜ +- 滔 +- 겁 +- 맘 +- 漬 +- 俣 +- 羔 +- 囤 +- 烷 +- 嗣 +- 峠 +- ǎ +- 晗 +- 乓 +- 蹒 +- 髄 +- ڙ +- 睾 +- 兢 +- 咐 +- 铮 +- ೈ +- 睐 +- 蹊 +- 깝 +- 翘 +- 螂 +- 椭 +- ઇ +- 鈍 +- ္ +- 參 +- 眯 +- 秩 +- 敛 +- ଡ +- 鋼 +- 榈 +- 號 +- 掂 +- 磐 +- 萬 +- 裴 +- 阮 +- 蔚 +- 雍 +- 悍 +- 젠 +- ޙ +- 駿 +- 拂 +- 腊 +- 寞 +- 穹 +- 悴 +- 憔 +- 琥 +- 琵 +- 밑 +- 恥 +- ဂ +- 垢 +- 茬 +- 坨 +- 遛 +- 涕 +- 掲 +- 咚 +- 覺 +- 嘈 +- 峥 +- 꼈 +- 蝉 +- 麵 +- ٠ +- 땜 +- 祀 +- 譜 +- ൈ +- ᱱ +- 량 +- 酥 +- 橇 +- 靡 +- 槐 +- Ấ +- 錢 +- 槻 +- 暧 +- 侥 +- ଧ +- 척 +- 턴 +- 吠 +- 甫 +- 壌 +- 갖 +- 鳳 +- ኦ +- 놔 +- 쓴 +- 寅 +- 麓 +- Ö +- ഥ +- 驭 +- ቦ +- ጅ +- 낙 +- 鹃 +- Ա +- 屌 +- 壤 +- Å +- 낮 +- ဒ +- 隶 +- 讓 +- 豌 +- 憾 +- 噢 +- 闫 +- ฤ +- ժ +- ٔ +- 岬 +- 萤 +- ӳ +- ճ +- ଭ +- 匣 +- 효 +- 傑 +- 완 +- 瑾 +- 荫 +- ଷ +- ጨ +- 액 +- 諭 +- છ +- 痊 +- ऊ +- 羹 +- 漩 +- 砾 +- 岚 +- 裳 +- 규 +- థ +- ψ +- 콘 +- 惟 +- 렵 +- 짧 +- 钏 +- 窜 +- 臼 +- 闽 +- Ó +- 內 +- 诬 +- 樂 +- 煞 +- 蝎 +- 弛 +- 從 +- 닭 +- င +- 缔 +- 岌 +- 怼 +- Ò +- 巍 +- 곡 +- 啼 +- 桓 +- 谂 +- 賂 +- 鳍 +- 摧 +- ޤ +- 킹 +- 冀 +- 彗 +- 铐 +- 銚 +- Ṣ +- 깜 +- 烙 +- 蜱 +- 梶 +- 胴 +- 莞 +- Ọ +- Ӱ +- 呱 +- « +- 狸 +- 瑕 +- 痰 +- 纫 +- 臆 +- ዙ +- 紊 +- 肴 +- 迂 +- 隼 +- 稜 +- 꿀 +- 茁 +- 淌 +- ഫ +- 꽤 +- 믄 +- 赣 +- ๋ +- 洽 +- 농 +- 霹 +- 倚 +- 晦 +- 踹 +- ᱠ +- 덕 +- 嗖 +- 濡 +- 猬 +- 낼 +- 덜 +- Ε +- 撬 +- 呛 +- þ +- ጂ +- 珑 +- 瑠 +- 虜 +- 훈 +- 晤 +- 舘 +- 嗜 +- 渓 +- 瓢 +- 眶 +- 쳤 +- 瞰 +- 腌 +- 勲 +- 蕴 +- 韶 +- 뜻 +- 懿 +- 蕊 +- ቁ +- 黃 +- 陨 +- 鳌 +- 匕 +- 籽 +- 냄 +- 帶 +- 稠 +- 餓 +- 裾 +- 梧 +- ̇ +- ኬ +- Ḍ +- Я +- ় +- 닌 +- 荻 +- ਧ +- 烨 +- 瘸 +- 蜿 +- 齊 +- 團 +- 姻 +- ឡ +- 瞻 +- ฎ +- 捎 +- ሜ +- 嚇 +- ଙ +- 殉 +- ቼ +- 厥 +- ਫ +- ጎ +- 酗 +- 哔 +- 刨 +- 侨 +- 痹 +- 섭 +- 웬 +- 骡 +- 汝 +- 蜒 +- 桦 +- 嘣 +- 冶 +- 峙 +- 樽 +- 變 +- 湛 +- 雳 +- 呸 +- 數 +- 檀 +- 辍 +- 笋 +- ៀ +- 崭 +- 꿈 +- 藉 +- ຝ +- 悄 +- օ +- ଳ +- ಉ +- 롱 +- 쌓 +- ॅ +- 엽 +- 총 +- 寥 +- ՝ +- 롤 +- 沌 +- 允 +- 咄 +- 撂 +- ኋ +- 苇 +- 賣 +- 엄 +- 恙 +- 碾 +- 蜷 +- 닥 +- 觀 +- 겹 +- 茵 +- 蹑 +- 吝 +- 璇 +- ໋ +- ័ +- 墩 +- 猥 +- 널 +- 잤 +- 玷 +- 薫 +- 蹬 +- 弈 +- ፊ +- 俐 +- 頬 +- 秤 +- ଛ +- ၊ +- 쎄 +- 獅 +- 橫 +- ך +- 吏 +- 抨 +- 鯉 +- 腱 +- ඛ +- 缰 +- 秽 +- 렇 +- 锄 +- 呉 +- ሙ +- 찰 +- 苯 +- 람 +- 摁 +- 幣 +- 圍 +- 俏 +- 撵 +- Ś +- 혜 +- 炕 +- ଚ +- 猝 +- 쭉 +- 穏 +- 珂 +- ਭ +- 멋 +- 喳 +- 狡 +- 嘀 +- 韬 +- 瞭 +- 惺 +- ಖ +- 끌 +- 쌍 +- 讽 +- 缎 +- 庐 +- 拣 +- 槟 +- 侶 +- 嘆 +- 뻔 +- 單 +- 處 +- 殆 +- 噛 +- 庚 +- 뻐 +- 즐 +- 梓 +- 램 +- 빈 +- 雏 +- 諮 +- 嚏 +- 득 +- 蜥 +- 뿌 +- 鳩 +- 谕 +- 匮 +- 婊 +- 匙 +- 炬 +- 싱 +- 楓 +- 畸 +- 頓 +- ஒ +- 噪 +- 犁 +- 懊 +- 谚 +- 畴 +- < +- ቡ +- 讐 +- 鮭 +- 꿔 +- 隷 +- 梢 +- 鯛 +- 坷 +- 晟 +- 簸 +- 疵 +- 閲 +- 낸 +- 컨 +- 흥 +- 眸 +- 侏 +- 臺 +- '>' +- 짤 +- 胱 +- Γ +- 沁 +- 墳 +- 襄 +- 蛎 +- 빙 +- 矣 +- 湊 +- ಈ +- 믿 +- 잉 +- ෛ +- 蟑 +- 畠 +- 셋 +- 槿 +- 嬛 +- 狈 +- 羚 +- 隈 +- 泞 +- 荐 +- 吭 +- 剁 +- ٘ +- 炙 +- 蟆 +- 牽 +- 翡 +- 튀 +- ଁ +- ᱤ +- 嗷 +- 绮 +- 簇 +- 娱 +- 幌 +- 犊 +- 漓 +- ቴ +- 牟 +- 昕 +- 념 +- 诋 +- 俸 +- 翩 +- 钥 +- 淤 +- 玻 +- 绥 +- 칼 +- 澎 +- ٫ +- 攘 +- 溉 +- 瀚 +- 庵 +- ઘ +- 塀 +- 茧 +- 哆 +- 롯 +- 挿 +- 殡 +- 荃 +- 釉 +- 窯 +- 伶 +- 爺 +- 瞑 +- ڌ +- 厮 +- 汶 +- 풍 +- 팬 +- 兒 +- 絹 +- 薩 +- 祷 +- 慑 +- 憂 +- ฏ +- 嫉 +- 輩 +- 拯 +- 淇 +- 馋 +- ᱭ +- 啄 +- 猖 +- 絮 +- Δ +- 穗 +- 녹 +- 맡 +- 켓 +- Ē +- 辗 +- ఖ +- 嫣 +- Η +- ዊ +- 轉 +- 惮 +- 傀 +- 儡 +- 啬 +- 颓 +- 渭 +- 筐 +- ଉ +- ዱ +- 샤 +- ሸ +- ឺ +- 鞘 +- 驿 +- 푸 +- 桅 +- 浙 +- 俾 +- 叼 +- ቂ +- 愕 +- 聲 +- 넓 +- 赘 +- 蛊 +- 儲 +- 岖 +- 죄 +- È +- 蛍 +- 朦 +- ዕ +- 貂 +- 뀌 +- 폭 +- 權 +- 渉 +- 跺 +- 酝 +- ጭ +- 焙 +- 渇 +- 筱 +- ඝ +- 撸 +- 洼 +- 脐 +- 曖 +- 옮 +- ኳ +- 翟 +- 쟁 +- 蘸 +- 稔 +- 紳 +- 喱 +- 蚤 +- 雹 +- 鞅 +- 鲤 +- ☆ +- 妬 +- 蹈 +- 捋 +- 矜 +- ђ +- 털 +- 潼 +- ኒ +- ዶ +- 袒 +- 멘 +- 閑 +- 陌 +- অ +- 玺 +- 羁 +- 卤 +- 渝 +- 戎 +- ෆ +- ჟ +- 坍 +- 邑 +- 昵 +- 忒 +- 砌 +- 磋 +- 汲 +- 웨 +- 젤 +- 珈 +- 綻 +- 镰 +- 暁 +- 敖 +- 槌 +- 踱 +- 堺 +- ᱮ +- 摞 +- ቹ +- 钳 +- 倶 +- 诛 +- 寐 +- 邹 +- 缭 +- 솔 +- 撲 +- 醍 +- 樓 +- ः +- 胧 +- 讪 +- 醐 +- ݨ +- ඨ +- 蜴 +- 毗 +- 虞 +- 떼 +- 롭 +- 聯 +- 钠 +- 峯 +- 璋 +- 賓 +- 淵 +- ～ +- 蜚 +- ޚ +- 湃 +- ̍ +- ಫ +- 亢 +- 腑 +- 숨 +- ౌ +- 枷 +- 檜 +- 谬 +- 岑 +- 袄 +- 铀 +- Ì +- 鲑 +- \ +- 杵 +- 韭 +- 콜 +- 烹 +- ඬ +- ኸ +- ਥ +- 킬 +- ඥ +- 熨 +- 擂 +- 赡 +- 滿 +- ሷ +- 摯 +- 诠 +- 匡 +- 谟 +- 瞩 +- 腓 +- 黯 +- ڼ +- 帚 +- 뿐 +- 엑 +- 흐 +- ଂ +- 顷 +- ឆ +- 潦 +- 탔 +- ኘ +- 앙 +- 箔 +- 똑 +- 匾 +- 징 +- ሴ +- ጃ +- 邝 +- 딜 +- ဉ +- 漪 +- 胁 +- 羲 +- 耙 +- 馀 +- 訊 +- 氪 +- 瘠 +- ١ +- 닝 +- 젊 +- 흔 +- 邉 +- 骤 +- 슨 +- 骰 +- 滇 +- 繕 +- 辦 +- ஃ +- 抉 +- 渍 +- 彝 +- 曰 +- 顎 +- 랩 +- 슈 +- 씻 +- 냉 +- 율 +- 縣 +- 询 +- 럴 +- Մ +- 亥 +- 樟 +- 樫 +- 畫 +- 홀 +- 尧 +- 骄 +- 饷 +- 걘 +- 얻 +- 浊 +- 령 +- 씀 +- ぅ +- 鐵 +- 蔗 +- 遼 +- 谛 +- 杭 +- 毋 +- ၀ +- 땡 +- ሠ +- 憤 +- 涟 +- 芜 +- 鸳 +- 콩 +- 椿 +- 怦 +- 鸯 +- ઝ +- ၎ +- ऐ +- 擬 +- 酯 +- 灘 +- 钮 +- 痢 +- 醫 +- 餸 +- 꽃 +- 凱 +- 忡 +- 酎 +- 냥 +- 吮 +- 弩 +- 續 +- 荔 +- 狳 +- 產 +- ጆ +- 犰 +- 骇 +- ଖ +- 噼 +- 紡 +- 줌 +- 짱 +- 趕 +- 峨 +- 컬 +- 粑 +- 攸 +- ŋ +- 嗱 +- ኤ +- 槙 +- Ҫ +- ዓ +- 몬 +- 拗 +- 營 +- 帥 +- 曙 +- ጫ +- 锻 +- 浚 +- 幂 +- 俑 +- 笃 +- 鬱 +- 廿 +- 祺 +- 夠 +- 杞 +- 钾 +- ݙ +- 舷 +- 購 +- 瘀 +- 萃 +- 蜓 +- 즌 +- 筏 +- 涤 +- 曳 +- ฆ +- 랄 +- 蒼 +- 忑 +- ៍ +- 胭 +- ቲ +- ቷ +- 嬷 +- 釧 +- 鳗 +- 忐 +- 鼹 +- 緻 +- 轼 +- 벤 +- 傳 +- 悸 +- 렀 +- 訣 +- 暉 +- 锌 +- 哧 +- 娲 +- 禹 +- 窘 +- 蜻 +- Ł +- 嚓 +- 눠 +- 덴 +- 똥 +- 춤 +- 唄 +- 諾 +- 楔 +- 薗 +- 錮 +- 楷 +- 遡 +- ڀ +- 폴 +- 鱿 +- 嗝 +- 델 +- ഈ +- 뚫 +- 켰 +- 柑 +- 啡 +- 漕 +- 凪 +- 蹋 +- ഏ +- ─ +- 煩 +- 객 +- 專 +- 篝 +- Ż +- 깊 +- 댓 +- 웹 +- ੜ +- 迢 +- 钰 +- 芊 +- 薰 +- ੌ +- ᱢ +- 孜 +- Ķ +- 渤 +- 绯 +- 碇 +- 諏 +- Ĵ +- 帷 +- 涸 +- 蟋 +- 芮 +- 邋 +- 懇 +- 擎 +- 馍 +- 掖 +- 鯨 +- ዩ +- 燒 +- 钵 +- ૃ +- 瞌 +- ഖ +- 沽 +- 蟀 +- ќ +- 锂 +- 荚 +- 鼬 +- 덟 +- 딘 +- 쌀 +- 蟒 +- 嫦 +- 藝 +- 姊 +- 률 +- ఐ +- 漉 +- 誕 +- 寫 +- 憬 +- 萦 +- 균 +- 낀 +- 압 +- 옥 +- 卉 +- 焰 +- 偎 +- 殃 +- 肛 +- 噔 +- 鹭 +- ٺ +- 壺 +- 蝦 +- 멍 +- 윤 +- 컵 +- 픽 +- Ê +- 榊 +- 總 +- 灏 +- 噺 +- 紺 +- 捨 +- 厕 +- 盪 +- 脯 +- 驹 +- ᱜ +- 崴 +- 榛 +- 邯 +- 鬟 +- Հ +- ऱ +- 섬 +- 왠 +- 竺 +- 勅 +- 栾 +- 譬 +- 琛 +- 蕃 +- 홉 +- 骁 +- 栩 +- 攥 +- 俪 +- 刽 +- 笙 +- 遢 +- 삶 +- 걷 +- 눌 +- Š +- 菁 +- 輕 +- 妳 +- 汾 +- 磺 +- 醺 +- ሶ +- ፕ +- ᱚ +- 댄 +- 셀 +- 템 +- 憨 +- 錬 +- 喙 +- 氦 +- 땅 +- 릉 +- 肽 +- 颯 +- 黔 +- 锵 +- 릿 +- 밍 +- 绛 +- ヂ +- 嫖 +- 炜 +- 瘪 +- 臊 +- 벗 +- 봄 +- 쟤 +- 폐 +- 蒿 +- 엘 +- 詣 +- 羨 +- 캠 +- 孰 +- 铬 +- 恺 +- 恢 +- 佰 +- 蚱 +- 渥 +- 纂 +- 纶 +- 벅 +- 叡 +- 捶 +- 綺 +- 眾 +- 憧 +- ऑ +- ڄ +- 昴 +- 誹 +- 謗 +- 棣 +- 汕 +- 沏 +- ᱫ +- 빛 +- 馁 +- 鵜 +- 涮 +- ঈ +- ଼ +- 앤 +- 玟 +- 芷 +- 妒 +- 柊 +- 琊 +- 竣 +- 斟 +- 騙 +- Έ +- ዮ +- 瀧 +- 艮 +- ဗ +- 糙 +- 闵 +- ጓ +- 腳 +- 蜕 +- 韻 +- 뮤 +- ඵ +- 낭 +- 룸 +- 蝗 +- 蹂 +- ਏ +- 腮 +- 럭 +- 쁠 +- ඡ +- 诧 +- 镁 +- 鄉 +- 鍾 +- 窿 +- 蚪 +- 蝌 +- 疡 +- ዴ +- 砥 +- 뷰 +- 엉 +- 皙 +- 撅 +- 犟 +- 娯 +- 掴 +- 둥 +- 헐 +- 혈 +- 砺 +- ਯ +- 麹 +- ฬ +- 籔 +- 럼 +- 捻 +- 벨 +- 홈 +- 嫡 +- 睛 +- ぢ +- 遷 +- 伎 +- ᱾ +- 哽 +- ឈ +- 堰 +- 磡 +- 焱 +- 翎 +- 矗 +- 翊 +- Ν +- ೃ +- ၁ +- 腋 +- 舊 +- 豬 +- 꼐 +- 썰 +- 펜 +- 坞 +- ஏ +- 糯 +- ޞ +- 倣 +- 凋 +- 엠 +- 헌 +- 흘 +- 諜 +- ヅ +- 頸 +- ሂ +- ፎ +- 꼼 +- 둔 +- 삭 +- ♫ +- 貓 +- 踵 +- 惋 +- 價 +- 歡 +- 昱 +- 浣 +- 讹 +- 喆 +- 擔 +- ף +- 龛 +- 艶 +- 苣 +- 涓 +- 躏 +- 窪 +- 屹 +- 恬 +- 裘 +- 糗 +- 绚 +- 錄 +- 霓 +- 噱 +- 껄 +- 槍 +- 蹩 +- '~' +- 孢 +- 춘 +- 힐 +- 햄 +- 夯 +- 潟 +- 漾 +- 偃 +- 咣 +- 癞 +- 訃 +- 딨 +- Ն +- 찜 +- 촬 +- 춥 +- 罠 +- 麸 +- 獭 +- 镳 +- 铠 +- ጡ +- 吒 +- 삐 +- 잃 +- 찐 +- 틱 +- 핀 +- 皐 +- 闺 +- 榎 +- 娼 +- ୂ +- ឋ +- 阂 +- 몽 +- Ļ +- Ս +- ృ +- 詫 +- 铎 +- 僅 +- 菓 +- ៏ +- 卯 +- 噎 +- 榕 +- 馄 +- 樵 +- 랙 +- ᱛ +- 괴 +- 낳 +- 힌 +- 疱 +- 舜 +- 祛 +- 箍 +- 劉 +- 枸 +- 盹 +- 觑 +- ൃ +- 戯 +- 驗 +- 례 +- 핫 +- Җ +- Қ +- 醛 +- 嘩 +- 慵 +- 섞 +- 큐 +- 팩 +- ઠ +- ឌ +- 圖 +- 藕 +- 蚓 +- 呑 +- 喩 +- 곧 +- 닫 +- 밝 +- 앨 +- 毡 +- 跛 +- 秧 +- 嗮 +- 褛 +- 讷 +- 툰 +- '@' +- 虱 +- 蟾 +- 壱 +- 晖 +- 碜 +- 嫔 +- Ă +- Ģ +- ٢ +- 鋳 +- 협 +- 颚 +- 踮 +- 酰 +- 鳟 +- 禍 +- 阜 +- 挛 +- 箕 +- ᱧ +- 腩 +- 꽂 +- 쏘 +- 탑 +- 碘 +- 잖 +- 彷 +- 鸠 +- 缇 +- 绢 +- ฑ +- 猕 +- 밴 +- 퀴 +- 戟 +- 巳 +- 隕 +- 啤 +- 擢 +- 睽 +- 辘 +- 痉 +- ፖ +- 熠 +- 鞑 +- 饨 +- ሐ +- 褴 +- 阈 +- 묻 +- 烏 +- 酚 +- 惣 +- ຣ +- 阑 +- 犒 +- 碉 +- 龈 +- 靼 +- ਘ +- 蛰 +- 阙 +- 놈 +- 땠 +- 鬃 +- 또 +- 哝 +- Ồ +- 낄 +- 싹 +- 첨 +- 蔻 +- 鑼 +- 毀 +- 痣 +- 釘 +- 偕 +- 湍 +- 燎 +- 钗 +- 咫 +- 덩 +- 箋 +- 罹 +- 孚 +- 宓 +- ඤ +- ቋ +- 燈 +- 왼 +- 꿨 +- 흰 +- ၍ +- 庾 +- 盡 +- 躇 +- 鎧 +- 幢 +- 浒 +- 胤 +- 荤 +- 鼾 +- 孀 +- 蹿 +- 裝 +- 獾 +- 皖 +- 蛀 +- 蚯 +- 颐 +- 좌 +- 棲 +- ^ +- 獗 +- 睑 +- 苞 +- 鳕 +- 腦 +- 뒷 +- Ј +- 楞 +- ଠ +- ኞ +- ዞ +- 납 +- 떴 +- 쩍 +- 斷 +- 憶 +- 泸 +- 勸 +- 铰 +- 洱 +- 緯 +- 겸 +- ૌ +- 粽 +- 咤 +- 宕 +- 쿨 +- ֆ +- ڃ +- ‟ +- 鞦 +- 빤 +- 뼈 +- 슴 +- 엇 +- 칸 +- 莘 +- 挝 +- 韆 +- 夭 +- 腆 +- Β +- 뚱 +- 칭 +- 閃 +- 蜍 +- 謹 +- 迄 +- 坯 +- 傣 +- 谏 +- 祯 +- 羯 +- 鹑 +- ሃ +- Բ +- ഓ +- 寶 +- 戲 +- 轧 +- 拮 +- 椛 +- 佃 +- 蠣 +- 礎 +- 囧 +- 丕 +- 摒 +- 榻 +- ヱ +- 扈 +- 薙 +- 렁 +- ‧ +- 啷 +- 舉 +- 侬 +- 邃 +- 垛 +- 怔 +- 闰 +- ፓ +- 혔 +- ⁄ +- 氰 +- 끗 +- 덮 +- 證 +- 虻 +- 俚 +- 壑 +- 瞿 +- 藥 +- 衩 +- ѳ +- 喎 +- 醜 +- 갠 +- 뒀 +- 멜 +- 컸 +- 핸 +- 뚝 +- 晌 +- අ +- ೌ +- 扪 +- '|' +- 荨 +- 깎 +- 짬 +- 雙 +- 髅 +- 圃 +- 蓟 +- 鹫 +- 榮 +- 绫 +- 藐 +- 贻 +- ኢ +- 亂 +- 禮 +- 賜 +- 샵 +- 측 +- ฒ +- 胥 +- 骷 +- 앴 +- 褂 +- 較 +- 恃 +- 垦 +- 麝 +- 诲 +- 뜬 +- 갚 +- 턱 +- ፅ +- 媲 +- 馏 +- 駕 +- 톤 +- 닮 +- 壽 +- 剽 +- 篓 +- 馊 +- 鹂 +- 圓 +- 壹 +- 잊 +- Ե +- ٩ +- 亘 +- 缽 +- 翱 +- 貪 +- 얀 +- 펴 +- ঔ +- 罂 +- 鳖 +- 黝 +- 汞 +- 痺 +- 佯 +- 稷 +- 恪 +- 彌 +- 砦 +- ጪ +- 爭 +- 찔 +- 痞 +- 喰 +- 狒 +- 戬 +- 簪 +- 憑 +- ‒ +- 嗌 +- 嗤 +- 囉 +- 諒 +- 뚜 +- 팡 +- 罵 +- 楊 +- 噶 +- 凜 +- ≪ +- 〜 +- 匐 +- 芈 +- 鹌 +- 诃 +- 鳃 +- 】 +- 涎 +- 腼 +- Є +- ጤ +- 泷 +- 漸 +- 蚌 +- 끈 +- 땀 +- 띠 +- 爾 +- 脓 +- 髋 +- ૈ +- 廳 +- 虔 +- 缜 +- 楢 +- 褥 +- 暄 +- 禺 +- 怅 +- ፒ +- 阉 +- 끓 +- 렉 +- 벼 +- 뽀 +- 틴 +- 팠 +- Ӹ +- 褚 +- 啜 +- 雖 +- ୱ +- 【 +- 槲 +- ଫ +- 雉 +- 馥 +- 烊 +- ୃ +- 摹 +- 羟 +- 騨 +- 琢 +- 钊 +- ൺ +- ٥ +- ඈ +- 꼴 +- 댔 +- 豐 +- 廻 +- 沂 +- 啾 +- 埼 +- 徨 +- 剐 +- 唏 +- 轲 +- 牒 +- ဏ +- 븐 +- 샘 +- 據 +- 峪 +- 錫 +- 밖 +- 漳 +- 炅 +- 荼 +- ၂ +- 玖 +- 絢 +- 镍 +- 沓 +- 뺐 +- 칙 +- 桝 +- 啕 +- 紐 +- 讀 +- 凰 +- 麥 +- 吆 +- 淞 +- 瓮 +- 耦 +- 佘 +- 喋 +- 孺 +- 螨 +- ៈ +- 苫 +- 闩 +- Θ +- 醬 +- 뷔 +- 篆 +- 鉾 +- 蔬 +- 桔 +- 锢 +- 讣 +- 辕 +- 鸵 +- 꽁 +- Ԑ +- 赈 +- 遁 +- 隨 +- 掸 +- 暨 +- 陇 +- 宦 +- 戛 +- 睬 +- ፡ +- 嘚 +- 歲 +- 汛 +- 렛 +- 씹 +- 잇 +- 嚴 +- 檢 +- 흑 +- 麋 +- 佼 +- 랫 +- 鮎 +- 脖 +- 歷 +- 勞 +- 楂 +- 蚂 +- Կ +- 兀 +- ሏ +- 舛 +- 녕 +- 뇌 +- 릇 +- 짠 +- 힙 +- 冴 +- 蕎 +- 崗 +- 膿 +- 侮 +- 茛 +- 攪 +- 逅 +- 匍 +- 邂 +- 瘁 +- Ի +- ڇ +- ឃ +- △ +- ঋ +- ਝ +- 曬 +- 멈 +- 묵 +- 컷 +- 혁 +- 휘 +- 깃 +- 椋 +- ヵ +- 潺 +- 螳 +- 鳅 +- ಘ +- ဇ +- 迸 +- 拄 +- 浃 +- 钛 +- 낚 +- 얇 +- 헷 +- 흡 +- ਛ +- 搀 +- 렴 +- 黜 +- 闆 +- 惬 +- 帛 +- 戰 +- ৷ +- ଘ +- € +- 蜢 +- 鲈 +- 遐 +- 뽕 +- 캡 +- 砧 +- 碼 +- 邨 +- ឱ +- 溥 +- 咿 +- 锹 +- 砚 +- 熹 +- Ả +- ‚ +- 珺 +- 紬 +- Ẹ +- 凧 +- 戊 +- 곰 +- 畢 +- 鱗 +- 苹 +- 笞 +- 箫 +- Դ +- 瀕 +- Ū +- ፉ +- 谩 +- 겉 +- 쭈 +- 탐 +- Ό +- 廟 +- 怆 +- 絕 +- 꽉 +- 鬣 +- 塵 +- 羡 +- Λ +- 댕 +- 뜯 +- ጽ +- 稱 +- 覗 +- 꾼 +- 劃 +- 卻 +- 栞 +- 雛 +- 跆 +- 抿 +- 잘 +- 啧 +- 俨 +- 汴 +- 賽 +- 叟 +- Ҙ +- ଓ +- 渾 +- 糾 +- 긁 +- "\x93" +- Ġ +- ǹ +- ٰ +- ឿ +- 泯 +- 泾 +- 묘 +- 쪘 +- 쫓 +- 婧 +- 籁 +- 淄 +- 痨 +- 弑 +- 忱 +- 淨 +- 縞 +- 酣 +- 繼 +- Ι +- ѓ +- ଞ +- 壞 +- 겪 +- 烽 +- 묶 +- 썹 +- 풋 +- 宍 +- 苷 +- 靜 +- 羌 +- 矯 +- Χ +- 啮 +- 胯 +- 賺 +- 吖 +- 냅 +- 붕 +- 쉴 +- ૉ +- 獨 +- 덤 +- 詮 +- 臃 +- 焖 +- 獒 +- 紹 +- 諗 +- 岱 +- 璨 +- 讃 +- 둬 +- 璧 +- 痔 +- 冽 +- 舀 +- 弼 +- 徇 +- 綠 +- 繭 +- 镣 +- 驮 +- ऋ +- 搡 +- 搪 +- 砷 +- 닷 +- 닿 +- 땄 +- 욱 +- 웅 +- 찝 +- ဦ +- 噗 +- 醚 +- 谑 +- 紘 +- 炷 +- 枭 +- 罔 +- 蚣 +- 颌 +- 璞 +- 닦 +- ĺ +- ሕ +- 馴 +- 긋 +- 랍 +- 咨 +- 粱 +- ໆ +- 蛭 +- 骋 +- 囡 +- ץ +- 劵 +- 濟 +- 纣 +- 荟 +- 蛟 +- 뀐 +- 밟 +- Պ +- 膠 +- ៗ +- ൗ +- 狛 +- 琰 +- 畝 +- 觐 +- 擀 +- 蒔 +- 蚜 +- 귄 +- 빅 +- 쫄 +- 촉 +- 螈 +- 蚝 +- 郸 +- 飴 +- 鸞 +- 娓 +- 皎 +- 眈 +- 捺 +- 砒 +- 糞 +- 茱 +- 裆 +- 갤 +- 뺏 +- 쭐 +- 쿄 +- 팟 +- 赝 +- 犸 +- 蜊 +- 惆 +- 瘴 +- 笆 +- 讥 +- 钨 +- 驷 +- 宸 +- 戾 +- 賑 +- ڍ +- ሯ +- ጦ +- 랭 +- 룩 +- 뺄 +- 샐 +- 숫 +- 팝 +- Ո +- 桟 +- 罄 +- 槃 +- 捗 +- 轱 +- 濕 +- 谙 +- ሦ +- 榔 +- 溫 +- 璀 +- 诣 +- 늙 +- 썩 +- 쫙 +- 톱 +- 爛 +- 铂 +- 奧 +- 鹈 +- 赳 +- 膵 +- 渚 +- 缈 +- 耘 +- 唰 +- 綴 +- 豺 +- 龊 +- 龌 +- ٣ +- ඌ +- 犷 +- 葆 +- 颞 +- 馳 +- 릎 +- 숭 +- 쌩 +- 썸 +- 祇 +- 險 +- 蝓 +- 鴻 +- 熾 +- 蛞 +- 沱 +- 潍 +- 堇 +- ਐ +- 尬 +- 粕 +- 辄 +- 껍 +- 넨 +- 룹 +- 샌 +- 쌌 +- 좁 +- 핵 +- Գ +- 榉 +- 臥 +- 鹕 +- 蟻 +- 咝 +- 缥 +- ∞ +- 刍 +- 惘 +- 牦 +- 絲 +- ጁ +- 屬 +- 讧 +- 돋 +- 맙 +- ౦ +- ᱞ +- 啟 +- 뺀 +- 埗 +- 悶 +- 毂 +- 贋 +- 顆 +- 鲟 +- 孬 +- 昙 +- 薮 +- 壓 +- 狀 +- 缤 +- 藜 +- 鹽 +- 麩 +- 갓 +- 멤 +- 믹 +- 뱅 +- 붓 +- 윗 +- 쩐 +- 췄 +- 斓 +- 莴 +- 펙 +- ヲ +- 釋 +- 袅 +- 躊 +- 阚 +- 囔 +- 铆 +- Ț +- ሑ +- ጌ +- 兎 +- 戍 +- 涝 +- 诟 +- 铿 +- 쨌 +- 쩨 +- Ĥ +- Ӧ +- ፀ +- 冑 +- 廠 +- 앱 +- 秆 +- 糠 +- 鮫 +- 桧 +- 垩 +- 耷 +- 镐 +- 엊 +- 夙 +- 宥 +- 濠 +- 繍 +- ઢ +- 佗 +- 戶 +- 皑 +- 蝾 +- 쫍 +- 莆 +- 饉 +- 懷 +- එ +- 啁 +- 赊 +- 鸪 +- 挞 +- 鹧 +- ඓ +- 蔫 +- 뜩 +- 띄 +- 략 +- 뤄 +- 맵 +- 폼 +- 甬 +- 烩 +- 碴 +- 钍 +- 掇 +- 閒 +- 奘 +- 羿 +- 趙 +- Ō +- Ά +- ഘ +- ၉ +- ቪ +- 弋 +- 斡 +- 衲 +- 辿 +- 쥐 +- 쪄 +- 珞 +- 瓯 +- 壬 +- 鬧 +- 忖 +- ¥ +- ဓ +- 肓 +- 薅 +- 靈 +- 靛 +- ఘ +- ಏ +- 轭 +- 윙 +- ÿ +- 亟 +- 呲 +- 咻 +- 硒 +- 絨 +- 魯 +- 껌 +- 덥 +- 듬 +- 빽 +- 飒 +- 迥 +- Վ +- 彙 +- 즘 +- ϊ +- 蜈 +- 嗲 +- 觎 +- 轟 +- 귤 +- 낯 +- 쌈 +- 찢 +- 쾌 +- 팍 +- ဥ +- 揄 +- 煦 +- 熵 +- 淺 +- 玫 +- 哐 +- 藪 +- Ñ +- Φ +- Ԥ +- ٤ +- 埠 +- 拈 +- 炯 +- 굽 +- 뻤 +- 뿔 +- 셜 +- Į +- Թ +- 珏 +- 疽 +- 缨 +- 揶 +- 囃 +- 梱 +- 餡 +- 鰹 +- 燻 +- Ħ +- 撥 +- 爻 +- 脫 +- 雫 +- 霁 +- ኙ +- 擇 +- 踌 +- 鬓 +- 겐 +- 쩡 +- 텀 +- 텍 +- ਓ +- 뭉 +- 햇 +- 鯖 +- 髭 +- 傭 +- 蛐 +- 鰻 +- 遜 +- ഠ +- › +- 怄 +- 裟 +- 啩 +- 恣 +- 斛 +- 檻 +- 谔 +- 踞 +- 닉 +- 맹 +- 잼 +- 詐 +- 櫃 +- 浏 +- 綬 +- 攫 +- 冢 +- 綜 +- 芃 +- 歆 +- 殇 +- 鄭 +- 鲱 +- 黨 +- ፃ +- ᱨ +- Ụ +- ‹ +- 滓 +- 濤 +- 갱 +- 앗 +- 쵸 +- 캔 +- 抡 +- 輿 +- 擊 +- 苓 +- 歎 +- 幔 +- 愫 +- 萼 +- 檸 +- 嵇 +- 薏 +- 蘿 +- Ӓ +- ፌ +- 딪 +- Ք +- ሔ +- 憐 +- 洸 +- 燧 +- 珩 +- 껏 +- 셉 +- 즉 +- 펌 +- 珐 +- 瘙 +- 粵 +- 膽 +- 荏 +- 镊 +- 劾 +- 妲 +- 缮 +- 靚 +- 鳏 +- Ţ +- ఠ +- ቄ +- 昀 +- 椀 +- 袤 +- 遽 +- 흠 +- Џ +- 仃 +- 婵 +- 诩 +- 鍼 +- 쉐 +- 탱 +- 奚 +- 饯 +- 桢 +- 樺 +- 锭 +- 蚬 +- 跻 +- ޠ +- 膺 +- ԑ +- ޏ +- ဤ +- 哂 +- 攰 +- 葦 +- 錐 +- "\x94" +- ỵ +- 靭 +- 뺑 +- 엥 +- 탠 +- 帼 +- 〇 +- 姪 +- 晰 +- 摺 +- ឬ +- 恻 +- 惡 +- 蹉 +- à +- ၅ +- 궈 +- 멸 +- 빴 +- 쇠 +- 푼 +- Տ +- 巌 +- 掳 +- 撚 +- 膈 +- 蛹 +- 胛 +- 舫 +- 缚 +- 舐 +- 鲫 +- 荞 +- 豉 +- 叻 +- 骛 +- 龋 +- 糜 +- 둑 +- 뢰 +- 륵 +- 얹 +- 煉 +- 痤 +- 蝽 +- 煨 +- 膦 +- 嚿 +- 蛆 +- 蟲 +- 钴 +- 顯 +- '}' +- ᱴ +- 歸 +- 湄 +- Ő +- Լ +- Ռ +- ٦ +- 銷 +- 깥 +- 뱃 +- 嶙 +- 鄱 +- 錣 +- 烃 +- 謁 +- 炀 +- 潢 +- 煜 +- 娑 +- 痿 +- ၆ +- ቨ +- 跎 +- 꼽 +- 댁 +- 밭 +- 섹 +- 숏 +- 쎈 +- 쥬 +- 츄 +- 칵 +- 콤 +- ૅ +- 瑰 +- 襷 +- 楕 +- 瞠 +- 酉 +- 鹬 +- 叵 +- 婕 +- 庖 +- 觊 +- 謂 +- 闊 +- ٨ +- 偌 +- 挎 +- 锏 +- 룰 +- 뭣 +- 봇 +- 빔 +- 융 +- 찼 +- 퉁 +- 헛 +- 汎 +- 蟠 +- ゞ +- 箏 +- 峋 +- 堑 +- 痍 +- 纥 +- 勵 +- 粼 +- 钚 +- 퀄 +- ᱥ +- 窩 +- 螯 +- 髻 +- 鱲 +- ′ +- 巽 +- 谄 +- 꼰 +- 뇨 +- 뜰 +- 볍 +- 빚 +- 툭 +- 펑 +- ਊ +- 涣 +- 淬 +- 稅 +- 魇 +- 姣 +- 疣 +- 胫 +- 酊 +- 檗 +- 猾 +- 跄 +- 踉 +- 瓒 +- 骊 +- 鬆 +- ґ +- 咦 +- 肱 +- 臉 +- 鞄 +- 넉 +- 빗 +- 뻥 +- 얄 +- 엎 +- 칩 +- 훔 +- Ə +- ઊ +- 泱 +- 狞 +- 윈 +- 欽 +- 涧 +- 匝 +- 籌 +- 鲶 +- 嘗 +- 鰂 +- 鹩 +- 濮 +- 姦 +- 恿 +- 袈 +- £ +- 撐 +- 曉 +- 聰 +- 蔥 +- 郴 +- ʿ +- ໌ +- ၈ +- ጄ +- ឥ +- 戌 +- 蕙 +- 蠻 +- 贮 +- 铵 +- 깄 +- 앵 +- 혐 +- 檎 +- 緋 +- 桉 +- 骞 +- 坳 +- 箴 +- 桀 +- 鏑 +- 瀛 +- 礴 +- 芪 +- ঊ +- 倖 +- 谵 +- '{' +- Þ +- ၄ +- 喹 +- 燔 +- 芍 +- 詢 +- 遙 +- 깡 +- 뀔 +- 넥 +- 젝 +- 핏 +- 횟 +- Օ +- ઞ +- 洩 +- 颧 +- 燭 +- 뭐 +- ঞ +- 繰 +- 呷 +- 鲻 +- ங +- 鳝 +- 鹪 +- 偻 +- 珥 +- 铡 +- ಞ +- 戀 +- 狰 +- 璜 +- 纭 +- 蝈 +- ሟ +- ‽ +- 敝 +- 砝 +- 삿 +- 샷 +- 쏠 +- 쿼 +- 揸 +- 锰 +- 掟 +- 葭 +- 鸚 +- 謳 +- 罷 +- 湮 +- 蜃 +- Œ +- ಠ +- 诙 +- ਠ +- ಐ +- 厭 +- 咛 +- 掻 +- 揿 +- 纏 +- 荀 +- 菏 +- 蓦 +- 袂 +- 镫 +- 뱀 +- 뱉 +- 짰 +- 嘔 +- 歐 +- 礒 +- 葡 +- 鋸 +- 匯 +- 滉 +- 倹 +- ៌ +- 擺 +- 痱 +- 篑 +- 遲 +- 鹳 +- 嬴 +- 惴 +- 鰺 +- ၃ +- 彈 +- 滟 +- 簾 +- 苋 +- ٧ +- ਢ +- ၌ +- ★ +- ゑ +- 窈 +- 葺 +- 谪 +- 랗 +- 맣 +- 틈 +- 耆 +- 苅 +- 铉 +- 鹋 +- 妩 +- 塹 +- 牆 +- 獐 +- Չ +- ଵ +- 怵 +- 獻 +- 硌 +- 磴 +- ୌ +- 绌 +- 굿 +- 껀 +- 띵 +- 뻘 +- 슐 +- 쩜 +- 툴 +- 椽 +- 濂 +- 焗 +- 裱 +- 챔 +- 穩 +- 茗 +- 橿 +- 镑 +- 脷 +- 錆 +- 寰 +- 阡 +- 忻 +- 矾 +- 镭 +- 骜 +- 駛 +- 詔 +- 냬 +- 뉘 +- 듀 +- 횡 +- ȋ +- ቧ +- ᱷ +- 厲 +- 屐 +- 徵 +- 谗 +- 貰 +- 렬 +- 쿵 +- 唸 +- 嚥 +- 塙 +- 澪 +- 櫓 +- 燦 +- అ +- І +- 噚 +- 榷 +- 孪 +- 揀 +- 擞 +- 纜 +- Ø +- Ρ +- ⠀ +- 伢 +- 缄 +- 翳 +- 蛳 +- 諫 +- 谥 +- 賦 +- 雜 +- 鮑 +- Ζ +- Ї +- Ֆ +- ٪ +- 丟 +- 獎 +- 秸 +- 郦 +- 隱 +- 깼 +- 므 +- 팽 +- 푹 +- 仄 +- 廈 +- 杳 +- 涞 +- 淅 +- 袴 +- 繳 +- 撫 +- 嘤 +- 笺 +- 髮 +- 穣 +- 纾 +- 鲭 +- ኃ +- 垠 +- 牠 +- 睨 +- ၇ +- ጻ +- 佞 +- 櫛 +- 虛 +- 鲷 +- 갇 +- 똘 +- 쇄 +- 쑥 +- 젖 +- 탭 +- 훌 +- 淚 +- 贏 +- 镂 +- 阖 +- 夥 +- 滲 +- 簽 +- 菰 +- 鹹 +- 绗 +- 牝 +- 霏 +- 逵 +- 鹜 +- 鸸 +- 噏 +- 忤 +- 瞓 +- 啖 +- Ω +- ՛ +- ޟ +- ሹ +- ᱵ +- 殼 +- 礫 +- 簌 +- 蛔 +- 蛯 +- 铤 +- 곽 +- 귈 +- 됩 +- 벳 +- 숱 +- 숲 +- 첩 +- 탓 +- 틸 +- 펼 +- Ҷ +- ጸ +- 鋪 +- 쁨 +- 饽 +- 忿 +- 濾 +- 畿 +- 澁 +- 穢 +- 矶 +- 绉 +- 嚢 +- 犄 +- 筵 +- 茴 +- 莅 +- Ջ +- ଢ +- 嗔 +- 诓 +- 隍 +- 셰 +- ŕ +- ఛ +- 悌 +- 槇 +- 蘋 +- 鵝 +- 녜 +- 맻 +- 벙 +- 섰 +- 썬 +- 쏟 +- 퀘 +- 흉 +- Ď +- Ь +- 寵 +- 廢 +- 祓 +- 麽 +- 蹼 +- 鋒 +- 槭 +- 懋 +- 窕 +- ̂ +- 嵜 +- 掣 +- 灞 +- 襯 +- 邈 +- 锱 +- 魷 +- Շ +- ޘ +- ቫ +- 峽 +- 碓 +- 謠 +- 遴 +- 颦 +- 멕 +- 킥 +- ዥ +- ឧ +- 叢 +- 鍮 +- 黐 +- 갸 +- 뎅 +- 옵 +- 훠 +- 覽 +- 暹 +- 甾 +- 疸 +- 鴎 +- 缛 +- 烁 +- 猁 +- 猞 +- ឯ +- 佝 +- 欖 +- 瀝 +- 罡 +- 萸 +- 藿 +- ̄ +- 咂 +- 螢 +- 铢 +- 頚 +- 饗 +- 鸢 +- ઑ +- Ừ +- 嗬 +- 嘥 +- 嚕 +- 爲 +- 纨 +- 겟 +- 굔 +- 냠 +- 콕 +- 텝 +- 훅 +- Ң +- 悻 +- 潛 +- 苺 +- 藁 +- 鶯 +- 黍 +- 넛 +- 濫 +- 鄰 +- 蠅 +- 襖 +- 枇 +- 盧 +- 廚 +- 褓 +- 賤 +- 幄 +- 栀 +- 盃 +- 鑊 +- 珅 +- 绾 +- 蔦 +- 遨 +- Ҩ +- ۂ +- 嬲 +- 繫 +- 膊 +- 룬 +- 맺 +- 옴 +- 쭤 +- 팁 +- 폈 +- 瑪 +- 癸 +- 삽 +- 첼 +- 锑 +- 龜 +- 嵯 +- 氚 +- 蓼 +- ຼ +- 珪 +- 揖 +- 瑚 +- 膻 +- 霎 +- 飕 +- Ή +- Խ +- 峦 +- 廁 +- 蘆 +- 衢 +- 蹟 +- 锉 +- ሼ +- 啵 +- 恆 +- 焯 +- 诿 +- 깅 +- 뛸 +- 륨 +- 밸 +- 쉰 +- 텅 +- 壯 +- 夾 +- 峒 +- 蝋 +- 餘 +- 勁 +- 哏 +- 檄 +- 赭 +- 毓 +- 燗 +- 鮨 +- 榭 +- 啶 +- 梆 +- 嵘 +- 轢 +- 嗟 +- ጮ +- 嬰 +- 捱 +- 蹶 +- 꺾 +- 텨 +- Ӑ +- ኗ +- ዤ +- ዷ +- ፤ +- 冚 +- 搖 +- 楣 +- 浔 +- 瞟 +- 诨 +- 骥 +- 닙 +- 젓 +- 펐 +- 繞 +- 鹸 +- 瀞 +- 燮 +- 苜 +- 湎 +- 靱 +- 閻 +- 杷 +- 臧 +- 噻 +- 囫 +- 溴 +- 阄 +- Ҵ +- 簑 +- 薔 +- 蠔 +- 頁 +- ፐ +- 〔 +- 檔 +- 閱 +- 겄 +- 괄 +- 굶 +- 귓 +- 깠 +- 꽈 +- 넜 +- 럿 +- 옹 +- 욜 +- 쬐 +- 漑 +- 潸 +- 唷 +- 笈 +- 鱈 +- 蓿 +- 剌 +- 酩 +- 佇 +- 唑 +- 嶼 +- 钒 +- 胝 +- 胼 +- 蛱 +- 圩 +- 礙 +- 趨 +- Υ +- 櫂 +- 玥 +- 瑄 +- 绺 +- 蔔 +- 鸬 +- 鹚 +- Æ +- ୈ +- 墾 +- 搶 +- 盅 +- 绡 +- 蚩 +- 閪 +- "\x9E" +- ­ +- ̈ +- ۖ +- ଝ +- ሾ +- ዪ +- 琏 +- 굵 +- 눅 +- 늬 +- 됨 +- 붉 +- 샴 +- 씌 +- 얜 +- 옳 +- 욘 +- 傥 +- 蜣 +- 迴 +- 鱧 +- 唢 +- 殒 +- 菫 +- 沣 +- 爐 +- 泗 +- 揆 +- 靉 +- 倏 +- 疥 +- 卞 +- 噉 +- 囵 +- 殘 +- 氙 +- 腚 +- 銮 +- ᱣ +- 慘 +- 搔 +- 犠 +- 盥 +- 綫 +- 蒐 +- 褲 +- 訝 +- 辊 +- © +- ® +- ቭ +- 〕 +- 吡 +- 啉 +- 痂 +- 觞 +- 貘 +- 鷺 +- 눕 +- 늑 +- 늫 +- 렷 +- 벚 +- 뻗 +- 얌 +- 얗 +- 왓 +- 짖 +- Ư +- 唁 +- 圀 +- 鐔 +- 륜 +- 뻑 +- 쓱 +- 왤 +- 滘 +- 濑 +- 岷 +- 疋 +- 蓑 +- 譚 +- 铯 +- 毘 +- 諦 +- 襁 +- 讴 +- 鄞 +- 緣 +- 膘 +- 禰 +- 泮 +- 璎 +- 莊 +- 蔺 +- 裨 +- 陂 +- 馗 +- ڦ +- ಃ +- ጩ +- 渫 +- 溧 +- 獠 +- 祢 +- 诌 +- 赅 +- 괌 +- 렘 +- 렙 +- ኚ +- Ủ +- 兇 +- 彿 +- 荠 +- 谀 +- 댈 +- 룡 +- 륙 +- 및 +- 뿜 +- 셈 +- 읍 +- 찡 +- 毬 +- 辋 +- 箩 +- 饅 +- 拚 +- 紆 +- 葚 +- 儺 +- 籾 +- 菀 +- 呤 +- 煸 +- 琲 +- 胍 +- 玳 +- 谴 +- 镉 +- 俎 +- 洵 +- 锲 +- 颉 +- 僱 +- 柘 +- 栎 +- 疝 +- 萢 +- 鑽 +- 骶 +- 〆 +- 儘 +- 汩 +- 腭 +- Փ +- 佈 +- 掮 +- 梏 +- 歙 +- 毽 +- 涿 +- 矬 +- 엮 +- Û +- Ѐ +- ዣ +- ᱡ +- ᱦ +- 喬 +- 嫲 +- 嬌 +- 懶 +- 筲 +- 糅 +- 辭 +- 霭 +- 낑 +- 뎌 +- 뛴 +- 봅 +- 솜 +- 엣 +- 왁 +- 찹 +- 칫 +- 懼 +- 禎 +- ဌ +- 娆 +- 鬚 +- 荥 +- 笏 +- 嶌 +- 癣 +- 攣 +- 鍬 +- 嘌 +- 捌 +- 孑 +- 淦 +- 瑁 +- 硼 +- 擾 +- 泓 +- 閾 +- 楯 +- 蝕 +- ゐ +- 哙 +- 姝 +- 孖 +- 盂 +- 胄 +- Ɓ +- ଃ +- ഊ +- ዌ +- ፆ +- 倜 +- 卅 +- 卍 +- 柩 +- 鲅 +- 갛 +- 껑 +- 껜 +- 륭 +- 뭇 +- 슝 +- 싯 +- 쏴 +- 잎 +- 콧 +- 팜 +- 펀 +- ඞ +- 婀 +- 톨 +- 洙 +- 硤 +- 梠 +- 锆 +- 筧 +- 鵤 +- 菖 +- 邬 +- 軋 +- 栉 +- 忪 +- 桎 +- 筠 +- 脍 +- 锃 +- 佔 +- 儆 +- 掬 +- 旮 +- 荊 +- ᱹ +- 隽 +- 饴 +- 훑 +- Ċ +- Է +- ቬ +- ጧ +- 奂 +- 滷 +- 癮 +- 蝼 +- 슥 +- 쏙 +- 왈 +- 팥 +- 핥 +- Ը +- 乸 +- 擤 +- 縱 +- 铍 +- 멧 +- Ў +- 嘹 +- 埴 +- 悅 +- 欅 +- 谒 +- 鴛 +- ឲ +- 嘭 +- 箪 +- 鴦 +- 恫 +- 覃 +- 穎 +- 郜 +- 韋 +- 僭 +- 痙 +- 邁 +- 哌 +- 疇 +- 惇 +- 侗 +- 箒 +- 埂 +- 讶 +- 邺 +- 鲹 +- 稞 +- 蒡 +- 賴 +- Զ +- 绶 +- 贖 +- 铱 +- Ҭ +- 亳 +- 坩 +- 柒 +- 纰 +- 觸 +- Ɗ +- ፏ +- ⋯ +- 劑 +- 擴 +- 殲 +- 溏 +- 茯 +- 깍 +- 붐 +- 뻣 +- 샹 +- 줍 +- 쯔 +- 펠 +- 敕 +- 깬 +- 꾹 +- 뮬 +- 빰 +- 숍 +- 즙 +- 쭝 +- 쾅 +- 퀸 +- 킵 +- 펭 +- 헝 +- 俥 +- 滂 +- 瘘 +- 캘 +- 嗪 +- 衞 +- 睢 +- 铣 +- 韮 +- 翦 +- 娠 +- 旛 +- 翫 +- 蕈 +- 譯 +- 吽 +- 囿 +- ͘ +- 讚 +- 钹 +- Ƙ +- ǔ +- Ұ +- 阕 +- 阱 +- 麿 +- 쫑 +- 쿡 +- ဧ +- ሣ +- 嬤 +- 懺 +- 晁 +- 殓 +- 滾 +- 苻 +- 钯 +- 饬 +- 껐 +- 꿋 +- 덧 +- 뵈 +- 엌 +- 잌 +- Ë +- 沅 +- 瑩 +- 撻 +- 笥 +- 尕 +- 簀 +- 竈 +- 縷 +- 鮪 +- 糀 +- 謄 +- 侘 +- 鰭 +- 氩 +- 籐 +- 舖 +- 皺 +- 伫 +- 弭 +- 欸 +- 泙 +- Ύ +- 祚 +- 缢 +- 聒 +- 诰 +- 鄢 +- 鴫 +- 鹄 +- 齡 +- Ξ +- ಓ +- ᱰ +- 垓 +- 燉 +- 筈 +- 贊 +- 鬥 +- Ĩ +- Ź +- ഐ +- ඖ +- ᱲ +- 侩 +- 惱 +- 杓 +- 涪 +- 漿 +- 炆 +- 觥 +- 颍 +- 餵 +- 麾 +- 겜 +- 괘 +- 꿍 +- 돕 +- 돗 +- 딲 +- 릏 +- 맑 +- 뵙 +- 솥 +- 앚 +- 쫀 +- 쭘 +- 펄 +- Ũ +- Ӗ +- ┐ +- 榧 +- 癜 +- 缱 +- 饕 +- 驅 +- 鲇 +- 젯 +- 퍽 +- 갯 +- 憫 +- 爍 +- 鄧 +- 萘 +- 廼 +- 吁 +- 茲 +- 鉤 +- 埚 +- 墉 +- 慳 +- 泔 +- 猢 +- 瑭 +- 旌 +- 孱 +- 屆 +- 弐 +- 珉 +- 祗 +- 薑 +- Ŵ +- ʽ +- Њ +- ѐ +- ഛ +- ቾ +- Ị +- 唞 +- 囁 +- 搽 +- 旯 +- 绻 +- 腧 +- 膣 +- 謊 +- 谆 +- 谌 +- 蹤 +- 钽 +- 靂 +- 뚤 +- 몫 +- 삥 +- 웜 +- 줏 +- 쩰 +- 츤 +- 캉 +- 큘 +- 팸 +- 펍 +- 펫 +- 헨 +- 崑 +- 瑤 +- 痧 +- 轍 +- 顛 +- 飚 +- 鵑 +- 龅 +- 롬 +- 잣 +- 횐 +- ಛ +- ඍ +- 滯 +- 薹 +- 譴 +- 桿 +- 氤 +- 蹙 +- ÷ +- 鵯 +- 臘 +- 鲼 +- 甑 +- 鯵 +- 嬬 +- 婺 +- 杈 +- 鬶 +- 鲠 +- 鳶 +- 嬸 +- 骅 +- ઋ +- 啐 +- 嗫 +- 尴 +- 徉 +- 抻 +- 煬 +- 瓊 +- 祜 +- 虢 +- 鈿 +- 俶 +- 倌 +- 撳 +- 棗 +- 樸 +- 珲 +- 癬 +- 笪 +- 錶 +- 삘 +- 씽 +- ኡ +- ፔ +- 剱 +- 彎 +- 獰 +- 甕 +- 綁 +- 腍 +- 芡 +- 薈 +- 蜆 +- 逑 +- 겔 +- 곈 +- 뤘 +- 뾰 +- 옇 +- 윽 +- 잭 +- 텃 +- 텼 +- 픔 +- 兖 +- 勳 +- 擰 +- 朧 +- 桤 +- 睏 +- 迩 +- 흙 +- 舩 +- 訛 +- 馮 +- 撈 +- 攬 +- 祎 +- 饒 +- 儚 +- ឍ +- 纈 +- 纐 +- 莳 +- 氘 +- 鑓 +- 葳 +- 莪 +- 儂 +- 繇 +- 苒 +- 恸 +- 舢 +- 刎 +- 徜 +- 桠 +- 繹 +- 芫 +- 杢 +- 榫 +- 氲 +- 睜 +- 箜 +- 篌 +- 貅 +- 閖 +- ᱼ +- 屙 +- 敘 +- 暈 +- 梾 +- 籤 +- 謬 +- 낌 +- 씁 +- 씸 +- Ĕ +- Ŭ +- Ӡ +- ቿ +- 傢 +- 呟 +- 悭 +- 溟 +- 璽 +- 瓴 +- 绔 +- 芩 +- 貔 +- 酞 +- 釀 +- 鍊 +- 鲃 +- 깁 +- 돔 +- 둡 +- 랴 +- 썪 +- 짭 +- 짼 +- 퀵 +- 폿 +- 홋 +- ఞ +- 潞 +- 癲 +- 鋲 +- 캄 +- 퐁 +- 瀾 +- 訶 +- 贄 +- ಢ +- 羰 +- 羸 +- 麂 +-  +- 剋 +- 滁 +- 瑳 +- 谶 +- 荸 +- 좀 +- 碲 +- 楳 +- 鲳 +- 煕 +- 戇 +- 溲 +- 膑 +- ޣ +- 壷 +- 擠 +- 聿 +- 伉 +- 滦 +- 睥 +- 繩 +- 脘 +- 荽 +- 崙 +- 攤 +- 柾 +- 砀 +- 籮 +- 蠡 +- 谧 +- ഔ +- 挲 +- 晔 +- 琮 +- 瘋 +- 藨 +- 钣 +- Ơ +- Ҟ +- ಔ +- ዑ +- ጵ +- Ứ +- ‫ +- ∈ +- 凇 +- 懑 +- 掙 +- 揼 +- 涜 +- 炔 +- 繪 +- 腟 +- 芾 +- 錘 +- 頒 +- 驟 +- 鹞 +- 꽝 +- 넬 +- 눴 +- 뜸 +- 밉 +- 뵀 +- 삔 +- 샜 +- 셌 +- 쑤 +- 엿 +- 콸 +- Ҥ +- Ҽ +- ဿ +- 捩 +- 禿 +- 竇 +- 譽 +- 郫 +- 둠 +- 뒹 +- 렐 +- 맴 +- 뽈 +- 첸 +- 拋 +- 淙 +- 盞 +- 丶 +- 寬 +- 獵 +- 窰 +- 舳 +- 註 +- ઃ +- 诅 +- 閤 +- 鴇 +- 嘧 +- 慄 +- 攝 +- 蝨 +- 鰯 +- 貶 +- 臾 +- 笕 +- 頷 +- 镌 +- 竪 +- 噤 +- 诘 +- 锗 +- 閘 +- 嗚 +- 壩 +- 撺 +- 晷 +- 桡 +- 棹 +- 耧 +- 趸 +- → +- 妁 +- 牯 +- 瓿 +- 笄 +- 蛄 +- 豈 +- 铖 +- 骐 +- 鷉 +- 鸾 +- 屍 +- 楸 +- 踽 +- 锒 +- 鲲 +- 섀 +- 켄 +- Ľ +- ӊ +- ጇ +- ጬ +- ◎ +- 嚨 +- 姒 +- 蒺 +- 蝸 +- 輻 +- 鸨 +- 齟 +- 깰 +- 끽 +- 낵 +- 눔 +- 닳 +- 밋 +- 밲 +- 벡 +- 뺨 +- 쉘 +- 슉 +- 쌔 +- 짚 +- 촛 +- 춧 +- 캣 +- 캥 +- 튕 +- 휙 +- ਔ +- ఢ +- ೧ +- ᱯ +- 偲 +- 劍 +- 枱 +- 膩 +- 艷 +- 菸 +- 詛 +- 豇 +- 낡 +- 됬 +- 둣 +- 쌰 +- 撷 +- 贰 +- 躙 +- 辯 +- 遑 +- Յ +- 楮 +- 誼 +- 瞞 +- 祿 +- 绦 +- 廬 +- 皋 +- 妝 +- 鸮 +- 떤 +- 圳 +- 捲 +- 陝 +- 獺 +- 媾 +- 魍 +- 鼩 +- 鴈 +- ゝ +- 狲 +- 釐 +- 铄 +- 沮 +- 蘼 +- 邕 +- 钎 +- 靥 +- 鞣 +- ♥ +- 姘 +- 娣 +- 稹 +- 胳 +- 郅 +- 阆 +- 颱 +- 餮 +- ־ +- 儋 +- 厝 +- 肅 +- 誊 +- 騷 +- 숟 +- "\x92" +- "\x97" +- Ճ +- ՞ +- ኜ +- ዢ +- ዦ +- Ố +- 嘍 +- 揩 +- 曆 +- 栢 +- 潋 +- 箬 +- 糍 +- 遞 +- 髡 +- 鰐 +- 鲡 +- 鲢 +- 齬 +- 걀 +- 꺄 +- 꿉 +- 뗄 +- 빕 +- 얽 +- 읏 +- 잰 +- 쟀 +- 컥 +- 킷 +- 햐 +- 흩 +- ඣ +- ፑ +- ៣ +- 寳 +- 淖 +- 灑 +- 錨 +- 駁 +- 랠 +- 썽 +- 웰 +- 젬 +- 탬 +- 툼 +- 핍 +- 檳 +- 籃 +- 僑 +- 橼 +- 脹 +- 銛 +- 钜 +- 盱 +- 籲 +- 陲 +- 颔 +- 勖 +- 蓖 +- 郢 +- 檯 +- 粂 +- 獏 +- 燿 +- 祕 +- 鯊 +- 枡 +- 惕 +- 兌 +- 钼 +- 鞆 +- ● +- 綦 +- 蕗 +- 埜 +- 焘 +- 劭 +- 愎 +- 橈 +- 鎚 +- 锷 +- 鞏 +- 齁 +- 龇 +- ဍ +- ♂ +- 侪 +- 窠 +- 肪 +- 蜇 +- 逹 +- 邛 +- 卟 +- 撓 +- 燐 +- 纖 +- 郓 +- 闱 +- 餞 +- 鹓 +- 俬 +- 呔 +- 澧 +- 燴 +- 犍 +- 羧 +- 葶 +- 谲 +- ¬ +- Ć +- ː +- ̓ +- ڱ +- ۚ +- ඪ +- ፁ +- ᱪ +- Ẩ +- 呎 +- 哣 +- 噃 +- 搣 +- 淒 +- 苕 +- 萋 +- 襪 +- 訇 +- 諄 +- 謢 +- 邳 +- 鉈 +- 鴉 +- 鸻 +- 갭 +- 곶 +- 넹 +- 뗐 +- 룽 +- 맷 +- 샾 +- 쐈 +- 쨍 +- 챠 +- 컹 +- 튠 +- 푠 +- ˮ +- Ί +- Ҿ +- ޛ +- ዟ +- 悗 +- 耒 +- 躾 +- 鏟 +- 閂 +- 곁 +- 맏 +- 뮌 +- 찻 +- 睪 +- 礦 +- 筺 +- 艱 +- 賬 +- 镕 +- 蕕 +- 炝 +- 聾 +- 逡 +- ฌ +- 瀋 +- 詭 +- 鲣 +- 侉 +- 埙 +- 慟 +- 蜉 +- 钡 +- 輯 +- 諧 +- 吳 +- 鐙 +- 陛 +- 撹 +- 苧 +- 劔 +- 濛 +- 齧 +- Ժ +- 剝 +- 吩 +- 徕 +- 镓 +- ൌ +- 佻 +- 嚅 +- 岘 +- 窨 +- 跬 +- 銜 +- 骢 +- 魉 +- 鰓 +- 㩒 +- 嬗 +- 旎 +- 旖 +- 氫 +- 洄 +- 牺 +- 篙 +- 舂 +- 闌 +- 飄 +- Ծ +- ḿ +- 仞 +- 嘯 +- 噓 +- 囹 +- 圄 +- 岿 +- 恁 +- 揦 +- 殚 +- 沆 +- 簕 +- 莠 +- 莼 +- 萊 +- 鰆 +- ɔ +- ≡ +- 砣 +- 辇 +- 궐 +- 뽐 +- "\x84" +- "\x9A" +- § +- Ť +- Ձ +- ۓ +- ጢ +- ፂ +- ፄ +- Ổ +- Ờ +- 僆 +- 棂 +- 獸 +- 瓏 +- 瘢 +- 聳 +- 荛 +- 衿 +- 遒 +- 鑰 +- 镬 +- 깽 +- 꺠 +- 끙 +- 늪 +- 댐 +- 딥 +- 딧 +- 랖 +- 룻 +- 릅 +- 봔 +- 봬 +- 뼛 +- 섣 +- 쉼 +- 싣 +- 쎘 +- 얏 +- 윌 +- 쥴 +- 쯧 +- 챈 +- 챌 +- 촥 +- 톰 +- 핬 +- 圪 +- 屜 +- 捽 +- 珮 +- 碛 +- 臟 +- 螫 +- 輋 +- 醪 +- 骠 +- 똠 +- 맸 +- 샬 +- 沔 +- 禊 +- 襦 +- 趄 +- 邇 +- 剜 +- 筍 +- 緞 +- 虧 +- 趔 +- 铩 +- 埒 +- 憚 +- 扦 +- 罟 +- 囮 +- 賈 +- 匁 +- 吲 +- 哚 +- 雎 +- 鄒 +- 飫 +- 縊 +- 讼 +- 濯 +- 竊 +- 铕 +- 蓣 +- ๅ +- 潑 +- 瀉 +- Ґ +- ಊ +- 屓 +- 碣 +- 粳 +- 苈 +- 蕤 +- 誨 +- 跖 +- 騾 +- 魑 +- ⸺ +- 倅 +- 幇 +- 廂 +- 柺 +- 楡 +- 瀨 +- 狆 +- 籏 +- 籬 +- 跣 +- 锶 +- 镆 +- 韌 +- ΐ +- 佚 +- 汜 +- 牍 +- 牴 +- 癱 +- 蟬 +- 顏 +- ϋ +- ዉ +- ▪ +- 佥 +- 刿 +- 噙 +- 孭 +- 洮 +- 漲 +- 猷 +- 瓤 +- 疊 +- 癡 +- 矍 +- 硯 +- 稃 +- 讫 +- 贔 +- 꾀 +- 떵 +- 맬 +- 빳 +- 챕 +- "\x91" +- "\x96" +- ƴ +- ؔ +- ઔ +- ෲ +- ኣ +- ១ +- 啞 +- 夘 +- 嵋 +- 徬 +- 慾 +- 斂 +- 渌 +- 滌 +- 漯 +- 燶 +- 砵 +- 稟 +- 笤 +- 蓆 +- 螞 +- 覓 +- 諺 +- 诳 +- 谡 +- 踎 +- 躉 +- 鈔 +- 铋 +- 陞 +- 顼 +- 麪 +- 갬 +- 궜 +- 궤 +- 꿇 +- 덱 +- 떳 +- 띨 +- 룐 +- 몹 +- 삑 +- 슁 +- 쏭 +- 앰 +- 욤 +- 웩 +- 잦 +- 죙 +- 챘 +- 첵 +- 촘 +- 쿤 +- 킴 +- 텁 +- 퓸 +- 훼 +- ઍ +- 冧 +- 勐 +- 擸 +- 晉 +- 汨 +- 燊 +- 瘡 +- 癇 +- 眀 +- 鎹 +- 铷 +- 鯰 +- 鱒 +- 딤 +- 앓 +- 얍 +- 윷 +- 쟈 +- 팎 +- 囗 +- 諌 +- 鋤 +- 壆 +- 嶄 +- 碕 +- 綵 +- 闢 +- 鳐 +- 秣 +- 簗 +- 蕪 +- 氹 +- 兪 +- 恹 +- 鈕 +- 钇 +- 蝣 +- 軀 +- 畲 +- 埕 +- 潅 +- 瞼 +- 褄 +- 詈 +- 邏 +- 颶 +- 莟 +- 艙 +- 碩 +- 筅 +- 钐 +- 寤 +- 徭 +- 銑 +- 朊 +- 楝 +- 澩 +- 竽 +- 褌 +- 覲 +- 铑 +- 鵠 +- 捭 +- 哞 +- 墊 +- 忾 +- 杼 +- 玑 +- 砭 +- 芨 +- 菡 +- 锇 +- 埓 +- 壅 +- 峅 +- 崧 +- 徠 +- 悱 +- 瑧 +- 脩 +- 邙 +- 铨 +- 鱸 +- 鸩 +- ẅ +- 壢 +- 泫 +- 爰 +- 箝 +- 耄 +- 耋 +- ▲ +- 垭 +- 巒 +- 捯 +- 撿 +- 攋 +- 梼 +- 璟 +- 疖 +- 痦 +- 紥 +- 缬 +- 腈 +- 菝 +- 逓 +- 铒 +- 鬢 +- 魃 +- 뎁 +- ѝ +- 垚 +- 擲 +- 眦 +- 絃 +- 舄 +- 蘅 +- 隸 +- 髯 +- 鲛 +- 鹱 +- 뎠 +- 딛 +- 몄 +- 쨈 +- 휠 +- 휩 +- ȃ +- Ց +- ۃ +- ॠ +- ḅ +- ヮ +- 勻 +- 卌 +- 吋 +- 噸 +- 囝 +- 奀 +- 戆 +- 揈 +- 揞 +- 搲 +- 攏 +- 昶 +- 暅 +- 椶 +- 榲 +- 橞 +- 涠 +- 珙 +- 琬 +- 磚 +- 粝 +- 糰 +- 緬 +- 罫 +- 羈 +- 葜 +- 蒹 +- 蕁 +- 薷 +- 蠱 +- 襴 +- 轸 +- 邰 +- 鏈 +- 鬘 +- 龐 +- 긱 +- 꺽 +- 늠 +- 뎀 +- 딕 +- 띡 +- 뵐 +- 셧 +- 슌 +- 웍 +- 윳 +- 짙 +- 쫒 +- 텄 +- 헉 +- 헹 +- 훗 +- Ώ +- ♯ +- 刪 +- 妯 +- 廪 +- 瀟 +- 犧 +- 畦 +- 癪 +- 矽 +- 禪 +- 腴 +- 袢 +- 鉦 +- 鏝 +- 뽁 +- 켈 +- 휜 +- 沭 +- 漣 +- 磔 +- 蕩 +- ଐ +- 仟 +- 壟 +- 妪 +- 淝 +- 紓 +- 苴 +- 莜 +- 隴 +- 饌 +- 駭 +- 鹘 +- 黢 +- ઐ +- 浛 +- ㄟ +- 剷 +- 圻 +- 澹 +- 砻 +- 肄 +- 崂 +- 痾 +- 稗 +- 褻 +- 迨 +- 镧 +- 霰 +- 顰 +- 輦 +- 輛 +- 焔 +- 篭 +- 踐 +- 坻 +- 왜 +- 殯 +- 靄 +- 琨 +- 闖 +- 騭 +- 蝿 +- 頤 +- 厠 +- 夲 +- 嫪 +- 玘 +- 蘊 +- 黚 +- 黧 +- 媞 +- 咥 +- 嘜 +- 嵊 +- 椴 +- 濞 +- 緘 +- 藺 +- 蝮 +- 醴 +- 鉉 +- 鹗 +- 贲 +- ഃ +- ဠ +- 偈 +- 唪 +- 嗳 +- 姶 +- 嫻 +- 孥 +- 崁 +- 彧 +- 徂 +- 枞 +- 狽 +- 皲 +- 紮 +- 缦 +- 莒 +- 裃 +- ṃ +- 穫 +- ゚ +- 喑 +- 摟 +- 擋 +- 氡 +- 篾 +- 絣 +- 绐 +- 聩 +- 蚶 +- 螟 +- 襞 +- 賁 +- 踟 +- 蹰 +- 鈷 +- 镛 +- 闾 +- 髂 +- 鲆 +- 齒 +- 쌋 +- 췌 +- ॊ +- ఔ +- ဩ +- ኅ +- ※ +- 俅 +- 唖 +- 尷 +- 洇 +- 澆 +- 绀 +- 蕭 +- 틋 +- ኻ +- 佷 +- 侈 +- 뉜 +- 쉑 +- 쑈 +- "\x8A" +- "\x9D" +- Ğ +- ǐ +- ಝ +- ೯ +- ඃ +- ฯ +- ဈ +- ሒ +- ኼ +- ጴ +- ៖ +- ៦ +- ᱬ +- ᱶ +- ᱸ +- □ +- 䁅 +- 呯 +- 唈 +- 唳 +- 喐 +- 嗄 +- 噹 +- 娌 +- 娛 +- 寢 +- 嶂 +- 恽 +- 慚 +- 懞 +- 懣 +- 抌 +- 攜 +- 曚 +- 枥 +- 柽 +- 樑 +- 樞 +- 樾 +- 牀 +- 狍 +- 稙 +- 繚 +- 舸 +- 芎 +- 衾 +- 訕 +- 豢 +- 躝 +- 轎 +- 酐 +- 鎏 +- 鏊 +- 钆 +- 钪 +- 钶 +- 雋 +- 饋 +- 鬠 +- 鸫 +- 龠 +- 갰 +- 겅 +- 곗 +- 곪 +- 굼 +- 낱 +- 냇 +- 넒 +- 닛 +- 댑 +- 덨 +- 듦 +- 땔 +- 떄 +- 뗀 +- 똔 +- 롷 +- 롹 +- 묽 +- 볐 +- 빢 +- 뼌 +- 뽂 +- 샛 +- 샥 +- 솟 +- 숄 +- 숑 +- 슛 +- 쐬 +- 쑨 +- 쓕 +- 앳 +- 얕 +- 옅 +- 웁 +- 윰 +- 쟨 +- 젼 +- 짹 +- 쫘 +- 쭌 +- 챗 +- 펩 +- 푯 +- 핌 +- 𢱕 +- 櫚 +- 煅 +- 甌 +- 莢 +- 驕 +- 髌 +- 랏 +- 쏜 +- 옐 +- 핼 +- ஔ +- 僖 +- 恊 +- 滙 +- 澍 +- 癢 +- 粿 +- 翹 +- 蔀 +- 蛸 +- 躓 +- 鏃 +- 飩 +- 髀 +- 吶 +- 垃 +- 巉 +- 巔 +- 怩 +- 搗 +- 楦 +- 琚 +- 篁 +- 脲 +- 誡 +- 阊 +- 鬻 +- 鸱 +- 叺 +- 湟 +- 頗 +- 魟 +- 狢 +- 畐 +- 畷 +- 椹 +- 諍 +- 醮 +- 鐸 +- 釗 +- 镗 +- 锴 +- ゙ +- 戕 +- 稈 +- 纒 +- 亓 +- 庹 +- 氖 +- 祉 +- 鉗 +- 础 +- 嚯 +- 堉 +- 桫 +- 椤 +- 楋 +- 瀣 +- 珧 +- 礬 +- 舾 +- 邾 +- 鵺 +- 鼱 +- 滢 +- 臍 +- 堝 +- 弍 +- 晞 +- 椁 +- 濺 +- 睄 +- 礇 +- 笫 +- 蠟 +- 鎂 +- 閨 +- 怏 +- 慷 +- 瀏 +- 綸 +- 罎 +- 閩 +- ጐ +- ឫ +- 伧 +- 僂 +- 冼 +- 夔 +- 媠 +- 嵴 +- 幟 +- 畊 +- 磬 +- 窺 +- 簷 +- 胿 +- 臬 +- 蚵 +- 蹚 +- 鋏 +- 鏖 +- 霑 +- 騮 +- 鲔 +- 끅 +- ̋ +- Љ +- ѕ +- ២ +- 佶 +- 唻 +- 抾 +- 柞 +- 澱 +- 錙 +- 늄 +- 뒨 +- 믈 +- 콰 +- ± +- ¶ +- ʾ +- ̊ +- ଈ +- ଔ +- ஶ +- ኀ +- ጳ +- ጼ +- ጾ +- ጿ +- ፥ +- ឮ +- ០ +- ៤ +- ៨ +- ᱝ +- 㓤 +- 仝 +- 倧 +- 刄 +- 厍 +- 咇 +- 唥 +- 喏 +- 嗞 +- 囍 +- 圜 +- 埞 +- 塬 +- 塱 +- 墀 +- 墮 +- 壸 +- 婭 +- 岫 +- 崃 +- 崋 +- 弶 +- 愜 +- 憊 +- 挈 +- 揜 +- 摮 +- 擘 +- 擱 +- 昐 +- 枘 +- 枳 +- 椚 +- 槁 +- 樒 +- 櫸 +- 淸 +- 溘 +- 溼 +- 燙 +- 痈 +- 硎 +- 篩 +- 簒 +- 縝 +- 縻 +- 纔 +- 荪 +- 葯 +- 蚴 +- 蛏 +- 蛻 +- 蝰 +- 蠹 +- 裇 +- 裥 +- 誅 +- 豎 +- 貲 +- 踭 +- 踴 +- 蹌 +- 蹣 +- 鑿 +- 铼 +- 锺 +- 镲 +- 颙 +- 駈 +- 駱 +- 鮓 +- 鮟 +- 鯇 +- 鰈 +- 鰜 +- 鱇 +- 鲀 +- 鵲 +- 괭 +- 굘 +- 긌 +- 깟 +- 깻 +- 꼿 +- 넙 +- 뉸 +- 뗘 +- 뚠 +- 띃 +- 렜 +- 룔 +- 멓 +- 멱 +- 뭄 +- 뺌 +- 뿅 +- 뿍 +- 숯 +- 슘 +- 쎌 +- 얠 +- 옌 +- 잴 +- 쩝 +- 쳇 +- 췻 +- 츰 +- 캇 +- 켔 +- 퀭 +- 킁 +- 탤 +- 튄 +- 팰 +- 혓 +- 홧 +- 훤 +- 휑 +- 힉 +- ȇ +- ˎ +- 躼 +- 곯 +- 덫 +- 햅 +- Ě +- 狹 +- 睚 +- 觜 +- 겡 +- 셴 +- 쌜 +- ಋ +- 壘 +- 孛 +- 忟 +- 旻 +- 榑 +- 煥 +- 狎 +- 眇 +- 罘 +- 胪 +- 脛 +- 舨 +- 镒 +- 餼 +- 馐 +- 촤 +- 歃 +- 禛 +- ♭ +- 垌 +- 尭 +- 晝 +- 楹 +- 滄 +- 砜 +- 菟 +- 蒨 +- 藷 +- 鏢 +- 鐡 +- 頌 +- 馕 +- 鰲 +- 鳉 +- 豕 +- 蜘 +- ㄧ +- 嵬 +- 忸 +- 暝 +- 盜 +- 螣 +- 謐 +- 嘬 +- 圾 +- 洟 +- 舁 +- 醗 +- 铟 +- 颏 +- 黌 +- 栂 +- 瘻 +- 瞋 +- 窣 +- 窸 +- 絋 +- 鶫 +- 銕 +- √ +- 蚺 +- 蹕 +- 窶 +- 牻 +- 擯 +- 愼 +- 榾 +- 癩 +- 筜 +- 筼 +- 聶 +- 蟄 +- 鍔 +- 頽 +- 黠 +- 梛 +- 莨 +- 骈 +- 鸊 +- 倬 +- 唛 +- 嗶 +- 嘰 +- 嚐 +- 媪 +- 徛 +- 憺 +- 揠 +- 甦 +- 翃 +- 肭 +- 芗 +- 茔 +- 萁 +- 葎 +- 蓠 +- 蛉 +- 蜮 +- 贶 +- 趖 +- 轡 +- 釁 +- 鈉 +- 隹 +- 餉 +- 饪 +- 騅 +- 橹 +- 篳 +- 蟯 +- Ъ +- ឦ +- ∠ +- 〝 +- ヰ +- 俠 +- 冪 +- 埤 +- 墘 +- 嬅 +- 峤 +- 巿 +- 扻 +- 搦 +- 攔 +- 昰 +- 枋 +- 槊 +- 渑 +- 燵 +- 猊 +- 簋 +- 肼 +- 臚 +- 艄 +- 茆 +- 茼 +- 菘 +- 菪 +- 諷 +- 譟 +- 躑 +- 輓 +- 郯 +- 郾 +- 鄄 +- 鋆 +- 铳 +- 锨 +- 閏 +- 颪 +- 馭 +- 髒 +- 鱔 +- ǰ +- ॲ +- ୫ +- ឪ +- 愠 +- 歛 +- 皚 +- 硲 +- 稣 +- 蛚 +- 輾 +- 馩 +- 꽌 +- 롸 +- 밧 +- 뱄 +- "\x80" +- "\x99" +- Ï +- ǒ +- ȏ +- ̌ +- ̔ +- ̟ +- Ӯ +- ٗ +- ۗ +- ޡ +- ऍ +- ॆ +- ॔ +- ૢ +- ୪ +- ೦ +- ೨ +- ೩ +- ෳ +- ቮ +- ጹ +- ḉ +- ḫ +- ṇ +- ṉ +- ẃ +- Ạ +- Ầ +- Ậ +- Ệ +- Ự +- ⁠ +- ∙ +- ⊙ +- ◯ +- ⸻ +- 〟 +- 㧎 +- 䒏 +- 䒐 +- 佮 +- 俟 +- 倯 +- 倻 +- 偢 +- 僥 +- 儍 +- 凊 +- 匱 +- 叁 +- 嗐 +- 嘏 +- 噁 +- 囪 +- 埵 +- 堯 +- 奓 +- 姍 +- 娉 +- 尣 +- 弸 +- 怍 +- 悽 +- 挜 +- 挹 +- 揗 +- 摈 +- 斃 +- 昉 +- 曵 +- 梣 +- 棧 +- 楫 +- 橐 +- 欒 +- 殭 +- 殳 +- 洎 +- 浐 +- 涷 +- 玭 +- 瑋 +- 璁 +- 璈 +- 甙 +- 畈 +- 瘓 +- 眙 +- 硃 +- 碚 +- 磧 +- 竅 +- 筥 +- 篦 +- 粲 +- 糒 +- 繻 +- 罅 +- 胗 +- 舺 +- 艋 +- 艤 +- 艪 +- 艸 +- 茕 +- 荜 +- 莵 +- 菉 +- 菔 +- 萠 +- 蓺 +- 蔣 +- 蘂 +- 蟥 +- 覯 +- 訐 +- 訥 +- 詡 +- 誣 +- 誦 +- 誻 +- 謨 +- 譖 +- 豂 +- 赧 +- 趌 +- 趺 +- 躅 +- 軚 +- 輘 +- 輷 +- 迾 +- 鄣 +- 醌 +- 鎅 +- 鎔 +- 鎝 +- 鏨 +- 鑄 +- 鑲 +- 钋 +- 闕 +- 陉 +- 頰 +- 餋 +- 餒 +- 餛 +- 馯 +- 骘 +- 鬍 +- 鬨 +- 魎 +- 鲮 +- 鲿 +- 鳫 +- 鵞 +- 鵡 +- 鶉 +- 鹛 +- 鼆 +- 鼐 +- 걜 +- 겋 +- 곌 +- 굥 +- 귐 +- 꽐 +- 꽥 +- 꿩 +- 끍 +- 냔 +- 냘 +- 냡 +- 넝 +- 넴 +- 놉 +- 놋 +- 놘 +- 뇽 +- 뉩 +- 늉 +- 댜 +- 듈 +- 땋 +- 떰 +- 띤 +- 맽 +- 멩 +- 몀 +- 믕 +- 볕 +- 뵌 +- 빻 +- 뿡 +- 샨 +- 숀 +- 숴 +- 슾 +- 쌕 +- 쌨 +- 썅 +- 썜 +- 쎅 +- 쏼 +- 쒀 +- 씰 +- 옉 +- 옫 +- 웟 +- 읊 +- 읜 +- 좆 +- 짯 +- 쨋 +- 쨰 +- 쩄 +- 쮸 +- 촐 +- 캬 +- 켁 +- 켐 +- 켸 +- 콥 +- 쿱 +- 퉤 +- 튬 +- 팹 +- 퐉 +- 푤 +- 퓰 +- 픕 +- 휀 +- 𢳂 +- ʺ +- 꾜 +- 꿰 +- 쇳 +- 잽 +- Ǹ +- ೫ +- ኟ +- ṅ +- † +- 凈 +- 垪 +- 拵 +- 曷 +- 梘 +- 漚 +- 絚 +- 鯪 +- 넚 +- 쌉 +- 엡 +- ೮ +- 䢢 +- 佤 +- 凫 +- 煖 +- 獪 +- 瘆 +- 癆 +- 秬 +- 糋 +- 躹 +- 迳 +- 钌 +- 陜 +- 韪 +- 驛 +- 髙 +- 鹼 +- 갉 +- 뷴 +- 寃 +- 刳 +- 劏 +- 嚡 +- 杮 +- 槎 +- 槤 +- 樅 +- 沤 +- 炴 +- 煊 +- 熒 +- 珎 +- 璉 +- 痼 +- 簔 +- 苄 +- 苳 +- 菴 +- 蘚 +- 虬 +- 詆 +- 赍 +- 跶 +- 铪 +- 闔 +- 顱 +- 颢 +- 飜 +- 骹 +- 伜 +- 柝 +- 聟 +- 釵 +- 崆 +- 畋 +- 笸 +- 膾 +- 蕲 +- 靫 +- 頴 +- 髷 +- 鵙 +- 鸷 +- 錺 +- 蒟 +- 愴 +- 腘 +- 鯱 +- 샀 +- 끊 +- 굳 +- 拶 +- Ẓ +- 橄 +- Ṛ +- 惫 +- 咆 +- 옛 +- ఊ +- 싫 +- 밌 +- 雰 +- 괜 +- 떻 +- 뭔 +- 伥 +- 飪 +- 鬪 +- 鼈 +- 걔 +- 椙 +- 蒎 +- 锿 +- 鲵 +- 亰 +- 啻 +- 囂 +- 峁 +- 弖 +- 憮 +- 桴 +- 瓘 +- 瘧 +- 秭 +- 簓 +- 薖 +- 蝴 +- 谯 +- 趿 +- 镨 +- 闳 +- 馑 +- 骺 +- 鱚 +- 鲐 +- ఋ +- 咙 +- Ÿ +- ഋ +- ഢ +- ဋ +- 丨 +- 丱 +- 仱 +- 傈 +- 傩 +- 僳 +- 劊 +- 嗆 +- 嗹 +- 嘁 +- 岈 +- 嵖 +- 巖 +- 庠 +- 廸 +- 戔 +- 扂 +- 拏 +- 挾 +- 掗 +- 摰 +- 撣 +- 攑 +- 敍 +- 旃 +- 旒 +- 栻 +- 槓 +- 歕 +- 歨 +- 殂 +- 泠 +- 渀 +- 潲 +- 潷 +- 澀 +- 瓩 +- 甓 +- 疃 +- 癀 +- 癔 +- 竦 +- 筊 +- 篥 +- 籟 +- 籼 +- 糬 +- 緹 +- 縉 +- 縢 +- 膕 +- 臈 +- 臙 +- 艏 +- 苡 +- 莩 +- 蓊 +- 薀 +- 薜 +- 蘓 +- 裈 +- 褧 +- 覕 +- 諡 +- 謇 +- 诒 +- 诤 +- 贽 +- 軼 +- 迤 +- 逶 +- 邡 +- 醅 +- 釼 +- 錚 +- 鍚 +- 鐃 +- 鐐 +- 钺 +- 铇 +- 锕 +- 镎 +- 靑 +- 顫 +- 髖 +- 鰊 +- 鳎 +- 鳔 +- 鷽 +- 鼙 +- ኰ +- 䖙 +- 俢 +- 儉 +- 啍 +- 埲 +- 屄 +- 戥 +- 掞 +- 枦 +- 爿 +- 笳 +- 綢 +- 繄 +- 翕 +- 芘 +- 蛣 +- 豔 +- 蹐 +- 鉀 +- 闞 +- 鵪 +- 鸝 +- 됭 +- 싰 +- 옭 +- 좔 +- ̧ +- ☉ +- 떫 +- 뱌 +- 벘 +- 씉 +- 엷 +- 읐 +- Ƴ +- "\x81" +- "\x8D" +- "\x8E" +- "\x98" +- ¦ +- Ð +- Ù +- Ŋ +- ƒ +- Ǥ +- ǫ +- Ʉ +- ˊ +- ˋ +- ̕ +- ̱ +- ̲ +- ̶ +- Ψ +- Ђ +- Ћ +- Ќ +- Ѹ +- Ӌ +- Ӳ +- Ղ +- Ր +- ַ +- ּ +- ؓ +- ٓ +- ऩ +- ॐ +- ৗ +- ઼ +- ૧ +- ૮ +- ୗ +- ୨ +- ୯ +- ఝ +- ఱ +- ೪ +- ഝ +- ෴ +- ་ +- ན +- ሓ +- ሿ +- ቐ +- ቓ +- ቯ +- ዒ +- ዖ +- ዡ +- ጯ +- ፗ +- ៎ +- ៥ +- ៧ +- ḏ +- ḡ +- ḩ +- Ḫ +- ṁ +- ẞ +- Ắ +- Ể +- Ỉ +- Ỗ +- Ộ +- Ớ +- Ὑ +- ῖ +- ‰ +- ₹ +- ⃗ +- ↑ +- ↓ +- ∇ +- ∼ +- ≈ +- ▼ +- ☺ +- ✅ +- Ⱅ +- Ⱎ +- ゎ +- ゔ +- 㶶 +- 䁯 +- 䆀 +- 䱽 +- 䴕 +- 亍 +- 佉 +- 侷 +- 傃 +- 傉 +- 傱 +- 僉 +- 僊 +- 僮 +- 凩 +- 刋 +- 剎 +- 劖 +- 劼 +- 勰 +- 勼 +- 匏 +- 厴 +- 厶 +- 叅 +- 吿 +- 呓 +- 咹 +- 哓 +- 唂 +- 唎 +- 喟 +- 喲 +- 喼 +- 嗇 +- 嗿 +- 嚀 +- 嚒 +- 囑 +- 圷 +- 坜 +- 坵 +- 坼 +- 埆 +- 埭 +- 塢 +- 塭 +- 墁 +- 奬 +- 妗 +- 妠 +- 妡 +- 妣 +- 妤 +- 姹 +- 娗 +- 嫐 +- 嬶 +- 尓 +- 尙 +- 屢 +- 屣 +- 岀 +- 峄 +- 峇 +- 崞 +- 崮 +- 帙 +- 廍 +- 弌 +- 弢 +- 彥 +- 彳 +- 悒 +- 惝 +- 愔 +- 愷 +- 愾 +- 慤 +- 戞 +- 戽 +- 扴 +- 抆 +- 抔 +- 抦 +- 拃 +- 捹 +- 掁 +- 掕 +- 掼 +- 摙 +- 摳 +- 摵 +- 摷 +- 擏 +- 擷 +- 斝 +- 旳 +- 昃 +- 晡 +- 晧 +- 暸 +- 杙 +- 杣 +- 杻 +- 枧 +- 枰 +- 柸 +- 棔 +- 椏 +- 椟 +- 榙 +- 樁 +- 樗 +- 檪 +- 櫈 +- 殁 +- 殄 +- 毵 +- 氾 +- 汱 +- 洐 +- 洹 +- 淥 +- 淪 +- 湫 +- 溋 +- 溷 +- 滸 +- 潴 +- 澗 +- 澶 +- 濉 +- 瀍 +- 烝 +- 煆 +- 熈 +- 燜 +- 爨 +- 牾 +- 猗 +- 玜 +- 玠 +- 珒 +- 珣 +- 瑨 +- 瓠 +- 疔 +- 疠 +- 疴 +- 睞 +- 硚 +- 硨 +- 磲 +- 礑 +- 祆 +- 禳 +- 穐 +- 笮 +- 筌 +- 筿 +- 箆 +- 箓 +- 篋 +- 簟 +- 簫 +- 糉 +- 絅 +- 綖 +- 綯 +- 綷 +- 綽 +- 緁 +- 緲 +- 縒 +- 縹 +- 繆 +- 繏 +- 缑 +- 缙 +- 罨 +- 羂 +- 羣 +- 羶 +- 翙 +- 聼 +- 肟 +- 艀 +- 艹 +- 芰 +- 芻 +- 苎 +- 茏 +- 茖 +- 茭 +- 莚 +- 莸 +- 莾 +- 萜 +- 萡 +- 蒽 +- 蓀 +- 蓁 +- 蓥 +- 蕘 +- 蕞 +- 薟 +- 藳 +- 蛲 +- 蜑 +- 蜞 +- 蝥 +- 螋 +- 蟇 +- 蟳 +- 衒 +- 衮 +- 袛 +- 袰 +- 裄 +- 裎 +- 褦 +- 褫 +- 襤 +- 觔 +- 觚 +- 詬 +- 諚 +- 諤 +- 謔 +- 譫 +- 讒 +- 诮 +- 谘 +- 谳 +- 貉 +- 貮 +- 赀 +- 赓 +- 赟 +- 踅 +- 蹺 +- 輊 +- 輟 +- 輳 +- 轾 +- 辎 +- 辶 +- 迍 +- 郃 +- 郗 +- 郛 +- 郧 +- 鄯 +- 醯 +- 釆 +- 釿 +- 鈪 +- 鉅 +- 鉎 +- 銥 +- 銳 +- 鎭 +- 鐇 +- 鐶 +- 鑛 +- 鑢 +- 钕 +- 钤 +- 钫 +- 钬 +- 钿 +- 铙 +- 铧 +- 铽 +- 锝 +- 锟 +- 镝 +- 镡 +- 闼 +- 隗 +- 雺 +- 霈 +- 韃 +- 韜 +- 韫 +- 餚 +- 餾 +- 饑 +- 馔 +- 駝 +- 驺 +- 驽 +- 骝 +- 髧 +- 鮒 +- 鮖 +- 鯣 +- 鰌 +- 鰒 +- 鱉 +- 鱷 +- 鲗 +- 鲩 +- 鲾 +- 鳀 +- 鳊 +- 鳚 +- 鳜 +- 鳢 +- 鳰 +- 鴿 +- 鹀 +- 鹟 +- 麭 +- 黩 +- 鼢 +- 鼷 +- 齴 +- 龢 +- ꞌ +- 갼 +- 겝 +- 겻 +- 곘 +- 괍 +- 괏 +- 궂 +- 귯 +- 꺅 +- 꺤 +- 껒 +- 꽨 +- 꽷 +- 꾿 +- 뀨 +- 끕 +- 낏 +- 넵 +- 녘 +- 놥 +- 눟 +- 늗 +- 늣 +- 닪 +- 닸 +- 덷 +- 뎄 +- 뎡 +- 돚 +- 됑 +- 듭 +- 듶 +- 딫 +- 땍 +- 땟 +- 떈 +- 떱 +- 뗏 +- 똫 +- 뙤 +- 뚸 +- 뛌 +- 뜹 +- 띌 +- 띔 +- 럤 +- 롄 +- 뤃 +- 뤼 +- 맀 +- 먀 +- 먙 +- 멨 +- 묀 +- 뭍 +- 뭥 +- 뭬 +- 뭰 +- 믁 +- 믐 +- 밈 +- 밎 +- 뱁 +- 뱡 +- 벋 +- 벛 +- 볻 +- 봥 +- 뵤 +- 붜 +- 뷘 +- 뺘 +- 뻬 +- 뼘 +- 뼜 +- 뿕 +- 뿟 +- 쁩 +- 쁸 +- 삣 +- 삧 +- 삯 +- 셤 +- 셥 +- 셸 +- 솝 +- 솨 +- 쇽 +- 쉪 +- 쉭 +- 쌘 +- 쎼 +- 쏸 +- 쐐 +- 쐴 +- 쑬 +- 쒯 +- 씃 +- 앎 +- 앏 +- 앝 +- 얉 +- 얋 +- 얐 +- 얬 +- 옙 +- 옜 +- 왝 +- 왯 +- 윅 +- 읒 +- 잿 +- 쟝 +- 젭 +- 젱 +- 졀 +- 좃 +- 좇 +- 좐 +- 죈 +- 죵 +- 줜 +- 줴 +- 쥔 +- 쥘 +- 짢 +- 쩟 +- ํ +- ଋ +- 닯 +- 뜀 +- 룟 +- 뭡 +- 쌂 +- Ѓ +- ઁ +- ః +- 摅 +- 欉 +- 洶 +- 牘 +- 篪 +- 繃 +- 艻 +- 跩 +- 鷯 +- 뫼 +- 왐 +- ఙ +- 仂 +- 俍 +- 埖 +- 堊 +- 尅 +- 悾 +- 掅 +- 摎 +- 柢 +- 樨 +- 橂 +- 歁 +- 殕 +- 狯 +- 珜 +- 珰 +- 瑆 +- 畭 +- 穰 +- 箨 +- 缳 +- 罌 +- 耨 +- 臌 +- 苁 +- 萄 +- 蠓 +- 蠖 +- 蠶 +- 褸 +- 襠 +- 觴 +- 謖 +- 酺 +- 铊 +- 駟 +- 鰍 +- 黾 +- ♡ +- 僢 +- 剉 +- 噘 +- 圞 +- 圹 +- 岨 +- 弉 +- 昺 +- 橢 +- 濶 +- 焮 +- 禩 +- 秡 +- 秫 +- 笊 +- 茌 +- 蕖 +- 藹 +- 螅 +- 袆 +- 郏 +- 鉋 +- 銹 +- 铌 +- 駸 +- 墻 +- 悋 +- 暱 +- 櫨 +- 浬 +- 筬 +- 糺 +- 紑 +- 誂 +- 賎 +- 跹 +- 蹁 +- 蹠 +- 鰤 +- ằ +- 蒻 +- 鞨 +- ắ +- 笵 +- +- +- +init: null +input_size: null +ctc_conf: + dropout_rate: 0.0 + ctc_type: builtin + reduce: true + ignore_nan_grad: null + zero_infinity: true +use_preprocessor: true +token_type: bpe +bpemodel: owsm_v3.1_ebf/data/token_list/bpe_unigram50000/bpe.model +non_linguistic_symbols: null +cleaner: null +g2p: null +speech_volume_normalize: null +rir_scp: null +rir_apply_prob: 1.0 +noise_scp: null +noise_apply_prob: 1.0 +noise_db_range: '13_15' +short_noise_thres: 0.5 +frontend: default +frontend_conf: + n_fft: 512 + win_length: 400 + hop_length: 160 + fs: 16k +specaug: specaug +specaug_conf: + apply_time_warp: false + time_warp_window: 5 + time_warp_mode: bicubic + apply_freq_mask: true + freq_mask_width_range: + - 0 + - 27 + num_freq_mask: 2 + apply_time_mask: true + time_mask_width_ratio_range: + - 0.0 + - 0.05 + num_time_mask: 10 +normalize: global_mvn +normalize_conf: + stats_file: owsm_v3.1_ebf/exp/s2t_stats_raw_bpe50000/train/feats_stats.npz +model: espnet +model_conf: + ctc_weight: 0.3 + lsm_weight: 0.1 + length_normalized_loss: false + sym_na: +preencoder: null +preencoder_conf: {} +encoder: e_branchformer +encoder_conf: + output_size: 1024 + attention_heads: 16 + attention_layer_type: selfattn + pos_enc_layer_type: abs_pos + rel_pos_type: latest + cgmlp_linear_units: 4096 + cgmlp_conv_kernel: 31 + use_linear_after_conv: false + gate_activation: identity + num_blocks: 18 + dropout_rate: 0.1 + positional_dropout_rate: 0.1 + attention_dropout_rate: 0.1 + input_layer: conv2d + layer_drop_rate: 0.0 + linear_units: 4096 + positionwise_layer_type: linear + use_ffn: true + macaron_ffn: true + merge_conv_kernel: 31 +postencoder: null +postencoder_conf: {} +decoder: transformer +decoder_conf: + attention_heads: 16 + linear_units: 4096 + num_blocks: 18 + dropout_rate: 0.1 + positional_dropout_rate: 0.1 + self_attention_dropout_rate: 0.1 + src_attention_dropout_rate: 0.1 +preprocessor: s2t +preprocessor_conf: + text_prev_name: text_prev + text_ctc_name: text_ctc + fs: 16000 + na_symbol: + speech_length: 30 + speech_resolution: 0.02 + speech_init_silence: 30 + text_prev_apply_prob: 0.5 + time_apply_prob: 0.5 + notime_symbol: + first_time_symbol: <0.00> + last_time_symbol: <30.00> +required: +- output_dir +- token_list +version: '202308' +distributed: true diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/acc.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/acc.png new file mode 100644 index 0000000000000000000000000000000000000000..a1a7a3bae5f0e7a3bc96407c7f578e205b4bed4f Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/acc.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/backward_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/backward_time.png new file mode 100644 index 0000000000000000000000000000000000000000..41cb89f4758b3d20c7147762ee9921e8e4fe931e Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/backward_time.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer.png new file mode 100644 index 0000000000000000000000000000000000000000..def6dba8e40be93b544ed1d44246f2754e948a7a Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer_ctc.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer_ctc.png new file mode 100644 index 0000000000000000000000000000000000000000..0f8c894b667e232c544d293cd0a1dcf6590b26b2 Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/cer_ctc.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/clip.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/clip.png new file mode 100644 index 0000000000000000000000000000000000000000..46a8b5b5b48b71558d0fae8749f13302a56a6811 Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/clip.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/forward_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/forward_time.png new file mode 100644 index 0000000000000000000000000000000000000000..5ebfc25d8d2668f8d8ee5514054cd4547bad96bb Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/forward_time.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/gpu_max_cached_mem_GB.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/gpu_max_cached_mem_GB.png new file mode 100644 index 0000000000000000000000000000000000000000..992a10417e36368443229d0c3876edcce8d5f2e9 Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/gpu_max_cached_mem_GB.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/grad_norm.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/grad_norm.png new file mode 100644 index 0000000000000000000000000000000000000000..73aff6fd11435d77bab96812a384322452e360df Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/grad_norm.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/iter_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/iter_time.png new file mode 100644 index 0000000000000000000000000000000000000000..40ec0815877496262ae176b68acdbb1e7a97f680 Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/iter_time.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss.png new file mode 100644 index 0000000000000000000000000000000000000000..f32baa98b1036a6faaeb32ab80650b64db0143d6 Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_att.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_att.png new file mode 100644 index 0000000000000000000000000000000000000000..a07f8d41aca3773e8a8587f17f408acb48523ccd Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_att.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_ctc.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_ctc.png new file mode 100644 index 0000000000000000000000000000000000000000..779e97c72bea0cda117e74370c60fd8fccfe4dd4 Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_ctc.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_scale.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_scale.png new file mode 100644 index 0000000000000000000000000000000000000000..1a08c072e8af89824c2436196c2c9e12d54ae96e Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/loss_scale.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim0_lr0.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim0_lr0.png new file mode 100644 index 0000000000000000000000000000000000000000..396153aa93d8211b1d080455d7b37f22bd0afb38 Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim0_lr0.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim_step_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim_step_time.png new file mode 100644 index 0000000000000000000000000000000000000000..3a572cfcb615b5bf14e90113972fa38719514e49 Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/optim_step_time.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/train_time.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/train_time.png new file mode 100644 index 0000000000000000000000000000000000000000..35f5184a80d994dc1ce00fdcfe0429a2b17a1dcc Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/train_time.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/wer.png b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/wer.png new file mode 100644 index 0000000000000000000000000000000000000000..ede423319f11a858e678f13040be27a3b188246f Binary files /dev/null and b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/images/wer.png differ diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.1.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.1.log new file mode 100644 index 0000000000000000000000000000000000000000..9801ad06d695e50127c3f4caabb96053f8feba77 --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.1.log @@ -0,0 +1,3175 @@ +# Running on gpua005.delta.ncsa.illinois.edu +# Started at Tue Dec 19 07:29:08 CST 2023 +# SLURMD_NODENAME=gpua005 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2757381 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1703165328 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2757381 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[005,007-008,016,026,030,032,036,039,041,082,086,092,097-099]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1702992528 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[005,007-008,016,026,030,032,036,039,041,082,086,092,097-099]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=3000674 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua005 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2213554f-2b2b-4da8-aa68-5be2ec04273a +[gpua005:0/64] 2023-12-19 07:33:07,060 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua005:0/64] 2023-12-19 07:33:08,654 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua005:0/64] 2023-12-19 07:33:08,685 (s2t:464) INFO: Vocabulary size: 50002 +[gpua005:0/64] 2023-12-19 07:33:21,834 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua005:0/64] 2023-12-19 07:33:21,845 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua005:0/64] 2023-12-19 07:33:21,846 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua005:0/64] 2023-12-19 07:33:21,846 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua005:0/64] 2023-12-19 07:33:21,847 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua005:0/64] 2023-12-19 07:33:27,223 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 07:33:28,118 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 07:33:28,118 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua005:0/64] 2023-12-19 07:33:28,119 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 07:33:55,294 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua005:3000819:3000819 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:3000819:3000819 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:3000819:3000819 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua005:0/64] 2023-12-19 07:34:01,232 (trainer:284) INFO: 41/45epoch started +[gpua005:0/64] 2023-12-19 07:34:01,300 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua005:0/64] 2023-12-19 07:34:18,504 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 07:34:21,864 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 07:34:21,864 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua005:0/64] 2023-12-19 07:34:21,868 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua097:3145433:3145433 [1] NCCL INFO cudaDriverVersion 12020 +gpua097:3145433:3145433 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> +gpua097:3145433:3145433 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua097:3145433:3145500 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> +gpua097:3145433:3145500 [1] NCCL INFO Using network IB +gpua097:3145433:3145500 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua097:3145433:3145500 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua097:3145433:3145500 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua097:3145433:3145500 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua097:3145433:3145500 [1] NCCL INFO Connected all rings +gpua097:3145433:3145500 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua097:3145433:3145500 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua097:3145433:3145500 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua097:3145433:3145500 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua097:3145433:3145500 [1] NCCL INFO Connected all trees +gpua097:3145433:3145500 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua097:3145433:3145500 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua097:3145433:3145500 [1] NCCL INFO comm 0x13021700 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua032:1037051:1037051 [2] NCCL INFO cudaDriverVersion 12020 +gpua032:1037051:1037051 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:1037051:1037051 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:1037051:1037112 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:1037051:1037112 [2] NCCL INFO Using network IB +gpua032:1037051:1037112 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua032:1037051:1037112 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua032:1037051:1037112 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua032:1037051:1037112 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua032:1037051:1037112 [2] NCCL INFO Connected all rings +gpua032:1037051:1037112 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua032:1037051:1037112 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua032:1037051:1037112 [2] NCCL INFO Connected all trees +gpua032:1037051:1037112 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:1037051:1037112 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:1037051:1037112 [2] NCCL INFO comm 0x7f48183fa530 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua032:1037049:1037049 [0] NCCL INFO cudaDriverVersion 12020 +gpua032:1037049:1037049 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:1037049:1037049 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:1037049:1037113 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:1037049:1037113 [0] NCCL INFO Using network IB +gpua032:1037049:1037113 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua032:1037049:1037113 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:1037049:1037113 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua032:1037049:1037113 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua032:1037049:1037113 [0] NCCL INFO Connected all rings +gpua032:1037049:1037113 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua032:1037049:1037113 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:1037049:1037113 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua032:1037049:1037113 [0] NCCL INFO Connected all trees +gpua032:1037049:1037113 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:1037049:1037113 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:1037049:1037113 [0] NCCL INFO comm 0x1dc184a0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua097:3145432:3145432 [0] NCCL INFO cudaDriverVersion 12020 +gpua097:3145432:3145432 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> +gpua097:3145432:3145432 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua097:3145432:3145502 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> +gpua097:3145432:3145502 [0] NCCL INFO Using network IB +gpua097:3145432:3145502 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua097:3145432:3145502 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua097:3145432:3145502 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua097:3145432:3145502 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua097:3145432:3145502 [0] NCCL INFO Connected all rings +gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua097:3145432:3145502 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua097:3145432:3145502 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua097:3145432:3145502 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua097:3145432:3145502 [0] NCCL INFO Connected all trees +gpua097:3145432:3145502 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua097:3145432:3145502 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua097:3145432:3145502 [0] NCCL INFO comm 0xbdfeb50 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:3000819:3000888 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:3000819:3000888 [0] NCCL INFO Using network IB +gpua005:3000819:3000888 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua005:3000819:3000888 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua005:3000819:3000888 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua005:3000819:3000888 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua005:3000819:3000888 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua005:3000819:3000888 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua005:3000819:3000888 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua005:3000819:3000888 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua005:3000819:3000888 [0] NCCL INFO Connected all rings +gpua005:3000819:3000888 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua005:3000819:3000888 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua005:3000819:3000888 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua005:3000819:3000888 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua005:3000819:3000888 [0] NCCL INFO Connected all trees +gpua005:3000819:3000888 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:3000819:3000888 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:3000819:3000888 [0] NCCL INFO comm 0xec8b50a0 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:3000822:3000822 [3] NCCL INFO cudaDriverVersion 12020 +gpua005:3000822:3000822 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:3000822:3000822 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:3000822:3000891 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:3000822:3000891 [3] NCCL INFO Using network IB +gpua005:3000822:3000891 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua005:3000822:3000891 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua005:3000822:3000891 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua005:3000822:3000891 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua005:3000822:3000891 [3] NCCL INFO Connected all rings +gpua005:3000822:3000891 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua005:3000822:3000891 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua005:3000822:3000891 [3] NCCL INFO Connected all trees +gpua005:3000822:3000891 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:3000822:3000891 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:3000822:3000891 [3] NCCL INFO comm 0xfe4bf10 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua036:1186942:1186942 [3] NCCL INFO cudaDriverVersion 12020 +gpua036:1186942:1186942 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.36<0> +gpua036:1186942:1186942 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua036:1186942:1187014 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.36<0> +gpua036:1186942:1187014 [3] NCCL INFO Using network IB +gpua036:1186942:1187014 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua036:1186942:1187014 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua036:1186942:1187014 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua036:1186942:1187014 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua036:1186942:1187014 [3] NCCL INFO Connected all rings +gpua036:1186942:1187014 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua036:1186942:1187014 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua036:1186942:1187014 [3] NCCL INFO Connected all trees +gpua036:1186942:1187014 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua036:1186942:1187014 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua036:1186942:1187014 [3] NCCL INFO comm 0x1915ef60 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua008:2393224:2393224 [2] NCCL INFO cudaDriverVersion 12020 +gpua008:2393224:2393224 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2393224:2393224 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2393224:2393284 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2393224:2393284 [2] NCCL INFO Using network IB +gpua008:2393224:2393284 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua008:2393224:2393284 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua008:2393224:2393284 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua008:2393224:2393284 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua008:2393224:2393284 [2] NCCL INFO Connected all rings +gpua008:2393224:2393284 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua008:2393224:2393284 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua008:2393224:2393284 [2] NCCL INFO Connected all trees +gpua008:2393224:2393284 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2393224:2393284 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2393224:2393284 [2] NCCL INFO comm 0xad73630 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua041:912684:912684 [1] NCCL INFO cudaDriverVersion 12020 +gpua041:912684:912684 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.41<0> +gpua041:912684:912684 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua041:912684:912753 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.41<0> +gpua041:912684:912753 [1] NCCL INFO Using network IB +gpua041:912684:912753 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua041:912684:912753 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua041:912684:912753 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua041:912684:912753 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua041:912684:912753 [1] NCCL INFO Connected all rings +gpua041:912684:912753 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua041:912684:912753 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua041:912684:912753 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua041:912684:912753 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua041:912684:912753 [1] NCCL INFO Connected all trees +gpua041:912684:912753 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua041:912684:912753 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua041:912684:912753 [1] NCCL INFO comm 0x101741b0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua098:480539:480539 [2] NCCL INFO cudaDriverVersion 12020 +gpua098:480539:480539 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.98<0> +gpua098:480539:480539 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua098:480539:480603 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.98<0> +gpua098:480539:480603 [2] NCCL INFO Using network IB +gpua098:480539:480603 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua098:480539:480603 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua098:480539:480603 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua098:480539:480603 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua098:480539:480603 [2] NCCL INFO Connected all rings +gpua098:480539:480603 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua098:480539:480603 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua098:480539:480603 [2] NCCL INFO Connected all trees +gpua098:480539:480603 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua098:480539:480603 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua098:480539:480603 [2] NCCL INFO comm 0x93235d10 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua092:1040047:1040047 [1] NCCL INFO cudaDriverVersion 12020 +gpua092:1040047:1040047 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:1040047:1040047 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:1040047:1040119 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:1040047:1040119 [1] NCCL INFO Using network IB +gpua092:1040047:1040119 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua092:1040047:1040119 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua092:1040047:1040119 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua092:1040047:1040119 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua092:1040047:1040119 [1] NCCL INFO Connected all rings +gpua092:1040047:1040119 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua092:1040047:1040119 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua092:1040047:1040119 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua092:1040047:1040119 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua092:1040047:1040119 [1] NCCL INFO Connected all trees +gpua092:1040047:1040119 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:1040047:1040119 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:1040047:1040119 [1] NCCL INFO comm 0xf9379e0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua016:1316130:1316130 [3] NCCL INFO cudaDriverVersion 12020 +gpua016:1316130:1316130 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> +gpua016:1316130:1316130 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua016:1316130:1316194 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> +gpua016:1316130:1316194 [3] NCCL INFO Using network IB +gpua016:1316130:1316194 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua016:1316130:1316194 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua016:1316130:1316194 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua016:1316130:1316194 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua016:1316130:1316194 [3] NCCL INFO Connected all rings +gpua016:1316130:1316194 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua016:1316130:1316194 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua016:1316130:1316194 [3] NCCL INFO Connected all trees +gpua016:1316130:1316194 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua016:1316130:1316194 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua016:1316130:1316194 [3] NCCL INFO comm 0x10199290 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua016:1316127:1316127 [0] NCCL INFO cudaDriverVersion 12020 +gpua016:1316127:1316127 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> +gpua016:1316127:1316127 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua016:1316127:1316195 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> +gpua016:1316127:1316195 [0] NCCL INFO Using network IB +gpua016:1316127:1316195 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua016:1316127:1316195 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua016:1316127:1316195 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua016:1316127:1316195 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua016:1316127:1316195 [0] NCCL INFO Connected all rings +gpua016:1316127:1316195 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua016:1316127:1316195 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua016:1316127:1316195 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua016:1316127:1316195 [0] NCCL INFO Connected all trees +gpua016:1316127:1316195 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua016:1316127:1316195 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua016:1316127:1316195 [0] NCCL INFO comm 0xf1c430a0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua008:2393225:2393225 [3] NCCL INFO cudaDriverVersion 12020 +gpua008:2393225:2393225 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2393225:2393225 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2393225:2393290 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2393225:2393290 [3] NCCL INFO Using network IB +gpua008:2393225:2393290 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua008:2393225:2393290 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua008:2393225:2393290 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua008:2393225:2393290 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua008:2393225:2393290 [3] NCCL INFO Connected all rings +gpua008:2393225:2393290 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua008:2393225:2393290 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua008:2393225:2393290 [3] NCCL INFO Connected all trees +gpua008:2393225:2393290 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2393225:2393290 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2393225:2393290 [3] NCCL INFO comm 0x1b692a90 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua092:1040046:1040046 [0] NCCL INFO cudaDriverVersion 12020 +gpua092:1040046:1040046 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:1040046:1040046 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:1040046:1040116 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:1040046:1040116 [0] NCCL INFO Using network IB +gpua092:1040046:1040116 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua092:1040046:1040116 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua092:1040046:1040116 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua092:1040046:1040116 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua092:1040046:1040116 [0] NCCL INFO Connected all rings +gpua032:1037052:1037052 [3] NCCL INFO cudaDriverVersion 12020 +gpua032:1037052:1037052 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:1037052:1037052 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:1037052:1037111 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:1037052:1037111 [3] NCCL INFO Using network IB +gpua032:1037052:1037111 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua032:1037052:1037111 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua032:1037052:1037111 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua032:1037052:1037111 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua032:1037052:1037111 [3] NCCL INFO Connected all rings +gpua032:1037052:1037111 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua032:1037052:1037111 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua092:1040046:1040116 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua092:1040046:1040116 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua092:1040046:1040116 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua092:1040046:1040116 [0] NCCL INFO Connected all trees +gpua092:1040046:1040116 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:1040046:1040116 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:1040046:1040116 [0] NCCL INFO comm 0xcd2ba40 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua032:1037052:1037111 [3] NCCL INFO Connected all trees +gpua032:1037052:1037111 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:1037052:1037111 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:1037052:1037111 [3] NCCL INFO comm 0x1e40f0d0 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua036:1186941:1186941 [2] NCCL INFO cudaDriverVersion 12020 +gpua036:1186941:1186941 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.36<0> +gpua036:1186941:1186941 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua036:1186941:1187016 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.36<0> +gpua036:1186941:1187016 [2] NCCL INFO Using network IB +gpua036:1186941:1187016 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua036:1186941:1187016 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua036:1186941:1187016 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua036:1186941:1187016 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua036:1186941:1187016 [2] NCCL INFO Connected all rings +gpua036:1186941:1187016 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua036:1186941:1187016 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua036:1186941:1187016 [2] NCCL INFO Connected all trees +gpua036:1186941:1187016 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua036:1186941:1187016 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua036:1186941:1187016 [2] NCCL INFO comm 0x1ddfcf40 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua032:1037050:1037050 [1] NCCL INFO cudaDriverVersion 12020 +gpua032:1037050:1037050 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:1037050:1037050 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:1037050:1037114 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:1037050:1037114 [1] NCCL INFO Using network IB +gpua032:1037050:1037114 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua032:1037050:1037114 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua032:1037050:1037114 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua032:1037050:1037114 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua032:1037050:1037114 [1] NCCL INFO Connected all rings +gpua032:1037050:1037114 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua032:1037050:1037114 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua032:1037050:1037114 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua032:1037050:1037114 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua032:1037050:1037114 [1] NCCL INFO Connected all trees +gpua032:1037050:1037114 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:1037050:1037114 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:1037050:1037114 [1] NCCL INFO comm 0x9c5e4c50 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua098:480537:480537 [0] NCCL INFO cudaDriverVersion 12020 +gpua098:480537:480537 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.98<0> +gpua098:480537:480537 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua098:480537:480601 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.98<0> +gpua098:480537:480601 [0] NCCL INFO Using network IB +gpua098:480537:480601 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua098:480537:480601 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua098:480537:480601 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua098:480537:480601 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua098:480537:480601 [0] NCCL INFO Connected all rings +gpua099:959113:959113 [2] NCCL INFO cudaDriverVersion 12020 +gpua099:959113:959113 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> +gpua099:959113:959113 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua099:959113:959175 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> +gpua099:959113:959175 [2] NCCL INFO Using network IB +gpua099:959113:959175 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua099:959113:959175 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua099:959113:959175 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua099:959113:959175 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua099:959113:959175 [2] NCCL INFO Connected all rings +gpua099:959113:959175 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua099:959113:959175 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua036:1186939:1186939 [0] NCCL INFO cudaDriverVersion 12020 +gpua036:1186939:1186939 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.36<0> +gpua036:1186939:1186939 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua036:1186939:1187013 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.36<0> +gpua036:1186939:1187013 [0] NCCL INFO Using network IB +gpua036:1186939:1187013 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua036:1186939:1187013 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua036:1186939:1187013 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua036:1186939:1187013 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua036:1186939:1187013 [0] NCCL INFO Connected all rings +gpua098:480537:480601 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua098:480537:480601 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua098:480537:480601 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua098:480537:480601 [0] NCCL INFO Connected all trees +gpua098:480537:480601 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua098:480537:480601 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua098:480537:480601 [0] NCCL INFO comm 0x9bf03fe0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua099:959113:959175 [2] NCCL INFO Connected all trees +gpua099:959113:959175 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua099:959113:959175 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua099:959113:959175 [2] NCCL INFO comm 0x11bee360 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua036:1186939:1187013 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua036:1186939:1187013 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua036:1186939:1187013 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua036:1186939:1187013 [0] NCCL INFO Connected all trees +gpua036:1186939:1187013 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua036:1186939:1187013 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua036:1186939:1187013 [0] NCCL INFO comm 0xb92bc00 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua099:959111:959111 [0] NCCL INFO cudaDriverVersion 12020 +gpua099:959111:959111 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> +gpua099:959111:959111 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua099:959111:959181 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> +gpua099:959111:959181 [0] NCCL INFO Using network IB +gpua099:959111:959181 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua099:959111:959181 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua099:959111:959181 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua099:959111:959181 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua099:959111:959181 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua099:959111:959181 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua099:959111:959181 [0] NCCL INFO Connected all rings +gpua099:959111:959181 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua099:959111:959181 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua099:959111:959181 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua099:959111:959181 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua099:959111:959181 [0] NCCL INFO Connected all trees +gpua099:959111:959181 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua099:959111:959181 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua099:959111:959181 [0] NCCL INFO comm 0xcf27c40 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua036:1186940:1186940 [1] NCCL INFO cudaDriverVersion 12020 +gpua036:1186940:1186940 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.36<0> +gpua036:1186940:1186940 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua036:1186940:1187015 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.36<0> +gpua036:1186940:1187015 [1] NCCL INFO Using network IB +gpua036:1186940:1187015 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua036:1186940:1187015 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua036:1186940:1187015 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua036:1186940:1187015 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua036:1186940:1187015 [1] NCCL INFO Connected all rings +gpua036:1186940:1187015 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua036:1186940:1187015 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua036:1186940:1187015 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua036:1186940:1187015 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua036:1186940:1187015 [1] NCCL INFO Connected all trees +gpua036:1186940:1187015 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua036:1186940:1187015 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua036:1186940:1187015 [1] NCCL INFO comm 0xe706d820 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua041:912686:912686 [3] NCCL INFO cudaDriverVersion 12020 +gpua041:912686:912686 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.41<0> +gpua041:912686:912686 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua041:912686:912754 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.41<0> +gpua041:912686:912754 [3] NCCL INFO Using network IB +gpua041:912686:912754 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua041:912686:912754 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua041:912686:912754 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua041:912686:912754 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua041:912686:912754 [3] NCCL INFO Connected all rings +gpua041:912686:912754 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua041:912686:912754 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua041:912686:912754 [3] NCCL INFO Connected all trees +gpua041:912686:912754 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua041:912686:912754 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua041:912686:912754 [3] NCCL INFO comm 0x15030540 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua041:912685:912685 [2] NCCL INFO cudaDriverVersion 12020 +gpua041:912685:912685 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.41<0> +gpua041:912685:912685 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua041:912685:912751 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.41<0> +gpua041:912685:912751 [2] NCCL INFO Using network IB +gpua041:912685:912751 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua041:912685:912751 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua041:912685:912751 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua041:912685:912751 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua041:912685:912751 [2] NCCL INFO Connected all rings +gpua041:912685:912751 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua041:912685:912751 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua092:1040048:1040048 [2] NCCL INFO cudaDriverVersion 12020 +gpua092:1040048:1040048 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:1040048:1040048 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:1040048:1040114 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:1040048:1040114 [2] NCCL INFO Using network IB +gpua092:1040048:1040114 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua092:1040048:1040114 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua092:1040048:1040114 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua092:1040048:1040114 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua092:1040048:1040114 [2] NCCL INFO Connected all rings +gpua092:1040048:1040114 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua092:1040048:1040114 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua005:3000820:3000820 [1] NCCL INFO cudaDriverVersion 12020 +gpua005:3000820:3000820 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:3000820:3000820 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:3000820:3000889 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:3000820:3000889 [1] NCCL INFO Using network IB +gpua005:3000820:3000889 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua005:3000820:3000889 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua005:3000820:3000889 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua005:3000820:3000889 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua005:3000820:3000889 [1] NCCL INFO Connected all rings +gpua005:3000820:3000889 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua005:3000820:3000889 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua041:912685:912751 [2] NCCL INFO Connected all trees +gpua041:912685:912751 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua041:912685:912751 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua041:912685:912751 [2] NCCL INFO comm 0xe323e00 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua092:1040048:1040114 [2] NCCL INFO Connected all trees +gpua092:1040048:1040114 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:1040048:1040114 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:1040048:1040114 [2] NCCL INFO comm 0x7fcefa7d9560 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua005:3000820:3000889 [1] NCCL INFO Connected all trees +gpua005:3000820:3000889 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:3000820:3000889 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:3000820:3000889 [1] NCCL INFO comm 0xea2683a0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua041:912683:912683 [0] NCCL INFO cudaDriverVersion 12020 +gpua041:912683:912683 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.41<0> +gpua041:912683:912683 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua041:912683:912752 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.41<0> +gpua041:912683:912752 [0] NCCL INFO Using network IB +gpua041:912683:912752 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua041:912683:912752 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua041:912683:912752 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua041:912683:912752 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua041:912683:912752 [0] NCCL INFO Connected all rings +gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua041:912683:912752 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua041:912683:912752 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua041:912683:912752 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua041:912683:912752 [0] NCCL INFO Connected all trees +gpua041:912683:912752 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua041:912683:912752 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua041:912683:912752 [0] NCCL INFO comm 0x18ba7e70 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:3000821:3000821 [2] NCCL INFO cudaDriverVersion 12020 +gpua005:3000821:3000821 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:3000821:3000821 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:3000821:3000890 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:3000821:3000890 [2] NCCL INFO Using network IB +gpua005:3000821:3000890 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua005:3000821:3000890 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua005:3000821:3000890 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua005:3000821:3000890 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua005:3000821:3000890 [2] NCCL INFO Connected all rings +gpua005:3000821:3000890 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua005:3000821:3000890 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua005:3000821:3000890 [2] NCCL INFO Connected all trees +gpua005:3000821:3000890 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:3000821:3000890 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:3000821:3000890 [2] NCCL INFO comm 0xb3e7930 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua016:1316128:1316128 [1] NCCL INFO cudaDriverVersion 12020 +gpua016:1316128:1316128 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> +gpua016:1316128:1316128 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua016:1316128:1316193 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> +gpua016:1316128:1316193 [1] NCCL INFO Using network IB +gpua016:1316128:1316193 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua016:1316128:1316193 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua016:1316128:1316193 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua016:1316128:1316193 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua016:1316128:1316193 [1] NCCL INFO Connected all rings +gpua016:1316128:1316193 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua016:1316128:1316193 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua016:1316128:1316193 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua016:1316128:1316193 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua016:1316128:1316193 [1] NCCL INFO Connected all trees +gpua016:1316128:1316193 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua016:1316128:1316193 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua016:1316128:1316193 [1] NCCL INFO comm 0x9a131ad0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua099:959112:959112 [1] NCCL INFO cudaDriverVersion 12020 +gpua099:959112:959112 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> +gpua099:959112:959112 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua099:959112:959178 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> +gpua099:959112:959178 [1] NCCL INFO Using network IB +gpua099:959112:959178 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua099:959112:959178 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua099:959112:959178 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua099:959112:959178 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua099:959112:959178 [1] NCCL INFO Connected all rings +gpua099:959112:959178 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua099:959112:959178 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua099:959112:959178 [1] NCCL INFO Connected all trees +gpua099:959112:959178 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua099:959112:959178 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua099:959112:959178 [1] NCCL INFO comm 0xdc8fe60 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua098:480540:480540 [3] NCCL INFO cudaDriverVersion 12020 +gpua098:480540:480540 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.98<0> +gpua098:480540:480540 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua098:480540:480597 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.98<0> +gpua098:480540:480597 [3] NCCL INFO Using network IB +gpua098:480540:480597 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua098:480540:480597 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua098:480540:480597 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua098:480540:480597 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua098:480540:480597 [3] NCCL INFO Connected all rings +gpua098:480540:480597 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua098:480540:480597 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua098:480540:480597 [3] NCCL INFO Connected all trees +gpua098:480540:480597 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua098:480540:480597 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua098:480540:480597 [3] NCCL INFO comm 0x7f6ec38fa560 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua008:2393223:2393223 [1] NCCL INFO cudaDriverVersion 12020 +gpua008:2393223:2393223 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2393223:2393223 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2393223:2393286 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2393223:2393286 [1] NCCL INFO Using network IB +gpua008:2393223:2393286 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua008:2393223:2393286 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua008:2393223:2393286 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua008:2393223:2393286 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua008:2393223:2393286 [1] NCCL INFO Connected all rings +gpua008:2393223:2393286 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua008:2393223:2393286 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua008:2393223:2393286 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua008:2393223:2393286 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua008:2393223:2393286 [1] NCCL INFO Connected all trees +gpua008:2393223:2393286 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2393223:2393286 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2393223:2393286 [1] NCCL INFO comm 0xe9ce07a0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua098:480538:480538 [1] NCCL INFO cudaDriverVersion 12020 +gpua098:480538:480538 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.98<0> +gpua098:480538:480538 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua098:480538:480599 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.98<0> +gpua098:480538:480599 [1] NCCL INFO Using network IB +gpua098:480538:480599 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua098:480538:480599 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua098:480538:480599 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua098:480538:480599 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua098:480538:480599 [1] NCCL INFO Connected all rings +gpua098:480538:480599 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua098:480538:480599 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua098:480538:480599 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua098:480538:480599 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua098:480538:480599 [1] NCCL INFO Connected all trees +gpua098:480538:480599 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua098:480538:480599 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua098:480538:480599 [1] NCCL INFO comm 0xd690810 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua099:959114:959114 [3] NCCL INFO cudaDriverVersion 12020 +gpua099:959114:959114 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> +gpua099:959114:959114 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua099:959114:959177 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> +gpua099:959114:959177 [3] NCCL INFO Using network IB +gpua099:959114:959177 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua099:959114:959177 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua099:959114:959177 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua099:959114:959177 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua099:959114:959177 [3] NCCL INFO Connected all rings +gpua099:959114:959177 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua099:959114:959177 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua099:959114:959177 [3] NCCL INFO Connected all trees +gpua099:959114:959177 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua099:959114:959177 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua099:959114:959177 [3] NCCL INFO comm 0xc6ab920 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua008:2393222:2393222 [0] NCCL INFO cudaDriverVersion 12020 +gpua008:2393222:2393222 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2393222:2393222 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2393222:2393287 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2393222:2393287 [0] NCCL INFO Using network IB +gpua008:2393222:2393287 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua008:2393222:2393287 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua008:2393222:2393287 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua008:2393222:2393287 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua008:2393222:2393287 [0] NCCL INFO Connected all rings +gpua008:2393222:2393287 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua008:2393222:2393287 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua008:2393222:2393287 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua008:2393222:2393287 [0] NCCL INFO Connected all trees +gpua008:2393222:2393287 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2393222:2393287 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2393222:2393287 [0] NCCL INFO comm 0xe742950 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua097:3145435:3145435 [3] NCCL INFO cudaDriverVersion 12020 +gpua097:3145435:3145435 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> +gpua097:3145435:3145435 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua097:3145435:3145501 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> +gpua097:3145435:3145501 [3] NCCL INFO Using network IB +gpua097:3145435:3145501 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua097:3145435:3145501 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua097:3145435:3145501 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua097:3145435:3145501 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua097:3145435:3145501 [3] NCCL INFO Connected all rings +gpua097:3145435:3145501 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua097:3145435:3145501 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua097:3145435:3145501 [3] NCCL INFO Connected all trees +gpua097:3145435:3145501 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua097:3145435:3145501 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua097:3145435:3145501 [3] NCCL INFO comm 0x39f5a890 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua097:3145434:3145434 [2] NCCL INFO cudaDriverVersion 12020 +gpua097:3145434:3145434 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> +gpua097:3145434:3145434 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua097:3145434:3145499 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> +gpua097:3145434:3145499 [2] NCCL INFO Using network IB +gpua097:3145434:3145499 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua097:3145434:3145499 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua097:3145434:3145499 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua097:3145434:3145499 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua097:3145434:3145499 [2] NCCL INFO Connected all rings +gpua097:3145434:3145499 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua097:3145434:3145499 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua097:3145434:3145499 [2] NCCL INFO Connected all trees +gpua097:3145434:3145499 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua097:3145434:3145499 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua097:3145434:3145499 [2] NCCL INFO comm 0xd238f60 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua086:1391751:1391751 [1] NCCL INFO cudaDriverVersion 12020 +gpua086:1391751:1391751 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1391751:1391751 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1391751:1391806 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1391751:1391806 [1] NCCL INFO Using network IB +gpua086:1391751:1391806 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua086:1391751:1391806 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua086:1391751:1391806 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua086:1391751:1391806 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua086:1391751:1391806 [1] NCCL INFO Connected all rings +gpua086:1391751:1391806 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua086:1391751:1391806 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua086:1391751:1391806 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua086:1391751:1391806 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua086:1391751:1391806 [1] NCCL INFO Connected all trees +gpua086:1391751:1391806 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1391751:1391806 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1391751:1391806 [1] NCCL INFO comm 0xc157520 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua007:1077993:1077993 [1] NCCL INFO cudaDriverVersion 12020 +gpua007:1077993:1077993 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:1077993:1077993 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:1077993:1078062 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:1077993:1078062 [1] NCCL INFO Using network IB +gpua007:1077993:1078062 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua007:1077993:1078062 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua007:1077993:1078062 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua007:1077993:1078062 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua007:1077993:1078062 [1] NCCL INFO Connected all rings +gpua007:1077993:1078062 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua007:1077993:1078062 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua007:1077993:1078062 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua007:1077993:1078062 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua007:1077993:1078062 [1] NCCL INFO Connected all trees +gpua007:1077993:1078062 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:1077993:1078062 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:1077993:1078062 [1] NCCL INFO comm 0x9d75a550 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua086:1391753:1391753 [3] NCCL INFO cudaDriverVersion 12020 +gpua086:1391753:1391753 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1391753:1391753 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1391753:1391808 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1391753:1391808 [3] NCCL INFO Using network IB +gpua086:1391753:1391808 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua086:1391753:1391808 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua086:1391753:1391808 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua086:1391753:1391808 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua086:1391753:1391808 [3] NCCL INFO Connected all rings +gpua086:1391753:1391808 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua086:1391753:1391808 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua086:1391753:1391808 [3] NCCL INFO Connected all trees +gpua086:1391753:1391808 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1391753:1391808 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1391753:1391808 [3] NCCL INFO comm 0xea4d0560 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:1461129:1461129 [3] NCCL INFO cudaDriverVersion 12020 +gpua030:1461129:1461129 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:1461129:1461129 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:1461129:1461200 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:1461129:1461200 [3] NCCL INFO Using network IB +gpua030:1461129:1461200 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua030:1461129:1461200 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua030:1461129:1461200 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua030:1461129:1461200 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua030:1461129:1461200 [3] NCCL INFO Connected all rings +gpua030:1461129:1461200 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua030:1461129:1461200 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua030:1461129:1461200 [3] NCCL INFO Connected all trees +gpua030:1461129:1461200 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:1461129:1461200 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:1461129:1461200 [3] NCCL INFO comm 0xe91241e0 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:1461126:1461126 [0] NCCL INFO cudaDriverVersion 12020 +gpua030:1461126:1461126 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:1461126:1461126 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:1461126:1461205 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:1461126:1461205 [0] NCCL INFO Using network IB +gpua030:1461126:1461205 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua030:1461126:1461205 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua030:1461126:1461205 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua030:1461126:1461205 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua030:1461126:1461205 [0] NCCL INFO Connected all rings +gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua030:1461126:1461205 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua030:1461126:1461205 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua030:1461126:1461205 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua030:1461126:1461205 [0] NCCL INFO Connected all trees +gpua030:1461126:1461205 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:1461126:1461205 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:1461126:1461205 [0] NCCL INFO comm 0xe01c96d0 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua092:1040049:1040049 [3] NCCL INFO cudaDriverVersion 12020 +gpua092:1040049:1040049 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:1040049:1040049 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:1040049:1040113 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:1040049:1040113 [3] NCCL INFO Using network IB +gpua092:1040049:1040113 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua092:1040049:1040113 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua092:1040049:1040113 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua092:1040049:1040113 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua092:1040049:1040113 [3] NCCL INFO Connected all rings +gpua092:1040049:1040113 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua092:1040049:1040113 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua092:1040049:1040113 [3] NCCL INFO Connected all trees +gpua092:1040049:1040113 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:1040049:1040113 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:1040049:1040113 [3] NCCL INFO comm 0xc08e250 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:1461127:1461127 [1] NCCL INFO cudaDriverVersion 12020 +gpua030:1461127:1461127 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:1461127:1461127 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:1461127:1461203 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:1461127:1461203 [1] NCCL INFO Using network IB +gpua030:1461127:1461203 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua030:1461127:1461203 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua030:1461127:1461203 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua030:1461127:1461203 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua030:1461127:1461203 [1] NCCL INFO Connected all rings +gpua030:1461127:1461203 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua030:1461127:1461203 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua030:1461127:1461203 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua030:1461127:1461203 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua030:1461127:1461203 [1] NCCL INFO Connected all trees +gpua030:1461127:1461203 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:1461127:1461203 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:1461127:1461203 [1] NCCL INFO comm 0x1ada7820 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua026:1592969:1592969 [0] NCCL INFO cudaDriverVersion 12020 +gpua026:1592969:1592969 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> +gpua026:1592969:1592969 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua026:1592969:1593033 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> +gpua026:1592969:1593033 [0] NCCL INFO Using network IB +gpua026:1592969:1593033 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua026:1592969:1593033 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua026:1592969:1593033 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua026:1592969:1593033 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua026:1592969:1593033 [0] NCCL INFO Connected all rings +gpua026:1592969:1593033 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua026:1592969:1593033 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua026:1592969:1593033 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua026:1592969:1593033 [0] NCCL INFO Connected all trees +gpua026:1592969:1593033 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua026:1592969:1593033 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua026:1592969:1593033 [0] NCCL INFO comm 0xd86df90 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua016:1316129:1316129 [2] NCCL INFO cudaDriverVersion 12020 +gpua016:1316129:1316129 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> +gpua016:1316129:1316129 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua016:1316129:1316192 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> +gpua016:1316129:1316192 [2] NCCL INFO Using network IB +gpua016:1316129:1316192 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua016:1316129:1316192 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua016:1316129:1316192 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua016:1316129:1316192 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua016:1316129:1316192 [2] NCCL INFO Connected all rings +gpua016:1316129:1316192 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua016:1316129:1316192 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua016:1316129:1316192 [2] NCCL INFO Connected all trees +gpua016:1316129:1316192 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua016:1316129:1316192 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua016:1316129:1316192 [2] NCCL INFO comm 0xabaed60 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua030:1461128:1461128 [2] NCCL INFO cudaDriverVersion 12020 +gpua030:1461128:1461128 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:1461128:1461128 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:1461128:1461199 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:1461128:1461199 [2] NCCL INFO Using network IB +gpua030:1461128:1461199 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua030:1461128:1461199 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua030:1461128:1461199 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua030:1461128:1461199 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua030:1461128:1461199 [2] NCCL INFO Connected all rings +gpua030:1461128:1461199 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua030:1461128:1461199 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua030:1461128:1461199 [2] NCCL INFO Connected all trees +gpua030:1461128:1461199 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:1461128:1461199 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:1461128:1461199 [2] NCCL INFO comm 0xf629850 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:1180102:1180102 [1] NCCL INFO cudaDriverVersion 12020 +gpua082:1180102:1180102 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:1180102:1180102 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:1180102:1180163 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:1180102:1180163 [1] NCCL INFO Using network IB +gpua082:1180102:1180163 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua082:1180102:1180163 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua082:1180102:1180163 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua082:1180102:1180163 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua082:1180102:1180163 [1] NCCL INFO Connected all rings +gpua082:1180102:1180163 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua082:1180102:1180163 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua082:1180102:1180163 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua082:1180102:1180163 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua082:1180102:1180163 [1] NCCL INFO Connected all trees +gpua082:1180102:1180163 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:1180102:1180163 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:1180102:1180163 [1] NCCL INFO comm 0xd6383a0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua026:1592970:1592970 [1] NCCL INFO cudaDriverVersion 12020 +gpua026:1592970:1592970 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> +gpua026:1592970:1592970 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua026:1592970:1593036 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> +gpua026:1592970:1593036 [1] NCCL INFO Using network IB +gpua026:1592970:1593036 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua026:1592970:1593036 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua026:1592970:1593036 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua026:1592970:1593036 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua026:1592970:1593036 [1] NCCL INFO Connected all rings +gpua026:1592970:1593036 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua026:1592970:1593036 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua026:1592970:1593036 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua026:1592970:1593036 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua026:1592970:1593036 [1] NCCL INFO Connected all trees +gpua026:1592970:1593036 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua026:1592970:1593036 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua026:1592970:1593036 [1] NCCL INFO comm 0xd1bd9d0 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua007:1077995:1077995 [3] NCCL INFO cudaDriverVersion 12020 +gpua007:1077995:1077995 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:1077995:1077995 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:1077995:1078060 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:1077995:1078060 [3] NCCL INFO Using network IB +gpua007:1077995:1078060 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua007:1077995:1078060 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua007:1077995:1078060 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua007:1077995:1078060 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua007:1077995:1078060 [3] NCCL INFO Connected all rings +gpua007:1077995:1078060 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua007:1077995:1078060 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua007:1077995:1078060 [3] NCCL INFO Connected all trees +gpua007:1077995:1078060 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:1077995:1078060 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:1077995:1078060 [3] NCCL INFO comm 0xe5cc7a60 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:1391750:1391750 [0] NCCL INFO cudaDriverVersion 12020 +gpua086:1391750:1391750 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1391750:1391750 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1391750:1391805 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1391750:1391805 [0] NCCL INFO Using network IB +gpua086:1391750:1391805 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua086:1391750:1391805 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua086:1391750:1391805 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua086:1391750:1391805 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua086:1391750:1391805 [0] NCCL INFO Connected all rings +gpua086:1391750:1391805 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua086:1391750:1391805 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua086:1391750:1391805 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua086:1391750:1391805 [0] NCCL INFO Connected all trees +gpua086:1391750:1391805 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1391750:1391805 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1391750:1391805 [0] NCCL INFO comm 0x99615e60 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua039:1017707:1017707 [2] NCCL INFO cudaDriverVersion 12020 +gpua039:1017707:1017707 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:1017707:1017707 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:1017707:1017762 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:1017707:1017762 [2] NCCL INFO Using network IB +gpua039:1017707:1017762 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua039:1017707:1017762 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua039:1017707:1017762 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua039:1017707:1017762 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua039:1017707:1017762 [2] NCCL INFO Connected all rings +gpua039:1017707:1017762 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua039:1017707:1017762 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua039:1017707:1017762 [2] NCCL INFO Connected all trees +gpua039:1017707:1017762 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:1017707:1017762 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:1017707:1017762 [2] NCCL INFO comm 0x1430f280 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua039:1017708:1017708 [3] NCCL INFO cudaDriverVersion 12020 +gpua039:1017708:1017708 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:1017708:1017708 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:1017708:1017764 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:1017708:1017764 [3] NCCL INFO Using network IB +gpua039:1017708:1017764 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua039:1017708:1017764 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua039:1017708:1017764 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua039:1017708:1017764 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua039:1017708:1017764 [3] NCCL INFO Connected all rings +gpua039:1017708:1017764 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua039:1017708:1017764 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua039:1017708:1017764 [3] NCCL INFO Connected all trees +gpua039:1017708:1017764 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:1017708:1017764 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:1017708:1017764 [3] NCCL INFO comm 0xe85acd60 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua026:1592971:1592971 [2] NCCL INFO cudaDriverVersion 12020 +gpua026:1592971:1592971 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> +gpua026:1592971:1592971 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua026:1592971:1593032 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> +gpua026:1592971:1593032 [2] NCCL INFO Using network IB +gpua026:1592971:1593032 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua026:1592971:1593032 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua026:1592971:1593032 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua026:1592971:1593032 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua026:1592971:1593032 [2] NCCL INFO Connected all rings +gpua026:1592971:1593032 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua026:1592971:1593032 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua007:1077992:1077992 [0] NCCL INFO cudaDriverVersion 12020 +gpua007:1077992:1077992 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:1077992:1077992 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:1077992:1078056 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:1077992:1078056 [0] NCCL INFO Using network IB +gpua007:1077992:1078056 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua007:1077992:1078056 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua007:1077992:1078056 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua007:1077992:1078056 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua007:1077992:1078056 [0] NCCL INFO Connected all rings +gpua026:1592971:1593032 [2] NCCL INFO Connected all trees +gpua026:1592971:1593032 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua026:1592971:1593032 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua026:1592971:1593032 [2] NCCL INFO comm 0x4afd8f60 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua007:1077992:1078056 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua007:1077992:1078056 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua007:1077992:1078056 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua007:1077992:1078056 [0] NCCL INFO Connected all trees +gpua007:1077992:1078056 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:1077992:1078056 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:1077992:1078056 [0] NCCL INFO comm 0x27d85fb0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua026:1592972:1592972 [3] NCCL INFO cudaDriverVersion 12020 +gpua026:1592972:1592972 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> +gpua026:1592972:1592972 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua026:1592972:1593030 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> +gpua026:1592972:1593030 [3] NCCL INFO Using network IB +gpua026:1592972:1593030 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua026:1592972:1593030 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua026:1592972:1593030 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua026:1592972:1593030 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua026:1592972:1593030 [3] NCCL INFO Connected all rings +gpua026:1592972:1593030 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua026:1592972:1593030 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua026:1592972:1593030 [3] NCCL INFO Connected all trees +gpua026:1592972:1593030 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua026:1592972:1593030 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua026:1592972:1593030 [3] NCCL INFO comm 0xd4d7540 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:1391752:1391752 [2] NCCL INFO cudaDriverVersion 12020 +gpua086:1391752:1391752 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1391752:1391752 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1391752:1391807 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1391752:1391807 [2] NCCL INFO Using network IB +gpua086:1391752:1391807 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua086:1391752:1391807 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua086:1391752:1391807 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua086:1391752:1391807 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua086:1391752:1391807 [2] NCCL INFO Connected all rings +gpua086:1391752:1391807 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua086:1391752:1391807 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua086:1391752:1391807 [2] NCCL INFO Connected all trees +gpua086:1391752:1391807 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1391752:1391807 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1391752:1391807 [2] NCCL INFO comm 0x191a7a30 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua039:1017706:1017706 [1] NCCL INFO cudaDriverVersion 12020 +gpua039:1017706:1017706 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:1017706:1017706 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:1017706:1017765 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:1017706:1017765 [1] NCCL INFO Using network IB +gpua039:1017706:1017765 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua039:1017706:1017765 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua039:1017706:1017765 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua039:1017706:1017765 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua039:1017706:1017765 [1] NCCL INFO Connected all rings +gpua039:1017706:1017765 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua039:1017706:1017765 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua039:1017706:1017765 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua039:1017706:1017765 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua039:1017706:1017765 [1] NCCL INFO Connected all trees +gpua039:1017706:1017765 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:1017706:1017765 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:1017706:1017765 [1] NCCL INFO comm 0xac11f30 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:1180104:1180104 [3] NCCL INFO cudaDriverVersion 12020 +gpua082:1180104:1180104 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:1180104:1180104 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:1180104:1180164 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:1180104:1180164 [3] NCCL INFO Using network IB +gpua082:1180104:1180164 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua082:1180104:1180164 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua082:1180104:1180164 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua082:1180104:1180164 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua082:1180104:1180164 [3] NCCL INFO Connected all rings +gpua082:1180104:1180164 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua082:1180104:1180164 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua082:1180104:1180164 [3] NCCL INFO Connected all trees +gpua082:1180104:1180164 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:1180104:1180164 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:1180104:1180164 [3] NCCL INFO comm 0x1806bd00 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua082:1180101:1180101 [0] NCCL INFO cudaDriverVersion 12020 +gpua082:1180101:1180101 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:1180101:1180101 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:1180101:1180165 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:1180101:1180165 [0] NCCL INFO Using network IB +gpua082:1180101:1180165 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua082:1180101:1180165 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua082:1180101:1180165 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua082:1180101:1180165 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua082:1180101:1180165 [0] NCCL INFO Connected all rings +gpua082:1180101:1180165 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua082:1180101:1180165 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua082:1180101:1180165 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua082:1180101:1180165 [0] NCCL INFO Connected all trees +gpua082:1180101:1180165 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:1180101:1180165 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:1180101:1180165 [0] NCCL INFO comm 0x9a1c2260 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua039:1017705:1017705 [0] NCCL INFO cudaDriverVersion 12020 +gpua039:1017705:1017705 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:1017705:1017705 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:1017705:1017763 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:1017705:1017763 [0] NCCL INFO Using network IB +gpua039:1017705:1017763 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua039:1017705:1017763 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua039:1017705:1017763 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua039:1017705:1017763 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua039:1017705:1017763 [0] NCCL INFO Connected all rings +gpua039:1017705:1017763 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua039:1017705:1017763 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua039:1017705:1017763 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua039:1017705:1017763 [0] NCCL INFO Connected all trees +gpua039:1017705:1017763 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:1017705:1017763 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:1017705:1017763 [0] NCCL INFO comm 0xeba6590 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:1077994:1077994 [2] NCCL INFO cudaDriverVersion 12020 +gpua007:1077994:1077994 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:1077994:1077994 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:1077994:1078057 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:1077994:1078057 [2] NCCL INFO Using network IB +gpua007:1077994:1078057 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua007:1077994:1078057 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua007:1077994:1078057 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua007:1077994:1078057 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua007:1077994:1078057 [2] NCCL INFO Connected all rings +gpua007:1077994:1078057 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua007:1077994:1078057 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua007:1077994:1078057 [2] NCCL INFO Connected all trees +gpua007:1077994:1078057 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:1077994:1078057 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:1077994:1078057 [2] NCCL INFO comm 0xb4d5ee0 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:1180103:1180103 [2] NCCL INFO cudaDriverVersion 12020 +gpua082:1180103:1180103 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:1180103:1180103 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:1180103:1180162 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:1180103:1180162 [2] NCCL INFO Using network IB +gpua082:1180103:1180162 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua082:1180103:1180162 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua082:1180103:1180162 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua082:1180103:1180162 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua082:1180103:1180162 [2] NCCL INFO Connected all rings +gpua082:1180103:1180162 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua082:1180103:1180162 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua082:1180103:1180162 [2] NCCL INFO Connected all trees +gpua082:1180103:1180162 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:1180103:1180162 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:1180103:1180162 [2] NCCL INFO comm 0xdd044a40 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +[gpua005:0/64] 2023-12-19 07:41:23,409 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua005:0/64] 2023-12-19 07:43:59,500 (trainer:737) INFO: 41epoch:train:1-100batch: iter_time=1.204, forward_time=0.221, loss_ctc=55.100, loss_att=42.845, acc=0.739, loss=46.522, backward_time=0.348, grad_norm=94.327, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.325e-05, train_time=5.981 +[gpua005:0/64] 2023-12-19 07:47:35,053 (trainer:737) INFO: 41epoch:train:101-200batch: iter_time=9.309e-05, forward_time=0.146, loss_ctc=65.088, loss_att=57.248, acc=0.723, loss=59.600, backward_time=0.479, grad_norm=98.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.325e-05, train_time=2.155 +[gpua005:0/64] 2023-12-19 07:50:44,189 (trainer:737) INFO: 41epoch:train:201-300batch: iter_time=8.978e-05, forward_time=0.194, loss_ctc=73.501, loss_att=58.783, acc=0.739, loss=63.198, backward_time=0.356, grad_norm=74.569, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.324e-05, train_time=1.892 +[gpua005:0/64] 2023-12-19 07:53:54,300 (trainer:737) INFO: 41epoch:train:301-400batch: iter_time=9.069e-05, forward_time=0.143, loss_ctc=75.424, loss_att=55.108, acc=0.746, loss=61.203, backward_time=0.375, grad_norm=72.005, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.324e-05, train_time=1.901 +[gpua005:0/64] 2023-12-19 07:56:40,893 (trainer:737) INFO: 41epoch:train:401-500batch: iter_time=8.743e-05, forward_time=0.142, loss_ctc=63.892, loss_att=53.441, acc=0.730, loss=56.576, backward_time=0.346, grad_norm=77.405, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.323e-05, train_time=1.666 +[gpua005:0/64] 2023-12-19 07:59:22,626 (trainer:737) INFO: 41epoch:train:501-600batch: iter_time=8.408e-05, forward_time=0.143, loss_ctc=58.122, loss_att=48.200, acc=0.724, loss=51.176, backward_time=0.340, grad_norm=66.126, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.322e-05, train_time=1.617 +[gpua005:0/64] 2023-12-19 08:02:42,944 (trainer:737) INFO: 41epoch:train:601-700batch: iter_time=9.171e-05, forward_time=0.143, loss_ctc=60.198, loss_att=50.087, acc=0.732, loss=53.120, backward_time=0.354, grad_norm=57.926, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.322e-05, train_time=2.003 +[gpua005:0/64] 2023-12-19 08:05:55,056 (trainer:737) INFO: 41epoch:train:701-800batch: iter_time=9.396e-05, forward_time=0.143, loss_ctc=70.155, loss_att=52.466, acc=0.733, loss=57.773, backward_time=0.378, grad_norm=77.194, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.321e-05, train_time=1.921 +[gpua005:0/64] 2023-12-19 08:08:56,852 (trainer:737) INFO: 41epoch:train:801-900batch: iter_time=9.545e-05, forward_time=0.144, loss_ctc=71.162, loss_att=54.327, acc=0.727, loss=59.378, backward_time=0.308, grad_norm=68.312, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.321e-05, train_time=1.818 +[gpua005:0/64] 2023-12-19 08:12:01,194 (trainer:737) INFO: 41epoch:train:901-1000batch: iter_time=1.004e-04, forward_time=0.148, loss_ctc=63.893, loss_att=49.375, acc=0.747, loss=53.731, backward_time=0.324, grad_norm=68.012, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.320e-05, train_time=1.843 +[gpua005:0/64] 2023-12-19 08:14:47,587 (trainer:737) INFO: 41epoch:train:1001-1100batch: iter_time=9.204e-05, forward_time=0.148, loss_ctc=56.876, loss_att=42.663, acc=0.761, loss=46.927, backward_time=0.327, grad_norm=57.369, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.320e-05, train_time=1.664 +[gpua005:0/64] 2023-12-19 08:15:45,541 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua005:0/64] 2023-12-19 08:17:42,751 (trainer:737) INFO: 41epoch:train:1101-1200batch: iter_time=8.498e-05, forward_time=0.144, loss_ctc=69.304, loss_att=52.364, acc=0.726, loss=57.446, backward_time=0.326, grad_norm=78.668, clip=100.000, loss_scale=2.725e+31, optim_step_time=0.132, optim0_lr0=6.319e-05, train_time=1.751 +[gpua005:0/64] 2023-12-19 08:19:31,941 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua005:0/64] 2023-12-19 08:19:50,124 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 08:19:53,507 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 08:19:53,507 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua005:0/64] 2023-12-19 08:19:53,566 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 08:27:40,914 (trainer:737) INFO: 41epoch:train:1201-1300batch: iter_time=2.693, forward_time=0.223, loss_ctc=53.641, loss_att=42.368, acc=0.744, loss=45.750, backward_time=0.341, grad_norm=62.726, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.319e-05, train_time=5.981 +[gpua005:0/64] 2023-12-19 08:30:21,989 (trainer:737) INFO: 41epoch:train:1301-1400batch: iter_time=8.381e-05, forward_time=0.145, loss_ctc=57.597, loss_att=49.414, acc=0.730, loss=51.869, backward_time=0.302, grad_norm=67.107, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.318e-05, train_time=1.611 +[gpua005:0/64] 2023-12-19 08:32:59,887 (trainer:737) INFO: 41epoch:train:1401-1500batch: iter_time=8.186e-05, forward_time=0.146, loss_ctc=67.510, loss_att=56.394, acc=0.724, loss=59.729, backward_time=0.317, grad_norm=71.678, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.318e-05, train_time=1.579 +[gpua005:0/64] 2023-12-19 08:35:34,591 (trainer:737) INFO: 41epoch:train:1501-1600batch: iter_time=8.572e-05, forward_time=0.145, loss_ctc=72.170, loss_att=51.113, acc=0.751, loss=57.430, backward_time=0.340, grad_norm=68.267, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.317e-05, train_time=1.547 +[gpua005:0/64] 2023-12-19 08:38:14,819 (trainer:737) INFO: 41epoch:train:1601-1700batch: iter_time=8.660e-05, forward_time=0.145, loss_ctc=73.828, loss_att=60.163, acc=0.721, loss=64.262, backward_time=0.360, grad_norm=71.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.317e-05, train_time=1.602 +[gpua005:0/64] 2023-12-19 08:40:41,561 (trainer:737) INFO: 41epoch:train:1701-1800batch: iter_time=8.562e-05, forward_time=0.145, loss_ctc=64.245, loss_att=51.511, acc=0.725, loss=55.331, backward_time=0.317, grad_norm=67.463, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.316e-05, train_time=1.467 +[gpua005:0/64] 2023-12-19 08:43:35,151 (trainer:737) INFO: 41epoch:train:1801-1900batch: iter_time=8.584e-05, forward_time=0.147, loss_ctc=57.025, loss_att=49.961, acc=0.729, loss=52.080, backward_time=0.368, grad_norm=64.262, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.316e-05, train_time=1.736 +[gpua005:0/64] 2023-12-19 08:46:18,187 (trainer:737) INFO: 41epoch:train:1901-2000batch: iter_time=7.982e-05, forward_time=0.147, loss_ctc=62.316, loss_att=45.337, acc=0.731, loss=50.431, backward_time=0.312, grad_norm=70.445, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.315e-05, train_time=1.630 +[gpua005:0/64] 2023-12-19 08:48:50,786 (trainer:737) INFO: 41epoch:train:2001-2100batch: iter_time=8.173e-05, forward_time=0.238, loss_ctc=66.783, loss_att=50.277, acc=0.732, loss=55.229, backward_time=0.298, grad_norm=75.956, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.315e-05, train_time=1.526 +[gpua005:0/64] 2023-12-19 08:51:18,434 (trainer:737) INFO: 41epoch:train:2101-2200batch: iter_time=8.662e-05, forward_time=0.189, loss_ctc=72.082, loss_att=54.772, acc=0.727, loss=59.965, backward_time=0.295, grad_norm=71.436, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.314e-05, train_time=1.476 +[gpua005:0/64] 2023-12-19 08:53:46,204 (trainer:737) INFO: 41epoch:train:2201-2300batch: iter_time=8.823e-05, forward_time=0.146, loss_ctc=56.295, loss_att=47.373, acc=0.747, loss=50.049, backward_time=0.295, grad_norm=67.410, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.314e-05, train_time=1.478 +[gpua005:0/64] 2023-12-19 08:56:07,296 (trainer:737) INFO: 41epoch:train:2301-2400batch: iter_time=8.550e-05, forward_time=0.146, loss_ctc=66.330, loss_att=48.793, acc=0.727, loss=54.054, backward_time=0.282, grad_norm=81.286, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.313e-05, train_time=1.411 +[gpua005:0/64] 2023-12-19 08:58:17,945 (trainer:737) INFO: 41epoch:train:2401-2500batch: iter_time=8.492e-05, forward_time=0.146, loss_ctc=53.221, loss_att=41.264, acc=0.747, loss=44.851, backward_time=0.280, grad_norm=63.762, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.312e-05, train_time=1.306 +[gpua005:0/64] 2023-12-19 08:58:37,973 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua005:0/64] 2023-12-19 08:58:56,550 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 08:59:00,107 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 08:59:00,107 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua005:0/64] 2023-12-19 08:59:00,110 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 09:14:14,870 (trainer:737) INFO: 41epoch:train:2501-2600batch: iter_time=2.718, forward_time=0.181, loss_ctc=53.607, loss_att=42.170, acc=0.738, loss=45.601, backward_time=0.292, grad_norm=77.053, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.312e-05, train_time=9.569 +[gpua005:0/64] 2023-12-19 09:17:19,560 (trainer:737) INFO: 41epoch:train:2601-2700batch: iter_time=8.235e-05, forward_time=0.145, loss_ctc=64.664, loss_att=56.559, acc=0.719, loss=58.990, backward_time=0.346, grad_norm=72.153, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.311e-05, train_time=1.847 +[gpua005:0/64] 2023-12-19 09:20:15,034 (trainer:737) INFO: 41epoch:train:2701-2800batch: iter_time=8.415e-05, forward_time=0.146, loss_ctc=72.968, loss_att=56.246, acc=0.741, loss=61.263, backward_time=0.384, grad_norm=68.266, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.311e-05, train_time=1.755 +[gpua005:0/64] 2023-12-19 09:23:14,422 (trainer:737) INFO: 41epoch:train:2801-2900batch: iter_time=7.883e-05, forward_time=0.145, loss_ctc=74.263, loss_att=54.230, acc=0.741, loss=60.240, backward_time=0.314, grad_norm=72.915, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.310e-05, train_time=1.794 +[gpua005:0/64] 2023-12-19 09:26:15,287 (trainer:737) INFO: 41epoch:train:2901-3000batch: iter_time=8.588e-05, forward_time=0.146, loss_ctc=63.412, loss_att=51.536, acc=0.732, loss=55.099, backward_time=0.343, grad_norm=70.457, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.310e-05, train_time=1.808 +[gpua005:0/64] 2023-12-19 09:28:54,096 (trainer:737) INFO: 41epoch:train:3001-3100batch: iter_time=8.478e-05, forward_time=0.156, loss_ctc=57.227, loss_att=46.843, acc=0.721, loss=49.958, backward_time=0.307, grad_norm=71.884, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.309e-05, train_time=1.588 +[gpua005:0/64] 2023-12-19 09:31:32,292 (trainer:737) INFO: 41epoch:train:3101-3200batch: iter_time=8.015e-05, forward_time=0.181, loss_ctc=59.774, loss_att=49.081, acc=0.732, loss=52.289, backward_time=0.306, grad_norm=65.986, clip=100.000, loss_scale=3.347e+31, optim_step_time=0.132, optim0_lr0=6.309e-05, train_time=1.582 +[gpua005:0/64] 2023-12-19 09:34:14,253 (trainer:737) INFO: 41epoch:train:3201-3300batch: iter_time=8.396e-05, forward_time=0.182, loss_ctc=68.134, loss_att=51.476, acc=0.725, loss=56.474, backward_time=0.329, grad_norm=103.821, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.308e-05, train_time=1.619 +[gpua005:0/64] 2023-12-19 09:36:42,943 (trainer:737) INFO: 41epoch:train:3301-3400batch: iter_time=7.865e-05, forward_time=0.146, loss_ctc=69.935, loss_att=53.243, acc=0.724, loss=58.251, backward_time=0.302, grad_norm=70.259, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.308e-05, train_time=1.487 +[gpua005:0/64] 2023-12-19 09:39:10,682 (trainer:737) INFO: 41epoch:train:3401-3500batch: iter_time=7.748e-05, forward_time=0.146, loss_ctc=63.566, loss_att=49.274, acc=0.739, loss=53.561, backward_time=0.300, grad_norm=73.946, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.307e-05, train_time=1.477 +[gpua005:0/64] 2023-12-19 09:41:52,569 (trainer:737) INFO: 41epoch:train:3501-3600batch: iter_time=8.281e-05, forward_time=0.146, loss_ctc=56.550, loss_att=42.518, acc=0.756, loss=46.727, backward_time=0.301, grad_norm=58.228, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.307e-05, train_time=1.619 +[gpua005:0/64] 2023-12-19 09:44:20,433 (trainer:737) INFO: 41epoch:train:3601-3700batch: iter_time=8.177e-05, forward_time=0.145, loss_ctc=65.648, loss_att=51.761, acc=0.719, loss=55.927, backward_time=0.293, grad_norm=92.792, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.306e-05, train_time=1.478 +[gpua005:0/64] 2023-12-19 09:45:54,105 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua005:0/64] 2023-12-19 09:46:12,276 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 09:46:15,691 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 09:46:15,692 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua005:0/64] 2023-12-19 09:46:15,766 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 09:51:56,426 (trainer:737) INFO: 41epoch:train:3701-3800batch: iter_time=2.254, forward_time=0.201, loss_ctc=52.426, loss_att=42.095, acc=0.745, loss=45.195, backward_time=0.291, grad_norm=68.568, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.306e-05, train_time=4.560 +[gpua005:0/64] 2023-12-19 09:53:56,730 (trainer:737) INFO: 41epoch:train:3801-3900batch: iter_time=7.674e-05, forward_time=0.145, loss_ctc=57.324, loss_att=47.854, acc=0.736, loss=50.695, backward_time=0.277, grad_norm=69.337, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.305e-05, train_time=1.203 +[gpua005:0/64] 2023-12-19 09:56:03,264 (trainer:737) INFO: 41epoch:train:3901-4000batch: iter_time=8.383e-05, forward_time=0.145, loss_ctc=67.113, loss_att=55.495, acc=0.727, loss=58.981, backward_time=0.280, grad_norm=75.479, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.305e-05, train_time=1.265 +[gpua005:0/64] 2023-12-19 09:58:48,214 (trainer:737) INFO: 41epoch:train:4001-4100batch: iter_time=8.483e-05, forward_time=0.145, loss_ctc=71.100, loss_att=49.833, acc=0.756, loss=56.213, backward_time=0.286, grad_norm=66.334, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.304e-05, train_time=1.649 +[gpua005:0/64] 2023-12-19 10:01:34,261 (trainer:737) INFO: 41epoch:train:4101-4200batch: iter_time=8.412e-05, forward_time=0.145, loss_ctc=73.392, loss_att=59.372, acc=0.725, loss=63.578, backward_time=0.293, grad_norm=78.160, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.304e-05, train_time=1.660 +[gpua005:0/64] 2023-12-19 10:03:43,370 (trainer:737) INFO: 41epoch:train:4201-4300batch: iter_time=8.539e-05, forward_time=0.189, loss_ctc=64.164, loss_att=50.874, acc=0.728, loss=54.861, backward_time=0.309, grad_norm=81.778, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.303e-05, train_time=1.291 +[gpua005:0/64] 2023-12-19 10:06:08,902 (trainer:737) INFO: 41epoch:train:4301-4400batch: iter_time=8.289e-05, forward_time=0.182, loss_ctc=56.845, loss_att=49.396, acc=0.732, loss=51.630, backward_time=0.309, grad_norm=58.320, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.303e-05, train_time=1.455 +[gpua005:0/64] 2023-12-19 10:08:12,580 (trainer:737) INFO: 41epoch:train:4401-4500batch: iter_time=8.583e-05, forward_time=0.145, loss_ctc=61.408, loss_att=44.612, acc=0.733, loss=49.651, backward_time=0.283, grad_norm=71.209, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.302e-05, train_time=1.237 +[gpua005:0/64] 2023-12-19 10:11:20,866 (trainer:737) INFO: 41epoch:train:4501-4600batch: iter_time=8.357e-05, forward_time=0.144, loss_ctc=66.772, loss_att=49.896, acc=0.735, loss=54.959, backward_time=0.355, grad_norm=71.320, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.302e-05, train_time=1.883 +[gpua005:0/64] 2023-12-19 10:14:16,285 (trainer:737) INFO: 41epoch:train:4601-4700batch: iter_time=8.832e-05, forward_time=0.145, loss_ctc=70.842, loss_att=53.694, acc=0.731, loss=58.839, backward_time=0.307, grad_norm=75.111, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.301e-05, train_time=1.754 +[gpua005:0/64] 2023-12-19 10:17:06,376 (trainer:737) INFO: 41epoch:train:4701-4800batch: iter_time=8.662e-05, forward_time=0.145, loss_ctc=56.266, loss_att=46.901, acc=0.749, loss=49.710, backward_time=0.287, grad_norm=71.465, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.300e-05, train_time=1.701 +[gpua005:0/64] 2023-12-19 10:19:16,313 (trainer:737) INFO: 41epoch:train:4801-4900batch: iter_time=1.011e-04, forward_time=0.145, loss_ctc=64.957, loss_att=48.404, acc=0.730, loss=53.370, backward_time=0.279, grad_norm=78.988, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.300e-05, train_time=1.299 +[gpua005:0/64] 2023-12-19 10:21:50,429 (trainer:737) INFO: 41epoch:train:4901-5000batch: iter_time=9.809e-05, forward_time=0.164, loss_ctc=53.077, loss_att=41.009, acc=0.751, loss=44.630, backward_time=0.303, grad_norm=67.147, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.299e-05, train_time=1.541 +[gpua005:0/64] 2023-12-19 10:22:10,458 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua005:0/64] 2023-12-19 10:22:28,649 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 10:22:32,022 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 10:22:32,022 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua005:0/64] 2023-12-19 10:22:32,025 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 10:31:47,805 (trainer:737) INFO: 41epoch:train:5001-5100batch: iter_time=2.748, forward_time=0.188, loss_ctc=52.917, loss_att=42.306, acc=0.748, loss=45.489, backward_time=0.311, grad_norm=61.879, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.299e-05, train_time=5.974 +[gpua005:0/64] 2023-12-19 10:34:05,524 (trainer:737) INFO: 41epoch:train:5101-5200batch: iter_time=8.652e-05, forward_time=0.196, loss_ctc=64.123, loss_att=57.449, acc=0.733, loss=59.451, backward_time=0.289, grad_norm=67.630, clip=100.000, loss_scale=6.693e+31, optim_step_time=0.134, optim0_lr0=6.298e-05, train_time=1.376 +[gpua005:0/64] 2023-12-19 10:37:17,511 (trainer:737) INFO: 41epoch:train:5201-5300batch: iter_time=8.939e-05, forward_time=0.147, loss_ctc=72.253, loss_att=58.251, acc=0.747, loss=62.452, backward_time=0.383, grad_norm=67.092, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.298e-05, train_time=1.921 +[gpua005:0/64] 2023-12-19 10:39:44,009 (trainer:737) INFO: 41epoch:train:5301-5400batch: iter_time=8.708e-05, forward_time=0.147, loss_ctc=73.609, loss_att=53.958, acc=0.755, loss=59.853, backward_time=0.296, grad_norm=67.130, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.297e-05, train_time=1.465 +[gpua005:0/64] 2023-12-19 10:41:33,622 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua005:0/64] 2023-12-19 10:42:01,958 (trainer:737) INFO: 41epoch:train:5401-5500batch: iter_time=8.416e-05, forward_time=0.147, loss_ctc=63.118, loss_att=52.780, acc=0.741, loss=55.881, backward_time=0.289, grad_norm=66.031, clip=100.000, loss_scale=7.171e+31, optim_step_time=0.132, optim0_lr0=6.297e-05, train_time=1.379 +[gpua005:0/64] 2023-12-19 10:44:40,614 (trainer:737) INFO: 41epoch:train:5501-5600batch: iter_time=8.185e-05, forward_time=0.146, loss_ctc=56.811, loss_att=47.285, acc=0.735, loss=50.143, backward_time=0.317, grad_norm=64.172, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.296e-05, train_time=1.586 +[gpua005:0/64] 2023-12-19 10:47:34,932 (trainer:737) INFO: 41epoch:train:5601-5700batch: iter_time=8.558e-05, forward_time=0.146, loss_ctc=59.268, loss_att=49.541, acc=0.737, loss=52.459, backward_time=0.317, grad_norm=62.037, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.296e-05, train_time=1.743 +[gpua005:0/64] 2023-12-19 10:49:56,810 (trainer:737) INFO: 41epoch:train:5701-5800batch: iter_time=9.038e-05, forward_time=0.147, loss_ctc=67.576, loss_att=52.309, acc=0.735, loss=56.889, backward_time=0.295, grad_norm=83.113, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.295e-05, train_time=1.419 +[gpua005:0/64] 2023-12-19 10:52:43,462 (trainer:737) INFO: 41epoch:train:5801-5900batch: iter_time=8.339e-05, forward_time=0.151, loss_ctc=68.976, loss_att=53.033, acc=0.735, loss=57.816, backward_time=0.315, grad_norm=78.956, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.295e-05, train_time=1.666 +[gpua005:0/64] 2023-12-19 10:54:59,153 (trainer:737) INFO: 41epoch:train:5901-6000batch: iter_time=8.272e-05, forward_time=0.193, loss_ctc=62.900, loss_att=49.096, acc=0.752, loss=53.237, backward_time=0.299, grad_norm=67.969, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.294e-05, train_time=1.357 +[gpua005:0/64] 2023-12-19 10:57:42,365 (trainer:737) INFO: 41epoch:train:6001-6100batch: iter_time=8.292e-05, forward_time=0.182, loss_ctc=56.415, loss_att=42.800, acc=0.763, loss=46.884, backward_time=0.326, grad_norm=64.545, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.294e-05, train_time=1.632 +[gpua005:0/64] 2023-12-19 10:59:15,950 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua005:0/64] 2023-12-19 10:59:32,876 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua005:0/64] 2023-12-19 11:00:30,284 (trainer:737) INFO: 41epoch:train:6101-6200batch: iter_time=8.289e-05, forward_time=0.147, loss_ctc=65.249, loss_att=52.052, acc=0.727, loss=56.011, backward_time=0.314, grad_norm=87.897, clip=100.000, loss_scale=2.784e+31, optim_step_time=0.132, optim0_lr0=6.293e-05, train_time=1.679 +[gpua005:0/64] 2023-12-19 11:02:04,394 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua005:0/64] 2023-12-19 11:02:22,868 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 11:02:26,286 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 11:02:26,286 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua005:0/64] 2023-12-19 11:02:26,344 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 11:15:13,610 (trainer:737) INFO: 41epoch:train:6201-6300batch: iter_time=2.480, forward_time=0.146, loss_ctc=52.483, loss_att=41.846, acc=0.749, loss=45.037, backward_time=0.341, grad_norm=69.181, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.293e-05, train_time=8.833 +[gpua005:0/64] 2023-12-19 11:20:05,067 (trainer:737) INFO: 41epoch:train:6301-6400batch: iter_time=9.134e-05, forward_time=0.146, loss_ctc=57.093, loss_att=48.307, acc=0.736, loss=50.943, backward_time=0.544, grad_norm=71.810, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.292e-05, train_time=2.914 +[gpua005:0/64] 2023-12-19 11:25:00,629 (trainer:737) INFO: 41epoch:train:6401-6500batch: iter_time=9.966e-05, forward_time=0.146, loss_ctc=66.913, loss_att=55.680, acc=0.729, loss=59.050, backward_time=0.687, grad_norm=74.404, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.292e-05, train_time=2.955 +[gpua005:0/64] 2023-12-19 11:28:27,728 (trainer:737) INFO: 41epoch:train:6501-6600batch: iter_time=9.209e-05, forward_time=0.146, loss_ctc=71.311, loss_att=50.054, acc=0.757, loss=56.431, backward_time=0.344, grad_norm=60.758, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.291e-05, train_time=2.071 +[gpua005:0/64] 2023-12-19 11:32:05,304 (trainer:737) INFO: 41epoch:train:6601-6700batch: iter_time=9.563e-05, forward_time=0.147, loss_ctc=72.796, loss_att=59.602, acc=0.726, loss=63.560, backward_time=0.467, grad_norm=69.586, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.291e-05, train_time=2.176 +[gpua005:0/64] 2023-12-19 11:35:25,991 (trainer:737) INFO: 41epoch:train:6701-6800batch: iter_time=8.971e-05, forward_time=0.145, loss_ctc=63.054, loss_att=50.639, acc=0.729, loss=54.364, backward_time=0.358, grad_norm=64.236, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.290e-05, train_time=2.007 +[gpua005:0/64] 2023-12-19 11:38:29,485 (trainer:737) INFO: 41epoch:train:6801-6900batch: iter_time=8.960e-05, forward_time=0.146, loss_ctc=56.266, loss_att=49.457, acc=0.730, loss=51.500, backward_time=0.301, grad_norm=59.508, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.290e-05, train_time=1.835 +[gpua005:0/64] 2023-12-19 11:41:57,405 (trainer:737) INFO: 41epoch:train:6901-7000batch: iter_time=9.499e-05, forward_time=0.156, loss_ctc=60.887, loss_att=44.467, acc=0.733, loss=49.393, backward_time=0.422, grad_norm=69.931, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.289e-05, train_time=2.079 +[gpua005:0/64] 2023-12-19 11:45:47,026 (trainer:737) INFO: 41epoch:train:7001-7100batch: iter_time=9.404e-05, forward_time=0.168, loss_ctc=66.575, loss_att=49.556, acc=0.736, loss=54.662, backward_time=0.421, grad_norm=80.413, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.289e-05, train_time=2.296 +[gpua005:0/64] 2023-12-19 11:49:19,703 (trainer:737) INFO: 41epoch:train:7101-7200batch: iter_time=9.488e-05, forward_time=0.169, loss_ctc=70.716, loss_att=53.837, acc=0.732, loss=58.900, backward_time=0.378, grad_norm=71.141, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.288e-05, train_time=2.127 +[gpua005:0/64] 2023-12-19 11:51:50,670 (trainer:737) INFO: 41epoch:train:7201-7300batch: iter_time=8.454e-05, forward_time=0.153, loss_ctc=55.871, loss_att=46.718, acc=0.751, loss=49.464, backward_time=0.290, grad_norm=64.604, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.287e-05, train_time=1.509 +[gpua005:0/64] 2023-12-19 11:55:15,139 (trainer:737) INFO: 41epoch:train:7301-7400batch: iter_time=8.774e-05, forward_time=0.156, loss_ctc=64.068, loss_att=47.812, acc=0.733, loss=52.689, backward_time=0.366, grad_norm=71.126, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.287e-05, train_time=2.045 +[gpua005:0/64] 2023-12-19 11:57:53,905 (trainer:737) INFO: 41epoch:train:7401-7500batch: iter_time=8.932e-05, forward_time=0.146, loss_ctc=52.741, loss_att=40.887, acc=0.752, loss=44.444, backward_time=0.294, grad_norm=64.680, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.286e-05, train_time=1.587 +[gpua005:0/64] 2023-12-19 11:58:13,934 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua005:0/64] 2023-12-19 11:58:32,357 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 11:58:35,778 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 11:58:35,778 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua005:0/64] 2023-12-19 11:58:35,816 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 12:06:01,621 (trainer:737) INFO: 41epoch:train:7501-7600batch: iter_time=2.668, forward_time=0.184, loss_ctc=53.206, loss_att=42.322, acc=0.748, loss=45.587, backward_time=0.308, grad_norm=63.712, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.286e-05, train_time=4.877 +[gpua005:0/64] 2023-12-19 12:11:09,033 (trainer:737) INFO: 41epoch:train:7601-7700batch: iter_time=8.500e-05, forward_time=0.148, loss_ctc=63.220, loss_att=56.331, acc=0.736, loss=58.398, backward_time=0.488, grad_norm=73.049, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.285e-05, train_time=3.074 +[gpua005:0/64] 2023-12-19 12:16:24,566 (trainer:737) INFO: 41epoch:train:7701-7800batch: iter_time=8.697e-05, forward_time=0.175, loss_ctc=72.305, loss_att=57.599, acc=0.748, loss=62.011, backward_time=0.570, grad_norm=79.769, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.285e-05, train_time=3.155 +[gpua005:0/64] 2023-12-19 12:20:44,204 (trainer:737) INFO: 41epoch:train:7801-7900batch: iter_time=9.556e-05, forward_time=0.165, loss_ctc=73.603, loss_att=53.780, acc=0.756, loss=59.727, backward_time=0.369, grad_norm=71.299, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.284e-05, train_time=2.596 +[gpua005:0/64] 2023-12-19 12:25:05,875 (trainer:737) INFO: 41epoch:train:7901-8000batch: iter_time=9.460e-05, forward_time=0.163, loss_ctc=62.505, loss_att=52.370, acc=0.740, loss=55.410, backward_time=0.466, grad_norm=61.811, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.284e-05, train_time=2.616 +[gpua005:0/64] 2023-12-19 12:29:24,819 (trainer:737) INFO: 41epoch:train:8001-8100batch: iter_time=9.397e-05, forward_time=0.154, loss_ctc=56.341, loss_att=46.770, acc=0.734, loss=49.641, backward_time=0.451, grad_norm=89.959, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.283e-05, train_time=2.589 +[gpua005:0/64] 2023-12-19 12:33:36,728 (trainer:737) INFO: 41epoch:train:8101-8200batch: iter_time=8.728e-05, forward_time=0.146, loss_ctc=59.251, loss_att=49.022, acc=0.739, loss=52.091, backward_time=0.429, grad_norm=120.549, clip=100.000, loss_scale=1.349e+31, optim_step_time=0.132, optim0_lr0=6.283e-05, train_time=2.519 +[gpua005:0/64] 2023-12-19 12:37:17,346 (trainer:737) INFO: 41epoch:train:8201-8300batch: iter_time=8.322e-05, forward_time=0.145, loss_ctc=67.171, loss_att=52.329, acc=0.736, loss=56.781, backward_time=0.400, grad_norm=110.482, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.282e-05, train_time=2.206 +[gpua005:0/64] 2023-12-19 12:41:09,961 (trainer:737) INFO: 41epoch:train:8301-8400batch: iter_time=8.205e-05, forward_time=0.146, loss_ctc=68.913, loss_att=52.985, acc=0.735, loss=57.763, backward_time=0.404, grad_norm=71.355, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.282e-05, train_time=2.326 +[gpua005:0/64] 2023-12-19 12:44:41,153 (trainer:737) INFO: 41epoch:train:8401-8500batch: iter_time=8.439e-05, forward_time=0.172, loss_ctc=62.530, loss_att=48.526, acc=0.755, loss=52.727, backward_time=0.398, grad_norm=65.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.281e-05, train_time=2.112 +[gpua005:0/64] 2023-12-19 12:48:18,971 (trainer:737) INFO: 41epoch:train:8501-8600batch: iter_time=8.081e-05, forward_time=0.153, loss_ctc=56.245, loss_att=42.434, acc=0.766, loss=46.577, backward_time=0.406, grad_norm=63.418, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.281e-05, train_time=2.178 +[gpua005:0/64] 2023-12-19 12:51:42,847 (trainer:737) INFO: 41epoch:train:8601-8700batch: iter_time=8.812e-05, forward_time=0.150, loss_ctc=64.053, loss_att=51.832, acc=0.730, loss=55.498, backward_time=0.419, grad_norm=89.729, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.280e-05, train_time=2.039 +[gpua005:0/64] 2023-12-19 12:53:38,540 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua005:0/64] 2023-12-19 12:53:56,821 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 12:54:00,239 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 12:54:00,239 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua005:0/64] 2023-12-19 12:54:00,322 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 13:04:13,559 (trainer:737) INFO: 41epoch:train:8701-8800batch: iter_time=2.916, forward_time=0.185, loss_ctc=52.103, loss_att=41.533, acc=0.753, loss=44.704, backward_time=0.506, grad_norm=76.501, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.280e-05, train_time=7.507 +[gpua005:0/64] 2023-12-19 13:07:48,314 (trainer:737) INFO: 41epoch:train:8801-8900batch: iter_time=8.697e-05, forward_time=0.146, loss_ctc=56.457, loss_att=46.930, acc=0.750, loss=49.788, backward_time=0.380, grad_norm=81.342, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.279e-05, train_time=2.147 +[gpua005:0/64] 2023-12-19 13:12:39,185 (trainer:737) INFO: 41epoch:train:8901-9000batch: iter_time=8.767e-05, forward_time=0.146, loss_ctc=66.504, loss_att=56.397, acc=0.735, loss=59.429, backward_time=0.478, grad_norm=81.915, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.279e-05, train_time=2.908 +[gpua005:0/64] 2023-12-19 13:19:32,451 (trainer:737) INFO: 41epoch:train:9001-9100batch: iter_time=8.986e-05, forward_time=0.152, loss_ctc=71.143, loss_att=50.189, acc=0.763, loss=56.475, backward_time=0.637, grad_norm=99.611, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.278e-05, train_time=4.132 +[gpua005:0/64] 2023-12-19 13:26:13,732 (trainer:737) INFO: 41epoch:train:9101-9200batch: iter_time=9.156e-05, forward_time=0.176, loss_ctc=71.925, loss_att=58.524, acc=0.743, loss=62.544, backward_time=0.704, grad_norm=145.260, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.278e-05, train_time=4.013 +[gpua005:0/64] 2023-12-19 13:34:12,081 (trainer:737) INFO: 41epoch:train:9201-9300batch: iter_time=9.225e-05, forward_time=0.147, loss_ctc=63.800, loss_att=52.406, acc=0.734, loss=55.824, backward_time=0.823, grad_norm=82.950, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.277e-05, train_time=4.783 +[gpua005:0/64] 2023-12-19 13:40:48,158 (trainer:737) INFO: 41epoch:train:9301-9400batch: iter_time=9.179e-05, forward_time=0.155, loss_ctc=55.651, loss_att=50.473, acc=0.733, loss=52.026, backward_time=0.780, grad_norm=96.646, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.277e-05, train_time=3.961 +[gpua005:0/64] 2023-12-19 13:47:05,808 (trainer:737) INFO: 41epoch:train:9401-9500batch: iter_time=9.153e-05, forward_time=0.147, loss_ctc=60.657, loss_att=45.096, acc=0.739, loss=49.764, backward_time=0.637, grad_norm=100.972, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.276e-05, train_time=3.776 +[gpua005:0/64] 2023-12-19 13:54:33,226 (trainer:737) INFO: 41epoch:train:9501-9600batch: iter_time=9.531e-05, forward_time=0.189, loss_ctc=65.879, loss_att=49.888, acc=0.743, loss=54.685, backward_time=0.613, grad_norm=95.523, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.276e-05, train_time=4.474 +[gpua005:0/64] 2023-12-19 14:05:13,903 (trainer:737) INFO: 41epoch:train:9601-9700batch: iter_time=9.904e-05, forward_time=0.147, loss_ctc=70.688, loss_att=54.165, acc=0.743, loss=59.122, backward_time=0.866, grad_norm=169.026, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.275e-05, train_time=6.407 +[gpua005:0/64] 2023-12-19 14:12:09,272 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua005:0/64] 2023-12-19 14:14:53,178 (trainer:737) INFO: 41epoch:train:9701-9800batch: iter_time=9.846e-05, forward_time=0.147, loss_ctc=55.332, loss_att=46.032, acc=0.762, loss=48.822, backward_time=0.876, grad_norm=122.659, clip=100.000, loss_scale=1.793e+31, optim_step_time=0.132, optim0_lr0=6.275e-05, train_time=5.793 +[gpua005:0/64] 2023-12-19 14:27:12,798 (trainer:737) INFO: 41epoch:train:9801-9900batch: iter_time=1.045e-04, forward_time=0.150, loss_ctc=64.431, loss_att=47.755, acc=0.743, loss=52.758, backward_time=1.042, grad_norm=86.668, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.274e-05, train_time=7.396 +[gpua005:0/64] 2023-12-19 14:41:47,048 (trainer:737) INFO: 41epoch:train:9901-10000batch: iter_time=9.987e-05, forward_time=0.154, loss_ctc=52.098, loss_att=40.246, acc=0.760, loss=43.802, backward_time=1.008, grad_norm=125.306, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.274e-05, train_time=8.742 +[gpua005:0/64] 2023-12-19 14:42:06,027 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua005:0/64] 2023-12-19 14:42:24,325 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 14:42:27,711 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 14:42:27,711 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua005:0/64] 2023-12-19 14:42:27,729 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 14:51:17,288 (trainer:737) INFO: 41epoch:train:10001-10100batch: iter_time=2.561, forward_time=0.158, loss_ctc=52.860, loss_att=41.843, acc=0.744, loss=45.148, backward_time=0.286, grad_norm=68.321, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.273e-05, train_time=5.702 +[gpua005:0/64] 2023-12-19 14:53:24,633 (trainer:737) INFO: 41epoch:train:10101-10200batch: iter_time=8.075e-05, forward_time=0.160, loss_ctc=63.599, loss_att=56.679, acc=0.723, loss=58.755, backward_time=0.282, grad_norm=87.850, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.273e-05, train_time=1.273 +[gpua005:0/64] 2023-12-19 14:56:01,986 (trainer:737) INFO: 41epoch:train:10201-10300batch: iter_time=8.254e-05, forward_time=0.163, loss_ctc=72.803, loss_att=56.478, acc=0.743, loss=61.376, backward_time=0.359, grad_norm=174.458, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.272e-05, train_time=1.573 +[gpua005:0/64] 2023-12-19 14:58:44,660 (trainer:737) INFO: 41epoch:train:10301-10400batch: iter_time=8.838e-05, forward_time=0.146, loss_ctc=73.465, loss_att=53.799, acc=0.746, loss=59.699, backward_time=0.305, grad_norm=120.300, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.272e-05, train_time=1.627 +[gpua005:0/64] 2023-12-19 15:01:24,071 (trainer:737) INFO: 41epoch:train:10401-10500batch: iter_time=9.496e-05, forward_time=0.171, loss_ctc=62.761, loss_att=51.274, acc=0.735, loss=54.720, backward_time=0.360, grad_norm=82.229, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.271e-05, train_time=1.594 +[gpua005:0/64] 2023-12-19 15:03:32,098 (trainer:737) INFO: 41epoch:train:10501-10600batch: iter_time=1.003e-04, forward_time=0.146, loss_ctc=56.358, loss_att=46.409, acc=0.729, loss=49.394, backward_time=0.280, grad_norm=80.137, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.270e-05, train_time=1.279 +[gpua005:0/64] 2023-12-19 15:06:38,921 (trainer:737) INFO: 41epoch:train:10601-10700batch: iter_time=9.492e-05, forward_time=0.146, loss_ctc=59.321, loss_att=48.671, acc=0.738, loss=51.866, backward_time=0.318, grad_norm=111.851, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.270e-05, train_time=1.869 +[gpua005:0/64] 2023-12-19 15:09:09,824 (trainer:737) INFO: 41epoch:train:10701-10800batch: iter_time=9.276e-05, forward_time=0.146, loss_ctc=67.372, loss_att=51.232, acc=0.729, loss=56.074, backward_time=0.281, grad_norm=89.845, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.269e-05, train_time=1.509 +[gpua005:0/64] 2023-12-19 15:11:26,088 (trainer:737) INFO: 41epoch:train:10801-10900batch: iter_time=8.757e-05, forward_time=0.145, loss_ctc=68.755, loss_att=52.650, acc=0.728, loss=57.482, backward_time=0.278, grad_norm=89.221, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.269e-05, train_time=1.362 +[gpua005:0/64] 2023-12-19 15:14:09,427 (trainer:737) INFO: 41epoch:train:10901-11000batch: iter_time=9.314e-05, forward_time=0.160, loss_ctc=62.587, loss_att=48.428, acc=0.745, loss=52.676, backward_time=0.344, grad_norm=81.616, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.268e-05, train_time=1.633 +[gpua005:0/64] 2023-12-19 15:16:32,587 (trainer:737) INFO: 41epoch:train:11001-11100batch: iter_time=8.666e-05, forward_time=0.164, loss_ctc=56.637, loss_att=42.393, acc=0.760, loss=46.667, backward_time=0.303, grad_norm=58.387, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.268e-05, train_time=1.431 +[gpua005:0/64] 2023-12-19 15:18:58,200 (trainer:737) INFO: 41epoch:train:11101-11200batch: iter_time=8.570e-05, forward_time=0.148, loss_ctc=63.621, loss_att=50.992, acc=0.724, loss=54.781, backward_time=0.303, grad_norm=76.746, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.267e-05, train_time=1.456 +[gpua005:0/64] 2023-12-19 15:20:45,989 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua005:0/64] 2023-12-19 15:21:04,233 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 15:21:07,626 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 15:21:07,626 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua005:0/64] 2023-12-19 15:21:07,630 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 15:26:28,704 (trainer:737) INFO: 41epoch:train:11201-11300batch: iter_time=2.899, forward_time=0.184, loss_ctc=52.186, loss_att=42.273, acc=0.749, loss=45.247, backward_time=0.308, grad_norm=174.603, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.267e-05, train_time=4.505 +[gpua005:0/64] 2023-12-19 15:28:30,862 (trainer:737) INFO: 41epoch:train:11301-11400batch: iter_time=8.404e-05, forward_time=0.147, loss_ctc=56.191, loss_att=47.940, acc=0.750, loss=50.415, backward_time=0.279, grad_norm=74.842, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.266e-05, train_time=1.221 +[gpua005:0/64] 2023-12-19 15:30:35,431 (trainer:737) INFO: 41epoch:train:11401-11500batch: iter_time=9.016e-05, forward_time=0.149, loss_ctc=66.444, loss_att=56.689, acc=0.737, loss=59.615, backward_time=0.279, grad_norm=104.593, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.266e-05, train_time=1.245 +[gpua005:0/64] 2023-12-19 15:33:07,481 (trainer:737) INFO: 41epoch:train:11501-11600batch: iter_time=9.184e-05, forward_time=0.147, loss_ctc=71.234, loss_att=50.524, acc=0.762, loss=56.737, backward_time=0.331, grad_norm=170.038, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.265e-05, train_time=1.520 +[gpua005:0/64] 2023-12-19 15:35:47,970 (trainer:737) INFO: 41epoch:train:11601-11700batch: iter_time=8.978e-05, forward_time=0.147, loss_ctc=71.740, loss_att=58.979, acc=0.741, loss=62.807, backward_time=0.309, grad_norm=81.528, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.265e-05, train_time=1.605 +[gpua005:0/64] 2023-12-19 15:38:26,627 (trainer:737) INFO: 41epoch:train:11701-11800batch: iter_time=8.802e-05, forward_time=0.147, loss_ctc=63.114, loss_att=51.983, acc=0.737, loss=55.322, backward_time=0.332, grad_norm=170.451, clip=100.000, loss_scale=1.247e+31, optim_step_time=0.132, optim0_lr0=6.264e-05, train_time=1.586 +[gpua005:0/64] 2023-12-19 15:41:51,565 (trainer:737) INFO: 41epoch:train:11801-11900batch: iter_time=8.722e-05, forward_time=0.146, loss_ctc=55.950, loss_att=50.292, acc=0.732, loss=51.989, backward_time=0.329, grad_norm=93.367, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.264e-05, train_time=2.049 +[gpua005:0/64] 2023-12-19 15:44:16,706 (trainer:737) INFO: 41epoch:train:11901-12000batch: iter_time=8.668e-05, forward_time=0.146, loss_ctc=61.107, loss_att=45.244, acc=0.740, loss=50.003, backward_time=0.308, grad_norm=87.283, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.263e-05, train_time=1.451 +[gpua005:0/64] 2023-12-19 15:47:14,296 (trainer:737) INFO: 41epoch:train:12001-12100batch: iter_time=8.858e-05, forward_time=0.216, loss_ctc=66.106, loss_att=49.752, acc=0.744, loss=54.658, backward_time=0.389, grad_norm=88.888, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.146, optim0_lr0=6.263e-05, train_time=1.776 +[gpua005:0/64] 2023-12-19 15:49:31,038 (trainer:737) INFO: 41epoch:train:12101-12200batch: iter_time=8.566e-05, forward_time=0.171, loss_ctc=70.335, loss_att=54.184, acc=0.741, loss=59.029, backward_time=0.304, grad_norm=122.299, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.262e-05, train_time=1.367 +[gpua005:0/64] 2023-12-19 15:52:34,332 (trainer:737) INFO: 41epoch:train:12201-12300batch: iter_time=8.739e-05, forward_time=0.146, loss_ctc=55.710, loss_att=46.537, acc=0.759, loss=49.289, backward_time=0.348, grad_norm=71.699, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.262e-05, train_time=1.833 +[gpua005:0/64] 2023-12-19 15:54:56,602 (trainer:737) INFO: 41epoch:train:12301-12400batch: iter_time=8.111e-05, forward_time=0.145, loss_ctc=63.443, loss_att=47.283, acc=0.743, loss=52.131, backward_time=0.295, grad_norm=113.071, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.261e-05, train_time=1.422 +[gpua005:0/64] 2023-12-19 15:57:16,344 (trainer:737) INFO: 41epoch:train:12401-12500batch: iter_time=8.099e-05, forward_time=0.145, loss_ctc=52.475, loss_att=41.048, acc=0.757, loss=44.476, backward_time=0.296, grad_norm=64.037, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.261e-05, train_time=1.397 +[gpua005:0/64] 2023-12-19 15:57:36,372 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua005:0/64] 2023-12-19 15:57:54,547 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 15:57:57,954 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 15:57:57,954 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua005:0/64] 2023-12-19 15:57:57,989 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 16:08:38,881 (trainer:737) INFO: 41epoch:train:12501-12600batch: iter_time=2.950, forward_time=0.245, loss_ctc=52.475, loss_att=40.909, acc=0.753, loss=44.379, backward_time=0.317, grad_norm=68.417, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.260e-05, train_time=6.825 +[gpua005:0/64] 2023-12-19 16:11:09,085 (trainer:737) INFO: 41epoch:train:12601-12700batch: iter_time=8.525e-05, forward_time=0.146, loss_ctc=63.373, loss_att=55.118, acc=0.737, loss=57.594, backward_time=0.303, grad_norm=97.219, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.260e-05, train_time=1.502 +[gpua005:0/64] 2023-12-19 16:14:12,342 (trainer:737) INFO: 41epoch:train:12701-12800batch: iter_time=8.987e-05, forward_time=0.147, loss_ctc=72.127, loss_att=57.259, acc=0.749, loss=61.720, backward_time=0.351, grad_norm=109.964, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.259e-05, train_time=1.832 +[gpua005:0/64] 2023-12-19 16:16:40,625 (trainer:737) INFO: 41epoch:train:12801-12900batch: iter_time=8.767e-05, forward_time=0.147, loss_ctc=72.629, loss_att=52.894, acc=0.757, loss=58.815, backward_time=0.297, grad_norm=97.658, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.259e-05, train_time=1.483 +[gpua005:0/64] 2023-12-19 16:19:15,298 (trainer:737) INFO: 41epoch:train:12901-13000batch: iter_time=8.601e-05, forward_time=0.147, loss_ctc=62.529, loss_att=51.673, acc=0.743, loss=54.930, backward_time=0.329, grad_norm=142.835, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.258e-05, train_time=1.546 +[gpua005:0/64] 2023-12-19 16:21:55,558 (trainer:737) INFO: 41epoch:train:13001-13100batch: iter_time=8.721e-05, forward_time=0.146, loss_ctc=56.050, loss_att=46.409, acc=0.740, loss=49.301, backward_time=0.300, grad_norm=94.045, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.258e-05, train_time=1.602 +[gpua005:0/64] 2023-12-19 16:25:30,357 (trainer:737) INFO: 41epoch:train:13101-13200batch: iter_time=9.171e-05, forward_time=0.147, loss_ctc=58.975, loss_att=48.987, acc=0.740, loss=51.983, backward_time=0.385, grad_norm=69.738, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.257e-05, train_time=2.148 +[gpua005:0/64] 2023-12-19 16:27:47,454 (trainer:737) INFO: 41epoch:train:13201-13300batch: iter_time=8.424e-05, forward_time=0.197, loss_ctc=67.511, loss_att=52.164, acc=0.737, loss=56.768, backward_time=0.318, grad_norm=83.406, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.257e-05, train_time=1.371 +[gpua005:0/64] 2023-12-19 16:30:28,569 (trainer:737) INFO: 41epoch:train:13301-13400batch: iter_time=8.162e-05, forward_time=0.170, loss_ctc=68.700, loss_att=52.540, acc=0.736, loss=57.388, backward_time=0.341, grad_norm=81.774, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.256e-05, train_time=1.611 +[gpua005:0/64] 2023-12-19 16:33:19,481 (trainer:737) INFO: 41epoch:train:13401-13500batch: iter_time=8.012e-05, forward_time=0.146, loss_ctc=62.366, loss_att=48.496, acc=0.756, loss=52.657, backward_time=0.355, grad_norm=82.491, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.256e-05, train_time=1.709 +[gpua005:0/64] 2023-12-19 16:35:41,709 (trainer:737) INFO: 41epoch:train:13501-13600batch: iter_time=8.780e-05, forward_time=0.146, loss_ctc=55.935, loss_att=42.097, acc=0.768, loss=46.248, backward_time=0.291, grad_norm=121.516, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.255e-05, train_time=1.422 +[gpua005:0/64] 2023-12-19 16:38:22,101 (trainer:737) INFO: 41epoch:train:13601-13700batch: iter_time=8.456e-05, forward_time=0.146, loss_ctc=63.345, loss_att=51.156, acc=0.732, loss=54.813, backward_time=0.334, grad_norm=99.275, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.255e-05, train_time=1.604 +[gpua005:0/64] 2023-12-19 16:40:09,435 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua005:0/64] 2023-12-19 16:40:28,206 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 16:40:31,639 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 16:40:31,639 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua005:0/64] 2023-12-19 16:40:31,642 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 16:50:18,947 (trainer:737) INFO: 41epoch:train:13701-13800batch: iter_time=3.169, forward_time=0.178, loss_ctc=52.128, loss_att=42.309, acc=0.748, loss=45.255, backward_time=0.307, grad_norm=108.263, clip=100.000, loss_scale=2.495e+31, optim_step_time=0.132, optim0_lr0=6.254e-05, train_time=7.168 +[gpua005:0/64] 2023-12-19 16:52:24,985 (trainer:737) INFO: 41epoch:train:13801-13900batch: iter_time=8.066e-05, forward_time=0.147, loss_ctc=55.820, loss_att=48.449, acc=0.740, loss=50.660, backward_time=0.276, grad_norm=79.608, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.254e-05, train_time=1.260 +[gpua005:0/64] 2023-12-19 16:54:51,053 (trainer:737) INFO: 41epoch:train:13901-14000batch: iter_time=8.309e-05, forward_time=0.149, loss_ctc=66.247, loss_att=55.268, acc=0.731, loss=58.562, backward_time=0.289, grad_norm=75.467, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.253e-05, train_time=1.460 +[gpua005:0/64] 2023-12-19 16:57:29,919 (trainer:737) INFO: 41epoch:train:14001-14100batch: iter_time=8.769e-05, forward_time=0.146, loss_ctc=71.246, loss_att=50.404, acc=0.758, loss=56.657, backward_time=0.316, grad_norm=62.748, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.253e-05, train_time=1.588 +[gpua005:0/64] 2023-12-19 16:59:49,915 (trainer:737) INFO: 41epoch:train:14101-14200batch: iter_time=8.792e-05, forward_time=0.146, loss_ctc=72.375, loss_att=59.655, acc=0.728, loss=63.471, backward_time=0.304, grad_norm=105.985, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.252e-05, train_time=1.400 +[gpua005:0/64] 2023-12-19 17:02:03,764 (trainer:737) INFO: 41epoch:train:14201-14300batch: iter_time=9.338e-05, forward_time=0.146, loss_ctc=62.269, loss_att=49.912, acc=0.733, loss=53.620, backward_time=0.291, grad_norm=101.522, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.252e-05, train_time=1.338 +[gpua005:0/64] 2023-12-19 17:05:03,523 (trainer:737) INFO: 41epoch:train:14301-14400batch: iter_time=8.659e-05, forward_time=0.146, loss_ctc=55.707, loss_att=49.159, acc=0.735, loss=51.123, backward_time=0.314, grad_norm=89.208, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.251e-05, train_time=1.797 +[gpua005:0/64] 2023-12-19 17:07:33,931 (trainer:737) INFO: 41epoch:train:14401-14500batch: iter_time=8.521e-05, forward_time=0.146, loss_ctc=60.699, loss_att=44.733, acc=0.733, loss=49.523, backward_time=0.292, grad_norm=85.414, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.251e-05, train_time=1.504 +[gpua005:0/64] 2023-12-19 17:09:59,372 (trainer:737) INFO: 41epoch:train:14501-14600batch: iter_time=9.319e-05, forward_time=0.146, loss_ctc=65.842, loss_att=48.929, acc=0.742, loss=54.003, backward_time=0.311, grad_norm=93.752, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.250e-05, train_time=1.454 +[gpua005:0/64] 2023-12-19 17:12:54,586 (trainer:737) INFO: 41epoch:train:14601-14700batch: iter_time=8.231e-05, forward_time=0.199, loss_ctc=70.236, loss_att=53.394, acc=0.735, loss=58.446, backward_time=0.307, grad_norm=98.429, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.250e-05, train_time=1.752 +[gpua005:0/64] 2023-12-19 17:15:18,559 (trainer:737) INFO: 41epoch:train:14701-14800batch: iter_time=8.513e-05, forward_time=0.162, loss_ctc=55.399, loss_att=46.110, acc=0.754, loss=48.896, backward_time=0.306, grad_norm=66.470, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.249e-05, train_time=1.439 +[gpua005:0/64] 2023-12-19 17:17:43,678 (trainer:737) INFO: 41epoch:train:14801-14900batch: iter_time=7.742e-04, forward_time=0.169, loss_ctc=64.260, loss_att=47.953, acc=0.733, loss=52.845, backward_time=0.321, grad_norm=86.581, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.249e-05, train_time=1.451 +[gpua005:0/64] 2023-12-19 17:20:11,089 (trainer:737) INFO: 41epoch:train:14901-15000batch: iter_time=7.910e-05, forward_time=0.146, loss_ctc=52.467, loss_att=40.838, acc=0.753, loss=44.327, backward_time=0.299, grad_norm=74.914, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.248e-05, train_time=1.474 +[gpua005:0/64] 2023-12-19 17:45:11,441 (trainer:343) INFO: 41epoch results: [train] iter_time=0.208, forward_time=0.157, loss_ctc=63.054, loss_att=49.907, acc=0.740, loss=53.851, backward_time=0.368, grad_norm=83.288, clip=100.000, loss_scale=2.577e+31, optim_step_time=0.133, optim0_lr0=6.286e-05, train_time=2.344, time=9 hours, 46 minutes and 33.58 seconds, total_count=615000, gpu_max_cached_mem_GB=36.082, [valid] loss_ctc=32.143, cer_ctc=0.167, loss_att=32.882, acc=0.727, cer=0.344, wer=0.991, loss=32.660, time=24 minutes and 36.38 seconds, total_count=191511, gpu_max_cached_mem_GB=36.082 +[gpua005:0/64] 2023-12-19 17:45:37,934 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua005:0/64] 2023-12-19 17:45:38,434 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/36epoch.pth +[gpua005:0/64] 2023-12-19 17:45:38,680 (trainer:272) INFO: 42/45epoch started. Estimated time to finish: 1 day, 16 hours and 46 minutes +[gpua005:0/64] 2023-12-19 17:45:39,731 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua005:0/64] 2023-12-19 17:45:57,745 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 17:46:01,145 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 17:46:01,145 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua005:0/64] 2023-12-19 17:46:01,182 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 17:53:16,219 (trainer:737) INFO: 42epoch:train:1-100batch: iter_time=2.101, forward_time=0.179, loss_ctc=65.607, loss_att=48.091, acc=0.731, loss=53.346, backward_time=0.315, grad_norm=113.662, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.247e-05, train_time=4.568 +[gpua005:0/64] 2023-12-19 17:59:49,470 (trainer:737) INFO: 42epoch:train:101-200batch: iter_time=1.158e-04, forward_time=0.147, loss_ctc=60.904, loss_att=49.580, acc=0.744, loss=52.977, backward_time=0.753, grad_norm=70.731, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.247e-05, train_time=3.933 +[gpua005:0/64] 2023-12-19 18:05:51,156 (trainer:737) INFO: 42epoch:train:201-300batch: iter_time=1.161e-04, forward_time=0.148, loss_ctc=72.000, loss_att=62.821, acc=0.734, loss=65.575, backward_time=0.715, grad_norm=88.731, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.246e-05, train_time=3.617 +[gpua005:0/64] 2023-12-19 18:07:49,673 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua005:0/64] 2023-12-19 18:08:25,216 (trainer:737) INFO: 42epoch:train:301-400batch: iter_time=1.009e-04, forward_time=0.166, loss_ctc=65.791, loss_att=47.766, acc=0.720, loss=53.174, backward_time=0.318, grad_norm=71.767, clip=100.000, loss_scale=3.565e+31, optim_step_time=0.135, optim0_lr0=6.246e-05, train_time=1.540 +[gpua005:0/64] 2023-12-19 18:11:12,272 (trainer:737) INFO: 42epoch:train:401-500batch: iter_time=8.431e-05, forward_time=0.186, loss_ctc=75.501, loss_att=59.828, acc=0.717, loss=64.530, backward_time=0.390, grad_norm=80.345, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.245e-05, train_time=1.670 +[gpua005:0/64] 2023-12-19 18:14:13,558 (trainer:737) INFO: 42epoch:train:501-600batch: iter_time=9.118e-05, forward_time=0.162, loss_ctc=71.319, loss_att=55.809, acc=0.738, loss=60.462, backward_time=0.347, grad_norm=80.563, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.245e-05, train_time=1.813 +[gpua005:0/64] 2023-12-19 18:16:41,015 (trainer:737) INFO: 42epoch:train:601-700batch: iter_time=8.036e-05, forward_time=0.148, loss_ctc=69.003, loss_att=54.700, acc=0.739, loss=58.991, backward_time=0.300, grad_norm=75.383, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.244e-05, train_time=1.474 +[gpua005:0/64] 2023-12-19 18:19:32,394 (trainer:737) INFO: 42epoch:train:701-800batch: iter_time=8.132e-05, forward_time=0.147, loss_ctc=61.198, loss_att=47.840, acc=0.751, loss=51.847, backward_time=0.300, grad_norm=64.936, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.244e-05, train_time=1.714 +[gpua005:0/64] 2023-12-19 18:21:49,109 (trainer:737) INFO: 42epoch:train:801-900batch: iter_time=9.172e-05, forward_time=0.150, loss_ctc=81.452, loss_att=61.325, acc=0.717, loss=67.363, backward_time=0.298, grad_norm=98.913, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.243e-05, train_time=1.367 +[gpua005:0/64] 2023-12-19 18:24:39,044 (trainer:737) INFO: 42epoch:train:901-1000batch: iter_time=7.256e-05, forward_time=0.147, loss_ctc=66.039, loss_att=51.626, acc=0.741, loss=55.950, backward_time=0.307, grad_norm=65.141, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.243e-05, train_time=1.699 +[gpua005:0/64] 2023-12-19 18:27:23,753 (trainer:737) INFO: 42epoch:train:1001-1100batch: iter_time=7.446e-05, forward_time=0.161, loss_ctc=71.242, loss_att=48.204, acc=0.752, loss=55.116, backward_time=0.338, grad_norm=77.291, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.242e-05, train_time=1.647 +[gpua005:0/64] 2023-12-19 18:30:17,138 (trainer:737) INFO: 42epoch:train:1101-1200batch: iter_time=7.416e-05, forward_time=0.171, loss_ctc=66.797, loss_att=53.040, acc=0.737, loss=57.167, backward_time=0.374, grad_norm=64.912, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.242e-05, train_time=1.733 +[gpua005:0/64] 2023-12-19 18:31:56,032 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua005:0/64] 2023-12-19 18:32:14,473 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 18:32:17,977 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 18:32:17,977 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua005:0/64] 2023-12-19 18:32:17,981 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 18:39:36,913 (trainer:737) INFO: 42epoch:train:1201-1300batch: iter_time=2.765, forward_time=0.186, loss_ctc=57.900, loss_att=44.822, acc=0.743, loss=48.746, backward_time=0.292, grad_norm=61.977, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.241e-05, train_time=5.598 +[gpua005:0/64] 2023-12-19 18:41:50,174 (trainer:737) INFO: 42epoch:train:1301-1400batch: iter_time=8.052e-05, forward_time=0.150, loss_ctc=63.901, loss_att=49.773, acc=0.733, loss=54.011, backward_time=0.322, grad_norm=76.138, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.241e-05, train_time=1.332 +[gpua005:0/64] 2023-12-19 18:43:57,292 (trainer:737) INFO: 42epoch:train:1401-1500batch: iter_time=7.742e-05, forward_time=0.148, loss_ctc=69.403, loss_att=60.430, acc=0.741, loss=63.122, backward_time=0.281, grad_norm=79.119, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.240e-05, train_time=1.271 +[gpua005:0/64] 2023-12-19 18:45:58,813 (trainer:737) INFO: 42epoch:train:1501-1600batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=67.867, loss_att=54.594, acc=0.711, loss=58.576, backward_time=0.279, grad_norm=79.244, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.240e-05, train_time=1.215 +[gpua005:0/64] 2023-12-19 18:48:10,404 (trainer:737) INFO: 42epoch:train:1601-1700batch: iter_time=8.739e-05, forward_time=0.149, loss_ctc=69.155, loss_att=53.634, acc=0.716, loss=58.290, backward_time=0.289, grad_norm=113.044, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.239e-05, train_time=1.316 +[gpua005:0/64] 2023-12-19 18:48:52,789 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua005:0/64] 2023-12-19 18:50:38,476 (trainer:737) INFO: 42epoch:train:1701-1800batch: iter_time=8.527e-05, forward_time=0.163, loss_ctc=70.047, loss_att=56.794, acc=0.718, loss=60.770, backward_time=0.317, grad_norm=101.174, clip=100.000, loss_scale=1.280e+31, optim_step_time=0.135, optim0_lr0=6.239e-05, train_time=1.480 +[gpua005:0/64] 2023-12-19 18:53:42,584 (trainer:737) INFO: 42epoch:train:1801-1900batch: iter_time=8.042e-05, forward_time=0.155, loss_ctc=70.290, loss_att=52.555, acc=0.740, loss=57.875, backward_time=0.305, grad_norm=98.131, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.238e-05, train_time=1.841 +[gpua005:0/64] 2023-12-19 18:56:20,014 (trainer:737) INFO: 42epoch:train:1901-2000batch: iter_time=7.940e-05, forward_time=0.180, loss_ctc=58.153, loss_att=44.650, acc=0.753, loss=48.701, backward_time=0.316, grad_norm=73.375, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.238e-05, train_time=1.574 +[gpua005:0/64] 2023-12-19 18:58:53,177 (trainer:737) INFO: 42epoch:train:2001-2100batch: iter_time=8.015e-05, forward_time=0.166, loss_ctc=68.745, loss_att=56.185, acc=0.730, loss=59.953, backward_time=0.301, grad_norm=73.573, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.237e-05, train_time=1.532 +[gpua005:0/64] 2023-12-19 19:01:22,436 (trainer:737) INFO: 42epoch:train:2101-2200batch: iter_time=8.578e-05, forward_time=0.147, loss_ctc=77.031, loss_att=55.361, acc=0.714, loss=61.862, backward_time=0.289, grad_norm=95.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.237e-05, train_time=1.492 +[gpua005:0/64] 2023-12-19 19:03:31,423 (trainer:737) INFO: 42epoch:train:2201-2300batch: iter_time=8.539e-05, forward_time=0.147, loss_ctc=59.968, loss_att=48.873, acc=0.743, loss=52.202, backward_time=0.285, grad_norm=62.528, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.236e-05, train_time=1.290 +[gpua005:0/64] 2023-12-19 19:05:43,828 (trainer:737) INFO: 42epoch:train:2301-2400batch: iter_time=8.234e-05, forward_time=0.147, loss_ctc=72.658, loss_att=46.909, acc=0.742, loss=54.634, backward_time=0.289, grad_norm=91.754, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.236e-05, train_time=1.324 +[gpua005:0/64] 2023-12-19 19:08:07,157 (trainer:737) INFO: 42epoch:train:2401-2500batch: iter_time=8.308e-05, forward_time=0.147, loss_ctc=68.123, loss_att=53.231, acc=0.738, loss=57.698, backward_time=0.286, grad_norm=129.677, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.235e-05, train_time=1.433 +[gpua005:0/64] 2023-12-19 19:08:27,185 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua005:0/64] 2023-12-19 19:08:45,904 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 19:08:49,612 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 19:08:49,612 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua005:0/64] 2023-12-19 19:08:49,616 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 19:15:15,340 (trainer:737) INFO: 42epoch:train:2501-2600batch: iter_time=2.704, forward_time=0.159, loss_ctc=58.452, loss_att=45.504, acc=0.739, loss=49.389, backward_time=0.287, grad_norm=76.775, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.235e-05, train_time=4.281 +[gpua005:0/64] 2023-12-19 19:17:23,661 (trainer:737) INFO: 42epoch:train:2601-2700batch: iter_time=7.911e-05, forward_time=0.147, loss_ctc=60.060, loss_att=48.378, acc=0.745, loss=51.882, backward_time=0.280, grad_norm=139.622, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.234e-05, train_time=1.283 +[gpua005:0/64] 2023-12-19 19:19:41,755 (trainer:737) INFO: 42epoch:train:2701-2800batch: iter_time=8.051e-05, forward_time=0.157, loss_ctc=70.529, loss_att=62.377, acc=0.732, loss=64.823, backward_time=0.295, grad_norm=126.782, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.234e-05, train_time=1.381 +[gpua005:0/64] 2023-12-19 19:22:14,074 (trainer:737) INFO: 42epoch:train:2801-2900batch: iter_time=8.592e-05, forward_time=0.148, loss_ctc=65.105, loss_att=47.245, acc=0.714, loss=52.603, backward_time=0.294, grad_norm=90.699, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.233e-05, train_time=1.523 +[gpua005:0/64] 2023-12-19 19:24:47,731 (trainer:737) INFO: 42epoch:train:2901-3000batch: iter_time=8.468e-05, forward_time=0.165, loss_ctc=72.661, loss_att=58.334, acc=0.714, loss=62.632, backward_time=0.307, grad_norm=141.625, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.233e-05, train_time=1.536 +[gpua005:0/64] 2023-12-19 19:27:14,965 (trainer:737) INFO: 42epoch:train:3001-3100batch: iter_time=8.166e-05, forward_time=0.172, loss_ctc=68.030, loss_att=54.527, acc=0.733, loss=58.578, backward_time=0.302, grad_norm=100.804, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.232e-05, train_time=1.472 +[gpua005:0/64] 2023-12-19 19:29:28,550 (trainer:737) INFO: 42epoch:train:3101-3200batch: iter_time=8.652e-05, forward_time=0.153, loss_ctc=68.812, loss_att=52.962, acc=0.743, loss=57.717, backward_time=0.286, grad_norm=76.664, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.232e-05, train_time=1.336 +[gpua005:0/64] 2023-12-19 19:31:44,541 (trainer:737) INFO: 42epoch:train:3201-3300batch: iter_time=8.434e-05, forward_time=0.147, loss_ctc=60.354, loss_att=45.719, acc=0.750, loss=50.110, backward_time=0.299, grad_norm=71.422, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.231e-05, train_time=1.360 +[gpua005:0/64] 2023-12-19 19:34:05,775 (trainer:737) INFO: 42epoch:train:3301-3400batch: iter_time=8.255e-05, forward_time=0.147, loss_ctc=78.698, loss_att=58.317, acc=0.720, loss=64.431, backward_time=0.318, grad_norm=100.948, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.231e-05, train_time=1.412 +[gpua005:0/64] 2023-12-19 19:36:28,253 (trainer:737) INFO: 42epoch:train:3401-3500batch: iter_time=8.326e-05, forward_time=0.147, loss_ctc=64.976, loss_att=49.816, acc=0.741, loss=54.364, backward_time=0.286, grad_norm=81.235, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.230e-05, train_time=1.425 +[gpua005:0/64] 2023-12-19 19:39:03,192 (trainer:737) INFO: 42epoch:train:3501-3600batch: iter_time=8.363e-05, forward_time=0.158, loss_ctc=69.766, loss_att=47.430, acc=0.748, loss=54.131, backward_time=0.326, grad_norm=104.294, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.230e-05, train_time=1.549 +[gpua005:0/64] 2023-12-19 19:41:32,663 (trainer:737) INFO: 42epoch:train:3601-3700batch: iter_time=7.766e-05, forward_time=0.148, loss_ctc=66.084, loss_att=52.341, acc=0.731, loss=56.464, backward_time=0.309, grad_norm=200.474, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.229e-05, train_time=1.495 +[gpua005:0/64] 2023-12-19 19:43:05,604 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua005:0/64] 2023-12-19 19:43:23,904 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 19:43:27,367 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 19:43:27,367 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua005:0/64] 2023-12-19 19:43:27,370 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 19:48:34,446 (trainer:737) INFO: 42epoch:train:3701-3800batch: iter_time=2.464, forward_time=0.189, loss_ctc=57.741, loss_att=42.919, acc=0.754, loss=47.366, backward_time=0.288, grad_norm=71.012, clip=100.000, loss_scale=1.754e+31, optim_step_time=0.135, optim0_lr0=6.229e-05, train_time=4.218 +[gpua005:0/64] 2023-12-19 19:50:37,082 (trainer:737) INFO: 42epoch:train:3801-3900batch: iter_time=8.740e-05, forward_time=0.147, loss_ctc=61.993, loss_att=49.383, acc=0.740, loss=53.166, backward_time=0.280, grad_norm=110.011, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.228e-05, train_time=1.226 +[gpua005:0/64] 2023-12-19 19:52:41,018 (trainer:737) INFO: 42epoch:train:3901-4000batch: iter_time=8.276e-05, forward_time=0.147, loss_ctc=69.106, loss_att=60.458, acc=0.746, loss=63.052, backward_time=0.282, grad_norm=97.327, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.228e-05, train_time=1.239 +[gpua005:0/64] 2023-12-19 19:55:11,883 (trainer:737) INFO: 42epoch:train:4001-4100batch: iter_time=8.360e-05, forward_time=0.147, loss_ctc=67.131, loss_att=53.350, acc=0.727, loss=57.484, backward_time=0.323, grad_norm=123.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.227e-05, train_time=1.508 +[gpua005:0/64] 2023-12-19 19:57:49,946 (trainer:737) INFO: 42epoch:train:4101-4200batch: iter_time=9.701e-05, forward_time=0.147, loss_ctc=68.382, loss_att=53.171, acc=0.730, loss=57.734, backward_time=0.293, grad_norm=106.489, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.227e-05, train_time=1.580 +[gpua005:0/64] 2023-12-19 20:00:16,413 (trainer:737) INFO: 42epoch:train:4201-4300batch: iter_time=9.283e-05, forward_time=0.171, loss_ctc=68.167, loss_att=54.843, acc=0.737, loss=58.840, backward_time=0.306, grad_norm=106.846, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.226e-05, train_time=1.464 +[gpua005:0/64] 2023-12-19 20:02:28,049 (trainer:737) INFO: 42epoch:train:4301-4400batch: iter_time=9.167e-05, forward_time=0.148, loss_ctc=69.275, loss_att=52.356, acc=0.746, loss=57.432, backward_time=0.284, grad_norm=120.480, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.226e-05, train_time=1.316 +[gpua005:0/64] 2023-12-19 20:05:16,328 (trainer:737) INFO: 42epoch:train:4401-4500batch: iter_time=8.888e-05, forward_time=0.147, loss_ctc=58.005, loss_att=46.984, acc=0.756, loss=50.291, backward_time=0.318, grad_norm=151.348, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.225e-05, train_time=1.683 +[gpua005:0/64] 2023-12-19 20:08:10,199 (trainer:737) INFO: 42epoch:train:4501-4600batch: iter_time=8.752e-05, forward_time=0.248, loss_ctc=67.555, loss_att=55.882, acc=0.742, loss=59.384, backward_time=0.312, grad_norm=86.198, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.225e-05, train_time=1.738 +[gpua005:0/64] 2023-12-19 20:11:00,739 (trainer:737) INFO: 42epoch:train:4601-4700batch: iter_time=8.425e-05, forward_time=0.149, loss_ctc=75.409, loss_att=56.594, acc=0.721, loss=62.238, backward_time=0.321, grad_norm=88.799, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.224e-05, train_time=1.706 +[gpua005:0/64] 2023-12-19 20:13:44,968 (trainer:737) INFO: 42epoch:train:4701-4800batch: iter_time=9.176e-05, forward_time=0.147, loss_ctc=59.974, loss_att=49.947, acc=0.751, loss=52.955, backward_time=0.357, grad_norm=67.191, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.224e-05, train_time=1.642 +[gpua005:0/64] 2023-12-19 20:16:18,880 (trainer:737) INFO: 42epoch:train:4801-4900batch: iter_time=9.358e-05, forward_time=0.147, loss_ctc=72.052, loss_att=46.238, acc=0.757, loss=53.982, backward_time=0.293, grad_norm=79.447, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.223e-05, train_time=1.539 +[gpua005:0/64] 2023-12-19 20:18:27,612 (trainer:737) INFO: 42epoch:train:4901-5000batch: iter_time=8.814e-05, forward_time=0.147, loss_ctc=67.040, loss_att=54.449, acc=0.745, loss=58.226, backward_time=0.279, grad_norm=84.495, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.223e-05, train_time=1.287 +[gpua005:0/64] 2023-12-19 20:18:47,640 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua005:0/64] 2023-12-19 20:19:06,064 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 20:19:09,512 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 20:19:09,512 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua005:0/64] 2023-12-19 20:19:09,524 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 20:25:59,443 (trainer:737) INFO: 42epoch:train:5001-5100batch: iter_time=3.198, forward_time=0.162, loss_ctc=56.835, loss_att=45.544, acc=0.739, loss=48.931, backward_time=0.281, grad_norm=84.331, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.222e-05, train_time=4.518 +[gpua005:0/64] 2023-12-19 20:28:17,530 (trainer:737) INFO: 42epoch:train:5101-5200batch: iter_time=9.479e-05, forward_time=0.148, loss_ctc=59.503, loss_att=48.498, acc=0.745, loss=51.800, backward_time=0.326, grad_norm=96.989, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.222e-05, train_time=1.381 +[gpua005:0/64] 2023-12-19 20:30:31,192 (trainer:737) INFO: 42epoch:train:5201-5300batch: iter_time=9.838e-05, forward_time=0.148, loss_ctc=70.969, loss_att=62.249, acc=0.733, loss=64.865, backward_time=0.284, grad_norm=95.301, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.221e-05, train_time=1.336 +[gpua005:0/64] 2023-12-19 20:33:24,537 (trainer:737) INFO: 42epoch:train:5301-5400batch: iter_time=1.050e-04, forward_time=0.148, loss_ctc=64.155, loss_att=46.972, acc=0.716, loss=52.127, backward_time=0.309, grad_norm=129.048, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.221e-05, train_time=1.733 +[gpua005:0/64] 2023-12-19 20:35:58,970 (trainer:737) INFO: 42epoch:train:5401-5500batch: iter_time=9.646e-05, forward_time=0.147, loss_ctc=72.369, loss_att=57.859, acc=0.714, loss=62.212, backward_time=0.303, grad_norm=96.342, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.220e-05, train_time=1.544 +[gpua005:0/64] 2023-12-19 20:38:23,876 (trainer:737) INFO: 42epoch:train:5501-5600batch: iter_time=8.689e-05, forward_time=0.234, loss_ctc=67.882, loss_att=54.502, acc=0.735, loss=58.516, backward_time=0.307, grad_norm=96.161, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.220e-05, train_time=1.449 +[gpua005:0/64] 2023-12-19 20:40:47,720 (trainer:737) INFO: 42epoch:train:5601-5700batch: iter_time=9.576e-05, forward_time=0.149, loss_ctc=68.313, loss_att=52.411, acc=0.745, loss=57.182, backward_time=0.307, grad_norm=68.650, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.219e-05, train_time=1.439 +[gpua005:0/64] 2023-12-19 20:42:53,230 (trainer:737) INFO: 42epoch:train:5701-5800batch: iter_time=9.074e-05, forward_time=0.149, loss_ctc=60.466, loss_att=45.739, acc=0.752, loss=50.157, backward_time=0.284, grad_norm=59.954, clip=100.000, loss_scale=3.509e+31, optim_step_time=0.134, optim0_lr0=6.219e-05, train_time=1.255 +[gpua005:0/64] 2023-12-19 20:45:37,466 (trainer:737) INFO: 42epoch:train:5801-5900batch: iter_time=8.712e-05, forward_time=0.148, loss_ctc=76.927, loss_att=57.915, acc=0.722, loss=63.618, backward_time=0.333, grad_norm=91.996, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.218e-05, train_time=1.642 +[gpua005:0/64] 2023-12-19 20:48:13,544 (trainer:737) INFO: 42epoch:train:5901-6000batch: iter_time=9.390e-05, forward_time=0.148, loss_ctc=64.624, loss_att=49.428, acc=0.743, loss=53.987, backward_time=0.305, grad_norm=69.705, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.218e-05, train_time=1.561 +[gpua005:0/64] 2023-12-19 20:50:43,477 (trainer:737) INFO: 42epoch:train:6001-6100batch: iter_time=9.781e-05, forward_time=0.163, loss_ctc=69.376, loss_att=46.962, acc=0.750, loss=53.686, backward_time=0.304, grad_norm=77.233, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.217e-05, train_time=1.499 +[gpua005:0/64] 2023-12-19 20:52:59,294 (trainer:737) INFO: 42epoch:train:6101-6200batch: iter_time=8.814e-05, forward_time=0.147, loss_ctc=65.070, loss_att=51.364, acc=0.734, loss=55.476, backward_time=0.297, grad_norm=67.453, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.217e-05, train_time=1.358 +[gpua005:0/64] 2023-12-19 20:54:19,770 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua005:0/64] 2023-12-19 20:54:38,554 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 20:54:42,042 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 20:54:42,042 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua005:0/64] 2023-12-19 20:54:42,045 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 21:00:28,907 (trainer:737) INFO: 42epoch:train:6201-6300batch: iter_time=3.172, forward_time=0.179, loss_ctc=57.386, loss_att=42.071, acc=0.753, loss=46.665, backward_time=0.286, grad_norm=68.176, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.216e-05, train_time=4.496 +[gpua005:0/64] 2023-12-19 21:02:35,600 (trainer:737) INFO: 42epoch:train:6301-6400batch: iter_time=7.775e-05, forward_time=0.146, loss_ctc=60.520, loss_att=47.805, acc=0.741, loss=51.619, backward_time=0.278, grad_norm=74.345, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.216e-05, train_time=1.267 +[gpua005:0/64] 2023-12-19 21:04:36,248 (trainer:737) INFO: 42epoch:train:6401-6500batch: iter_time=8.403e-05, forward_time=0.147, loss_ctc=67.740, loss_att=59.697, acc=0.746, loss=62.110, backward_time=0.280, grad_norm=74.487, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.215e-05, train_time=1.206 +[gpua005:0/64] 2023-12-19 21:07:15,822 (trainer:737) INFO: 42epoch:train:6501-6600batch: iter_time=8.679e-05, forward_time=0.148, loss_ctc=66.699, loss_att=53.280, acc=0.717, loss=57.306, backward_time=0.296, grad_norm=113.355, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.215e-05, train_time=1.596 +[gpua005:0/64] 2023-12-19 21:09:38,651 (trainer:737) INFO: 42epoch:train:6601-6700batch: iter_time=8.785e-05, forward_time=0.148, loss_ctc=67.988, loss_att=52.891, acc=0.721, loss=57.420, backward_time=0.290, grad_norm=121.992, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.214e-05, train_time=1.428 +[gpua005:0/64] 2023-12-19 21:11:57,948 (trainer:737) INFO: 42epoch:train:6701-6800batch: iter_time=8.438e-05, forward_time=0.148, loss_ctc=67.972, loss_att=55.227, acc=0.726, loss=59.050, backward_time=0.294, grad_norm=109.414, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.214e-05, train_time=1.393 +[gpua005:0/64] 2023-12-19 21:14:34,329 (trainer:737) INFO: 42epoch:train:6801-6900batch: iter_time=8.142e-05, forward_time=0.158, loss_ctc=69.635, loss_att=51.545, acc=0.746, loss=56.972, backward_time=0.307, grad_norm=99.257, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.213e-05, train_time=1.564 +[gpua005:0/64] 2023-12-19 21:17:01,554 (trainer:737) INFO: 42epoch:train:6901-7000batch: iter_time=8.183e-05, forward_time=0.148, loss_ctc=58.096, loss_att=44.293, acc=0.756, loss=48.434, backward_time=0.285, grad_norm=73.478, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.213e-05, train_time=1.472 +[gpua005:0/64] 2023-12-19 21:19:33,447 (trainer:737) INFO: 42epoch:train:7001-7100batch: iter_time=8.225e-05, forward_time=0.150, loss_ctc=67.423, loss_att=55.391, acc=0.735, loss=59.000, backward_time=0.290, grad_norm=70.737, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.212e-05, train_time=1.519 +[gpua005:0/64] 2023-12-19 21:23:51,165 (trainer:737) INFO: 42epoch:train:7101-7200batch: iter_time=9.012e-05, forward_time=0.183, loss_ctc=75.264, loss_att=54.548, acc=0.719, loss=60.763, backward_time=0.430, grad_norm=90.447, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.212e-05, train_time=2.576 +[gpua005:0/64] 2023-12-19 21:28:07,533 (trainer:737) INFO: 42epoch:train:7201-7300batch: iter_time=9.151e-05, forward_time=0.347, loss_ctc=59.700, loss_att=48.515, acc=0.748, loss=51.870, backward_time=0.330, grad_norm=63.859, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.144, optim0_lr0=6.211e-05, train_time=2.564 +[gpua005:0/64] 2023-12-19 21:31:38,379 (trainer:737) INFO: 42epoch:train:7301-7400batch: iter_time=9.064e-05, forward_time=0.182, loss_ctc=71.768, loss_att=46.167, acc=0.746, loss=53.847, backward_time=0.363, grad_norm=72.678, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.146, optim0_lr0=6.211e-05, train_time=2.109 +[gpua005:0/64] 2023-12-19 21:33:53,828 (trainer:737) INFO: 42epoch:train:7401-7500batch: iter_time=9.580e-05, forward_time=0.148, loss_ctc=66.756, loss_att=52.688, acc=0.743, loss=56.909, backward_time=0.293, grad_norm=69.872, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.210e-05, train_time=1.354 +[gpua005:0/64] 2023-12-19 21:34:13,857 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua005:0/64] 2023-12-19 21:34:32,241 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 21:34:36,142 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 21:34:36,142 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua005:0/64] 2023-12-19 21:34:36,145 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 21:41:03,765 (trainer:737) INFO: 42epoch:train:7501-7600batch: iter_time=2.976, forward_time=0.161, loss_ctc=56.514, loss_att=46.909, acc=0.740, loss=49.791, backward_time=0.281, grad_norm=73.378, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.210e-05, train_time=4.299 +[gpua005:0/64] 2023-12-19 21:43:03,786 (trainer:737) INFO: 42epoch:train:7601-7700batch: iter_time=9.520e-05, forward_time=0.147, loss_ctc=59.557, loss_att=48.068, acc=0.756, loss=51.515, backward_time=0.278, grad_norm=64.935, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.209e-05, train_time=1.200 +[gpua005:0/64] 2023-12-19 21:45:16,768 (trainer:737) INFO: 42epoch:train:7701-7800batch: iter_time=8.198e-05, forward_time=0.149, loss_ctc=70.362, loss_att=61.641, acc=0.744, loss=64.257, backward_time=0.308, grad_norm=66.695, clip=100.000, loss_scale=7.018e+31, optim_step_time=0.134, optim0_lr0=6.209e-05, train_time=1.330 +[gpua005:0/64] 2023-12-19 21:47:58,825 (trainer:737) INFO: 42epoch:train:7801-7900batch: iter_time=9.334e-05, forward_time=0.148, loss_ctc=62.870, loss_att=46.432, acc=0.731, loss=51.363, backward_time=0.286, grad_norm=66.507, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.208e-05, train_time=1.620 +[gpua005:0/64] 2023-12-19 21:50:39,656 (trainer:737) INFO: 42epoch:train:7901-8000batch: iter_time=1.001e-04, forward_time=0.152, loss_ctc=71.664, loss_att=58.383, acc=0.728, loss=62.368, backward_time=0.295, grad_norm=81.059, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.208e-05, train_time=1.608 +[gpua005:0/64] 2023-12-19 21:53:03,694 (trainer:737) INFO: 42epoch:train:8001-8100batch: iter_time=9.059e-05, forward_time=0.195, loss_ctc=67.677, loss_att=53.925, acc=0.745, loss=58.050, backward_time=0.303, grad_norm=81.204, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.144, optim0_lr0=6.207e-05, train_time=1.440 +[gpua005:0/64] 2023-12-19 21:55:38,099 (trainer:737) INFO: 42epoch:train:8101-8200batch: iter_time=8.478e-04, forward_time=0.164, loss_ctc=68.001, loss_att=53.881, acc=0.746, loss=58.117, backward_time=0.306, grad_norm=72.927, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.207e-05, train_time=1.543 +[gpua005:0/64] 2023-12-19 21:57:51,417 (trainer:737) INFO: 42epoch:train:8201-8300batch: iter_time=1.041e-04, forward_time=0.146, loss_ctc=59.847, loss_att=46.677, acc=0.759, loss=50.628, backward_time=0.291, grad_norm=77.436, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.206e-05, train_time=1.334 +[gpua005:0/64] 2023-12-19 22:00:39,394 (trainer:737) INFO: 42epoch:train:8301-8400batch: iter_time=9.213e-05, forward_time=0.163, loss_ctc=76.601, loss_att=59.345, acc=0.724, loss=64.522, backward_time=0.345, grad_norm=104.841, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.206e-05, train_time=1.680 +[gpua005:0/64] 2023-12-19 22:03:21,368 (trainer:737) INFO: 42epoch:train:8401-8500batch: iter_time=8.977e-05, forward_time=0.149, loss_ctc=64.564, loss_att=51.915, acc=0.746, loss=55.710, backward_time=0.365, grad_norm=100.287, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.205e-05, train_time=1.620 +[gpua005:0/64] 2023-12-19 22:06:19,033 (trainer:737) INFO: 42epoch:train:8501-8600batch: iter_time=8.797e-05, forward_time=0.147, loss_ctc=68.965, loss_att=46.928, acc=0.758, loss=53.539, backward_time=0.333, grad_norm=85.672, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.205e-05, train_time=1.776 +[gpua005:0/64] 2023-12-19 22:08:27,395 (trainer:737) INFO: 42epoch:train:8601-8700batch: iter_time=9.116e-05, forward_time=0.146, loss_ctc=64.752, loss_att=52.062, acc=0.743, loss=55.869, backward_time=0.285, grad_norm=87.841, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.204e-05, train_time=1.283 +[gpua005:0/64] 2023-12-19 22:10:02,662 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua005:0/64] 2023-12-19 22:10:20,938 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 22:10:24,726 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 22:10:24,726 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua005:0/64] 2023-12-19 22:10:24,729 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 22:16:10,216 (trainer:737) INFO: 42epoch:train:8701-8800batch: iter_time=3.146, forward_time=0.169, loss_ctc=57.255, loss_att=43.635, acc=0.756, loss=47.721, backward_time=0.283, grad_norm=73.420, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.204e-05, train_time=4.628 +[gpua005:0/64] 2023-12-19 22:18:15,791 (trainer:737) INFO: 42epoch:train:8801-8900batch: iter_time=8.108e-05, forward_time=0.148, loss_ctc=59.433, loss_att=47.896, acc=0.746, loss=51.357, backward_time=0.281, grad_norm=74.708, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.203e-05, train_time=1.256 +[gpua005:0/64] 2023-12-19 22:20:26,840 (trainer:737) INFO: 42epoch:train:8901-9000batch: iter_time=8.332e-05, forward_time=0.148, loss_ctc=68.104, loss_att=60.070, acc=0.749, loss=62.480, backward_time=0.283, grad_norm=73.192, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.203e-05, train_time=1.310 +[gpua005:0/64] 2023-12-19 22:23:12,483 (trainer:737) INFO: 42epoch:train:9001-9100batch: iter_time=8.988e-05, forward_time=0.147, loss_ctc=66.937, loss_att=52.762, acc=0.731, loss=57.015, backward_time=0.293, grad_norm=66.498, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.202e-05, train_time=1.656 +[gpua005:0/64] 2023-12-19 22:26:27,848 (trainer:737) INFO: 42epoch:train:9101-9200batch: iter_time=8.792e-05, forward_time=0.155, loss_ctc=67.430, loss_att=52.498, acc=0.733, loss=56.977, backward_time=0.323, grad_norm=71.796, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.202e-05, train_time=1.953 +[gpua005:0/64] 2023-12-19 22:29:07,432 (trainer:737) INFO: 42epoch:train:9201-9300batch: iter_time=8.147e-05, forward_time=0.148, loss_ctc=67.217, loss_att=55.304, acc=0.738, loss=58.878, backward_time=0.308, grad_norm=88.069, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.201e-05, train_time=1.596 +[gpua005:0/64] 2023-12-19 22:31:43,712 (trainer:737) INFO: 42epoch:train:9301-9400batch: iter_time=7.788e-05, forward_time=0.147, loss_ctc=69.159, loss_att=52.190, acc=0.747, loss=57.280, backward_time=0.311, grad_norm=75.763, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.201e-05, train_time=1.563 +[gpua005:0/64] 2023-12-19 22:34:21,636 (trainer:737) INFO: 42epoch:train:9401-9500batch: iter_time=8.576e-05, forward_time=0.179, loss_ctc=57.746, loss_att=46.910, acc=0.757, loss=50.161, backward_time=0.376, grad_norm=63.826, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.200e-05, train_time=1.579 +[gpua005:0/64] 2023-12-19 22:37:07,951 (trainer:737) INFO: 42epoch:train:9501-9600batch: iter_time=8.890e-05, forward_time=0.148, loss_ctc=67.172, loss_att=55.235, acc=0.744, loss=58.816, backward_time=0.323, grad_norm=67.766, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.200e-05, train_time=1.663 +[gpua005:0/64] 2023-12-19 22:39:44,299 (trainer:737) INFO: 42epoch:train:9601-9700batch: iter_time=8.729e-05, forward_time=0.148, loss_ctc=74.663, loss_att=56.666, acc=0.722, loss=62.065, backward_time=0.301, grad_norm=81.242, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.199e-05, train_time=1.563 +[gpua005:0/64] 2023-12-19 22:42:34,977 (trainer:737) INFO: 42epoch:train:9701-9800batch: iter_time=8.487e-05, forward_time=0.148, loss_ctc=59.164, loss_att=49.474, acc=0.752, loss=52.381, backward_time=0.304, grad_norm=60.363, clip=100.000, loss_scale=1.404e+32, optim_step_time=0.133, optim0_lr0=6.199e-05, train_time=1.707 +[gpua005:0/64] 2023-12-19 22:45:02,466 (trainer:737) INFO: 42epoch:train:9801-9900batch: iter_time=8.375e-05, forward_time=0.160, loss_ctc=71.113, loss_att=45.785, acc=0.759, loss=53.383, backward_time=0.300, grad_norm=71.237, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.198e-05, train_time=1.475 +[gpua005:0/64] 2023-12-19 22:47:29,468 (trainer:737) INFO: 42epoch:train:9901-10000batch: iter_time=8.738e-05, forward_time=0.151, loss_ctc=66.629, loss_att=54.253, acc=0.748, loss=57.966, backward_time=0.311, grad_norm=73.309, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.198e-05, train_time=1.470 +[gpua005:0/64] 2023-12-19 22:47:49,497 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua005:0/64] 2023-12-19 22:48:07,729 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-19 22:48:11,513 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-19 22:48:11,513 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua005:0/64] 2023-12-19 22:48:11,517 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-19 22:55:04,041 (trainer:737) INFO: 42epoch:train:10001-10100batch: iter_time=3.167, forward_time=0.148, loss_ctc=55.574, loss_att=44.922, acc=0.746, loss=48.117, backward_time=0.282, grad_norm=70.120, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.197e-05, train_time=4.546 +[gpua005:0/64] 2023-12-19 22:57:06,096 (trainer:737) INFO: 42epoch:train:10101-10200batch: iter_time=8.231e-05, forward_time=0.148, loss_ctc=59.053, loss_att=47.879, acc=0.757, loss=51.231, backward_time=0.284, grad_norm=66.857, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.197e-05, train_time=1.220 +Process SpawnProcess-1: +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 290, in run + all_steps_are_invalid = cls.train_one_epoch( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 572, in train_one_epoch + retval = model(**batch) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1194, in _call_impl + return forward_call(*input, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/parallel/distributed.py", line 1040, in forward + output = self._run_ddp_forward(*inputs, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/parallel/distributed.py", line 1000, in _run_ddp_forward + return module_to_run(*inputs[0], **kwargs[0]) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1194, in _call_impl + return forward_call(*input, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/s2t/espnet_model.py", line 225, in forward + loss_att, acc_att, cer_att, wer_att = self._calc_att_loss( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/s2t/espnet_model.py", line 396, in _calc_att_loss + loss_att = self.criterion_att(decoder_out, ys_out_pad) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1194, in _call_impl + return forward_call(*input, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet/nets/pytorch_backend/transformer/label_smoothing_loss.py", line 61, in forward + kl = self.criterion(torch.log_softmax(x, dim=1), true_dist) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1194, in _call_impl + return forward_call(*input, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/modules/loss.py", line 471, in forward + return F.kl_div(input, target, reduction=self.reduction, log_target=self.log_target) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/nn/functional.py", line 2928, in kl_div + reduced = torch.kl_div(input, target, reduction_enum, log_target=log_target) +torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 524.00 MiB (GPU 0; 39.39 GiB total capacity; 37.17 GiB already allocated; 276.75 MiB free; 38.49 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF +gpua005:3000819:3000897 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua005:3000819:3000819 [0] NCCL INFO comm 0xec8b50a0 rank 0 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 0 terminated with exit code 1 +srun: error: gpua005: task 0: Exited with exit code 1 +srun: Job step aborted: Waiting up to 32 seconds for job step to finish. diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.10.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.10.log new file mode 100644 index 0000000000000000000000000000000000000000..35adb647d12f8b05383ad1992dc5c827bd59aa0c --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.10.log @@ -0,0 +1,2393 @@ +# Running on gpua031.delta.ncsa.illinois.edu +# Started at Sun Dec 3 12:37:41 CST 2023 +# SLURMD_NODENAME=gpua031 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2724906 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x10)' +# SLURM_JOB_END_TIME=1701801456 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2724906 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[031-040]' +# SLURM_JOB_NUM_NODES=10 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1701628656 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=10 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[031-040]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x10)' +# SLURM_TASK_PID=538892 +# SLURM_TOPOLOGY_ADDR=ss00.ss06.gpua031 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +[gpua031:0/40] 2023-12-03 12:37:52,266 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua031:0/40] 2023-12-03 12:38:02,273 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) +[gpua031:0/40] 2023-12-03 12:38:12,277 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) +[gpua031:0/40] 2023-12-03 12:38:22,293 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) +[gpua031:0/40] 2023-12-03 12:38:32,309 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_6f0f713e-40cf-4d8b-9708-fe73402d1548 +[gpua031:0/40] 2023-12-03 12:38:42,323 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=40, worker_count=12, timeout=0:30:00) +[gpua031:0/40] 2023-12-03 12:38:45,898 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 40 nodes. +[gpua031:0/40] 2023-12-03 12:38:45,976 (s2t:464) INFO: Vocabulary size: 50002 +[gpua031:0/40] 2023-12-03 12:38:53,358 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua031:0/40] 2023-12-03 12:38:53,369 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua031:0/40] 2023-12-03 12:38:53,369 (abs_task:1235) INFO: Optimizer: +OSS ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua031:0/40] 2023-12-03 12:38:53,369 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua031:0/40] 2023-12-03 12:38:53,372 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua031:0/40] 2023-12-03 12:38:58,723 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua031:0/40] 2023-12-03 12:38:59,634 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua031:0/40] 2023-12-03 12:38:59,634 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4982, batch_size=240, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua031:0/40] 2023-12-03 12:38:59,635 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4982, mean=240.0, min=240, max=241 +[gpua031:0/40] 2023-12-03 12:39:10,330 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +[gpua031:0/40] 2023-12-03 12:39:10,339 (sharded_ddp:179) INFO: ShardedDDP bucket size: 8.00M parameters, model size 969.78M parameters +Process SpawnProcess-4: +Process SpawnProcess-2: +Process SpawnProcess-1: +Process SpawnProcess-4: +Process SpawnProcess-3: +Process SpawnProcess-1: +Process SpawnProcess-2: +Process SpawnProcess-3: +Traceback (most recent call last): +Traceback (most recent call last): +Traceback (most recent call last): +Traceback (most recent call last): +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Process SpawnProcess-3: +Process SpawnProcess-1: +Process SpawnProcess-4: +Process SpawnProcess-2: +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with exit code 1 +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with exit code 1 + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 3 terminated with exit code 1 +srun: error: gpua031: task 0: Exited with exit code 1 +srun: error: gpua032: task 1: Exited with exit code 1 +srun: error: gpua033: task 2: Exited with exit code 1 +Process SpawnProcess-1: +Process SpawnProcess-4: +Process SpawnProcess-3: +Process SpawnProcess-2: +Process SpawnProcess-3: +Process SpawnProcess-1: +Process SpawnProcess-4: +Process SpawnProcess-1: +Process SpawnProcess-4: +Process SpawnProcess-4: +Process SpawnProcess-2: +Process SpawnProcess-1: +Process SpawnProcess-2: +Process SpawnProcess-2: +Process SpawnProcess-3: +Process SpawnProcess-3: +Process SpawnProcess-2: +Process SpawnProcess-3: +Process SpawnProcess-1: +Process SpawnProcess-4: +Traceback (most recent call last): +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): +Traceback (most recent call last): +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) +Traceback (most recent call last): +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) +Traceback (most recent call last): +Traceback (most recent call last): + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) +Traceback (most recent call last): +Traceback (most recent call last): + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() +Traceback (most recent call last): +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) +Traceback (most recent call last): +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) +Traceback (most recent call last): +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Process SpawnProcess-1: +Process SpawnProcess-2: +Process SpawnProcess-2: +Process SpawnProcess-3: +Process SpawnProcess-4: +Process SpawnProcess-3: +Process SpawnProcess-4: +Process SpawnProcess-1: +Traceback (most recent call last): +Traceback (most recent call last): +Traceback (most recent call last): +Traceback (most recent call last): +Traceback (most recent call last): +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap + self.run() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/multiprocessing/process.py", line 108, in run + self._target(*self._args, **self._kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1393, in main_worker + cls.trainer.run( + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/train/trainer.py", line 224, in run + dp_model = fairscale.nn.data_parallel.ShardedDataParallel( + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 200, in __init__ + self._sync_params_and_buffers() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context + return func(*args, **kwargs) + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/fairscale/nn/data_parallel/sharded_ddp.py", line 545, in _sync_params_and_buffers + dist.broadcast(t, src=self._reference_global_rank, group=self._process_group, async_op=True) +RuntimeError: Tensors must be contiguous + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1400, in broadcast + work = default_pg.broadcast([tensor], opts) +RuntimeError: Tensors must be contiguous +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + raise ProcessExitedException( + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 0 terminated with exit code 1 +torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with exit code 1 + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 3 terminated with exit code 1 +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + exec(code, run_globals) +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 3 terminated with exit code 1 + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 2 terminated with exit code 1 +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code +Traceback (most recent call last): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 196, in _run_module_as_main + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + return _run_code(code, main_globals, None, + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/runpy.py", line 86, in _run_code + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + exec(code, run_globals) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 23, in + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + while not ProcessContext(processes, error_queues).join(): + main() + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py", line 19, in main + S2TTask.main(cmd=cmd) + File "/scratch/bbjs/peng6/espnet-whisper-public/espnet2/tasks/abs_task.py", line 1134, in main + while not ProcessContext(processes, error_queues).join(): + File "/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 149, in join + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with exit code 1 + raise ProcessExitedException( +torch.multiprocessing.spawn.ProcessExitedException: process 3 terminated with exit code 1 +srun: error: gpua036: task 5: Exited with exit code 1 +srun: error: gpua035: task 4: Exited with exit code 1 +srun: error: gpua037: task 6: Exited with exit code 1 +srun: error: gpua038: task 7: Exited with exit code 1 +srun: error: gpua039: task 8: Exited with exit code 1 +srun: error: gpua040: task 9: Exited with exit code 1 +srun: error: gpua034: task 3: Exited with exit code 1 +# Accounting: begin_time=1701628661 +# Accounting: end_time=1701628779 +# Accounting: time=118 threads=1 +# Finished at Sun Dec 3 12:39:39 CST 2023 with status 1 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.13.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.13.log new file mode 100644 index 0000000000000000000000000000000000000000..d69cd8862c54fcb7f6ec9d8d7c9ae644563e01cf --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.13.log @@ -0,0 +1,4396 @@ +# Running on gpua014.delta.ncsa.illinois.edu +# Started at Fri Dec 1 13:56:51 CST 2023 +# SLURMD_NODENAME=gpua014 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2718083 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1701633393 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2718083 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[014,016,030,032-033,035,037,039-040,042-043,069-070,072,097,099]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1701460593 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[014,016,030,032-033,035,037,039-040,042-043,069-070,072,097,099]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=120451 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua014 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_abbe9c57-62e2-49a8-911b-29b039d30841 +[gpua014:0/64] 2023-12-01 14:00:04,567 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua014:0/64] 2023-12-01 14:00:05,399 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua014:0/64] 2023-12-01 14:00:05,429 (s2t:464) INFO: Vocabulary size: 50002 +[gpua014:0/64] 2023-12-01 14:00:18,688 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua014:0/64] 2023-12-01 14:00:18,699 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua014:0/64] 2023-12-01 14:00:18,699 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua014:0/64] 2023-12-01 14:00:18,699 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua014:0/64] 2023-12-01 14:00:18,701 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua014:0/64] 2023-12-01 14:00:24,005 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 14:00:24,901 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 14:00:24,901 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua014:0/64] 2023-12-01 14:00:24,902 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +gpua014:120543:120543 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:120543:120543 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:120543:120543 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua014:0/64] 2023-12-01 14:00:34,840 (trainer:284) INFO: 1/40epoch started +[gpua014:0/64] 2023-12-01 14:00:35,004 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua014:0/64] 2023-12-01 14:00:52,537 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 14:00:55,830 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 14:00:55,830 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua014:0/64] 2023-12-01 14:00:55,834 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua070:113435:113435 [1] NCCL INFO cudaDriverVersion 12020 +gpua070:113435:113435 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.70<0> +gpua070:113435:113435 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua070:113435:113543 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.70<0> +gpua070:113435:113543 [1] NCCL INFO Using network IB +gpua070:113435:113543 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua070:113435:113543 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua070:113435:113543 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua070:113435:113543 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua070:113435:113543 [1] NCCL INFO Connected all rings +gpua070:113435:113543 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua070:113435:113543 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua070:113435:113543 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua070:113435:113543 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua070:113435:113543 [1] NCCL INFO Connected all trees +gpua070:113435:113543 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua070:113435:113543 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua070:113435:113543 [1] NCCL INFO comm 0x9603cb0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua014:120544:120544 [1] NCCL INFO cudaDriverVersion 12020 +gpua014:120544:120544 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:120544:120544 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:120544:120651 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:120544:120651 [1] NCCL INFO Using network IB +gpua014:120544:120651 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua014:120544:120651 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua014:120544:120651 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua014:120544:120651 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua014:120544:120651 [1] NCCL INFO Connected all rings +gpua014:120544:120651 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua014:120544:120651 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua014:120544:120651 [1] NCCL INFO Connected all trees +gpua014:120544:120651 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:120544:120651 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:120544:120651 [1] NCCL INFO comm 0xdaf0980 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua070:113434:113434 [0] NCCL INFO cudaDriverVersion 12020 +gpua070:113434:113434 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.70<0> +gpua070:113434:113434 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua070:113434:113545 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.70<0> +gpua070:113434:113545 [0] NCCL INFO Using network IB +gpua070:113434:113545 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua070:113434:113545 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua070:113434:113545 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua070:113434:113545 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua070:113434:113545 [0] NCCL INFO Connected all rings +gpua070:113434:113545 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua070:113434:113545 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua070:113434:113545 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua070:113434:113545 [0] NCCL INFO Connected all trees +gpua070:113434:113545 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua070:113434:113545 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua070:113434:113545 [0] NCCL INFO comm 0xc080c20 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua014:120543:120650 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:120543:120650 [0] NCCL INFO Using network IB +gpua014:120543:120650 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua014:120543:120650 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua014:120543:120650 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua014:120543:120650 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua014:120543:120650 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua014:120543:120650 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua014:120543:120650 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua014:120543:120650 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua014:120543:120650 [0] NCCL INFO Connected all rings +gpua014:120543:120650 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua014:120543:120650 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua014:120543:120650 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua014:120543:120650 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua014:120543:120650 [0] NCCL INFO Connected all trees +gpua014:120543:120650 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:120543:120650 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:120543:120650 [0] NCCL INFO comm 0x17605a00 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua014:120545:120545 [2] NCCL INFO cudaDriverVersion 12020 +gpua014:120545:120545 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:120545:120545 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:120545:120648 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:120545:120648 [2] NCCL INFO Using network IB +gpua014:120545:120648 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua014:120545:120648 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua014:120545:120648 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua014:120545:120648 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua014:120545:120648 [2] NCCL INFO Connected all rings +gpua014:120545:120648 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua014:120545:120648 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua014:120545:120648 [2] NCCL INFO Connected all trees +gpua014:120545:120648 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:120545:120648 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:120545:120648 [2] NCCL INFO comm 0x12653bb0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua014:120546:120546 [3] NCCL INFO cudaDriverVersion 12020 +gpua014:120546:120546 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:120546:120546 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:120546:120649 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:120546:120649 [3] NCCL INFO Using network IB +gpua014:120546:120649 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua014:120546:120649 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua014:120546:120649 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua014:120546:120649 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua014:120546:120649 [3] NCCL INFO Connected all rings +gpua014:120546:120649 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua014:120546:120649 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua014:120546:120649 [3] NCCL INFO Connected all trees +gpua014:120546:120649 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:120546:120649 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:120546:120649 [3] NCCL INFO comm 0xb46d220 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua097:565110:565110 [2] NCCL INFO cudaDriverVersion 12020 +gpua097:565110:565110 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> +gpua097:565110:565110 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua097:565110:565218 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> +gpua097:565110:565218 [2] NCCL INFO Using network IB +gpua097:565110:565218 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua097:565110:565218 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua097:565110:565218 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua097:565110:565218 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua097:565110:565218 [2] NCCL INFO Connected all rings +gpua097:565110:565218 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua097:565110:565218 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua097:565110:565218 [2] NCCL INFO Connected all trees +gpua097:565110:565218 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua097:565110:565218 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua097:565110:565218 [2] NCCL INFO comm 0xe179630 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua097:565111:565111 [3] NCCL INFO cudaDriverVersion 12020 +gpua097:565111:565111 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> +gpua097:565111:565111 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua097:565111:565216 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> +gpua097:565111:565216 [3] NCCL INFO Using network IB +gpua097:565111:565216 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua097:565111:565216 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua097:565111:565216 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua097:565111:565216 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua097:565111:565216 [3] NCCL INFO Connected all rings +gpua097:565111:565216 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua097:565111:565216 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua097:565111:565216 [3] NCCL INFO Connected all trees +gpua097:565111:565216 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua097:565111:565216 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua097:565111:565216 [3] NCCL INFO comm 0x1384a030 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua072:246796:246796 [2] NCCL INFO cudaDriverVersion 12020 +gpua072:246796:246796 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.72<0> +gpua072:246796:246796 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua072:246796:246902 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.72<0> +gpua072:246796:246902 [2] NCCL INFO Using network IB +gpua072:246796:246902 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua072:246796:246902 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua072:246796:246902 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua072:246796:246902 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua072:246796:246902 [2] NCCL INFO Connected all rings +gpua072:246796:246902 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua072:246796:246902 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua072:246796:246902 [2] NCCL INFO Connected all trees +gpua072:246796:246902 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua072:246796:246902 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua072:246796:246902 [2] NCCL INFO comm 0xde16580 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua072:246797:246797 [3] NCCL INFO cudaDriverVersion 12020 +gpua072:246797:246797 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.72<0> +gpua072:246797:246797 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua072:246797:246905 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.72<0> +gpua072:246797:246905 [3] NCCL INFO Using network IB +gpua072:246797:246905 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua072:246797:246905 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua072:246797:246905 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua072:246797:246905 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua072:246797:246905 [3] NCCL INFO Connected all rings +gpua072:246797:246905 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua072:246797:246905 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua035:397820:397820 [1] NCCL INFO cudaDriverVersion 12020 +gpua035:397820:397820 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.35<0> +gpua035:397820:397820 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua035:397820:397928 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.35<0> +gpua035:397820:397928 [1] NCCL INFO Using network IB +gpua035:397820:397928 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua035:397820:397928 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua035:397820:397928 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua035:397820:397928 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua035:397820:397928 [1] NCCL INFO Connected all rings +gpua035:397820:397928 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua035:397820:397928 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua072:246797:246905 [3] NCCL INFO Connected all trees +gpua072:246797:246905 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua072:246797:246905 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua072:246797:246905 [3] NCCL INFO comm 0x11360c50 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua035:397820:397928 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua035:397820:397928 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua035:397820:397928 [1] NCCL INFO Connected all trees +gpua035:397820:397928 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua035:397820:397928 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua035:397820:397928 [1] NCCL INFO comm 0x11fd8eb0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua072:246794:246794 [0] NCCL INFO cudaDriverVersion 12020 +gpua072:246794:246794 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.72<0> +gpua072:246794:246794 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua072:246794:246904 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.72<0> +gpua072:246794:246904 [0] NCCL INFO Using network IB +gpua072:246794:246904 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua072:246794:246904 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua072:246794:246904 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua072:246794:246904 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua072:246794:246904 [0] NCCL INFO Connected all rings +gpua035:397819:397819 [0] NCCL INFO cudaDriverVersion 12020 +gpua035:397819:397819 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.35<0> +gpua035:397819:397819 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua035:397819:397927 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.35<0> +gpua035:397819:397927 [0] NCCL INFO Using network IB +gpua035:397819:397927 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua035:397819:397927 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua035:397819:397927 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua035:397819:397927 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua035:397819:397927 [0] NCCL INFO Connected all rings +gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua072:246794:246904 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua072:246794:246904 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua072:246794:246904 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua072:246794:246904 [0] NCCL INFO Connected all trees +gpua072:246794:246904 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua072:246794:246904 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua072:246794:246904 [0] NCCL INFO comm 0x1288dae0 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua035:397819:397927 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua035:397819:397927 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua035:397819:397927 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua035:397819:397927 [0] NCCL INFO Connected all trees +gpua035:397819:397927 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua035:397819:397927 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua035:397819:397927 [0] NCCL INFO comm 0x14def160 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua035:397821:397821 [2] NCCL INFO cudaDriverVersion 12020 +gpua035:397821:397821 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.35<0> +gpua035:397821:397821 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua035:397821:397926 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.35<0> +gpua035:397821:397926 [2] NCCL INFO Using network IB +gpua035:397821:397926 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua035:397821:397926 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua035:397821:397926 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua035:397821:397926 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua035:397821:397926 [2] NCCL INFO Connected all rings +gpua035:397821:397926 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua035:397821:397926 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua035:397821:397926 [2] NCCL INFO Connected all trees +gpua035:397821:397926 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua035:397821:397926 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua035:397821:397926 [2] NCCL INFO comm 0x123d8f10 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua035:397822:397822 [3] NCCL INFO cudaDriverVersion 12020 +gpua035:397822:397822 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.35<0> +gpua035:397822:397822 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua035:397822:397925 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.35<0> +gpua035:397822:397925 [3] NCCL INFO Using network IB +gpua035:397822:397925 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua035:397822:397925 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua035:397822:397925 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua035:397822:397925 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua035:397822:397925 [3] NCCL INFO Connected all rings +gpua035:397822:397925 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua035:397822:397925 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua035:397822:397925 [3] NCCL INFO Connected all trees +gpua035:397822:397925 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua035:397822:397925 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua035:397822:397925 [3] NCCL INFO comm 0x10030950 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua072:246795:246795 [1] NCCL INFO cudaDriverVersion 12020 +gpua072:246795:246795 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.72<0> +gpua072:246795:246795 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua072:246795:246903 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.72<0> +gpua072:246795:246903 [1] NCCL INFO Using network IB +gpua072:246795:246903 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua072:246795:246903 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua072:246795:246903 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua072:246795:246903 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua072:246795:246903 [1] NCCL INFO Connected all rings +gpua072:246795:246903 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua072:246795:246903 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua072:246795:246903 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua072:246795:246903 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua072:246795:246903 [1] NCCL INFO Connected all trees +gpua072:246795:246903 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua072:246795:246903 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua072:246795:246903 [1] NCCL INFO comm 0x1219ebd0 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua070:113436:113436 [2] NCCL INFO cudaDriverVersion 12020 +gpua070:113436:113436 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.70<0> +gpua070:113436:113436 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua070:113436:113544 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.70<0> +gpua070:113436:113544 [2] NCCL INFO Using network IB +gpua070:113436:113544 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua070:113436:113544 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua070:113436:113544 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua070:113436:113544 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua070:113436:113544 [2] NCCL INFO Connected all rings +gpua070:113436:113544 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua070:113436:113544 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua070:113436:113544 [2] NCCL INFO Connected all trees +gpua070:113436:113544 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua070:113436:113544 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua070:113436:113544 [2] NCCL INFO comm 0xa0172b0 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua070:113437:113437 [3] NCCL INFO cudaDriverVersion 12020 +gpua070:113437:113437 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.70<0> +gpua070:113437:113437 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua070:113437:113546 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.70<0> +gpua070:113437:113546 [3] NCCL INFO Using network IB +gpua070:113437:113546 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua070:113437:113546 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua070:113437:113546 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua070:113437:113546 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua070:113437:113546 [3] NCCL INFO Connected all rings +gpua070:113437:113546 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua070:113437:113546 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua070:113437:113546 [3] NCCL INFO Connected all trees +gpua070:113437:113546 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua070:113437:113546 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua070:113437:113546 [3] NCCL INFO comm 0xbabb990 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua097:565108:565108 [0] NCCL INFO cudaDriverVersion 12020 +gpua097:565108:565108 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> +gpua097:565108:565108 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua097:565108:565215 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> +gpua097:565108:565215 [0] NCCL INFO Using network IB +gpua097:565108:565215 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua097:565108:565215 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua097:565108:565215 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua097:565108:565215 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua097:565108:565215 [0] NCCL INFO Connected all rings +gpua097:565108:565215 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua097:565108:565215 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua097:565108:565215 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua097:565108:565215 [0] NCCL INFO Connected all trees +gpua097:565108:565215 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua097:565108:565215 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua097:565108:565215 [0] NCCL INFO comm 0xbd45ac0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua097:565109:565109 [1] NCCL INFO cudaDriverVersion 12020 +gpua097:565109:565109 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.97<0> +gpua097:565109:565109 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua097:565109:565217 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.97<0> +gpua097:565109:565217 [1] NCCL INFO Using network IB +gpua097:565109:565217 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua097:565109:565217 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua097:565109:565217 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua097:565109:565217 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua097:565109:565217 [1] NCCL INFO Connected all rings +gpua097:565109:565217 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua097:565109:565217 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua097:565109:565217 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua097:565109:565217 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua097:565109:565217 [1] NCCL INFO Connected all trees +gpua097:565109:565217 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua097:565109:565217 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua097:565109:565217 [1] NCCL INFO comm 0xb8dc4d0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua042:320057:320057 [3] NCCL INFO cudaDriverVersion 12020 +gpua042:320057:320057 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.42<0> +gpua042:320057:320057 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua042:320057:320142 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.42<0> +gpua042:320057:320142 [3] NCCL INFO Using network IB +gpua042:320057:320142 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua042:320057:320142 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua042:320057:320142 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua042:320057:320142 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua042:320057:320142 [3] NCCL INFO Connected all rings +gpua042:320057:320142 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua042:320057:320142 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua042:320057:320142 [3] NCCL INFO Connected all trees +gpua042:320057:320142 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua042:320057:320142 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua042:320057:320142 [3] NCCL INFO comm 0x1b7421a0 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua033:812549:812549 [0] NCCL INFO cudaDriverVersion 12020 +gpua033:812549:812549 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:812549:812549 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:812549:812653 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:812549:812653 [0] NCCL INFO Using network IB +gpua033:812549:812653 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua033:812549:812653 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua033:812549:812653 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua033:812549:812653 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua033:812549:812653 [0] NCCL INFO Connected all rings +gpua033:812549:812653 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua033:812549:812653 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua033:812549:812653 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua033:812549:812653 [0] NCCL INFO Connected all trees +gpua033:812549:812653 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:812549:812653 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:812549:812653 [0] NCCL INFO comm 0x1740f8e0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua043:1858025:1858025 [0] NCCL INFO cudaDriverVersion 12020 +gpua043:1858025:1858025 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.43<0> +gpua043:1858025:1858025 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua043:1858025:1858126 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.43<0> +gpua043:1858025:1858126 [0] NCCL INFO Using network IB +gpua043:1858025:1858126 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua043:1858025:1858126 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua043:1858025:1858126 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua043:1858025:1858126 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua043:1858025:1858126 [0] NCCL INFO Connected all rings +gpua043:1858025:1858126 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua043:1858025:1858126 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua043:1858025:1858126 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua043:1858025:1858126 [0] NCCL INFO Connected all trees +gpua043:1858025:1858126 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua043:1858025:1858126 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua043:1858025:1858126 [0] NCCL INFO comm 0x1e934f50 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua099:116369:116369 [3] NCCL INFO cudaDriverVersion 12020 +gpua099:116369:116369 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> +gpua099:116369:116369 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua099:116369:116476 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> +gpua099:116369:116476 [3] NCCL INFO Using network IB +gpua099:116369:116476 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua099:116369:116476 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua099:116369:116476 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua099:116369:116476 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua099:116369:116476 [3] NCCL INFO Connected all rings +gpua099:116369:116476 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua099:116369:116476 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua099:116369:116476 [3] NCCL INFO Connected all trees +gpua099:116369:116476 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua099:116369:116476 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua099:116369:116476 [3] NCCL INFO comm 0x1a616df0 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua037:388777:388777 [3] NCCL INFO cudaDriverVersion 12020 +gpua037:388777:388777 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> +gpua037:388777:388777 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua037:388777:388880 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> +gpua037:388777:388880 [3] NCCL INFO Using network IB +gpua037:388777:388880 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua037:388777:388880 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua037:388777:388880 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua037:388777:388880 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua037:388777:388880 [3] NCCL INFO Connected all rings +gpua037:388777:388880 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua037:388777:388880 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua037:388777:388880 [3] NCCL INFO Connected all trees +gpua037:388777:388880 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua037:388777:388880 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua037:388777:388880 [3] NCCL INFO comm 0x173dc770 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua069:1351486:1351486 [2] NCCL INFO cudaDriverVersion 12020 +gpua069:1351486:1351486 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> +gpua069:1351486:1351486 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua069:1351486:1351582 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> +gpua069:1351486:1351582 [2] NCCL INFO Using network IB +gpua069:1351486:1351582 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua069:1351486:1351582 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua069:1351486:1351582 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua069:1351486:1351582 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua069:1351486:1351582 [2] NCCL INFO Connected all rings +gpua069:1351486:1351582 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua069:1351486:1351582 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua069:1351486:1351582 [2] NCCL INFO Connected all trees +gpua069:1351486:1351582 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua069:1351486:1351582 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua069:1351486:1351582 [2] NCCL INFO comm 0x1a5de820 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua033:812552:812552 [3] NCCL INFO cudaDriverVersion 12020 +gpua033:812552:812552 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:812552:812552 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:812552:812658 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:812552:812658 [3] NCCL INFO Using network IB +gpua033:812552:812658 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua033:812552:812658 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua033:812552:812658 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua033:812552:812658 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua033:812552:812658 [3] NCCL INFO Connected all rings +gpua033:812552:812658 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua033:812552:812658 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua033:812552:812658 [3] NCCL INFO Connected all trees +gpua033:812552:812658 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:812552:812658 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:812552:812658 [3] NCCL INFO comm 0x17dae330 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua039:405902:405902 [3] NCCL INFO cudaDriverVersion 12020 +gpua039:405902:405902 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:405902:405902 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:405902:406005 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:405902:406005 [3] NCCL INFO Using network IB +gpua039:405902:406005 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua039:405902:406005 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua039:405902:406005 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua039:405902:406005 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua039:405902:406005 [3] NCCL INFO Connected all rings +gpua039:405902:406005 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua039:405902:406005 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua039:405902:406005 [3] NCCL INFO Connected all trees +gpua039:405902:406005 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:405902:406005 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:405902:406005 [3] NCCL INFO comm 0x13b6d040 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua037:388775:388775 [1] NCCL INFO cudaDriverVersion 12020 +gpua037:388775:388775 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> +gpua037:388775:388775 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua037:388775:388877 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> +gpua037:388775:388877 [1] NCCL INFO Using network IB +gpua037:388775:388877 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua037:388775:388877 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua037:388775:388877 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua037:388775:388877 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua037:388775:388877 [1] NCCL INFO Connected all rings +gpua037:388775:388877 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua037:388775:388877 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua037:388775:388877 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua037:388775:388877 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua037:388775:388877 [1] NCCL INFO Connected all trees +gpua037:388775:388877 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua037:388775:388877 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua037:388775:388877 [1] NCCL INFO comm 0x4b939930 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua030:633769:633769 [2] NCCL INFO cudaDriverVersion 12020 +gpua030:633769:633769 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:633769:633769 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:633769:633871 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:633769:633871 [2] NCCL INFO Using network IB +gpua030:633769:633871 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua030:633769:633871 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua030:633769:633871 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua030:633769:633871 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua030:633769:633871 [2] NCCL INFO Connected all rings +gpua030:633769:633871 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua030:633769:633871 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua030:633769:633871 [2] NCCL INFO Connected all trees +gpua030:633769:633871 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:633769:633871 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:633769:633871 [2] NCCL INFO comm 0x2115cf90 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua030:633767:633767 [0] NCCL INFO cudaDriverVersion 12020 +gpua030:633767:633767 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:633767:633767 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:633767:633869 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:633767:633869 [0] NCCL INFO Using network IB +gpua030:633767:633869 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua030:633767:633869 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua030:633767:633869 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua030:633767:633869 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua030:633767:633869 [0] NCCL INFO Connected all rings +gpua030:633767:633869 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua030:633767:633869 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua030:633767:633869 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua030:633767:633869 [0] NCCL INFO Connected all trees +gpua030:633767:633869 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:633767:633869 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:633767:633869 [0] NCCL INFO comm 0x3c66f940 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua030:633770:633770 [3] NCCL INFO cudaDriverVersion 12020 +gpua030:633770:633770 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:633770:633770 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:633770:633870 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:633770:633870 [3] NCCL INFO Using network IB +gpua030:633770:633870 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua030:633770:633870 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua030:633770:633870 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua030:633770:633870 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua030:633770:633870 [3] NCCL INFO Connected all rings +gpua030:633770:633870 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua030:633770:633870 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua030:633770:633870 [3] NCCL INFO Connected all trees +gpua030:633770:633870 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:633770:633870 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:633770:633870 [3] NCCL INFO comm 0xb026570 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua033:812550:812550 [1] NCCL INFO cudaDriverVersion 12020 +gpua033:812550:812550 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:812550:812550 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:812550:812652 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:812550:812652 [1] NCCL INFO Using network IB +gpua033:812550:812652 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua033:812550:812652 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua033:812550:812652 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua033:812550:812652 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua033:812550:812652 [1] NCCL INFO Connected all rings +gpua033:812550:812652 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua033:812550:812652 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua033:812550:812652 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua033:812550:812652 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua033:812550:812652 [1] NCCL INFO Connected all trees +gpua033:812550:812652 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:812550:812652 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:812550:812652 [1] NCCL INFO comm 0x9e273b0 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua040:528570:528570 [2] NCCL INFO cudaDriverVersion 12020 +gpua040:528570:528570 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.40<0> +gpua040:528570:528570 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua040:528570:528676 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.40<0> +gpua040:528570:528676 [2] NCCL INFO Using network IB +gpua040:528570:528676 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua040:528570:528676 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua040:528570:528676 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua040:528570:528676 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua040:528570:528676 [2] NCCL INFO Connected all rings +gpua040:528570:528676 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua040:528570:528676 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua040:528570:528676 [2] NCCL INFO Connected all trees +gpua040:528570:528676 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua040:528570:528676 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua040:528570:528676 [2] NCCL INFO comm 0x18d41010 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua040:528569:528569 [1] NCCL INFO cudaDriverVersion 12020 +gpua040:528569:528569 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.40<0> +gpua040:528569:528569 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua040:528569:528677 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.40<0> +gpua040:528569:528677 [1] NCCL INFO Using network IB +gpua040:528569:528677 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua040:528569:528677 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua040:528569:528677 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua040:528569:528677 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua040:528569:528677 [1] NCCL INFO Connected all rings +gpua040:528569:528677 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua040:528569:528677 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua040:528569:528677 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua040:528569:528677 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua040:528569:528677 [1] NCCL INFO Connected all trees +gpua040:528569:528677 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua040:528569:528677 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua040:528569:528677 [1] NCCL INFO comm 0x4a1aa6f0 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua030:633768:633768 [1] NCCL INFO cudaDriverVersion 12020 +gpua030:633768:633768 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:633768:633768 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:633768:633872 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:633768:633872 [1] NCCL INFO Using network IB +gpua030:633768:633872 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua030:633768:633872 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua030:633768:633872 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua030:633768:633872 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua030:633768:633872 [1] NCCL INFO Connected all rings +gpua030:633768:633872 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua030:633768:633872 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua030:633768:633872 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua030:633768:633872 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua030:633768:633872 [1] NCCL INFO Connected all trees +gpua030:633768:633872 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:633768:633872 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:633768:633872 [1] NCCL INFO comm 0x33d14120 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua040:528568:528568 [0] NCCL INFO cudaDriverVersion 12020 +gpua040:528568:528568 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.40<0> +gpua040:528568:528568 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua040:528568:528678 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.40<0> +gpua040:528568:528678 [0] NCCL INFO Using network IB +gpua040:528568:528678 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua040:528568:528678 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua040:528568:528678 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua040:528568:528678 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua040:528568:528678 [0] NCCL INFO Connected all rings +gpua040:528568:528678 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua040:528568:528678 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua040:528568:528678 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua040:528568:528678 [0] NCCL INFO Connected all trees +gpua040:528568:528678 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua040:528568:528678 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua040:528568:528678 [0] NCCL INFO comm 0x2f7872a0 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua069:1351484:1351484 [0] NCCL INFO cudaDriverVersion 12020 +gpua069:1351484:1351484 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> +gpua069:1351484:1351484 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua069:1351484:1351579 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> +gpua069:1351484:1351579 [0] NCCL INFO Using network IB +gpua069:1351484:1351579 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua069:1351484:1351579 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua069:1351484:1351579 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua069:1351484:1351579 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua069:1351484:1351579 [0] NCCL INFO Connected all rings +gpua069:1351484:1351579 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua069:1351484:1351579 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua069:1351484:1351579 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua069:1351484:1351579 [0] NCCL INFO Connected all trees +gpua069:1351484:1351579 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua069:1351484:1351579 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua069:1351484:1351579 [0] NCCL INFO comm 0x1236b690 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua037:388774:388774 [0] NCCL INFO cudaDriverVersion 12020 +gpua037:388774:388774 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> +gpua037:388774:388774 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua037:388774:388879 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> +gpua037:388774:388879 [0] NCCL INFO Using network IB +gpua037:388774:388879 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua037:388774:388879 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua037:388774:388879 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua037:388774:388879 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua037:388774:388879 [0] NCCL INFO Connected all rings +gpua037:388774:388879 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua037:388774:388879 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua037:388774:388879 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua037:388774:388879 [0] NCCL INFO Connected all trees +gpua037:388774:388879 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua037:388774:388879 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua037:388774:388879 [0] NCCL INFO comm 0x4fff9fb0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua032:426715:426715 [1] NCCL INFO cudaDriverVersion 12020 +gpua032:426715:426715 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:426715:426715 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:426715:426824 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:426715:426824 [1] NCCL INFO Using network IB +gpua032:426715:426824 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua032:426715:426824 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua032:426715:426824 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua032:426715:426824 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua032:426715:426824 [1] NCCL INFO Connected all rings +gpua032:426715:426824 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua032:426715:426824 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua032:426715:426824 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua032:426715:426824 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua032:426715:426824 [1] NCCL INFO Connected all trees +gpua032:426715:426824 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:426715:426824 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:426715:426824 [1] NCCL INFO comm 0x11cbe830 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua032:426716:426716 [2] NCCL INFO cudaDriverVersion 12020 +gpua032:426716:426716 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:426716:426716 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:426716:426822 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:426716:426822 [2] NCCL INFO Using network IB +gpua032:426716:426822 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua032:426716:426822 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua032:426716:426822 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua032:426716:426822 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua032:426716:426822 [2] NCCL INFO Connected all rings +gpua032:426716:426822 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua032:426716:426822 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua032:426716:426822 [2] NCCL INFO Connected all trees +gpua032:426716:426822 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:426716:426822 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:426716:426822 [2] NCCL INFO comm 0x5227a200 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua032:426714:426714 [0] NCCL INFO cudaDriverVersion 12020 +gpua032:426714:426714 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:426714:426714 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:426714:426825 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:426714:426825 [0] NCCL INFO Using network IB +gpua032:426714:426825 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua032:426714:426825 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua032:426714:426825 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua032:426714:426825 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua032:426714:426825 [0] NCCL INFO Connected all rings +gpua032:426714:426825 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua032:426714:426825 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua032:426714:426825 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua032:426714:426825 [0] NCCL INFO Connected all trees +gpua032:426714:426825 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:426714:426825 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:426714:426825 [0] NCCL INFO comm 0x24271710 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua040:528571:528571 [3] NCCL INFO cudaDriverVersion 12020 +gpua040:528571:528571 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.40<0> +gpua040:528571:528571 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua040:528571:528675 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.40<0> +gpua040:528571:528675 [3] NCCL INFO Using network IB +gpua040:528571:528675 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua040:528571:528675 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua040:528571:528675 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua040:528571:528675 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua040:528571:528675 [3] NCCL INFO Connected all rings +gpua040:528571:528675 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua040:528571:528675 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua040:528571:528675 [3] NCCL INFO Connected all trees +gpua040:528571:528675 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua040:528571:528675 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua040:528571:528675 [3] NCCL INFO comm 0x181a10e0 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua032:426717:426717 [3] NCCL INFO cudaDriverVersion 12020 +gpua032:426717:426717 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:426717:426717 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:426717:426823 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:426717:426823 [3] NCCL INFO Using network IB +gpua032:426717:426823 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua032:426717:426823 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua032:426717:426823 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua032:426717:426823 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua032:426717:426823 [3] NCCL INFO Connected all rings +gpua032:426717:426823 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua032:426717:426823 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua037:388776:388776 [2] NCCL INFO cudaDriverVersion 12020 +gpua037:388776:388776 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> +gpua037:388776:388776 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua037:388776:388878 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> +gpua037:388776:388878 [2] NCCL INFO Using network IB +gpua037:388776:388878 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua037:388776:388878 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua037:388776:388878 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua037:388776:388878 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua037:388776:388878 [2] NCCL INFO Connected all rings +gpua037:388776:388878 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua037:388776:388878 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua043:1858028:1858028 [3] NCCL INFO cudaDriverVersion 12020 +gpua043:1858028:1858028 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.43<0> +gpua043:1858028:1858028 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua043:1858028:1858129 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.43<0> +gpua043:1858028:1858129 [3] NCCL INFO Using network IB +gpua043:1858028:1858129 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua043:1858028:1858129 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua043:1858028:1858129 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua043:1858028:1858129 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua043:1858028:1858129 [3] NCCL INFO Connected all rings +gpua043:1858028:1858129 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua043:1858028:1858129 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua032:426717:426823 [3] NCCL INFO Connected all trees +gpua032:426717:426823 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:426717:426823 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:426717:426823 [3] NCCL INFO comm 0x1a9ca810 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua037:388776:388878 [2] NCCL INFO Connected all trees +gpua037:388776:388878 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua037:388776:388878 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua037:388776:388878 [2] NCCL INFO comm 0x226bb050 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua043:1858028:1858129 [3] NCCL INFO Connected all trees +gpua043:1858028:1858129 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua043:1858028:1858129 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua043:1858028:1858129 [3] NCCL INFO comm 0x12a5de00 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua043:1858027:1858027 [2] NCCL INFO cudaDriverVersion 12020 +gpua043:1858027:1858027 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.43<0> +gpua043:1858027:1858027 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua043:1858027:1858128 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.43<0> +gpua043:1858027:1858128 [2] NCCL INFO Using network IB +gpua043:1858027:1858128 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua043:1858027:1858128 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua043:1858027:1858128 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua043:1858027:1858128 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua043:1858027:1858128 [2] NCCL INFO Connected all rings +gpua043:1858027:1858128 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua043:1858027:1858128 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua043:1858027:1858128 [2] NCCL INFO Connected all trees +gpua043:1858027:1858128 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua043:1858027:1858128 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua043:1858027:1858128 [2] NCCL INFO comm 0x9631ae0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua042:320056:320056 [2] NCCL INFO cudaDriverVersion 12020 +gpua042:320056:320056 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.42<0> +gpua042:320056:320056 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua042:320056:320141 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.42<0> +gpua042:320056:320141 [2] NCCL INFO Using network IB +gpua042:320056:320141 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua042:320056:320141 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua042:320056:320141 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua042:320056:320141 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua042:320056:320141 [2] NCCL INFO Connected all rings +gpua042:320056:320141 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua042:320056:320141 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua042:320056:320141 [2] NCCL INFO Connected all trees +gpua042:320056:320141 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua042:320056:320141 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua042:320056:320141 [2] NCCL INFO comm 0x1241d0f0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua039:405900:405900 [1] NCCL INFO cudaDriverVersion 12020 +gpua039:405900:405900 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:405900:405900 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:405900:406003 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:405900:406003 [1] NCCL INFO Using network IB +gpua039:405900:406003 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua039:405900:406003 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua039:405900:406003 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua039:405900:406003 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua039:405900:406003 [1] NCCL INFO Connected all rings +gpua039:405900:406003 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua039:405900:406003 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua039:405900:406003 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua039:405900:406003 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua039:405900:406003 [1] NCCL INFO Connected all trees +gpua039:405900:406003 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:405900:406003 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:405900:406003 [1] NCCL INFO comm 0xe6d0e50 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua039:405901:405901 [2] NCCL INFO cudaDriverVersion 12020 +gpua039:405901:405901 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:405901:405901 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:405901:406004 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:405901:406004 [2] NCCL INFO Using network IB +gpua039:405901:406004 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua039:405901:406004 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua039:405901:406004 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua039:405901:406004 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua039:405901:406004 [2] NCCL INFO Connected all rings +gpua039:405901:406004 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua039:405901:406004 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua039:405901:406004 [2] NCCL INFO Connected all trees +gpua039:405901:406004 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:405901:406004 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:405901:406004 [2] NCCL INFO comm 0x13738500 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua043:1858026:1858026 [1] NCCL INFO cudaDriverVersion 12020 +gpua043:1858026:1858026 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.43<0> +gpua043:1858026:1858026 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua043:1858026:1858127 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.43<0> +gpua043:1858026:1858127 [1] NCCL INFO Using network IB +gpua043:1858026:1858127 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua043:1858026:1858127 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua043:1858026:1858127 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua043:1858026:1858127 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua043:1858026:1858127 [1] NCCL INFO Connected all rings +gpua043:1858026:1858127 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua043:1858026:1858127 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua043:1858026:1858127 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua043:1858026:1858127 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua043:1858026:1858127 [1] NCCL INFO Connected all trees +gpua043:1858026:1858127 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua043:1858026:1858127 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua043:1858026:1858127 [1] NCCL INFO comm 0x15c58d00 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua099:116368:116368 [2] NCCL INFO cudaDriverVersion 12020 +gpua099:116368:116368 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> +gpua099:116368:116368 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua099:116368:116473 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> +gpua099:116368:116473 [2] NCCL INFO Using network IB +gpua099:116368:116473 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua099:116368:116473 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua099:116368:116473 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua099:116368:116473 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua099:116368:116473 [2] NCCL INFO Connected all rings +gpua099:116368:116473 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua099:116368:116473 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua099:116368:116473 [2] NCCL INFO Connected all trees +gpua099:116368:116473 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua099:116368:116473 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua099:116368:116473 [2] NCCL INFO comm 0x14b27160 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua069:1351485:1351485 [1] NCCL INFO cudaDriverVersion 12020 +gpua069:1351485:1351485 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> +gpua069:1351485:1351485 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua069:1351485:1351580 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> +gpua069:1351485:1351580 [1] NCCL INFO Using network IB +gpua069:1351485:1351580 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua069:1351485:1351580 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua069:1351485:1351580 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua069:1351485:1351580 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua069:1351485:1351580 [1] NCCL INFO Connected all rings +gpua069:1351485:1351580 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua069:1351485:1351580 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua069:1351485:1351580 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua069:1351485:1351580 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua069:1351485:1351580 [1] NCCL INFO Connected all trees +gpua069:1351485:1351580 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua069:1351485:1351580 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua069:1351485:1351580 [1] NCCL INFO comm 0xb32c220 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua099:116367:116367 [1] NCCL INFO cudaDriverVersion 12020 +gpua099:116367:116367 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> +gpua099:116367:116367 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua099:116367:116475 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> +gpua099:116367:116475 [1] NCCL INFO Using network IB +gpua099:116367:116475 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua099:116367:116475 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua099:116367:116475 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua099:116367:116475 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua099:116367:116475 [1] NCCL INFO Connected all rings +gpua099:116367:116475 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua099:116367:116475 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua099:116367:116475 [1] NCCL INFO Connected all trees +gpua099:116367:116475 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua099:116367:116475 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua099:116367:116475 [1] NCCL INFO comm 0xd1aea70 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua069:1351487:1351487 [3] NCCL INFO cudaDriverVersion 12020 +gpua069:1351487:1351487 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> +gpua069:1351487:1351487 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua069:1351487:1351581 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> +gpua069:1351487:1351581 [3] NCCL INFO Using network IB +gpua069:1351487:1351581 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua069:1351487:1351581 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua069:1351487:1351581 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua069:1351487:1351581 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua069:1351487:1351581 [3] NCCL INFO Connected all rings +gpua069:1351487:1351581 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua069:1351487:1351581 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua069:1351487:1351581 [3] NCCL INFO Connected all trees +gpua069:1351487:1351581 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua069:1351487:1351581 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua069:1351487:1351581 [3] NCCL INFO comm 0xf2fa520 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua042:320055:320055 [1] NCCL INFO cudaDriverVersion 12020 +gpua042:320055:320055 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.42<0> +gpua042:320055:320055 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua042:320055:320143 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.42<0> +gpua042:320055:320143 [1] NCCL INFO Using network IB +gpua042:320055:320143 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua042:320055:320143 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua042:320055:320143 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua042:320055:320143 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua042:320055:320143 [1] NCCL INFO Connected all rings +gpua042:320055:320143 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua042:320055:320143 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua042:320055:320143 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua042:320055:320143 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua042:320055:320143 [1] NCCL INFO Connected all trees +gpua042:320055:320143 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua042:320055:320143 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua042:320055:320143 [1] NCCL INFO comm 0x1fa55e40 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua033:812551:812551 [2] NCCL INFO cudaDriverVersion 12020 +gpua033:812551:812551 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:812551:812551 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:812551:812654 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:812551:812654 [2] NCCL INFO Using network IB +gpua033:812551:812654 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua033:812551:812654 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua033:812551:812654 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua033:812551:812654 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua033:812551:812654 [2] NCCL INFO Connected all rings +gpua033:812551:812654 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua033:812551:812654 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua033:812551:812654 [2] NCCL INFO Connected all trees +gpua033:812551:812654 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:812551:812654 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:812551:812654 [2] NCCL INFO comm 0x115cdb20 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua039:405899:405899 [0] NCCL INFO cudaDriverVersion 12020 +gpua039:405899:405899 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:405899:405899 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:405899:406002 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:405899:406002 [0] NCCL INFO Using network IB +gpua039:405899:406002 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua039:405899:406002 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua039:405899:406002 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:405899:406002 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua039:405899:406002 [0] NCCL INFO Connected all rings +gpua039:405899:406002 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua039:405899:406002 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua039:405899:406002 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua039:405899:406002 [0] NCCL INFO Connected all trees +gpua039:405899:406002 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:405899:406002 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:405899:406002 [0] NCCL INFO comm 0x194a7bc0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua099:116366:116366 [0] NCCL INFO cudaDriverVersion 12020 +gpua099:116366:116366 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.99<0> +gpua099:116366:116366 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua099:116366:116474 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.99<0> +gpua099:116366:116474 [0] NCCL INFO Using network IB +gpua099:116366:116474 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua099:116366:116474 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua099:116366:116474 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua099:116366:116474 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua099:116366:116474 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua099:116366:116474 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua099:116366:116474 [0] NCCL INFO Connected all rings +gpua099:116366:116474 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua099:116366:116474 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua099:116366:116474 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua099:116366:116474 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua099:116366:116474 [0] NCCL INFO Connected all trees +gpua099:116366:116474 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua099:116366:116474 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua099:116366:116474 [0] NCCL INFO comm 0xe772b30 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua042:320054:320054 [0] NCCL INFO cudaDriverVersion 12020 +gpua042:320054:320054 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.42<0> +gpua042:320054:320054 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua042:320054:320144 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.42<0> +gpua042:320054:320144 [0] NCCL INFO Using network IB +gpua042:320054:320144 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua042:320054:320144 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua042:320054:320144 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua042:320054:320144 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua042:320054:320144 [0] NCCL INFO Connected all rings +gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua042:320054:320144 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua042:320054:320144 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua042:320054:320144 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua042:320054:320144 [0] NCCL INFO Connected all trees +gpua042:320054:320144 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua042:320054:320144 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua042:320054:320144 [0] NCCL INFO comm 0x19445940 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua016:548241:548241 [2] NCCL INFO cudaDriverVersion 12020 +gpua016:548241:548241 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> +gpua016:548241:548241 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua016:548241:548344 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> +gpua016:548241:548344 [2] NCCL INFO Using network IB +gpua016:548241:548344 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua016:548241:548344 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua016:548241:548344 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua016:548241:548344 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua016:548241:548344 [2] NCCL INFO Connected all rings +gpua016:548241:548344 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua016:548241:548344 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua016:548241:548344 [2] NCCL INFO Connected all trees +gpua016:548241:548344 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua016:548241:548344 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua016:548241:548344 [2] NCCL INFO comm 0x1a706d40 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua016:548242:548242 [3] NCCL INFO cudaDriverVersion 12020 +gpua016:548242:548242 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> +gpua016:548242:548242 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua016:548242:548345 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> +gpua016:548242:548345 [3] NCCL INFO Using network IB +gpua016:548242:548345 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua016:548242:548345 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua016:548242:548345 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua016:548242:548345 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua016:548242:548345 [3] NCCL INFO Connected all rings +gpua016:548242:548345 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua016:548242:548345 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua016:548242:548345 [3] NCCL INFO Connected all trees +gpua016:548242:548345 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua016:548242:548345 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua016:548242:548345 [3] NCCL INFO comm 0x15f2d0d0 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua016:548239:548239 [0] NCCL INFO cudaDriverVersion 12020 +gpua016:548239:548239 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> +gpua016:548239:548239 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua016:548239:548346 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> +gpua016:548239:548346 [0] NCCL INFO Using network IB +gpua016:548239:548346 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua016:548239:548346 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua016:548239:548346 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua016:548239:548346 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua016:548239:548346 [0] NCCL INFO Connected all rings +gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua016:548239:548346 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua016:548239:548346 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua016:548239:548346 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua016:548239:548346 [0] NCCL INFO Connected all trees +gpua016:548239:548346 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua016:548239:548346 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua016:548239:548346 [0] NCCL INFO comm 0xb3f8420 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua016:548240:548240 [1] NCCL INFO cudaDriverVersion 12020 +gpua016:548240:548240 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.16<0> +gpua016:548240:548240 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua016:548240:548350 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.16<0> +gpua016:548240:548350 [1] NCCL INFO Using network IB +gpua016:548240:548350 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua016:548240:548350 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua016:548240:548350 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua016:548240:548350 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua016:548240:548350 [1] NCCL INFO Connected all rings +gpua016:548240:548350 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua016:548240:548350 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua016:548240:548350 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua016:548240:548350 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua016:548240:548350 [1] NCCL INFO Connected all trees +gpua016:548240:548350 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua016:548240:548350 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua016:548240:548350 [1] NCCL INFO comm 0x1ee0fa90 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +[gpua014:0/64] 2023-12-01 14:07:05,937 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua014:0/64] 2023-12-01 14:10:44,580 (trainer:735) INFO: 1epoch:train:1-100batch: iter_time=1.242, forward_time=0.241, loss_ctc=6.993e+03, loss_att=381.602, acc=1.508e-05, loss=2.365e+03, backward_time=0.413, grad_norm=1.546e+04, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.080, optim0_lr0=8.583e-08, train_time=6.095 +[gpua014:0/64] 2023-12-01 14:14:42,009 (trainer:735) INFO: 1epoch:train:101-200batch: iter_time=1.204e-04, forward_time=0.183, loss_ctc=1.811e+03, loss_att=370.767, acc=1.847e-05, loss=802.856, backward_time=0.406, grad_norm=1.042e+04, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.079, optim0_lr0=2.525e-07, train_time=2.374 +[gpua014:0/64] 2023-12-01 14:18:34,112 (trainer:735) INFO: 1epoch:train:201-300batch: iter_time=1.045e-04, forward_time=0.163, loss_ctc=363.168, loss_att=377.211, acc=3.199e-05, loss=372.998, backward_time=0.378, grad_norm=295.976, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=4.192e-07, train_time=2.321 +[gpua014:0/64] 2023-12-01 14:22:07,273 (trainer:735) INFO: 1epoch:train:301-400batch: iter_time=1.014e-04, forward_time=0.143, loss_ctc=312.724, loss_att=342.740, acc=7.256e-05, loss=333.735, backward_time=0.409, grad_norm=247.263, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=5.858e-07, train_time=2.131 +[gpua014:0/64] 2023-12-01 14:25:12,631 (trainer:735) INFO: 1epoch:train:401-500batch: iter_time=1.021e-04, forward_time=0.146, loss_ctc=396.834, loss_att=429.071, acc=2.900e-04, loss=419.400, backward_time=0.345, grad_norm=278.674, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=7.525e-07, train_time=1.853 +[gpua014:0/64] 2023-12-01 14:27:52,006 (trainer:735) INFO: 1epoch:train:501-600batch: iter_time=1.146e-04, forward_time=0.195, loss_ctc=356.648, loss_att=393.544, acc=0.002, loss=382.475, backward_time=0.317, grad_norm=299.505, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.079, optim0_lr0=9.192e-07, train_time=1.594 +[gpua014:0/64] 2023-12-01 14:30:28,857 (trainer:735) INFO: 1epoch:train:601-700batch: iter_time=1.154e-04, forward_time=0.164, loss_ctc=380.479, loss_att=405.709, acc=0.019, loss=398.140, backward_time=0.323, grad_norm=313.542, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.078, optim0_lr0=1.086e-06, train_time=1.568 +[gpua014:0/64] 2023-12-01 14:33:38,586 (trainer:735) INFO: 1epoch:train:701-800batch: iter_time=1.180e-04, forward_time=0.152, loss_ctc=340.719, loss_att=371.583, acc=0.056, loss=362.323, backward_time=0.358, grad_norm=213.248, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.078, optim0_lr0=1.252e-06, train_time=1.897 +[gpua014:0/64] 2023-12-01 14:36:33,047 (trainer:735) INFO: 1epoch:train:801-900batch: iter_time=1.176e-04, forward_time=0.166, loss_ctc=343.491, loss_att=376.449, acc=0.068, loss=366.561, backward_time=0.321, grad_norm=204.164, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=1.419e-06, train_time=1.744 +[gpua014:0/64] 2023-12-01 14:40:05,746 (trainer:735) INFO: 1epoch:train:901-1000batch: iter_time=1.013e-04, forward_time=0.157, loss_ctc=359.642, loss_att=387.993, acc=0.064, loss=379.488, backward_time=0.434, grad_norm=183.143, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=1.586e-06, train_time=2.126 +[gpua014:0/64] 2023-12-01 14:42:54,192 (trainer:735) INFO: 1epoch:train:1001-1100batch: iter_time=9.634e-05, forward_time=0.145, loss_ctc=339.557, loss_att=371.584, acc=0.070, loss=361.976, backward_time=0.310, grad_norm=173.238, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.075, optim0_lr0=1.752e-06, train_time=1.685 +[gpua014:0/64] 2023-12-01 14:45:50,006 (trainer:735) INFO: 1epoch:train:1101-1200batch: iter_time=8.967e-05, forward_time=0.145, loss_ctc=317.498, loss_att=344.379, acc=0.064, loss=336.314, backward_time=0.326, grad_norm=141.185, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.075, optim0_lr0=1.919e-06, train_time=1.758 +[gpua014:0/64] 2023-12-01 14:47:29,477 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua014:0/64] 2023-12-01 14:47:48,076 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 14:47:51,628 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 14:47:51,628 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua014:0/64] 2023-12-01 14:47:51,632 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 14:57:13,932 (trainer:735) INFO: 1epoch:train:1201-1300batch: iter_time=3.315, forward_time=0.146, loss_ctc=321.550, loss_att=341.589, acc=0.071, loss=335.578, backward_time=0.345, grad_norm=149.664, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=2.086e-06, train_time=6.839 +[gpua014:0/64] 2023-12-01 14:59:27,200 (trainer:735) INFO: 1epoch:train:1301-1400batch: iter_time=8.772e-05, forward_time=0.147, loss_ctc=286.813, loss_att=302.172, acc=0.080, loss=297.564, backward_time=0.291, grad_norm=115.106, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=2.253e-06, train_time=1.332 +[gpua014:0/64] 2023-12-01 15:01:40,038 (trainer:735) INFO: 1epoch:train:1401-1500batch: iter_time=8.750e-05, forward_time=0.147, loss_ctc=304.420, loss_att=311.951, acc=0.091, loss=309.692, backward_time=0.293, grad_norm=140.440, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=2.419e-06, train_time=1.328 +[gpua014:0/64] 2023-12-01 15:04:21,855 (trainer:735) INFO: 1epoch:train:1501-1600batch: iter_time=8.805e-05, forward_time=0.152, loss_ctc=287.974, loss_att=299.681, acc=0.093, loss=296.169, backward_time=0.358, grad_norm=125.737, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.078, optim0_lr0=2.586e-06, train_time=1.618 +[gpua014:0/64] 2023-12-01 15:06:39,059 (trainer:735) INFO: 1epoch:train:1601-1700batch: iter_time=8.334e-05, forward_time=0.158, loss_ctc=289.758, loss_att=292.720, acc=0.100, loss=291.831, backward_time=0.293, grad_norm=116.708, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=2.752e-06, train_time=1.372 +[gpua014:0/64] 2023-12-01 15:09:05,945 (trainer:735) INFO: 1epoch:train:1701-1800batch: iter_time=1.043e-04, forward_time=0.167, loss_ctc=325.282, loss_att=331.335, acc=0.111, loss=329.519, backward_time=0.325, grad_norm=157.674, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.077, optim0_lr0=2.919e-06, train_time=1.469 +[gpua014:0/64] 2023-12-01 15:11:47,389 (trainer:735) INFO: 1epoch:train:1801-1900batch: iter_time=8.752e-05, forward_time=0.146, loss_ctc=345.654, loss_att=345.640, acc=0.103, loss=345.644, backward_time=0.317, grad_norm=171.828, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=3.086e-06, train_time=1.614 +[gpua014:0/64] 2023-12-01 15:14:00,617 (trainer:735) INFO: 1epoch:train:1901-2000batch: iter_time=9.435e-05, forward_time=0.152, loss_ctc=289.072, loss_att=289.856, acc=0.118, loss=289.621, backward_time=0.303, grad_norm=105.791, clip=100.000, loss_scale=6.554e+04, optim_step_time=0.076, optim0_lr0=3.253e-06, train_time=1.332 +[gpua014:0/64] 2023-12-01 15:16:31,254 (trainer:735) INFO: 1epoch:train:2001-2100batch: iter_time=9.163e-05, forward_time=0.161, loss_ctc=313.227, loss_att=312.832, acc=0.112, loss=312.951, backward_time=0.314, grad_norm=123.184, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.078, optim0_lr0=3.419e-06, train_time=1.506 +[gpua014:0/64] 2023-12-01 15:18:39,037 (trainer:735) INFO: 1epoch:train:2101-2200batch: iter_time=9.009e-05, forward_time=0.151, loss_ctc=291.892, loss_att=295.907, acc=0.113, loss=294.702, backward_time=0.282, grad_norm=116.813, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=3.586e-06, train_time=1.277 +[gpua014:0/64] 2023-12-01 15:20:55,100 (trainer:735) INFO: 1epoch:train:2201-2300batch: iter_time=8.270e-05, forward_time=0.150, loss_ctc=280.971, loss_att=277.727, acc=0.118, loss=278.700, backward_time=0.295, grad_norm=99.741, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=3.753e-06, train_time=1.361 +[gpua014:0/64] 2023-12-01 15:23:14,133 (trainer:735) INFO: 1epoch:train:2301-2400batch: iter_time=8.391e-05, forward_time=0.150, loss_ctc=311.697, loss_att=321.507, acc=0.104, loss=318.564, backward_time=0.328, grad_norm=109.042, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.077, optim0_lr0=3.919e-06, train_time=1.390 +[gpua014:0/64] 2023-12-01 15:25:43,682 (trainer:735) INFO: 1epoch:train:2401-2500batch: iter_time=8.345e-05, forward_time=0.147, loss_ctc=262.194, loss_att=263.233, acc=0.120, loss=262.921, backward_time=0.283, grad_norm=112.427, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.086e-06, train_time=1.495 +[gpua014:0/64] 2023-12-01 15:26:03,710 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua014:0/64] 2023-12-01 15:26:21,911 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 15:26:25,296 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 15:26:25,296 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua014:0/64] 2023-12-01 15:26:25,301 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 15:36:34,037 (trainer:735) INFO: 1epoch:train:2501-2600batch: iter_time=1.496, forward_time=0.146, loss_ctc=264.592, loss_att=275.035, acc=0.117, loss=271.902, backward_time=0.281, grad_norm=95.769, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.253e-06, train_time=6.503 +[gpua014:0/64] 2023-12-01 15:38:34,624 (trainer:735) INFO: 1epoch:train:2601-2700batch: iter_time=8.774e-05, forward_time=0.146, loss_ctc=264.773, loss_att=271.710, acc=0.116, loss=269.629, backward_time=0.277, grad_norm=93.336, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.419e-06, train_time=1.206 +[gpua014:0/64] 2023-12-01 15:40:37,996 (trainer:735) INFO: 1epoch:train:2701-2800batch: iter_time=9.287e-05, forward_time=0.146, loss_ctc=267.997, loss_att=268.393, acc=0.116, loss=268.274, backward_time=0.284, grad_norm=103.328, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.586e-06, train_time=1.233 +[gpua014:0/64] 2023-12-01 15:42:59,661 (trainer:735) INFO: 1epoch:train:2801-2900batch: iter_time=9.152e-05, forward_time=0.146, loss_ctc=240.650, loss_att=247.968, acc=0.129, loss=245.772, backward_time=0.303, grad_norm=92.104, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.752e-06, train_time=1.416 +[gpua014:0/64] 2023-12-01 15:45:36,425 (trainer:735) INFO: 1epoch:train:2901-3000batch: iter_time=9.655e-05, forward_time=0.146, loss_ctc=314.426, loss_att=316.528, acc=0.111, loss=315.898, backward_time=0.346, grad_norm=117.530, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=4.919e-06, train_time=1.567 +[gpua014:0/64] 2023-12-01 15:47:47,829 (trainer:735) INFO: 1epoch:train:3001-3100batch: iter_time=1.011e-04, forward_time=0.148, loss_ctc=280.513, loss_att=284.128, acc=0.128, loss=283.043, backward_time=0.292, grad_norm=125.652, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.086e-06, train_time=1.314 +[gpua014:0/64] 2023-12-01 15:50:10,399 (trainer:735) INFO: 1epoch:train:3101-3200batch: iter_time=9.077e-05, forward_time=0.147, loss_ctc=301.308, loss_att=299.195, acc=0.125, loss=299.829, backward_time=0.349, grad_norm=118.846, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.252e-06, train_time=1.425 +[gpua014:0/64] 2023-12-01 15:52:27,374 (trainer:735) INFO: 1epoch:train:3201-3300batch: iter_time=8.635e-05, forward_time=0.146, loss_ctc=280.366, loss_att=280.125, acc=0.131, loss=280.197, backward_time=0.291, grad_norm=108.088, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.419e-06, train_time=1.370 +[gpua014:0/64] 2023-12-01 15:54:49,806 (trainer:735) INFO: 1epoch:train:3301-3400batch: iter_time=9.478e-05, forward_time=0.146, loss_ctc=279.437, loss_att=276.236, acc=0.128, loss=277.196, backward_time=0.307, grad_norm=102.923, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.586e-06, train_time=1.424 +[gpua014:0/64] 2023-12-01 15:56:47,942 (trainer:735) INFO: 1epoch:train:3401-3500batch: iter_time=9.538e-05, forward_time=0.147, loss_ctc=293.467, loss_att=292.539, acc=0.123, loss=292.818, backward_time=0.279, grad_norm=104.690, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.077, optim0_lr0=5.753e-06, train_time=1.181 +[gpua014:0/64] 2023-12-01 15:58:46,491 (trainer:735) INFO: 1epoch:train:3501-3600batch: iter_time=1.023e-04, forward_time=0.147, loss_ctc=278.873, loss_att=284.634, acc=0.128, loss=282.906, backward_time=0.282, grad_norm=94.844, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=5.919e-06, train_time=1.185 +[gpua014:0/64] 2023-12-01 16:01:11,957 (trainer:735) INFO: 1epoch:train:3601-3700batch: iter_time=9.049e-05, forward_time=0.148, loss_ctc=260.060, loss_att=262.142, acc=0.128, loss=261.517, backward_time=0.286, grad_norm=90.731, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=6.086e-06, train_time=1.454 +[gpua014:0/64] 2023-12-01 16:02:35,807 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua014:0/64] 2023-12-01 16:02:53,787 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 16:02:57,193 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 16:02:57,193 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua014:0/64] 2023-12-01 16:02:57,236 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 16:13:01,414 (trainer:735) INFO: 1epoch:train:3701-3800batch: iter_time=2.215, forward_time=0.179, loss_ctc=270.913, loss_att=278.894, acc=0.131, loss=276.500, backward_time=0.291, grad_norm=119.388, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.077, optim0_lr0=6.253e-06, train_time=7.094 +[gpua014:0/64] 2023-12-01 16:15:29,950 (trainer:735) INFO: 1epoch:train:3801-3900batch: iter_time=8.502e-05, forward_time=0.146, loss_ctc=243.045, loss_att=247.807, acc=0.138, loss=246.378, backward_time=0.320, grad_norm=87.339, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=6.419e-06, train_time=1.485 +[gpua014:0/64] 2023-12-01 16:17:41,277 (trainer:735) INFO: 1epoch:train:3901-4000batch: iter_time=8.927e-05, forward_time=0.145, loss_ctc=263.178, loss_att=264.345, acc=0.136, loss=263.995, backward_time=0.281, grad_norm=101.626, clip=100.000, loss_scale=1.311e+05, optim_step_time=0.076, optim0_lr0=6.586e-06, train_time=1.313 +[gpua014:0/64] 2023-12-01 16:20:09,808 (trainer:735) INFO: 1epoch:train:4001-4100batch: iter_time=9.263e-05, forward_time=0.147, loss_ctc=248.346, loss_att=254.431, acc=0.137, loss=252.605, backward_time=0.313, grad_norm=97.068, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=6.752e-06, train_time=1.485 +[gpua014:0/64] 2023-12-01 16:22:36,164 (trainer:735) INFO: 1epoch:train:4101-4200batch: iter_time=9.011e-05, forward_time=0.145, loss_ctc=257.494, loss_att=252.584, acc=0.138, loss=254.057, backward_time=0.297, grad_norm=116.231, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=6.919e-06, train_time=1.463 +[gpua014:0/64] 2023-12-01 16:25:30,802 (trainer:735) INFO: 1epoch:train:4201-4300batch: iter_time=9.481e-05, forward_time=0.147, loss_ctc=296.357, loss_att=297.721, acc=0.135, loss=297.312, backward_time=0.315, grad_norm=143.612, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=7.086e-06, train_time=1.746 +[gpua014:0/64] 2023-12-01 16:28:01,737 (trainer:735) INFO: 1epoch:train:4301-4400batch: iter_time=9.558e-05, forward_time=0.145, loss_ctc=311.059, loss_att=307.100, acc=0.134, loss=308.288, backward_time=0.297, grad_norm=161.742, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=7.253e-06, train_time=1.509 +[gpua014:0/64] 2023-12-01 16:30:36,290 (trainer:735) INFO: 1epoch:train:4401-4500batch: iter_time=1.012e-04, forward_time=0.145, loss_ctc=268.150, loss_att=264.314, acc=0.148, loss=265.465, backward_time=0.337, grad_norm=113.005, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=7.419e-06, train_time=1.545 +[gpua014:0/64] 2023-12-01 16:32:54,304 (trainer:735) INFO: 1epoch:train:4501-4600batch: iter_time=9.267e-05, forward_time=0.145, loss_ctc=291.569, loss_att=285.391, acc=0.138, loss=287.244, backward_time=0.291, grad_norm=114.494, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=7.586e-06, train_time=1.380 +[gpua014:0/64] 2023-12-01 16:35:13,427 (trainer:735) INFO: 1epoch:train:4601-4700batch: iter_time=8.826e-05, forward_time=0.147, loss_ctc=271.996, loss_att=268.926, acc=0.142, loss=269.847, backward_time=0.302, grad_norm=121.504, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=7.753e-06, train_time=1.391 +[gpua014:0/64] 2023-12-01 16:37:43,081 (trainer:735) INFO: 1epoch:train:4701-4800batch: iter_time=1.002e-04, forward_time=0.145, loss_ctc=262.633, loss_att=253.957, acc=0.147, loss=256.560, backward_time=0.290, grad_norm=96.330, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=7.919e-06, train_time=1.496 +[gpua014:0/64] 2023-12-01 16:40:12,101 (trainer:735) INFO: 1epoch:train:4801-4900batch: iter_time=9.381e-05, forward_time=0.145, loss_ctc=293.784, loss_att=295.921, acc=0.133, loss=295.280, backward_time=0.296, grad_norm=95.278, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=8.086e-06, train_time=1.490 +[gpua014:0/64] 2023-12-01 16:42:27,223 (trainer:735) INFO: 1epoch:train:4901-5000batch: iter_time=8.765e-05, forward_time=0.145, loss_ctc=252.226, loss_att=245.845, acc=0.152, loss=247.759, backward_time=0.295, grad_norm=110.756, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=8.252e-06, train_time=1.351 +[gpua014:0/64] 2023-12-01 16:42:28,728 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua014:0/64] 2023-12-01 16:42:47,895 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 16:42:51,306 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 16:42:51,306 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua014:0/64] 2023-12-01 16:42:51,311 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 16:52:38,590 (trainer:735) INFO: 1epoch:train:5001-5100batch: iter_time=1.264, forward_time=0.175, loss_ctc=251.654, loss_att=258.088, acc=0.151, loss=256.158, backward_time=0.290, grad_norm=132.451, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=8.419e-06, train_time=6.113 +[gpua014:0/64] 2023-12-01 16:55:02,013 (trainer:735) INFO: 1epoch:train:5101-5200batch: iter_time=9.068e-05, forward_time=0.146, loss_ctc=251.067, loss_att=247.905, acc=0.154, loss=248.853, backward_time=0.286, grad_norm=97.586, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=8.586e-06, train_time=1.434 +[gpua014:0/64] 2023-12-01 16:57:16,146 (trainer:735) INFO: 1epoch:train:5201-5300batch: iter_time=1.102e-04, forward_time=0.146, loss_ctc=260.590, loss_att=250.910, acc=0.151, loss=253.814, backward_time=0.286, grad_norm=125.301, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=8.753e-06, train_time=1.341 +[gpua014:0/64] 2023-12-01 16:59:13,290 (trainer:735) INFO: 1epoch:train:5301-5400batch: iter_time=1.089e-04, forward_time=0.146, loss_ctc=231.251, loss_att=231.261, acc=0.163, loss=231.258, backward_time=0.274, grad_norm=95.088, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=8.919e-06, train_time=1.171 +[gpua014:0/64] 2023-12-01 17:01:08,454 (trainer:735) INFO: 1epoch:train:5401-5500batch: iter_time=1.071e-04, forward_time=0.146, loss_ctc=306.272, loss_att=296.034, acc=0.145, loss=299.105, backward_time=0.277, grad_norm=117.660, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.075, optim0_lr0=9.086e-06, train_time=1.151 +[gpua014:0/64] 2023-12-01 17:03:06,813 (trainer:735) INFO: 1epoch:train:5501-5600batch: iter_time=9.199e-05, forward_time=0.146, loss_ctc=273.957, loss_att=267.463, acc=0.156, loss=269.411, backward_time=0.278, grad_norm=130.313, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=9.252e-06, train_time=1.183 +[gpua014:0/64] 2023-12-01 17:05:16,260 (trainer:735) INFO: 1epoch:train:5601-5700batch: iter_time=9.331e-05, forward_time=0.146, loss_ctc=296.787, loss_att=280.520, acc=0.155, loss=285.400, backward_time=0.287, grad_norm=143.677, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=9.419e-06, train_time=1.294 +[gpua014:0/64] 2023-12-01 17:07:48,443 (trainer:735) INFO: 1epoch:train:5701-5800batch: iter_time=9.630e-05, forward_time=0.146, loss_ctc=275.486, loss_att=262.430, acc=0.160, loss=266.347, backward_time=0.292, grad_norm=118.419, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=9.586e-06, train_time=1.522 +[gpua014:0/64] 2023-12-01 17:09:58,908 (trainer:735) INFO: 1epoch:train:5801-5900batch: iter_time=1.080e-04, forward_time=0.177, loss_ctc=273.118, loss_att=256.183, acc=0.156, loss=261.263, backward_time=0.305, grad_norm=124.042, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.078, optim0_lr0=9.753e-06, train_time=1.304 +[gpua014:0/64] 2023-12-01 17:12:03,735 (trainer:735) INFO: 1epoch:train:5901-6000batch: iter_time=9.701e-05, forward_time=0.150, loss_ctc=283.582, loss_att=267.734, acc=0.150, loss=272.488, backward_time=0.292, grad_norm=111.864, clip=100.000, loss_scale=2.621e+05, optim_step_time=0.076, optim0_lr0=9.919e-06, train_time=1.248 +[gpua014:0/64] 2023-12-01 17:14:32,817 (trainer:735) INFO: 1epoch:train:6001-6100batch: iter_time=9.672e-05, forward_time=0.147, loss_ctc=270.667, loss_att=259.890, acc=0.159, loss=263.123, backward_time=0.318, grad_norm=104.617, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.009e-05, train_time=1.491 +[gpua014:0/64] 2023-12-01 17:16:33,534 (trainer:735) INFO: 1epoch:train:6101-6200batch: iter_time=9.243e-05, forward_time=0.146, loss_ctc=253.979, loss_att=240.382, acc=0.159, loss=244.461, backward_time=0.275, grad_norm=99.669, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.025e-05, train_time=1.207 +[gpua014:0/64] 2023-12-01 17:17:58,810 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua014:0/64] 2023-12-01 17:18:16,393 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 17:18:19,744 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 17:18:19,744 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua014:0/64] 2023-12-01 17:18:19,747 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 17:23:13,786 (trainer:735) INFO: 1epoch:train:6201-6300batch: iter_time=2.260, forward_time=0.167, loss_ctc=265.214, loss_att=270.523, acc=0.159, loss=268.931, backward_time=0.286, grad_norm=147.161, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.078, optim0_lr0=1.042e-05, train_time=4.002 +[gpua014:0/64] 2023-12-01 17:25:27,734 (trainer:735) INFO: 1epoch:train:6301-6400batch: iter_time=9.845e-05, forward_time=0.148, loss_ctc=237.668, loss_att=234.540, acc=0.166, loss=235.478, backward_time=0.293, grad_norm=110.388, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.059e-05, train_time=1.339 +[gpua014:0/64] 2023-12-01 17:27:29,426 (trainer:735) INFO: 1epoch:train:6401-6500batch: iter_time=1.037e-04, forward_time=0.146, loss_ctc=258.967, loss_att=257.488, acc=0.166, loss=257.932, backward_time=0.282, grad_norm=156.186, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.075e-05, train_time=1.217 +[gpua014:0/64] 2023-12-01 17:29:52,189 (trainer:735) INFO: 1epoch:train:6501-6600batch: iter_time=9.143e-05, forward_time=0.146, loss_ctc=243.588, loss_att=245.315, acc=0.161, loss=244.797, backward_time=0.298, grad_norm=149.198, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.092e-05, train_time=1.427 +[gpua014:0/64] 2023-12-01 17:32:25,109 (trainer:735) INFO: 1epoch:train:6601-6700batch: iter_time=9.171e-05, forward_time=0.148, loss_ctc=251.352, loss_att=244.576, acc=0.162, loss=246.609, backward_time=0.314, grad_norm=118.494, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.109e-05, train_time=1.529 +[gpua014:0/64] 2023-12-01 17:34:23,597 (trainer:735) INFO: 1epoch:train:6701-6800batch: iter_time=9.960e-05, forward_time=0.145, loss_ctc=290.639, loss_att=286.000, acc=0.165, loss=287.391, backward_time=0.279, grad_norm=152.296, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.125e-05, train_time=1.185 +[gpua014:0/64] 2023-12-01 17:36:30,083 (trainer:735) INFO: 1epoch:train:6801-6900batch: iter_time=9.659e-05, forward_time=0.184, loss_ctc=303.533, loss_att=296.442, acc=0.158, loss=298.570, backward_time=0.291, grad_norm=138.473, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.079, optim0_lr0=1.142e-05, train_time=1.265 +[gpua014:0/64] 2023-12-01 17:39:07,403 (trainer:735) INFO: 1epoch:train:6901-7000batch: iter_time=9.992e-05, forward_time=0.146, loss_ctc=263.260, loss_att=251.031, acc=0.171, loss=254.700, backward_time=0.303, grad_norm=114.045, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.159e-05, train_time=1.573 +[gpua014:0/64] 2023-12-01 17:41:23,492 (trainer:735) INFO: 1epoch:train:7001-7100batch: iter_time=1.056e-04, forward_time=0.146, loss_ctc=286.485, loss_att=276.186, acc=0.160, loss=279.275, backward_time=0.282, grad_norm=128.722, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.175e-05, train_time=1.361 +[gpua014:0/64] 2023-12-01 17:43:20,732 (trainer:735) INFO: 1epoch:train:7101-7200batch: iter_time=9.524e-05, forward_time=0.146, loss_ctc=266.074, loss_att=251.387, acc=0.168, loss=255.793, backward_time=0.275, grad_norm=122.291, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.192e-05, train_time=1.172 +[gpua014:0/64] 2023-12-01 17:46:03,402 (trainer:735) INFO: 1epoch:train:7201-7300batch: iter_time=9.206e-05, forward_time=0.148, loss_ctc=258.402, loss_att=243.885, acc=0.168, loss=248.240, backward_time=0.319, grad_norm=94.645, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.209e-05, train_time=1.626 +[gpua014:0/64] 2023-12-01 17:48:09,912 (trainer:735) INFO: 1epoch:train:7301-7400batch: iter_time=9.867e-05, forward_time=0.149, loss_ctc=287.191, loss_att=281.928, acc=0.159, loss=283.507, backward_time=0.287, grad_norm=122.159, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.225e-05, train_time=1.265 +[gpua014:0/64] 2023-12-01 17:50:39,227 (trainer:735) INFO: 1epoch:train:7401-7500batch: iter_time=9.611e-05, forward_time=0.157, loss_ctc=247.679, loss_att=231.054, acc=0.179, loss=236.042, backward_time=0.290, grad_norm=140.200, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.077, optim0_lr0=1.242e-05, train_time=1.493 +[gpua014:0/64] 2023-12-01 17:50:41,396 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua014:0/64] 2023-12-01 17:50:59,149 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 17:51:02,507 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 17:51:02,507 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua014:0/64] 2023-12-01 17:51:02,510 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 17:57:43,033 (trainer:735) INFO: 1epoch:train:7501-7600batch: iter_time=1.227, forward_time=0.166, loss_ctc=246.492, loss_att=246.093, acc=0.175, loss=246.213, backward_time=0.275, grad_norm=137.566, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.078, optim0_lr0=1.259e-05, train_time=4.238 +[gpua014:0/64] 2023-12-01 17:59:38,199 (trainer:735) INFO: 1epoch:train:7601-7700batch: iter_time=8.441e-05, forward_time=0.145, loss_ctc=247.005, loss_att=230.701, acc=0.173, loss=235.592, backward_time=0.274, grad_norm=97.859, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.275e-05, train_time=1.151 +[gpua014:0/64] 2023-12-01 18:01:51,150 (trainer:735) INFO: 1epoch:train:7701-7800batch: iter_time=8.477e-05, forward_time=0.146, loss_ctc=255.268, loss_att=242.094, acc=0.172, loss=246.046, backward_time=0.293, grad_norm=132.953, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.292e-05, train_time=1.329 +[gpua014:0/64] 2023-12-01 18:03:58,255 (trainer:735) INFO: 1epoch:train:7801-7900batch: iter_time=9.725e-05, forward_time=0.146, loss_ctc=227.749, loss_att=218.347, acc=0.183, loss=221.167, backward_time=0.295, grad_norm=126.035, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.309e-05, train_time=1.271 +[gpua014:0/64] 2023-12-01 18:06:39,739 (trainer:735) INFO: 1epoch:train:7901-8000batch: iter_time=1.014e-04, forward_time=0.146, loss_ctc=299.963, loss_att=281.729, acc=0.163, loss=287.199, backward_time=0.334, grad_norm=116.960, clip=100.000, loss_scale=5.243e+05, optim_step_time=0.076, optim0_lr0=1.325e-05, train_time=1.615 +[gpua014:0/64] 2023-12-01 18:09:01,143 (trainer:735) INFO: 1epoch:train:8001-8100batch: iter_time=8.970e-05, forward_time=0.146, loss_ctc=268.352, loss_att=257.585, acc=0.174, loss=260.815, backward_time=0.291, grad_norm=121.230, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.342e-05, train_time=1.414 +[gpua014:0/64] 2023-12-01 18:11:07,939 (trainer:735) INFO: 1epoch:train:8101-8200batch: iter_time=9.384e-05, forward_time=0.147, loss_ctc=291.624, loss_att=266.127, acc=0.175, loss=273.776, backward_time=0.282, grad_norm=121.262, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.359e-05, train_time=1.268 +[gpua014:0/64] 2023-12-01 18:13:15,295 (trainer:735) INFO: 1epoch:train:8201-8300batch: iter_time=8.868e-05, forward_time=0.146, loss_ctc=268.262, loss_att=245.852, acc=0.178, loss=252.575, backward_time=0.288, grad_norm=121.714, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.375e-05, train_time=1.273 +[gpua014:0/64] 2023-12-01 18:15:34,351 (trainer:735) INFO: 1epoch:train:8301-8400batch: iter_time=9.466e-05, forward_time=0.146, loss_ctc=269.133, loss_att=248.879, acc=0.176, loss=254.955, backward_time=0.303, grad_norm=140.618, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.392e-05, train_time=1.390 +[gpua014:0/64] 2023-12-01 18:18:05,843 (trainer:735) INFO: 1epoch:train:8401-8500batch: iter_time=9.687e-05, forward_time=0.146, loss_ctc=279.170, loss_att=255.702, acc=0.170, loss=262.743, backward_time=0.334, grad_norm=114.836, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.409e-05, train_time=1.515 +[gpua014:0/64] 2023-12-01 18:20:27,499 (trainer:735) INFO: 1epoch:train:8501-8600batch: iter_time=9.098e-05, forward_time=0.167, loss_ctc=267.981, loss_att=249.955, acc=0.177, loss=255.363, backward_time=0.290, grad_norm=121.410, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.425e-05, train_time=1.416 +[gpua014:0/64] 2023-12-01 18:22:46,843 (trainer:735) INFO: 1epoch:train:8601-8700batch: iter_time=9.569e-05, forward_time=0.154, loss_ctc=250.707, loss_att=231.833, acc=0.178, loss=237.495, backward_time=0.303, grad_norm=135.515, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.442e-05, train_time=1.393 +[gpua014:0/64] 2023-12-01 18:24:05,992 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua014:0/64] 2023-12-01 18:24:23,861 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 18:24:27,206 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 18:24:27,206 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua014:0/64] 2023-12-01 18:24:27,209 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 18:30:11,357 (trainer:735) INFO: 1epoch:train:8701-8800batch: iter_time=2.067, forward_time=0.187, loss_ctc=258.394, loss_att=247.375, acc=0.183, loss=250.681, backward_time=0.281, grad_norm=136.599, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.459e-05, train_time=4.445 +[gpua014:0/64] 2023-12-01 18:32:07,162 (trainer:735) INFO: 1epoch:train:8801-8900batch: iter_time=9.005e-05, forward_time=0.147, loss_ctc=234.144, loss_att=215.308, acc=0.187, loss=220.959, backward_time=0.275, grad_norm=116.876, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.475e-05, train_time=1.158 +[gpua014:0/64] 2023-12-01 18:34:16,531 (trainer:735) INFO: 1epoch:train:8901-9000batch: iter_time=9.748e-05, forward_time=0.146, loss_ctc=253.756, loss_att=232.972, acc=0.187, loss=239.207, backward_time=0.294, grad_norm=116.690, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.492e-05, train_time=1.293 +[gpua014:0/64] 2023-12-01 18:36:51,834 (trainer:735) INFO: 1epoch:train:9001-9100batch: iter_time=9.650e-05, forward_time=0.149, loss_ctc=237.440, loss_att=223.361, acc=0.182, loss=227.585, backward_time=0.318, grad_norm=132.493, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.509e-05, train_time=1.553 +[gpua014:0/64] 2023-12-01 18:39:12,439 (trainer:735) INFO: 1epoch:train:9101-9200batch: iter_time=9.300e-05, forward_time=0.157, loss_ctc=246.241, loss_att=222.500, acc=0.185, loss=229.622, backward_time=0.315, grad_norm=99.738, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.081, optim0_lr0=1.525e-05, train_time=1.406 +[gpua014:0/64] 2023-12-01 18:41:20,531 (trainer:735) INFO: 1epoch:train:9201-9300batch: iter_time=9.251e-05, forward_time=0.146, loss_ctc=284.697, loss_att=263.306, acc=0.183, loss=269.723, backward_time=0.299, grad_norm=131.302, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.542e-05, train_time=1.281 +[gpua014:0/64] 2023-12-01 18:43:21,453 (trainer:735) INFO: 1epoch:train:9301-9400batch: iter_time=8.837e-05, forward_time=0.146, loss_ctc=300.923, loss_att=273.795, acc=0.176, loss=281.933, backward_time=0.288, grad_norm=128.529, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.559e-05, train_time=1.209 +[gpua014:0/64] 2023-12-01 18:45:40,977 (trainer:735) INFO: 1epoch:train:9401-9500batch: iter_time=9.160e-05, forward_time=0.148, loss_ctc=254.756, loss_att=229.158, acc=0.193, loss=236.838, backward_time=0.337, grad_norm=115.328, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.575e-05, train_time=1.395 +[gpua014:0/64] 2023-12-01 18:47:45,117 (trainer:735) INFO: 1epoch:train:9501-9600batch: iter_time=9.770e-05, forward_time=0.146, loss_ctc=281.014, loss_att=254.660, acc=0.178, loss=262.566, backward_time=0.280, grad_norm=126.059, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.592e-05, train_time=1.241 +[gpua014:0/64] 2023-12-01 18:50:30,713 (trainer:735) INFO: 1epoch:train:9601-9700batch: iter_time=9.660e-05, forward_time=0.146, loss_ctc=261.619, loss_att=235.483, acc=0.188, loss=243.324, backward_time=0.311, grad_norm=110.424, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.078, optim0_lr0=1.609e-05, train_time=1.656 +[gpua014:0/64] 2023-12-01 18:52:43,958 (trainer:735) INFO: 1epoch:train:9701-9800batch: iter_time=8.890e-05, forward_time=0.146, loss_ctc=252.519, loss_att=224.496, acc=0.186, loss=232.902, backward_time=0.294, grad_norm=105.396, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.625e-05, train_time=1.332 +[gpua014:0/64] 2023-12-01 18:54:50,629 (trainer:735) INFO: 1epoch:train:9801-9900batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=281.238, loss_att=263.748, acc=0.175, loss=268.995, backward_time=0.291, grad_norm=120.853, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.077, optim0_lr0=1.642e-05, train_time=1.266 +[gpua014:0/64] 2023-12-01 18:57:03,749 (trainer:735) INFO: 1epoch:train:9901-10000batch: iter_time=9.522e-05, forward_time=0.147, loss_ctc=241.093, loss_att=213.843, acc=0.198, loss=222.018, backward_time=0.292, grad_norm=120.530, clip=100.000, loss_scale=1.049e+06, optim_step_time=0.076, optim0_lr0=1.659e-05, train_time=1.331 +[gpua014:0/64] 2023-12-01 18:57:06,044 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua014:0/64] 2023-12-01 18:57:24,012 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 18:57:27,677 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 18:57:27,677 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua014:0/64] 2023-12-01 18:57:27,680 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 19:04:28,341 (trainer:735) INFO: 1epoch:train:10001-10100batch: iter_time=3.040, forward_time=0.181, loss_ctc=243.198, loss_att=227.113, acc=0.184, loss=231.939, backward_time=0.327, grad_norm=122.261, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.079, optim0_lr0=1.675e-05, train_time=4.446 +[gpua014:0/64] 2023-12-01 19:07:14,704 (trainer:735) INFO: 1epoch:train:10101-10200batch: iter_time=8.389e-05, forward_time=0.149, loss_ctc=243.991, loss_att=216.847, acc=0.191, loss=224.990, backward_time=0.337, grad_norm=105.938, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.078, optim0_lr0=1.692e-05, train_time=1.663 +[gpua014:0/64] 2023-12-01 19:10:02,484 (trainer:735) INFO: 1epoch:train:10201-10300batch: iter_time=8.385e-05, forward_time=0.144, loss_ctc=252.366, loss_att=219.695, acc=0.186, loss=229.496, backward_time=0.336, grad_norm=128.780, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.709e-05, train_time=1.678 +[gpua014:0/64] 2023-12-01 19:12:37,605 (trainer:735) INFO: 1epoch:train:10301-10400batch: iter_time=8.707e-05, forward_time=0.144, loss_ctc=222.133, loss_att=201.248, acc=0.200, loss=207.514, backward_time=0.310, grad_norm=100.306, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.725e-05, train_time=1.551 +[gpua014:0/64] 2023-12-01 19:15:32,038 (trainer:735) INFO: 1epoch:train:10401-10500batch: iter_time=8.612e-05, forward_time=0.149, loss_ctc=294.038, loss_att=260.403, acc=0.176, loss=270.494, backward_time=0.354, grad_norm=123.488, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.078, optim0_lr0=1.742e-05, train_time=1.744 +[gpua014:0/64] 2023-12-01 19:18:31,957 (trainer:735) INFO: 1epoch:train:10501-10600batch: iter_time=8.372e-05, forward_time=0.155, loss_ctc=264.668, loss_att=235.517, acc=0.190, loss=244.262, backward_time=0.331, grad_norm=137.498, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.759e-05, train_time=1.799 +[gpua014:0/64] 2023-12-01 19:21:02,246 (trainer:735) INFO: 1epoch:train:10601-10700batch: iter_time=7.738e-05, forward_time=0.182, loss_ctc=288.489, loss_att=245.227, acc=0.191, loss=258.206, backward_time=0.328, grad_norm=139.840, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.079, optim0_lr0=1.775e-05, train_time=1.503 +[gpua014:0/64] 2023-12-01 19:23:50,799 (trainer:735) INFO: 1epoch:train:10701-10800batch: iter_time=7.935e-05, forward_time=0.159, loss_ctc=261.749, loss_att=227.897, acc=0.192, loss=238.053, backward_time=0.321, grad_norm=111.292, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.076, optim0_lr0=1.792e-05, train_time=1.685 +[gpua014:0/64] 2023-12-01 19:26:23,475 (trainer:735) INFO: 1epoch:train:10801-10900batch: iter_time=8.446e-05, forward_time=0.149, loss_ctc=263.830, loss_att=225.232, acc=0.189, loss=236.812, backward_time=0.306, grad_norm=103.300, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.809e-05, train_time=1.527 +[gpua014:0/64] 2023-12-01 19:28:59,105 (trainer:735) INFO: 1epoch:train:10901-11000batch: iter_time=8.685e-05, forward_time=0.146, loss_ctc=274.453, loss_att=237.166, acc=0.183, loss=248.352, backward_time=0.322, grad_norm=94.833, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.825e-05, train_time=1.556 +[gpua014:0/64] 2023-12-01 19:31:17,072 (trainer:735) INFO: 1epoch:train:11001-11100batch: iter_time=8.357e-05, forward_time=0.146, loss_ctc=262.077, loss_att=230.818, acc=0.188, loss=240.196, backward_time=0.296, grad_norm=109.526, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.842e-05, train_time=1.379 +[gpua014:0/64] 2023-12-01 19:33:46,226 (trainer:735) INFO: 1epoch:train:11101-11200batch: iter_time=8.363e-05, forward_time=0.146, loss_ctc=244.855, loss_att=213.987, acc=0.193, loss=223.247, backward_time=0.304, grad_norm=102.767, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.859e-05, train_time=1.491 +[gpua014:0/64] 2023-12-01 19:35:19,270 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua014:0/64] 2023-12-01 19:35:37,491 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 19:35:41,161 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 19:35:41,161 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua014:0/64] 2023-12-01 19:35:41,164 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 19:42:43,690 (trainer:735) INFO: 1epoch:train:11201-11300batch: iter_time=2.229, forward_time=0.146, loss_ctc=253.190, loss_att=227.129, acc=0.194, loss=234.947, backward_time=0.314, grad_norm=118.394, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.875e-05, train_time=5.374 +[gpua014:0/64] 2023-12-01 19:44:57,343 (trainer:735) INFO: 1epoch:train:11301-11400batch: iter_time=9.029e-05, forward_time=0.146, loss_ctc=227.449, loss_att=200.357, acc=0.199, loss=208.485, backward_time=0.286, grad_norm=93.892, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.076, optim0_lr0=1.892e-05, train_time=1.336 +[gpua014:0/64] 2023-12-01 19:47:30,367 (trainer:735) INFO: 1epoch:train:11401-11500batch: iter_time=8.404e-05, forward_time=0.146, loss_ctc=248.403, loss_att=215.263, acc=0.200, loss=225.205, backward_time=0.307, grad_norm=109.611, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.909e-05, train_time=1.530 +[gpua014:0/64] 2023-12-01 19:50:29,642 (trainer:735) INFO: 1epoch:train:11501-11600batch: iter_time=9.730e-05, forward_time=0.163, loss_ctc=233.548, loss_att=206.293, acc=0.194, loss=214.469, backward_time=0.302, grad_norm=111.326, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.080, optim0_lr0=1.925e-05, train_time=1.793 +[gpua014:0/64] 2023-12-01 19:52:59,164 (trainer:735) INFO: 1epoch:train:11601-11700batch: iter_time=9.853e-05, forward_time=0.146, loss_ctc=240.373, loss_att=205.553, acc=0.196, loss=215.999, backward_time=0.326, grad_norm=91.335, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.076, optim0_lr0=1.942e-05, train_time=1.495 +[gpua014:0/64] 2023-12-01 19:55:32,243 (trainer:735) INFO: 1epoch:train:11701-11800batch: iter_time=9.460e-05, forward_time=0.178, loss_ctc=277.699, loss_att=242.968, acc=0.194, loss=253.387, backward_time=0.352, grad_norm=119.000, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.079, optim0_lr0=1.959e-05, train_time=1.530 +[gpua014:0/64] 2023-12-01 19:58:05,866 (trainer:735) INFO: 1epoch:train:11801-11900batch: iter_time=9.228e-05, forward_time=0.162, loss_ctc=296.193, loss_att=253.638, acc=0.190, loss=266.404, backward_time=0.321, grad_norm=111.885, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.975e-05, train_time=1.536 +[gpua014:0/64] 2023-12-01 20:01:09,296 (trainer:735) INFO: 1epoch:train:11901-12000batch: iter_time=9.786e-05, forward_time=0.150, loss_ctc=251.110, loss_att=215.937, acc=0.201, loss=226.489, backward_time=0.311, grad_norm=104.710, clip=100.000, loss_scale=2.097e+06, optim_step_time=0.077, optim0_lr0=1.992e-05, train_time=1.834 +[gpua014:0/64] 2023-12-01 20:04:05,807 (trainer:735) INFO: 1epoch:train:12001-12100batch: iter_time=9.768e-05, forward_time=0.147, loss_ctc=277.105, loss_att=236.050, acc=0.188, loss=248.367, backward_time=0.339, grad_norm=95.426, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.009e-05, train_time=1.765 +[gpua014:0/64] 2023-12-01 20:06:49,090 (trainer:735) INFO: 1epoch:train:12101-12200batch: iter_time=1.027e-04, forward_time=0.146, loss_ctc=255.002, loss_att=220.086, acc=0.196, loss=230.561, backward_time=0.342, grad_norm=93.660, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.025e-05, train_time=1.633 +[gpua014:0/64] 2023-12-01 20:09:45,786 (trainer:735) INFO: 1epoch:train:12201-12300batch: iter_time=9.897e-05, forward_time=0.146, loss_ctc=248.810, loss_att=209.401, acc=0.195, loss=221.224, backward_time=0.326, grad_norm=99.296, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.042e-05, train_time=1.767 +[gpua014:0/64] 2023-12-01 20:12:37,436 (trainer:735) INFO: 1epoch:train:12301-12400batch: iter_time=1.074e-04, forward_time=0.148, loss_ctc=271.778, loss_att=241.634, acc=0.187, loss=250.677, backward_time=0.310, grad_norm=93.476, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.059e-05, train_time=1.716 +[gpua014:0/64] 2023-12-01 20:15:10,941 (trainer:735) INFO: 1epoch:train:12401-12500batch: iter_time=9.798e-05, forward_time=0.147, loss_ctc=236.291, loss_att=201.831, acc=0.207, loss=212.169, backward_time=0.323, grad_norm=88.501, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.075e-05, train_time=1.535 +[gpua014:0/64] 2023-12-01 20:15:30,969 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua014:0/64] 2023-12-01 20:15:49,033 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 20:15:52,675 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 20:15:52,675 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua014:0/64] 2023-12-01 20:15:52,678 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 20:21:56,835 (trainer:735) INFO: 1epoch:train:12501-12600batch: iter_time=2.575, forward_time=0.180, loss_ctc=237.115, loss_att=223.677, acc=0.196, loss=227.708, backward_time=0.317, grad_norm=91.014, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.092e-05, train_time=4.059 +[gpua014:0/64] 2023-12-01 20:24:20,234 (trainer:735) INFO: 1epoch:train:12601-12700batch: iter_time=8.269e-05, forward_time=0.145, loss_ctc=238.303, loss_att=209.478, acc=0.203, loss=218.125, backward_time=0.332, grad_norm=87.628, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.075, optim0_lr0=2.109e-05, train_time=1.434 +[gpua014:0/64] 2023-12-01 20:26:51,137 (trainer:735) INFO: 1epoch:train:12701-12800batch: iter_time=8.317e-05, forward_time=0.145, loss_ctc=245.225, loss_att=218.841, acc=0.194, loss=226.756, backward_time=0.287, grad_norm=89.958, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.075, optim0_lr0=2.125e-05, train_time=1.509 +[gpua014:0/64] 2023-12-01 20:29:53,714 (trainer:735) INFO: 1epoch:train:12801-12900batch: iter_time=9.426e-05, forward_time=0.146, loss_ctc=216.298, loss_att=195.958, acc=0.210, loss=202.060, backward_time=0.347, grad_norm=82.993, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.142e-05, train_time=1.826 +[gpua014:0/64] 2023-12-01 20:32:55,062 (trainer:735) INFO: 1epoch:train:12901-13000batch: iter_time=1.017e-04, forward_time=0.147, loss_ctc=286.479, loss_att=254.755, acc=0.188, loss=264.272, backward_time=0.327, grad_norm=100.950, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.159e-05, train_time=1.813 +[gpua014:0/64] 2023-12-01 20:35:14,287 (trainer:735) INFO: 1epoch:train:13001-13100batch: iter_time=1.002e-04, forward_time=0.158, loss_ctc=257.878, loss_att=232.308, acc=0.199, loss=239.979, backward_time=0.303, grad_norm=97.473, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.075, optim0_lr0=2.175e-05, train_time=1.392 +[gpua014:0/64] 2023-12-01 20:37:43,130 (trainer:735) INFO: 1epoch:train:13101-13200batch: iter_time=9.748e-05, forward_time=0.145, loss_ctc=282.708, loss_att=242.343, acc=0.199, loss=254.453, backward_time=0.372, grad_norm=107.639, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.075, optim0_lr0=2.192e-05, train_time=1.488 +[gpua014:0/64] 2023-12-01 20:40:05,003 (trainer:735) INFO: 1epoch:train:13201-13300batch: iter_time=1.014e-04, forward_time=0.145, loss_ctc=254.669, loss_att=221.948, acc=0.199, loss=231.765, backward_time=0.283, grad_norm=105.612, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.209e-05, train_time=1.419 +[gpua014:0/64] 2023-12-01 20:42:15,158 (trainer:735) INFO: 1epoch:train:13301-13400batch: iter_time=9.791e-05, forward_time=0.145, loss_ctc=258.364, loss_att=227.424, acc=0.195, loss=236.706, backward_time=0.297, grad_norm=105.310, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.225e-05, train_time=1.301 +[gpua014:0/64] 2023-12-01 20:45:19,629 (trainer:735) INFO: 1epoch:train:13401-13500batch: iter_time=1.073e-04, forward_time=0.161, loss_ctc=266.952, loss_att=232.710, acc=0.193, loss=242.982, backward_time=0.367, grad_norm=93.457, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.081, optim0_lr0=2.242e-05, train_time=1.844 +[gpua014:0/64] 2023-12-01 20:47:51,216 (trainer:735) INFO: 1epoch:train:13501-13600batch: iter_time=1.025e-04, forward_time=0.172, loss_ctc=253.742, loss_att=226.403, acc=0.199, loss=234.605, backward_time=0.359, grad_norm=94.120, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.081, optim0_lr0=2.259e-05, train_time=1.516 +[gpua014:0/64] 2023-12-01 20:50:04,612 (trainer:735) INFO: 1epoch:train:13601-13700batch: iter_time=1.122e-04, forward_time=0.148, loss_ctc=238.514, loss_att=211.688, acc=0.202, loss=219.736, backward_time=0.289, grad_norm=82.262, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.076, optim0_lr0=2.275e-05, train_time=1.334 +[gpua014:0/64] 2023-12-01 20:51:49,714 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua014:0/64] 2023-12-01 20:52:07,806 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 20:52:11,487 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 20:52:11,487 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua014:0/64] 2023-12-01 20:52:11,491 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 20:58:24,207 (trainer:735) INFO: 1epoch:train:13701-13800batch: iter_time=2.851, forward_time=0.197, loss_ctc=246.645, loss_att=222.845, acc=0.205, loss=229.985, backward_time=0.353, grad_norm=100.254, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.079, optim0_lr0=2.292e-05, train_time=4.996 +[gpua014:0/64] 2023-12-01 21:00:30,597 (trainer:735) INFO: 1epoch:train:13801-13900batch: iter_time=8.952e-05, forward_time=0.147, loss_ctc=223.636, loss_att=195.963, acc=0.205, loss=204.265, backward_time=0.277, grad_norm=74.092, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.309e-05, train_time=1.264 +[gpua014:0/64] 2023-12-01 21:02:53,908 (trainer:735) INFO: 1epoch:train:13901-14000batch: iter_time=1.040e-04, forward_time=0.146, loss_ctc=241.966, loss_att=213.252, acc=0.207, loss=221.866, backward_time=0.324, grad_norm=83.624, clip=100.000, loss_scale=4.194e+06, optim_step_time=0.077, optim0_lr0=2.325e-05, train_time=1.433 +[gpua014:0/64] 2023-12-01 21:05:47,156 (trainer:735) INFO: 1epoch:train:14001-14100batch: iter_time=1.037e-04, forward_time=0.147, loss_ctc=226.181, loss_att=202.817, acc=0.204, loss=209.826, backward_time=0.319, grad_norm=83.280, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.342e-05, train_time=1.732 +[gpua014:0/64] 2023-12-01 21:07:58,884 (trainer:735) INFO: 1epoch:train:14101-14200batch: iter_time=1.052e-04, forward_time=0.146, loss_ctc=235.935, loss_att=205.310, acc=0.203, loss=214.497, backward_time=0.299, grad_norm=90.214, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.359e-05, train_time=1.317 +[gpua014:0/64] 2023-12-01 21:10:37,432 (trainer:735) INFO: 1epoch:train:14201-14300batch: iter_time=9.612e-05, forward_time=0.238, loss_ctc=272.481, loss_att=240.489, acc=0.202, loss=250.087, backward_time=0.337, grad_norm=111.087, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.081, optim0_lr0=2.375e-05, train_time=1.585 +[gpua014:0/64] 2023-12-01 21:13:33,671 (trainer:735) INFO: 1epoch:train:14301-14400batch: iter_time=9.259e-05, forward_time=0.155, loss_ctc=289.643, loss_att=252.224, acc=0.196, loss=263.449, backward_time=0.338, grad_norm=92.412, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.392e-05, train_time=1.763 +[gpua014:0/64] 2023-12-01 21:16:54,066 (trainer:735) INFO: 1epoch:train:14401-14500batch: iter_time=1.039e-04, forward_time=0.147, loss_ctc=245.397, loss_att=211.125, acc=0.209, loss=221.407, backward_time=0.339, grad_norm=99.188, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.409e-05, train_time=2.004 +[gpua014:0/64] 2023-12-01 21:19:15,519 (trainer:735) INFO: 1epoch:train:14501-14600batch: iter_time=9.136e-05, forward_time=0.147, loss_ctc=270.904, loss_att=235.653, acc=0.195, loss=246.228, backward_time=0.299, grad_norm=93.683, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.425e-05, train_time=1.414 +[gpua014:0/64] 2023-12-01 21:22:15,529 (trainer:735) INFO: 1epoch:train:14601-14700batch: iter_time=9.465e-05, forward_time=0.146, loss_ctc=249.068, loss_att=215.629, acc=0.206, loss=225.661, backward_time=0.316, grad_norm=93.945, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.442e-05, train_time=1.800 +[gpua014:0/64] 2023-12-01 21:24:53,300 (trainer:735) INFO: 1epoch:train:14701-14800batch: iter_time=9.322e-05, forward_time=0.147, loss_ctc=243.617, loss_att=207.677, acc=0.203, loss=218.459, backward_time=0.359, grad_norm=95.568, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.459e-05, train_time=1.577 +[gpua014:0/64] 2023-12-01 21:27:49,230 (trainer:735) INFO: 1epoch:train:14801-14900batch: iter_time=9.348e-05, forward_time=0.148, loss_ctc=266.488, loss_att=242.287, acc=0.193, loss=249.547, backward_time=0.308, grad_norm=79.637, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.077, optim0_lr0=2.475e-05, train_time=1.759 +[gpua014:0/64] 2023-12-01 21:30:09,111 (trainer:735) INFO: 1epoch:train:14901-15000batch: iter_time=9.008e-05, forward_time=0.245, loss_ctc=232.766, loss_att=198.490, acc=0.214, loss=208.773, backward_time=0.312, grad_norm=85.173, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.081, optim0_lr0=2.492e-05, train_time=1.399 +[gpua014:0/64] 2023-12-01 21:55:50,872 (trainer:341) INFO: 1epoch results: [train] iter_time=0.172, forward_time=0.153, loss_ctc=326.964, loss_att=260.915, acc=0.155, loss=280.730, backward_time=0.311, grad_norm=291.862, clip=100.000, loss_scale=1.669e+06, optim_step_time=0.077, optim0_lr0=1.250e-05, train_time=1.798, time=7 hours, 29 minutes and 58.73 seconds, total_count=15000, gpu_max_cached_mem_GB=35.859, [valid] loss_ctc=191.709, cer_ctc=0.978, loss_att=165.154, acc=0.172, cer=0.718, wer=1.000, loss=173.120, time=25 minutes and 17.19 seconds, total_count=4671, gpu_max_cached_mem_GB=35.859 +[gpua014:0/64] 2023-12-01 21:56:19,038 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua014:0/64] 2023-12-01 21:56:19,038 (trainer:272) INFO: 2/40epoch started. Estimated time to finish: 1 week, 5 days and 21 hours +[gpua014:0/64] 2023-12-01 21:56:19,051 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua014:0/64] 2023-12-01 21:56:36,952 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 21:56:40,494 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 21:56:40,495 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua014:0/64] 2023-12-01 21:56:40,498 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 22:03:51,400 (trainer:735) INFO: 2epoch:train:1-100batch: iter_time=2.691, forward_time=0.161, loss_ctc=228.644, loss_att=195.283, acc=0.204, loss=205.291, backward_time=0.289, grad_norm=83.175, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.082, optim0_lr0=2.509e-05, train_time=4.523 +[gpua014:0/64] 2023-12-01 22:06:24,168 (trainer:735) INFO: 2epoch:train:101-200batch: iter_time=9.058e-05, forward_time=0.149, loss_ctc=240.878, loss_att=203.028, acc=0.210, loss=214.383, backward_time=0.306, grad_norm=69.135, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.081, optim0_lr0=2.525e-05, train_time=1.527 +[gpua014:0/64] 2023-12-01 22:08:39,132 (trainer:735) INFO: 2epoch:train:201-300batch: iter_time=1.029e-04, forward_time=0.148, loss_ctc=268.580, loss_att=226.868, acc=0.205, loss=239.382, backward_time=0.303, grad_norm=85.677, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.542e-05, train_time=1.349 +[gpua014:0/64] 2023-12-01 22:11:45,692 (trainer:735) INFO: 2epoch:train:301-400batch: iter_time=1.074e-04, forward_time=0.147, loss_ctc=247.907, loss_att=204.109, acc=0.209, loss=217.248, backward_time=0.322, grad_norm=86.384, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.081, optim0_lr0=2.559e-05, train_time=1.865 +[gpua014:0/64] 2023-12-01 22:13:59,499 (trainer:735) INFO: 2epoch:train:401-500batch: iter_time=9.850e-05, forward_time=0.147, loss_ctc=239.530, loss_att=203.112, acc=0.203, loss=214.038, backward_time=0.290, grad_norm=90.194, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.575e-05, train_time=1.338 +[gpua014:0/64] 2023-12-01 22:16:21,967 (trainer:735) INFO: 2epoch:train:501-600batch: iter_time=9.841e-05, forward_time=0.147, loss_ctc=228.462, loss_att=193.843, acc=0.211, loss=204.229, backward_time=0.302, grad_norm=73.001, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.592e-05, train_time=1.424 +[gpua014:0/64] 2023-12-01 22:18:52,279 (trainer:735) INFO: 2epoch:train:601-700batch: iter_time=9.178e-05, forward_time=0.151, loss_ctc=230.352, loss_att=194.108, acc=0.212, loss=204.981, backward_time=0.314, grad_norm=79.025, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.609e-05, train_time=1.503 +[gpua014:0/64] 2023-12-01 22:21:12,734 (trainer:735) INFO: 2epoch:train:701-800batch: iter_time=9.955e-05, forward_time=0.206, loss_ctc=255.727, loss_att=225.291, acc=0.207, loss=234.422, backward_time=0.312, grad_norm=74.980, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.083, optim0_lr0=2.625e-05, train_time=1.403 +[gpua014:0/64] 2023-12-01 22:23:53,428 (trainer:735) INFO: 2epoch:train:801-900batch: iter_time=8.980e-05, forward_time=0.153, loss_ctc=235.261, loss_att=200.125, acc=0.211, loss=210.666, backward_time=0.306, grad_norm=75.219, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.080, optim0_lr0=2.642e-05, train_time=1.608 +[gpua014:0/64] 2023-12-01 22:26:14,584 (trainer:735) INFO: 2epoch:train:901-1000batch: iter_time=0.001, forward_time=0.166, loss_ctc=245.922, loss_att=212.928, acc=0.203, loss=222.826, backward_time=0.336, grad_norm=78.526, clip=100.000, loss_scale=8.389e+06, optim_step_time=0.094, optim0_lr0=2.659e-05, train_time=1.411 +[gpua014:0/64] 2023-12-01 22:28:31,295 (trainer:735) INFO: 2epoch:train:1001-1100batch: iter_time=9.864e-05, forward_time=0.148, loss_ctc=251.165, loss_att=211.892, acc=0.196, loss=223.674, backward_time=0.292, grad_norm=80.387, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.675e-05, train_time=1.367 +[gpua014:0/64] 2023-12-01 22:31:29,071 (trainer:735) INFO: 2epoch:train:1101-1200batch: iter_time=9.653e-05, forward_time=0.148, loss_ctc=266.125, loss_att=227.850, acc=0.202, loss=239.333, backward_time=0.334, grad_norm=70.179, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.692e-05, train_time=1.778 +[gpua014:0/64] 2023-12-01 22:32:56,941 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua014:0/64] 2023-12-01 22:33:14,694 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 22:33:18,324 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 22:33:18,324 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua014:0/64] 2023-12-01 22:33:18,327 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua014:0/64] 2023-12-01 22:42:43,228 (trainer:735) INFO: 2epoch:train:1201-1300batch: iter_time=2.513, forward_time=0.147, loss_ctc=250.076, loss_att=205.528, acc=0.206, loss=218.892, backward_time=0.307, grad_norm=102.304, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.709e-05, train_time=6.741 +[gpua014:0/64] 2023-12-01 22:44:38,267 (trainer:735) INFO: 2epoch:train:1301-1400batch: iter_time=8.209e-05, forward_time=0.148, loss_ctc=229.910, loss_att=200.217, acc=0.209, loss=209.125, backward_time=0.279, grad_norm=71.530, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.725e-05, train_time=1.150 +[gpua014:0/64] 2023-12-01 22:46:37,970 (trainer:735) INFO: 2epoch:train:1401-1500batch: iter_time=8.550e-05, forward_time=0.147, loss_ctc=248.199, loss_att=208.432, acc=0.217, loss=220.362, backward_time=0.279, grad_norm=76.550, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.742e-05, train_time=1.197 +[gpua014:0/64] 2023-12-01 22:49:01,564 (trainer:735) INFO: 2epoch:train:1501-1600batch: iter_time=8.857e-05, forward_time=0.147, loss_ctc=234.812, loss_att=204.335, acc=0.212, loss=213.478, backward_time=0.299, grad_norm=78.784, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.759e-05, train_time=1.436 +[gpua014:0/64] 2023-12-01 22:51:28,912 (trainer:735) INFO: 2epoch:train:1601-1700batch: iter_time=9.151e-05, forward_time=0.147, loss_ctc=248.393, loss_att=209.799, acc=0.208, loss=221.377, backward_time=0.306, grad_norm=83.875, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.775e-05, train_time=1.473 +[gpua014:0/64] 2023-12-01 22:54:06,356 (trainer:735) INFO: 2epoch:train:1701-1800batch: iter_time=8.225e-05, forward_time=0.150, loss_ctc=237.501, loss_att=213.146, acc=0.206, loss=220.453, backward_time=0.344, grad_norm=72.037, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.792e-05, train_time=1.574 +[gpua014:0/64] 2023-12-01 22:56:10,676 (trainer:735) INFO: 2epoch:train:1801-1900batch: iter_time=8.748e-05, forward_time=0.148, loss_ctc=225.275, loss_att=192.357, acc=0.215, loss=202.232, backward_time=0.286, grad_norm=74.895, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.809e-05, train_time=1.243 +[gpua014:0/64] 2023-12-01 22:58:43,994 (trainer:735) INFO: 2epoch:train:1901-2000batch: iter_time=9.041e-05, forward_time=0.148, loss_ctc=247.026, loss_att=223.054, acc=0.207, loss=230.245, backward_time=0.302, grad_norm=72.679, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.825e-05, train_time=1.533 +[gpua014:0/64] 2023-12-01 23:01:26,657 (trainer:735) INFO: 2epoch:train:2001-2100batch: iter_time=8.789e-05, forward_time=0.147, loss_ctc=245.911, loss_att=211.953, acc=0.211, loss=222.140, backward_time=0.309, grad_norm=73.699, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.842e-05, train_time=1.626 +[gpua014:0/64] 2023-12-01 23:04:12,421 (trainer:735) INFO: 2epoch:train:2101-2200batch: iter_time=8.606e-05, forward_time=0.147, loss_ctc=232.767, loss_att=206.003, acc=0.213, loss=214.032, backward_time=0.297, grad_norm=70.048, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.859e-05, train_time=1.657 +[gpua014:0/64] 2023-12-01 23:06:25,180 (trainer:735) INFO: 2epoch:train:2201-2300batch: iter_time=8.863e-05, forward_time=0.147, loss_ctc=258.437, loss_att=219.707, acc=0.200, loss=231.326, backward_time=0.278, grad_norm=70.992, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.875e-05, train_time=1.327 +[gpua014:0/64] 2023-12-01 23:09:18,352 (trainer:735) INFO: 2epoch:train:2301-2400batch: iter_time=8.908e-05, forward_time=0.150, loss_ctc=245.686, loss_att=213.864, acc=0.206, loss=223.411, backward_time=0.335, grad_norm=70.380, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.892e-05, train_time=1.732 +[gpua014:0/64] 2023-12-01 23:11:39,174 (trainer:735) INFO: 2epoch:train:2401-2500batch: iter_time=8.654e-05, forward_time=0.147, loss_ctc=252.775, loss_att=210.243, acc=0.208, loss=223.002, backward_time=0.304, grad_norm=93.371, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.079, optim0_lr0=2.909e-05, train_time=1.408 +[gpua014:0/64] 2023-12-01 23:11:40,734 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua014:0/64] 2023-12-01 23:11:58,701 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 23:12:02,154 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 23:12:02,154 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua014:0/64] 2023-12-01 23:12:02,158 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 23:21:42,061 (trainer:735) INFO: 2epoch:train:2501-2600batch: iter_time=1.364, forward_time=0.192, loss_ctc=223.606, loss_att=188.011, acc=0.213, loss=198.690, backward_time=0.286, grad_norm=80.384, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.082, optim0_lr0=2.925e-05, train_time=6.029 +[gpua014:0/64] 2023-12-01 23:23:42,343 (trainer:735) INFO: 2epoch:train:2601-2700batch: iter_time=9.384e-05, forward_time=0.148, loss_ctc=237.671, loss_att=201.886, acc=0.219, loss=212.621, backward_time=0.278, grad_norm=72.238, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.942e-05, train_time=1.203 +[gpua014:0/64] 2023-12-01 23:25:37,843 (trainer:735) INFO: 2epoch:train:2701-2800batch: iter_time=9.825e-05, forward_time=0.150, loss_ctc=264.972, loss_att=222.378, acc=0.210, loss=235.157, backward_time=0.278, grad_norm=93.355, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.959e-05, train_time=1.155 +[gpua014:0/64] 2023-12-01 23:28:01,374 (trainer:735) INFO: 2epoch:train:2801-2900batch: iter_time=9.435e-05, forward_time=0.148, loss_ctc=245.617, loss_att=206.694, acc=0.216, loss=218.371, backward_time=0.329, grad_norm=78.479, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.975e-05, train_time=1.435 +[gpua014:0/64] 2023-12-01 23:30:36,252 (trainer:735) INFO: 2epoch:train:2901-3000batch: iter_time=1.108e-04, forward_time=0.148, loss_ctc=233.442, loss_att=203.443, acc=0.208, loss=212.443, backward_time=0.312, grad_norm=76.552, clip=100.000, loss_scale=1.678e+07, optim_step_time=0.080, optim0_lr0=2.992e-05, train_time=1.549 +[gpua014:0/64] 2023-12-01 23:33:27,184 (trainer:735) INFO: 2epoch:train:3001-3100batch: iter_time=9.405e-05, forward_time=0.147, loss_ctc=226.758, loss_att=192.107, acc=0.216, loss=202.502, backward_time=0.337, grad_norm=66.891, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.009e-05, train_time=1.709 +[gpua014:0/64] 2023-12-01 23:35:54,706 (trainer:735) INFO: 2epoch:train:3101-3200batch: iter_time=9.386e-05, forward_time=0.147, loss_ctc=226.839, loss_att=194.471, acc=0.217, loss=204.181, backward_time=0.322, grad_norm=73.900, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.025e-05, train_time=1.475 +[gpua014:0/64] 2023-12-01 23:38:04,111 (trainer:735) INFO: 2epoch:train:3201-3300batch: iter_time=1.033e-04, forward_time=0.148, loss_ctc=251.664, loss_att=223.729, acc=0.211, loss=232.109, backward_time=0.296, grad_norm=73.527, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.042e-05, train_time=1.294 +[gpua014:0/64] 2023-12-01 23:40:00,542 (trainer:735) INFO: 2epoch:train:3301-3400batch: iter_time=9.540e-05, forward_time=0.154, loss_ctc=230.236, loss_att=199.438, acc=0.216, loss=208.678, backward_time=0.280, grad_norm=71.614, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.059e-05, train_time=1.164 +[gpua014:0/64] 2023-12-01 23:42:04,006 (trainer:735) INFO: 2epoch:train:3401-3500batch: iter_time=9.647e-05, forward_time=0.148, loss_ctc=243.553, loss_att=209.801, acc=0.211, loss=219.926, backward_time=0.285, grad_norm=75.907, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.075e-05, train_time=1.234 +[gpua014:0/64] 2023-12-01 23:44:39,013 (trainer:735) INFO: 2epoch:train:3501-3600batch: iter_time=9.791e-05, forward_time=0.149, loss_ctc=247.101, loss_att=210.720, acc=0.205, loss=221.635, backward_time=0.293, grad_norm=73.155, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.092e-05, train_time=1.550 +[gpua014:0/64] 2023-12-01 23:47:10,822 (trainer:735) INFO: 2epoch:train:3601-3700batch: iter_time=9.270e-05, forward_time=0.148, loss_ctc=262.162, loss_att=225.901, acc=0.208, loss=236.779, backward_time=0.303, grad_norm=67.333, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.109e-05, train_time=1.518 +[gpua014:0/64] 2023-12-01 23:48:40,944 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua014:0/64] 2023-12-01 23:48:59,027 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-01 23:49:02,660 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-01 23:49:02,660 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua014:0/64] 2023-12-01 23:49:02,663 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-01 23:55:14,226 (trainer:735) INFO: 2epoch:train:3701-3800batch: iter_time=3.257, forward_time=0.149, loss_ctc=247.356, loss_att=199.929, acc=0.214, loss=214.157, backward_time=0.289, grad_norm=89.676, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.125e-05, train_time=4.834 +[gpua014:0/64] 2023-12-01 23:57:15,504 (trainer:735) INFO: 2epoch:train:3801-3900batch: iter_time=8.677e-05, forward_time=0.148, loss_ctc=225.847, loss_att=193.260, acc=0.217, loss=203.037, backward_time=0.279, grad_norm=69.774, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.142e-05, train_time=1.213 +[gpua014:0/64] 2023-12-01 23:59:53,844 (trainer:735) INFO: 2epoch:train:3901-4000batch: iter_time=9.093e-05, forward_time=0.148, loss_ctc=245.914, loss_att=202.953, acc=0.224, loss=215.841, backward_time=0.306, grad_norm=72.863, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.159e-05, train_time=1.583 +[gpua014:0/64] 2023-12-02 00:02:22,419 (trainer:735) INFO: 2epoch:train:4001-4100batch: iter_time=9.981e-05, forward_time=0.179, loss_ctc=232.332, loss_att=197.134, acc=0.220, loss=207.693, backward_time=0.353, grad_norm=69.783, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.085, optim0_lr0=3.175e-05, train_time=1.486 +[gpua014:0/64] 2023-12-02 00:04:50,780 (trainer:735) INFO: 2epoch:train:4101-4200batch: iter_time=9.903e-05, forward_time=0.148, loss_ctc=244.448, loss_att=203.453, acc=0.215, loss=215.751, backward_time=0.343, grad_norm=92.936, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.192e-05, train_time=1.483 +[gpua014:0/64] 2023-12-02 00:06:47,970 (trainer:735) INFO: 2epoch:train:4201-4300batch: iter_time=9.718e-05, forward_time=0.148, loss_ctc=234.535, loss_att=205.321, acc=0.214, loss=214.085, backward_time=0.279, grad_norm=73.847, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.209e-05, train_time=1.172 +[gpua014:0/64] 2023-12-02 00:09:26,651 (trainer:735) INFO: 2epoch:train:4301-4400batch: iter_time=9.709e-05, forward_time=0.188, loss_ctc=221.989, loss_att=186.475, acc=0.221, loss=197.129, backward_time=0.297, grad_norm=70.250, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.083, optim0_lr0=3.225e-05, train_time=1.587 +[gpua014:0/64] 2023-12-02 00:11:28,877 (trainer:735) INFO: 2epoch:train:4401-4500batch: iter_time=9.968e-05, forward_time=0.158, loss_ctc=243.156, loss_att=215.855, acc=0.215, loss=224.046, backward_time=0.282, grad_norm=70.949, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.242e-05, train_time=1.222 +[gpua014:0/64] 2023-12-02 00:13:53,007 (trainer:735) INFO: 2epoch:train:4501-4600batch: iter_time=9.926e-05, forward_time=0.148, loss_ctc=241.251, loss_att=204.829, acc=0.220, loss=215.755, backward_time=0.328, grad_norm=72.101, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.259e-05, train_time=1.441 +[gpua014:0/64] 2023-12-02 00:16:03,216 (trainer:735) INFO: 2epoch:train:4601-4700batch: iter_time=8.818e-05, forward_time=0.147, loss_ctc=230.488, loss_att=199.625, acc=0.221, loss=208.884, backward_time=0.281, grad_norm=66.316, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.080, optim0_lr0=3.275e-05, train_time=1.302 +[gpua014:0/64] 2023-12-02 00:18:44,535 (trainer:735) INFO: 2epoch:train:4701-4800batch: iter_time=9.296e-05, forward_time=0.153, loss_ctc=256.278, loss_att=213.687, acc=0.207, loss=226.464, backward_time=0.307, grad_norm=65.439, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.292e-05, train_time=1.613 +[gpua014:0/64] 2023-12-02 00:21:01,124 (trainer:735) INFO: 2epoch:train:4801-4900batch: iter_time=9.584e-05, forward_time=0.148, loss_ctc=242.734, loss_att=207.358, acc=0.215, loss=217.971, backward_time=0.306, grad_norm=67.244, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.309e-05, train_time=1.366 +[gpua014:0/64] 2023-12-02 00:23:01,787 (trainer:735) INFO: 2epoch:train:4901-5000batch: iter_time=9.531e-05, forward_time=0.148, loss_ctc=248.684, loss_att=202.796, acc=0.217, loss=216.562, backward_time=0.279, grad_norm=87.974, clip=100.000, loss_scale=3.355e+07, optim_step_time=0.081, optim0_lr0=3.325e-05, train_time=1.206 +[gpua014:0/64] 2023-12-02 00:23:05,471 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua014:0/64] 2023-12-02 00:23:23,904 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 00:23:27,701 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 00:23:27,701 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua014:0/64] 2023-12-02 00:23:27,704 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 00:30:07,634 (trainer:735) INFO: 2epoch:train:5001-5100batch: iter_time=1.349, forward_time=0.147, loss_ctc=221.059, loss_att=182.902, acc=0.217, loss=194.349, backward_time=0.279, grad_norm=80.393, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.342e-05, train_time=4.258 +[gpua014:0/64] 2023-12-02 00:32:08,605 (trainer:735) INFO: 2epoch:train:5101-5200batch: iter_time=8.465e-05, forward_time=0.147, loss_ctc=234.121, loss_att=192.629, acc=0.223, loss=205.077, backward_time=0.282, grad_norm=61.792, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.359e-05, train_time=1.209 +[gpua014:0/64] 2023-12-02 00:34:42,981 (trainer:735) INFO: 2epoch:train:5201-5300batch: iter_time=8.962e-05, forward_time=0.147, loss_ctc=260.220, loss_att=213.440, acc=0.218, loss=227.474, backward_time=0.310, grad_norm=81.529, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.375e-05, train_time=1.544 +[gpua014:0/64] 2023-12-02 00:36:53,562 (trainer:735) INFO: 2epoch:train:5301-5400batch: iter_time=9.651e-05, forward_time=0.147, loss_ctc=241.713, loss_att=195.402, acc=0.222, loss=209.295, backward_time=0.284, grad_norm=70.639, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.392e-05, train_time=1.306 +[gpua014:0/64] 2023-12-02 00:39:13,177 (trainer:735) INFO: 2epoch:train:5401-5500batch: iter_time=8.999e-05, forward_time=0.147, loss_ctc=230.876, loss_att=192.603, acc=0.217, loss=204.085, backward_time=0.287, grad_norm=69.493, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.409e-05, train_time=1.396 +[gpua014:0/64] 2023-12-02 00:41:42,117 (trainer:735) INFO: 2epoch:train:5501-5600batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=224.522, loss_att=184.251, acc=0.225, loss=196.332, backward_time=0.337, grad_norm=69.842, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.425e-05, train_time=1.489 +[gpua014:0/64] 2023-12-02 00:44:09,123 (trainer:735) INFO: 2epoch:train:5601-5700batch: iter_time=8.358e-05, forward_time=0.147, loss_ctc=222.750, loss_att=183.919, acc=0.226, loss=195.568, backward_time=0.284, grad_norm=69.726, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.442e-05, train_time=1.470 +[gpua014:0/64] 2023-12-02 00:46:42,243 (trainer:735) INFO: 2epoch:train:5701-5800batch: iter_time=8.957e-05, forward_time=0.147, loss_ctc=247.615, loss_att=212.301, acc=0.221, loss=222.895, backward_time=0.298, grad_norm=68.786, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.459e-05, train_time=1.531 +[gpua014:0/64] 2023-12-02 00:49:01,750 (trainer:735) INFO: 2epoch:train:5801-5900batch: iter_time=9.011e-05, forward_time=0.146, loss_ctc=225.968, loss_att=189.054, acc=0.226, loss=200.128, backward_time=0.288, grad_norm=65.127, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.475e-05, train_time=1.395 +[gpua014:0/64] 2023-12-02 00:51:21,460 (trainer:735) INFO: 2epoch:train:5901-6000batch: iter_time=8.938e-05, forward_time=0.147, loss_ctc=237.548, loss_att=200.642, acc=0.218, loss=211.714, backward_time=0.310, grad_norm=69.078, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.492e-05, train_time=1.397 +[gpua014:0/64] 2023-12-02 00:53:24,295 (trainer:735) INFO: 2epoch:train:6001-6100batch: iter_time=9.136e-05, forward_time=0.161, loss_ctc=242.830, loss_att=200.738, acc=0.208, loss=213.366, backward_time=0.288, grad_norm=61.544, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.083, optim0_lr0=3.509e-05, train_time=1.228 +[gpua014:0/64] 2023-12-02 00:55:48,969 (trainer:735) INFO: 2epoch:train:6101-6200batch: iter_time=8.399e-05, forward_time=0.188, loss_ctc=259.777, loss_att=216.552, acc=0.217, loss=229.520, backward_time=0.326, grad_norm=71.651, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.082, optim0_lr0=3.525e-05, train_time=1.447 +[gpua014:0/64] 2023-12-02 00:57:19,062 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua014:0/64] 2023-12-02 00:57:37,767 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 00:57:41,273 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 00:57:41,273 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua014:0/64] 2023-12-02 00:57:41,276 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 01:08:10,562 (trainer:735) INFO: 2epoch:train:6201-6300batch: iter_time=2.441, forward_time=0.178, loss_ctc=241.465, loss_att=191.547, acc=0.220, loss=206.522, backward_time=0.282, grad_norm=81.766, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.542e-05, train_time=7.416 +[gpua014:0/64] 2023-12-02 01:10:42,894 (trainer:735) INFO: 2epoch:train:6301-6400batch: iter_time=9.147e-05, forward_time=0.148, loss_ctc=221.845, loss_att=183.584, acc=0.225, loss=195.062, backward_time=0.289, grad_norm=71.025, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.081, optim0_lr0=3.559e-05, train_time=1.523 +[gpua014:0/64] 2023-12-02 01:12:55,494 (trainer:735) INFO: 2epoch:train:6401-6500batch: iter_time=7.902e-05, forward_time=0.147, loss_ctc=240.874, loss_att=194.487, acc=0.230, loss=208.403, backward_time=0.307, grad_norm=65.711, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.575e-05, train_time=1.326 +[gpua014:0/64] 2023-12-02 01:15:48,127 (trainer:735) INFO: 2epoch:train:6501-6600batch: iter_time=9.108e-05, forward_time=0.146, loss_ctc=227.752, loss_att=186.977, acc=0.225, loss=199.209, backward_time=0.325, grad_norm=66.908, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.592e-05, train_time=1.726 +[gpua014:0/64] 2023-12-02 01:18:26,629 (trainer:735) INFO: 2epoch:train:6601-6700batch: iter_time=8.833e-05, forward_time=0.148, loss_ctc=238.884, loss_att=192.097, acc=0.224, loss=206.133, backward_time=0.340, grad_norm=72.355, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.609e-05, train_time=1.585 +[gpua014:0/64] 2023-12-02 01:20:56,274 (trainer:735) INFO: 2epoch:train:6701-6800batch: iter_time=8.333e-05, forward_time=0.146, loss_ctc=230.530, loss_att=195.255, acc=0.222, loss=205.837, backward_time=0.295, grad_norm=61.058, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.625e-05, train_time=1.496 +[gpua014:0/64] 2023-12-02 01:22:54,259 (trainer:735) INFO: 2epoch:train:6801-6900batch: iter_time=8.795e-05, forward_time=0.146, loss_ctc=219.372, loss_att=177.274, acc=0.231, loss=189.904, backward_time=0.277, grad_norm=61.259, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.080, optim0_lr0=3.642e-05, train_time=1.180 +[gpua014:0/64] 2023-12-02 01:25:15,693 (trainer:735) INFO: 2epoch:train:6901-7000batch: iter_time=8.409e-05, forward_time=0.154, loss_ctc=239.938, loss_att=204.390, acc=0.222, loss=215.054, backward_time=0.298, grad_norm=69.962, clip=100.000, loss_scale=6.711e+07, optim_step_time=0.083, optim0_lr0=3.659e-05, train_time=1.414 +[gpua014:0/64] 2023-12-02 01:27:44,967 (trainer:735) INFO: 2epoch:train:7001-7100batch: iter_time=8.631e-05, forward_time=0.156, loss_ctc=237.995, loss_att=196.664, acc=0.225, loss=209.064, backward_time=0.321, grad_norm=75.602, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.082, optim0_lr0=3.675e-05, train_time=1.493 +[gpua014:0/64] 2023-12-02 01:30:32,086 (trainer:735) INFO: 2epoch:train:7101-7200batch: iter_time=8.559e-05, forward_time=0.146, loss_ctc=228.761, loss_att=190.563, acc=0.227, loss=202.023, backward_time=0.315, grad_norm=76.526, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.080, optim0_lr0=3.692e-05, train_time=1.671 +[gpua014:0/64] 2023-12-02 01:32:50,665 (trainer:735) INFO: 2epoch:train:7201-7300batch: iter_time=8.294e-05, forward_time=0.173, loss_ctc=253.301, loss_att=204.932, acc=0.214, loss=219.443, backward_time=0.294, grad_norm=71.420, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.084, optim0_lr0=3.709e-05, train_time=1.386 +[gpua014:0/64] 2023-12-02 01:35:34,542 (trainer:735) INFO: 2epoch:train:7301-7400batch: iter_time=7.885e-05, forward_time=0.157, loss_ctc=239.139, loss_att=197.836, acc=0.220, loss=210.227, backward_time=0.341, grad_norm=71.179, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.725e-05, train_time=1.639 +[gpua014:0/64] 2023-12-02 01:37:55,373 (trainer:735) INFO: 2epoch:train:7401-7500batch: iter_time=8.261e-05, forward_time=0.158, loss_ctc=245.797, loss_att=197.295, acc=0.221, loss=211.846, backward_time=0.299, grad_norm=83.041, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.742e-05, train_time=1.408 +[gpua014:0/64] 2023-12-02 01:38:15,401 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua014:0/64] 2023-12-02 01:38:34,255 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 01:38:37,789 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 01:38:37,789 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua014:0/64] 2023-12-02 01:38:37,793 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 01:48:49,335 (trainer:735) INFO: 2epoch:train:7501-7600batch: iter_time=2.931, forward_time=0.158, loss_ctc=218.394, loss_att=177.916, acc=0.226, loss=190.059, backward_time=0.280, grad_norm=82.764, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.759e-05, train_time=6.539 +[gpua014:0/64] 2023-12-02 01:51:20,423 (trainer:735) INFO: 2epoch:train:7601-7700batch: iter_time=7.649e-05, forward_time=0.147, loss_ctc=231.850, loss_att=187.301, acc=0.230, loss=200.666, backward_time=0.304, grad_norm=63.484, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.775e-05, train_time=1.511 +[gpua014:0/64] 2023-12-02 01:53:57,815 (trainer:735) INFO: 2epoch:train:7701-7800batch: iter_time=8.629e-05, forward_time=0.150, loss_ctc=257.279, loss_att=207.481, acc=0.226, loss=222.420, backward_time=0.309, grad_norm=74.649, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.792e-05, train_time=1.574 +[gpua014:0/64] 2023-12-02 01:55:56,250 (trainer:735) INFO: 2epoch:train:7801-7900batch: iter_time=8.550e-05, forward_time=0.147, loss_ctc=239.273, loss_att=190.039, acc=0.229, loss=204.809, backward_time=0.277, grad_norm=72.661, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.809e-05, train_time=1.184 +[gpua014:0/64] 2023-12-02 01:57:56,483 (trainer:735) INFO: 2epoch:train:7901-8000batch: iter_time=9.193e-05, forward_time=0.161, loss_ctc=228.484, loss_att=187.044, acc=0.225, loss=199.476, backward_time=0.293, grad_norm=68.615, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.082, optim0_lr0=3.825e-05, train_time=1.202 +[gpua014:0/64] 2023-12-02 02:00:57,204 (trainer:735) INFO: 2epoch:train:8001-8100batch: iter_time=9.195e-05, forward_time=0.157, loss_ctc=221.475, loss_att=179.126, acc=0.231, loss=191.831, backward_time=0.334, grad_norm=64.708, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.082, optim0_lr0=3.842e-05, train_time=1.807 +[gpua014:0/64] 2023-12-02 02:03:02,372 (trainer:735) INFO: 2epoch:train:8101-8200batch: iter_time=8.904e-05, forward_time=0.148, loss_ctc=220.783, loss_att=180.198, acc=0.231, loss=192.374, backward_time=0.293, grad_norm=66.597, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.859e-05, train_time=1.251 +[gpua014:0/64] 2023-12-02 02:05:08,600 (trainer:735) INFO: 2epoch:train:8201-8300batch: iter_time=9.210e-05, forward_time=0.153, loss_ctc=246.553, loss_att=206.866, acc=0.228, loss=218.772, backward_time=0.279, grad_norm=73.119, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.875e-05, train_time=1.262 +[gpua014:0/64] 2023-12-02 02:07:18,631 (trainer:735) INFO: 2epoch:train:8301-8400batch: iter_time=8.935e-05, forward_time=0.162, loss_ctc=225.541, loss_att=184.626, acc=0.231, loss=196.901, backward_time=0.287, grad_norm=68.424, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.892e-05, train_time=1.300 +[gpua014:0/64] 2023-12-02 02:09:42,402 (trainer:735) INFO: 2epoch:train:8401-8500batch: iter_time=8.607e-05, forward_time=0.161, loss_ctc=236.798, loss_att=196.524, acc=0.225, loss=208.606, backward_time=0.308, grad_norm=71.861, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.909e-05, train_time=1.437 +[gpua014:0/64] 2023-12-02 02:12:13,383 (trainer:735) INFO: 2epoch:train:8501-8600batch: iter_time=8.177e-05, forward_time=0.152, loss_ctc=240.447, loss_att=195.912, acc=0.215, loss=209.273, backward_time=0.310, grad_norm=67.109, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.083, optim0_lr0=3.925e-05, train_time=1.510 +[gpua014:0/64] 2023-12-02 02:14:43,881 (trainer:735) INFO: 2epoch:train:8601-8700batch: iter_time=8.509e-05, forward_time=0.169, loss_ctc=257.881, loss_att=212.598, acc=0.220, loss=226.183, backward_time=0.297, grad_norm=68.781, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.942e-05, train_time=1.505 +[gpua014:0/64] 2023-12-02 02:16:14,302 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua014:0/64] 2023-12-02 02:16:33,043 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 02:16:36,583 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 02:16:36,583 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua014:0/64] 2023-12-02 02:16:36,586 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 02:25:56,609 (trainer:735) INFO: 2epoch:train:8701-8800batch: iter_time=2.558, forward_time=0.180, loss_ctc=239.401, loss_att=187.972, acc=0.226, loss=203.401, backward_time=0.289, grad_norm=80.779, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.082, optim0_lr0=3.959e-05, train_time=6.727 +[gpua014:0/64] 2023-12-02 02:28:31,976 (trainer:735) INFO: 2epoch:train:8801-8900batch: iter_time=8.428e-05, forward_time=0.146, loss_ctc=219.763, loss_att=179.970, acc=0.232, loss=191.908, backward_time=0.294, grad_norm=60.203, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.975e-05, train_time=1.553 +[gpua014:0/64] 2023-12-02 02:31:00,501 (trainer:735) INFO: 2epoch:train:8901-9000batch: iter_time=8.274e-05, forward_time=0.146, loss_ctc=239.862, loss_att=191.197, acc=0.237, loss=205.797, backward_time=0.295, grad_norm=63.272, clip=100.000, loss_scale=1.342e+08, optim_step_time=0.081, optim0_lr0=3.992e-05, train_time=1.485 +[gpua014:0/64] 2023-12-02 02:33:30,484 (trainer:735) INFO: 2epoch:train:9001-9100batch: iter_time=9.331e-05, forward_time=0.146, loss_ctc=224.986, loss_att=182.375, acc=0.234, loss=195.159, backward_time=0.351, grad_norm=64.582, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.009e-05, train_time=1.500 +[gpua014:0/64] 2023-12-02 02:35:30,668 (trainer:735) INFO: 2epoch:train:9101-9200batch: iter_time=1.636e-04, forward_time=0.151, loss_ctc=237.631, loss_att=187.697, acc=0.231, loss=202.677, backward_time=0.285, grad_norm=73.417, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.082, optim0_lr0=4.025e-05, train_time=1.202 +[gpua014:0/64] 2023-12-02 02:38:20,659 (trainer:735) INFO: 2epoch:train:9201-9300batch: iter_time=9.910e-05, forward_time=0.169, loss_ctc=228.789, loss_att=190.748, acc=0.227, loss=202.161, backward_time=0.345, grad_norm=68.091, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.084, optim0_lr0=4.042e-05, train_time=1.700 +[gpua014:0/64] 2023-12-02 02:40:50,045 (trainer:735) INFO: 2epoch:train:9301-9400batch: iter_time=9.506e-05, forward_time=0.147, loss_ctc=216.909, loss_att=172.652, acc=0.235, loss=185.929, backward_time=0.319, grad_norm=64.914, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.059e-05, train_time=1.494 +[gpua014:0/64] 2023-12-02 02:43:14,550 (trainer:735) INFO: 2epoch:train:9401-9500batch: iter_time=8.891e-05, forward_time=0.159, loss_ctc=238.009, loss_att=198.947, acc=0.227, loss=210.665, backward_time=0.302, grad_norm=75.124, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.085, optim0_lr0=4.075e-05, train_time=1.445 +[gpua014:0/64] 2023-12-02 02:46:10,183 (trainer:735) INFO: 2epoch:train:9501-9600batch: iter_time=9.554e-05, forward_time=0.166, loss_ctc=234.781, loss_att=192.019, acc=0.231, loss=204.848, backward_time=0.396, grad_norm=69.015, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.092e-05, train_time=1.756 +[gpua014:0/64] 2023-12-02 02:48:29,507 (trainer:735) INFO: 2epoch:train:9601-9700batch: iter_time=8.529e-05, forward_time=0.148, loss_ctc=225.321, loss_att=186.867, acc=0.231, loss=198.403, backward_time=0.308, grad_norm=67.728, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.109e-05, train_time=1.393 +[gpua014:0/64] 2023-12-02 02:51:17,556 (trainer:735) INFO: 2epoch:train:9701-9800batch: iter_time=9.664e-05, forward_time=0.162, loss_ctc=247.546, loss_att=199.617, acc=0.220, loss=213.995, backward_time=0.324, grad_norm=61.871, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.084, optim0_lr0=4.125e-05, train_time=1.680 +[gpua014:0/64] 2023-12-02 02:53:42,625 (trainer:735) INFO: 2epoch:train:9801-9900batch: iter_time=9.966e-05, forward_time=0.155, loss_ctc=236.207, loss_att=192.527, acc=0.225, loss=205.631, backward_time=0.286, grad_norm=71.278, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.142e-05, train_time=1.450 +[gpua014:0/64] 2023-12-02 02:56:05,620 (trainer:735) INFO: 2epoch:train:9901-10000batch: iter_time=9.653e-05, forward_time=0.148, loss_ctc=244.276, loss_att=194.147, acc=0.227, loss=209.186, backward_time=0.294, grad_norm=80.165, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.159e-05, train_time=1.430 +[gpua014:0/64] 2023-12-02 02:56:25,644 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua014:0/64] 2023-12-02 02:56:44,354 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 02:56:47,904 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 02:56:47,904 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua014:0/64] 2023-12-02 02:56:47,907 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 03:05:20,532 (trainer:735) INFO: 2epoch:train:10001-10100batch: iter_time=2.373, forward_time=0.173, loss_ctc=215.414, loss_att=176.840, acc=0.230, loss=188.412, backward_time=0.286, grad_norm=83.590, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.175e-05, train_time=5.549 +[gpua014:0/64] 2023-12-02 03:07:58,160 (trainer:735) INFO: 2epoch:train:10101-10200batch: iter_time=9.056e-05, forward_time=0.149, loss_ctc=229.134, loss_att=190.145, acc=0.235, loss=201.842, backward_time=0.295, grad_norm=68.041, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.192e-05, train_time=1.576 +[gpua014:0/64] 2023-12-02 03:10:00,765 (trainer:735) INFO: 2epoch:train:10201-10300batch: iter_time=8.568e-05, forward_time=0.150, loss_ctc=255.535, loss_att=209.303, acc=0.230, loss=223.172, backward_time=0.279, grad_norm=81.680, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.209e-05, train_time=1.226 +[gpua014:0/64] 2023-12-02 03:12:01,737 (trainer:735) INFO: 2epoch:train:10301-10400batch: iter_time=9.543e-05, forward_time=0.164, loss_ctc=237.059, loss_att=193.617, acc=0.235, loss=206.650, backward_time=0.279, grad_norm=84.855, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.225e-05, train_time=1.209 +[gpua014:0/64] 2023-12-02 03:14:26,629 (trainer:735) INFO: 2epoch:train:10401-10500batch: iter_time=8.130e-05, forward_time=0.162, loss_ctc=226.466, loss_att=191.518, acc=0.227, loss=202.002, backward_time=0.319, grad_norm=76.493, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.081, optim0_lr0=4.242e-05, train_time=1.448 +[gpua014:0/64] 2023-12-02 03:16:57,673 (trainer:735) INFO: 2epoch:train:10501-10600batch: iter_time=8.432e-05, forward_time=0.148, loss_ctc=219.094, loss_att=180.626, acc=0.234, loss=192.167, backward_time=0.309, grad_norm=66.937, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.259e-05, train_time=1.511 +[gpua014:0/64] 2023-12-02 03:19:42,357 (trainer:735) INFO: 2epoch:train:10601-10700batch: iter_time=8.551e-05, forward_time=0.166, loss_ctc=217.550, loss_att=183.549, acc=0.234, loss=193.749, backward_time=0.330, grad_norm=69.588, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.082, optim0_lr0=4.275e-05, train_time=1.647 +[gpua014:0/64] 2023-12-02 03:22:25,789 (trainer:735) INFO: 2epoch:train:10701-10800batch: iter_time=8.976e-05, forward_time=0.151, loss_ctc=245.019, loss_att=208.709, acc=0.231, loss=219.602, backward_time=0.319, grad_norm=67.640, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.292e-05, train_time=1.634 +[gpua014:0/64] 2023-12-02 03:24:45,187 (trainer:735) INFO: 2epoch:train:10801-10900batch: iter_time=9.381e-05, forward_time=0.148, loss_ctc=222.546, loss_att=186.369, acc=0.236, loss=197.222, backward_time=0.296, grad_norm=61.782, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.309e-05, train_time=1.394 +[gpua014:0/64] 2023-12-02 03:27:13,107 (trainer:735) INFO: 2epoch:train:10901-11000batch: iter_time=8.975e-05, forward_time=0.153, loss_ctc=233.232, loss_att=196.138, acc=0.230, loss=207.266, backward_time=0.322, grad_norm=65.380, clip=100.000, loss_scale=2.684e+08, optim_step_time=0.080, optim0_lr0=4.325e-05, train_time=1.479 +[gpua014:0/64] 2023-12-02 03:29:14,847 (trainer:735) INFO: 2epoch:train:11001-11100batch: iter_time=8.128e-05, forward_time=0.148, loss_ctc=237.065, loss_att=197.035, acc=0.222, loss=209.044, backward_time=0.279, grad_norm=65.562, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.342e-05, train_time=1.217 +[gpua014:0/64] 2023-12-02 03:31:24,806 (trainer:735) INFO: 2epoch:train:11101-11200batch: iter_time=8.888e-05, forward_time=0.179, loss_ctc=254.756, loss_att=212.779, acc=0.225, loss=225.372, backward_time=0.287, grad_norm=66.141, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.082, optim0_lr0=4.359e-05, train_time=1.299 +[gpua014:0/64] 2023-12-02 03:33:07,175 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua014:0/64] 2023-12-02 03:33:25,693 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 03:33:29,351 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 03:33:29,351 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua014:0/64] 2023-12-02 03:33:29,355 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 03:38:28,541 (trainer:735) INFO: 2epoch:train:11201-11300batch: iter_time=2.701, forward_time=0.167, loss_ctc=239.228, loss_att=186.575, acc=0.231, loss=202.371, backward_time=0.289, grad_norm=78.544, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.375e-05, train_time=4.236 +[gpua014:0/64] 2023-12-02 03:40:29,668 (trainer:735) INFO: 2epoch:train:11301-11400batch: iter_time=8.144e-05, forward_time=0.148, loss_ctc=218.246, loss_att=181.599, acc=0.235, loss=192.593, backward_time=0.281, grad_norm=68.699, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.392e-05, train_time=1.212 +[gpua014:0/64] 2023-12-02 03:42:30,242 (trainer:735) INFO: 2epoch:train:11401-11500batch: iter_time=9.995e-05, forward_time=0.147, loss_ctc=238.435, loss_att=191.913, acc=0.240, loss=205.869, backward_time=0.278, grad_norm=69.425, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.409e-05, train_time=1.206 +[gpua014:0/64] 2023-12-02 03:44:41,354 (trainer:735) INFO: 2epoch:train:11501-11600batch: iter_time=8.658e-05, forward_time=0.148, loss_ctc=222.352, loss_att=184.327, acc=0.238, loss=195.734, backward_time=0.289, grad_norm=64.163, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.425e-05, train_time=1.311 +[gpua014:0/64] 2023-12-02 03:47:11,392 (trainer:735) INFO: 2epoch:train:11601-11700batch: iter_time=8.793e-05, forward_time=0.165, loss_ctc=235.277, loss_att=190.246, acc=0.233, loss=203.755, backward_time=0.299, grad_norm=69.732, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.083, optim0_lr0=4.442e-05, train_time=1.500 +[gpua014:0/64] 2023-12-02 03:49:22,609 (trainer:735) INFO: 2epoch:train:11701-11800batch: iter_time=9.096e-05, forward_time=0.152, loss_ctc=224.892, loss_att=193.075, acc=0.232, loss=202.620, backward_time=0.283, grad_norm=60.686, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.459e-05, train_time=1.312 +[gpua014:0/64] 2023-12-02 03:51:37,318 (trainer:735) INFO: 2epoch:train:11801-11900batch: iter_time=8.709e-05, forward_time=0.147, loss_ctc=213.435, loss_att=176.042, acc=0.239, loss=187.260, backward_time=0.296, grad_norm=59.199, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.475e-05, train_time=1.347 +[gpua014:0/64] 2023-12-02 03:54:00,662 (trainer:735) INFO: 2epoch:train:11901-12000batch: iter_time=9.203e-05, forward_time=0.147, loss_ctc=233.163, loss_att=201.611, acc=0.231, loss=211.076, backward_time=0.304, grad_norm=65.152, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.492e-05, train_time=1.433 +[gpua014:0/64] 2023-12-02 03:56:06,449 (trainer:735) INFO: 2epoch:train:12001-12100batch: iter_time=8.491e-05, forward_time=0.146, loss_ctc=231.013, loss_att=191.346, acc=0.235, loss=203.246, backward_time=0.283, grad_norm=68.921, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.509e-05, train_time=1.258 +[gpua014:0/64] 2023-12-02 03:58:17,666 (trainer:735) INFO: 2epoch:train:12101-12200batch: iter_time=3.398e-04, forward_time=0.159, loss_ctc=222.465, loss_att=188.126, acc=0.237, loss=198.428, backward_time=0.312, grad_norm=68.942, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.082, optim0_lr0=4.525e-05, train_time=1.312 +[gpua014:0/64] 2023-12-02 04:00:19,047 (trainer:735) INFO: 2epoch:train:12201-12300batch: iter_time=8.117e-05, forward_time=0.147, loss_ctc=242.951, loss_att=201.873, acc=0.225, loss=214.196, backward_time=0.278, grad_norm=63.618, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.542e-05, train_time=1.214 +[gpua014:0/64] 2023-12-02 04:02:49,382 (trainer:735) INFO: 2epoch:train:12301-12400batch: iter_time=8.303e-05, forward_time=0.180, loss_ctc=231.740, loss_att=194.189, acc=0.232, loss=205.454, backward_time=0.293, grad_norm=65.143, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.559e-05, train_time=1.503 +[gpua014:0/64] 2023-12-02 04:05:07,331 (trainer:735) INFO: 2epoch:train:12401-12500batch: iter_time=8.013e-05, forward_time=0.148, loss_ctc=240.400, loss_att=192.567, acc=0.234, loss=206.917, backward_time=0.281, grad_norm=73.166, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.080, optim0_lr0=4.575e-05, train_time=1.380 +[gpua014:0/64] 2023-12-02 04:05:27,357 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua014:0/64] 2023-12-02 04:05:46,130 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 04:05:49,689 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 04:05:49,690 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua014:0/64] 2023-12-02 04:05:49,693 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 04:14:26,754 (trainer:735) INFO: 2epoch:train:12501-12600batch: iter_time=2.727, forward_time=0.170, loss_ctc=210.012, loss_att=170.877, acc=0.237, loss=182.618, backward_time=0.280, grad_norm=69.009, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.592e-05, train_time=5.594 +[gpua014:0/64] 2023-12-02 04:16:28,964 (trainer:735) INFO: 2epoch:train:12601-12700batch: iter_time=7.963e-05, forward_time=0.148, loss_ctc=222.786, loss_att=185.667, acc=0.241, loss=196.803, backward_time=0.286, grad_norm=50.981, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.609e-05, train_time=1.222 +[gpua014:0/64] 2023-12-02 04:18:58,844 (trainer:735) INFO: 2epoch:train:12701-12800batch: iter_time=8.828e-05, forward_time=0.148, loss_ctc=247.718, loss_att=202.908, acc=0.237, loss=216.351, backward_time=0.301, grad_norm=73.443, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.625e-05, train_time=1.499 +[gpua014:0/64] 2023-12-02 04:20:57,856 (trainer:735) INFO: 2epoch:train:12801-12900batch: iter_time=8.825e-05, forward_time=0.150, loss_ctc=232.321, loss_att=188.582, acc=0.242, loss=201.704, backward_time=0.280, grad_norm=64.223, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.642e-05, train_time=1.190 +[gpua014:0/64] 2023-12-02 04:23:01,040 (trainer:735) INFO: 2epoch:train:12901-13000batch: iter_time=8.895e-05, forward_time=0.148, loss_ctc=219.923, loss_att=186.663, acc=0.234, loss=196.641, backward_time=0.289, grad_norm=64.027, clip=100.000, loss_scale=5.369e+08, optim_step_time=0.081, optim0_lr0=4.659e-05, train_time=1.232 +[gpua014:0/64] 2023-12-02 04:25:40,120 (trainer:735) INFO: 2epoch:train:13001-13100batch: iter_time=9.421e-05, forward_time=0.163, loss_ctc=213.606, loss_att=177.116, acc=0.240, loss=188.063, backward_time=0.316, grad_norm=60.814, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.082, optim0_lr0=4.675e-05, train_time=1.591 +[gpua014:0/64] 2023-12-02 04:28:23,721 (trainer:735) INFO: 2epoch:train:13101-13200batch: iter_time=9.327e-05, forward_time=0.148, loss_ctc=208.896, loss_att=178.370, acc=0.241, loss=187.528, backward_time=0.323, grad_norm=54.400, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.692e-05, train_time=1.636 +[gpua014:0/64] 2023-12-02 04:31:05,455 (trainer:735) INFO: 2epoch:train:13201-13300batch: iter_time=8.957e-05, forward_time=0.168, loss_ctc=236.334, loss_att=203.779, acc=0.236, loss=213.546, backward_time=0.389, grad_norm=56.858, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.082, optim0_lr0=4.709e-05, train_time=1.617 +[gpua014:0/64] 2023-12-02 04:33:35,298 (trainer:735) INFO: 2epoch:train:13301-13400batch: iter_time=9.074e-05, forward_time=0.152, loss_ctc=213.057, loss_att=182.659, acc=0.239, loss=191.778, backward_time=0.335, grad_norm=55.252, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.084, optim0_lr0=4.725e-05, train_time=1.498 +[gpua014:0/64] 2023-12-02 04:35:37,634 (trainer:735) INFO: 2epoch:train:13401-13500batch: iter_time=9.692e-05, forward_time=0.148, loss_ctc=223.706, loss_att=191.792, acc=0.236, loss=201.366, backward_time=0.282, grad_norm=54.092, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.742e-05, train_time=1.224 +[gpua014:0/64] 2023-12-02 04:37:36,814 (trainer:735) INFO: 2epoch:train:13501-13600batch: iter_time=9.013e-05, forward_time=0.166, loss_ctc=225.266, loss_att=192.826, acc=0.227, loss=202.558, backward_time=0.284, grad_norm=57.886, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.759e-05, train_time=1.191 +[gpua014:0/64] 2023-12-02 04:40:09,397 (trainer:735) INFO: 2epoch:train:13601-13700batch: iter_time=8.959e-05, forward_time=0.163, loss_ctc=240.199, loss_att=208.808, acc=0.232, loss=218.225, backward_time=0.333, grad_norm=54.543, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.085, optim0_lr0=4.775e-05, train_time=1.526 +[gpua014:0/64] 2023-12-02 04:41:42,718 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua014:0/64] 2023-12-02 04:42:01,741 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 04:42:05,373 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 04:42:05,373 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua014:0/64] 2023-12-02 04:42:05,376 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 04:52:29,984 (trainer:735) INFO: 2epoch:train:13701-13800batch: iter_time=2.648, forward_time=0.176, loss_ctc=225.891, loss_att=181.648, acc=0.236, loss=194.921, backward_time=0.288, grad_norm=76.876, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.082, optim0_lr0=4.792e-05, train_time=7.405 +[gpua014:0/64] 2023-12-02 04:54:31,831 (trainer:735) INFO: 2epoch:train:13801-13900batch: iter_time=8.227e-05, forward_time=0.147, loss_ctc=207.796, loss_att=174.991, acc=0.240, loss=184.832, backward_time=0.279, grad_norm=55.852, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.809e-05, train_time=1.219 +[gpua014:0/64] 2023-12-02 04:57:00,978 (trainer:735) INFO: 2epoch:train:13901-14000batch: iter_time=9.534e-05, forward_time=0.147, loss_ctc=223.416, loss_att=185.815, acc=0.246, loss=197.095, backward_time=0.300, grad_norm=58.444, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.825e-05, train_time=1.491 +[gpua014:0/64] 2023-12-02 04:59:59,580 (trainer:735) INFO: 2epoch:train:14001-14100batch: iter_time=1.035e-04, forward_time=0.147, loss_ctc=210.037, loss_att=176.956, acc=0.243, loss=186.880, backward_time=0.331, grad_norm=60.233, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.842e-05, train_time=1.786 +[gpua014:0/64] 2023-12-02 05:02:16,828 (trainer:735) INFO: 2epoch:train:14101-14200batch: iter_time=9.171e-05, forward_time=0.147, loss_ctc=224.917, loss_att=182.201, acc=0.240, loss=195.015, backward_time=0.295, grad_norm=66.051, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.859e-05, train_time=1.372 +[gpua014:0/64] 2023-12-02 05:04:32,064 (trainer:735) INFO: 2epoch:train:14201-14300batch: iter_time=8.576e-05, forward_time=0.178, loss_ctc=211.782, loss_att=184.378, acc=0.237, loss=192.599, backward_time=0.302, grad_norm=57.782, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.082, optim0_lr0=4.875e-05, train_time=1.352 +[gpua014:0/64] 2023-12-02 05:07:10,007 (trainer:735) INFO: 2epoch:train:14301-14400batch: iter_time=1.037e-04, forward_time=0.147, loss_ctc=199.525, loss_att=168.454, acc=0.244, loss=177.776, backward_time=0.299, grad_norm=52.399, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.892e-05, train_time=1.579 +[gpua014:0/64] 2023-12-02 05:09:40,096 (trainer:735) INFO: 2epoch:train:14401-14500batch: iter_time=9.008e-05, forward_time=0.147, loss_ctc=216.116, loss_att=191.849, acc=0.240, loss=199.129, backward_time=0.319, grad_norm=59.402, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.081, optim0_lr0=4.909e-05, train_time=1.501 +[gpua014:0/64] 2023-12-02 05:11:50,237 (trainer:735) INFO: 2epoch:train:14501-14600batch: iter_time=9.267e-05, forward_time=0.201, loss_ctc=215.338, loss_att=185.502, acc=0.242, loss=194.453, backward_time=0.303, grad_norm=57.580, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.085, optim0_lr0=4.925e-05, train_time=1.299 +[gpua014:0/64] 2023-12-02 05:14:16,493 (trainer:735) INFO: 2epoch:train:14601-14700batch: iter_time=9.552e-05, forward_time=0.147, loss_ctc=203.337, loss_att=180.864, acc=0.244, loss=187.606, backward_time=0.324, grad_norm=52.470, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.942e-05, train_time=1.465 +[gpua014:0/64] 2023-12-02 05:16:46,020 (trainer:735) INFO: 2epoch:train:14701-14800batch: iter_time=1.002e-04, forward_time=0.147, loss_ctc=218.710, loss_att=193.163, acc=0.231, loss=200.827, backward_time=0.322, grad_norm=52.565, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.959e-05, train_time=1.495 +[gpua014:0/64] 2023-12-02 05:18:42,453 (trainer:735) INFO: 2epoch:train:14801-14900batch: iter_time=8.883e-05, forward_time=0.147, loss_ctc=211.646, loss_att=187.683, acc=0.236, loss=194.872, backward_time=0.281, grad_norm=57.378, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.975e-05, train_time=1.164 +[gpua014:0/64] 2023-12-02 05:21:20,463 (trainer:735) INFO: 2epoch:train:14901-15000batch: iter_time=8.682e-05, forward_time=0.149, loss_ctc=218.791, loss_att=186.400, acc=0.237, loss=196.117, backward_time=0.306, grad_norm=69.264, clip=100.000, loss_scale=1.074e+09, optim_step_time=0.080, optim0_lr0=4.992e-05, train_time=1.580 +[gpua014:0/64] 2023-12-02 05:45:46,471 (trainer:341) INFO: 2epoch results: [train] iter_time=0.197, forward_time=0.154, loss_ctc=234.296, loss_att=196.121, acc=0.224, loss=207.573, backward_time=0.303, grad_norm=70.434, clip=100.000, loss_scale=2.847e+08, optim_step_time=0.081, optim0_lr0=3.750e-05, train_time=1.780, time=7 hours, 25 minutes and 25.19 seconds, total_count=30000, gpu_max_cached_mem_GB=35.859, [valid] loss_ctc=171.986, cer_ctc=0.829, loss_att=139.745, acc=0.203, cer=0.685, wer=1.000, loss=149.418, time=24 minutes and 2.18 seconds, total_count=9342, gpu_max_cached_mem_GB=35.859 +[gpua014:0/64] 2023-12-02 05:46:05,135 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua014:0/64] 2023-12-02 05:46:05,178 (trainer:272) INFO: 3/40epoch started. Estimated time to finish: 1 week, 5 days and 11 hours +[gpua014:0/64] 2023-12-02 05:46:05,242 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua014:0/64] 2023-12-02 05:46:23,227 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 05:46:26,689 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 05:46:26,690 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua014:0/64] 2023-12-02 05:46:26,693 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 05:52:17,015 (trainer:735) INFO: 3epoch:train:1-100batch: iter_time=1.669, forward_time=0.179, loss_ctc=228.002, loss_att=211.268, acc=0.232, loss=216.288, backward_time=0.284, grad_norm=70.299, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.082, optim0_lr0=5.026e-05, train_time=3.718 +[gpua014:0/64] 2023-12-02 05:54:13,793 (trainer:735) INFO: 3epoch:train:101-200batch: iter_time=8.730e-05, forward_time=0.148, loss_ctc=236.157, loss_att=212.825, acc=0.227, loss=219.825, backward_time=0.277, grad_norm=63.819, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.076e-05, train_time=1.168 +[gpua014:0/64] 2023-12-02 05:56:15,052 (trainer:735) INFO: 3epoch:train:201-300batch: iter_time=7.883e-05, forward_time=0.148, loss_ctc=202.633, loss_att=176.869, acc=0.247, loss=184.598, backward_time=0.282, grad_norm=63.862, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.126e-05, train_time=1.212 +[gpua014:0/64] 2023-12-02 05:58:26,067 (trainer:735) INFO: 3epoch:train:301-400batch: iter_time=8.863e-05, forward_time=0.149, loss_ctc=205.745, loss_att=192.161, acc=0.243, loss=196.236, backward_time=0.285, grad_norm=59.050, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.176e-05, train_time=1.310 +[gpua014:0/64] 2023-12-02 06:00:41,729 (trainer:735) INFO: 3epoch:train:401-500batch: iter_time=9.312e-05, forward_time=0.148, loss_ctc=219.160, loss_att=190.235, acc=0.242, loss=198.913, backward_time=0.293, grad_norm=65.805, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.226e-05, train_time=1.356 +[gpua014:0/64] 2023-12-02 06:02:54,578 (trainer:735) INFO: 3epoch:train:501-600batch: iter_time=8.690e-05, forward_time=0.148, loss_ctc=195.180, loss_att=179.330, acc=0.249, loss=184.085, backward_time=0.292, grad_norm=60.019, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.276e-05, train_time=1.328 +[gpua014:0/64] 2023-12-02 06:05:00,713 (trainer:735) INFO: 3epoch:train:601-700batch: iter_time=9.834e-05, forward_time=0.149, loss_ctc=210.221, loss_att=199.872, acc=0.228, loss=202.977, backward_time=0.283, grad_norm=62.172, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.326e-05, train_time=1.261 +[gpua014:0/64] 2023-12-02 06:07:23,366 (trainer:735) INFO: 3epoch:train:701-800batch: iter_time=8.971e-05, forward_time=0.149, loss_ctc=222.312, loss_att=212.251, acc=0.226, loss=215.269, backward_time=0.302, grad_norm=66.625, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.376e-05, train_time=1.426 +[gpua014:0/64] 2023-12-02 06:09:44,292 (trainer:735) INFO: 3epoch:train:801-900batch: iter_time=8.950e-05, forward_time=0.155, loss_ctc=194.497, loss_att=183.477, acc=0.247, loss=186.783, backward_time=0.299, grad_norm=58.676, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.426e-05, train_time=1.409 +[gpua014:0/64] 2023-12-02 06:12:11,370 (trainer:735) INFO: 3epoch:train:901-1000batch: iter_time=8.294e-05, forward_time=0.201, loss_ctc=227.050, loss_att=208.051, acc=0.229, loss=213.750, backward_time=0.340, grad_norm=70.260, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.087, optim0_lr0=5.476e-05, train_time=1.471 +[gpua014:0/64] 2023-12-02 06:14:37,900 (trainer:735) INFO: 3epoch:train:1001-1100batch: iter_time=8.762e-05, forward_time=0.147, loss_ctc=218.079, loss_att=197.897, acc=0.247, loss=203.951, backward_time=0.296, grad_norm=65.801, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.526e-05, train_time=1.465 +[gpua014:0/64] 2023-12-02 06:16:49,421 (trainer:735) INFO: 3epoch:train:1101-1200batch: iter_time=8.435e-05, forward_time=0.147, loss_ctc=200.804, loss_att=185.832, acc=0.237, loss=190.324, backward_time=0.287, grad_norm=54.386, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.576e-05, train_time=1.315 +[gpua014:0/64] 2023-12-02 06:18:17,145 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua014:0/64] 2023-12-02 06:18:35,257 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 06:18:38,936 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 06:18:38,936 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua014:0/64] 2023-12-02 06:18:38,939 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 06:23:20,999 (trainer:735) INFO: 3epoch:train:1201-1300batch: iter_time=2.122, forward_time=0.146, loss_ctc=207.175, loss_att=187.190, acc=0.245, loss=193.185, backward_time=0.279, grad_norm=62.301, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.626e-05, train_time=3.915 +[gpua014:0/64] 2023-12-02 06:25:17,342 (trainer:735) INFO: 3epoch:train:1301-1400batch: iter_time=9.363e-05, forward_time=0.146, loss_ctc=223.158, loss_att=220.472, acc=0.229, loss=221.278, backward_time=0.277, grad_norm=67.856, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.676e-05, train_time=1.163 +[gpua014:0/64] 2023-12-02 06:27:13,486 (trainer:735) INFO: 3epoch:train:1401-1500batch: iter_time=8.885e-05, forward_time=0.147, loss_ctc=218.296, loss_att=198.257, acc=0.235, loss=204.269, backward_time=0.278, grad_norm=67.634, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.726e-05, train_time=1.161 +[gpua014:0/64] 2023-12-02 06:29:31,665 (trainer:735) INFO: 3epoch:train:1501-1600batch: iter_time=8.657e-05, forward_time=0.146, loss_ctc=182.667, loss_att=162.619, acc=0.258, loss=168.633, backward_time=0.281, grad_norm=59.726, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.776e-05, train_time=1.382 +[gpua014:0/64] 2023-12-02 06:31:34,996 (trainer:735) INFO: 3epoch:train:1601-1700batch: iter_time=9.725e-05, forward_time=0.154, loss_ctc=190.371, loss_att=179.515, acc=0.245, loss=182.772, backward_time=0.281, grad_norm=58.683, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.081, optim0_lr0=5.826e-05, train_time=1.233 +[gpua014:0/64] 2023-12-02 06:33:53,420 (trainer:735) INFO: 3epoch:train:1701-1800batch: iter_time=9.940e-05, forward_time=0.149, loss_ctc=202.708, loss_att=181.056, acc=0.248, loss=187.552, backward_time=0.299, grad_norm=66.377, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.080, optim0_lr0=5.876e-05, train_time=1.384 +[gpua014:0/64] 2023-12-02 06:36:22,315 (trainer:735) INFO: 3epoch:train:1801-1900batch: iter_time=1.018e-04, forward_time=0.183, loss_ctc=198.102, loss_att=187.823, acc=0.241, loss=190.907, backward_time=0.299, grad_norm=67.424, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.082, optim0_lr0=5.926e-05, train_time=1.489 +[gpua014:0/64] 2023-12-02 06:38:34,154 (trainer:735) INFO: 3epoch:train:1901-2000batch: iter_time=9.577e-05, forward_time=0.185, loss_ctc=207.249, loss_att=196.113, acc=0.226, loss=199.454, backward_time=0.304, grad_norm=66.198, clip=100.000, loss_scale=2.147e+09, optim_step_time=0.083, optim0_lr0=5.976e-05, train_time=1.318 +[gpua014:0/64] 2023-12-02 06:40:54,142 (trainer:735) INFO: 3epoch:train:2001-2100batch: iter_time=9.229e-05, forward_time=0.147, loss_ctc=189.511, loss_att=194.372, acc=0.238, loss=192.914, backward_time=0.288, grad_norm=54.131, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.026e-05, train_time=1.400 +[gpua014:0/64] 2023-12-02 06:43:15,442 (trainer:735) INFO: 3epoch:train:2101-2200batch: iter_time=9.456e-05, forward_time=0.147, loss_ctc=181.904, loss_att=176.572, acc=0.248, loss=178.172, backward_time=0.287, grad_norm=53.296, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.076e-05, train_time=1.413 +[gpua014:0/64] 2023-12-02 06:45:25,411 (trainer:735) INFO: 3epoch:train:2201-2300batch: iter_time=1.038e-04, forward_time=0.147, loss_ctc=224.185, loss_att=205.200, acc=0.238, loss=210.895, backward_time=0.289, grad_norm=73.181, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.126e-05, train_time=1.299 +[gpua014:0/64] 2023-12-02 06:47:45,077 (trainer:735) INFO: 3epoch:train:2301-2400batch: iter_time=9.596e-05, forward_time=0.147, loss_ctc=214.462, loss_att=202.972, acc=0.240, loss=206.419, backward_time=0.288, grad_norm=72.035, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.176e-05, train_time=1.396 +[gpua014:0/64] 2023-12-02 06:50:07,080 (trainer:735) INFO: 3epoch:train:2401-2500batch: iter_time=8.996e-05, forward_time=0.148, loss_ctc=179.389, loss_att=168.432, acc=0.249, loss=171.719, backward_time=0.294, grad_norm=58.047, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.226e-05, train_time=1.420 +[gpua014:0/64] 2023-12-02 06:50:21,605 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua014:0/64] 2023-12-02 06:50:39,919 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 06:50:43,505 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 06:50:43,505 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua014:0/64] 2023-12-02 06:50:43,509 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 06:56:42,000 (trainer:735) INFO: 3epoch:train:2501-2600batch: iter_time=2.301, forward_time=0.148, loss_ctc=204.502, loss_att=199.310, acc=0.239, loss=200.868, backward_time=0.282, grad_norm=63.914, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.082, optim0_lr0=6.276e-05, train_time=3.949 +[gpua014:0/64] 2023-12-02 06:58:39,772 (trainer:735) INFO: 3epoch:train:2601-2700batch: iter_time=9.687e-05, forward_time=0.148, loss_ctc=210.794, loss_att=204.540, acc=0.232, loss=206.416, backward_time=0.279, grad_norm=63.476, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.326e-05, train_time=1.178 +[gpua014:0/64] 2023-12-02 07:00:43,395 (trainer:735) INFO: 3epoch:train:2701-2800batch: iter_time=8.916e-05, forward_time=0.149, loss_ctc=183.478, loss_att=170.153, acc=0.253, loss=174.151, backward_time=0.277, grad_norm=59.304, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.376e-05, train_time=1.236 +[gpua014:0/64] 2023-12-02 07:03:02,312 (trainer:735) INFO: 3epoch:train:2801-2900batch: iter_time=9.799e-05, forward_time=0.147, loss_ctc=181.866, loss_att=180.270, acc=0.252, loss=180.749, backward_time=0.299, grad_norm=61.074, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.426e-05, train_time=1.389 +[gpua014:0/64] 2023-12-02 07:05:33,867 (trainer:735) INFO: 3epoch:train:2901-3000batch: iter_time=9.989e-05, forward_time=0.149, loss_ctc=198.329, loss_att=181.812, acc=0.247, loss=186.767, backward_time=0.315, grad_norm=65.672, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.476e-05, train_time=1.515 +[gpua014:0/64] 2023-12-02 07:07:55,138 (trainer:735) INFO: 3epoch:train:3001-3100batch: iter_time=9.515e-05, forward_time=0.148, loss_ctc=173.038, loss_att=170.609, acc=0.254, loss=171.338, backward_time=0.316, grad_norm=56.425, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.526e-05, train_time=1.412 +[gpua014:0/64] 2023-12-02 07:09:56,226 (trainer:735) INFO: 3epoch:train:3101-3200batch: iter_time=1.050e-04, forward_time=0.147, loss_ctc=188.454, loss_att=187.081, acc=0.234, loss=187.493, backward_time=0.285, grad_norm=56.743, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.576e-05, train_time=1.211 +[gpua014:0/64] 2023-12-02 07:12:13,872 (trainer:735) INFO: 3epoch:train:3201-3300batch: iter_time=1.064e-04, forward_time=0.157, loss_ctc=195.710, loss_att=201.621, acc=0.231, loss=199.848, backward_time=0.291, grad_norm=64.573, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.626e-05, train_time=1.376 +[gpua014:0/64] 2023-12-02 07:14:19,712 (trainer:735) INFO: 3epoch:train:3301-3400batch: iter_time=5.654e-04, forward_time=0.152, loss_ctc=172.874, loss_att=176.856, acc=0.252, loss=175.662, backward_time=0.282, grad_norm=48.591, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.082, optim0_lr0=6.676e-05, train_time=1.258 +[gpua014:0/64] 2023-12-02 07:16:44,556 (trainer:735) INFO: 3epoch:train:3401-3500batch: iter_time=1.031e-04, forward_time=0.148, loss_ctc=204.747, loss_att=200.606, acc=0.234, loss=201.848, backward_time=0.296, grad_norm=71.815, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.726e-05, train_time=1.448 +[gpua014:0/64] 2023-12-02 07:19:02,005 (trainer:735) INFO: 3epoch:train:3501-3600batch: iter_time=1.014e-04, forward_time=0.148, loss_ctc=195.084, loss_att=191.722, acc=0.252, loss=192.730, backward_time=0.281, grad_norm=61.177, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.776e-05, train_time=1.374 +[gpua014:0/64] 2023-12-02 07:21:08,932 (trainer:735) INFO: 3epoch:train:3601-3700batch: iter_time=1.027e-04, forward_time=0.147, loss_ctc=181.828, loss_att=178.146, acc=0.241, loss=179.251, backward_time=0.289, grad_norm=58.999, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.826e-05, train_time=1.269 +[gpua014:0/64] 2023-12-02 07:22:10,497 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua014:0/64] 2023-12-02 07:22:28,713 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 07:22:32,261 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 07:22:32,261 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua014:0/64] 2023-12-02 07:22:32,264 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 07:28:05,398 (trainer:735) INFO: 3epoch:train:3701-3800batch: iter_time=1.532, forward_time=0.173, loss_ctc=185.226, loss_att=178.957, acc=0.253, loss=180.838, backward_time=0.284, grad_norm=60.657, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.082, optim0_lr0=6.876e-05, train_time=4.164 +[gpua014:0/64] 2023-12-02 07:30:12,898 (trainer:735) INFO: 3epoch:train:3801-3900batch: iter_time=9.228e-05, forward_time=0.148, loss_ctc=199.185, loss_att=214.605, acc=0.235, loss=209.979, backward_time=0.297, grad_norm=61.770, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.080, optim0_lr0=6.926e-05, train_time=1.275 +[gpua014:0/64] 2023-12-02 07:32:28,363 (trainer:735) INFO: 3epoch:train:3901-4000batch: iter_time=9.550e-05, forward_time=0.147, loss_ctc=196.148, loss_att=194.584, acc=0.239, loss=195.053, backward_time=0.303, grad_norm=62.766, clip=100.000, loss_scale=4.295e+09, optim_step_time=0.081, optim0_lr0=6.976e-05, train_time=1.354 +[gpua014:0/64] 2023-12-02 07:34:42,117 (trainer:735) INFO: 3epoch:train:4001-4100batch: iter_time=1.076e-04, forward_time=0.146, loss_ctc=164.864, loss_att=159.754, acc=0.261, loss=161.287, backward_time=0.308, grad_norm=57.145, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.026e-05, train_time=1.337 +[gpua014:0/64] 2023-12-02 07:36:40,702 (trainer:735) INFO: 3epoch:train:4101-4200batch: iter_time=9.920e-05, forward_time=0.147, loss_ctc=170.748, loss_att=174.848, acc=0.253, loss=173.618, backward_time=0.277, grad_norm=60.782, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.076e-05, train_time=1.186 +[gpua014:0/64] 2023-12-02 07:38:45,124 (trainer:735) INFO: 3epoch:train:4201-4300batch: iter_time=1.040e-04, forward_time=0.147, loss_ctc=184.028, loss_att=177.190, acc=0.253, loss=179.242, backward_time=0.279, grad_norm=56.825, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.126e-05, train_time=1.244 +[gpua014:0/64] 2023-12-02 07:41:01,554 (trainer:735) INFO: 3epoch:train:4301-4400batch: iter_time=8.823e-05, forward_time=0.149, loss_ctc=178.232, loss_att=183.838, acc=0.251, loss=182.156, backward_time=0.282, grad_norm=55.913, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.176e-05, train_time=1.364 +[gpua014:0/64] 2023-12-02 07:43:16,160 (trainer:735) INFO: 3epoch:train:4401-4500batch: iter_time=8.796e-05, forward_time=0.147, loss_ctc=186.949, loss_att=191.632, acc=0.231, loss=190.227, backward_time=0.285, grad_norm=68.564, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.226e-05, train_time=1.346 +[gpua014:0/64] 2023-12-02 07:45:57,018 (trainer:735) INFO: 3epoch:train:4501-4600batch: iter_time=9.078e-05, forward_time=0.147, loss_ctc=167.858, loss_att=190.113, acc=0.243, loss=183.436, backward_time=0.309, grad_norm=49.247, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.276e-05, train_time=1.608 +[gpua014:0/64] 2023-12-02 07:48:11,353 (trainer:735) INFO: 3epoch:train:4601-4700batch: iter_time=9.417e-05, forward_time=0.147, loss_ctc=164.286, loss_att=171.875, acc=0.255, loss=169.598, backward_time=0.283, grad_norm=50.524, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.326e-05, train_time=1.343 +[gpua014:0/64] 2023-12-02 07:50:29,218 (trainer:735) INFO: 3epoch:train:4701-4800batch: iter_time=1.009e-04, forward_time=0.147, loss_ctc=204.063, loss_att=201.026, acc=0.242, loss=201.937, backward_time=0.286, grad_norm=67.134, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.376e-05, train_time=1.378 +[gpua014:0/64] 2023-12-02 07:52:40,268 (trainer:735) INFO: 3epoch:train:4801-4900batch: iter_time=9.459e-05, forward_time=0.148, loss_ctc=195.981, loss_att=199.829, acc=0.244, loss=198.675, backward_time=0.287, grad_norm=69.654, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.426e-05, train_time=1.310 +[gpua014:0/64] 2023-12-02 07:54:51,185 (trainer:735) INFO: 3epoch:train:4901-5000batch: iter_time=9.387e-05, forward_time=0.147, loss_ctc=162.098, loss_att=165.972, acc=0.254, loss=164.810, backward_time=0.289, grad_norm=50.323, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.080, optim0_lr0=7.476e-05, train_time=1.309 +[gpua014:0/64] 2023-12-02 07:55:09,452 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua014:0/64] 2023-12-02 07:55:27,460 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 07:55:31,162 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 07:55:31,162 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua014:0/64] 2023-12-02 07:55:31,165 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua014:0/64] 2023-12-02 08:04:35,430 (trainer:735) INFO: 3epoch:train:5001-5100batch: iter_time=2.277, forward_time=0.181, loss_ctc=185.698, loss_att=204.028, acc=0.241, loss=198.529, backward_time=0.426, grad_norm=61.539, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.083, optim0_lr0=7.526e-05, train_time=5.842 + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua014:0/64] 2023-12-02 08:07:50,370 (trainer:735) INFO: 3epoch:train:5101-5200batch: iter_time=0.012, forward_time=0.148, loss_ctc=190.325, loss_att=208.522, acc=0.236, loss=203.063, backward_time=0.427, grad_norm=55.142, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.576e-05, train_time=1.949 + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua014:0/64] 2023-12-02 08:10:48,346 (trainer:735) INFO: 3epoch:train:5201-5300batch: iter_time=8.892e-05, forward_time=0.148, loss_ctc=168.177, loss_att=170.886, acc=0.257, loss=170.073, backward_time=0.319, grad_norm=60.344, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.626e-05, train_time=1.780 +[gpua014:0/64] 2023-12-02 08:14:32,474 (trainer:735) INFO: 3epoch:train:5301-5400batch: iter_time=9.124e-05, forward_time=0.149, loss_ctc=164.046, loss_att=185.511, acc=0.255, loss=179.071, backward_time=0.451, grad_norm=58.907, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.676e-05, train_time=2.241 +[gpua014:0/64] 2023-12-02 08:17:49,065 (trainer:735) INFO: 3epoch:train:5401-5500batch: iter_time=9.177e-05, forward_time=0.151, loss_ctc=181.099, loss_att=182.855, acc=0.252, loss=182.328, backward_time=0.381, grad_norm=58.986, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.726e-05, train_time=1.966 +[gpua014:0/64] 2023-12-02 08:21:14,759 (trainer:735) INFO: 3epoch:train:5501-5600batch: iter_time=9.155e-05, forward_time=0.149, loss_ctc=156.201, loss_att=173.684, acc=0.257, loss=168.439, backward_time=0.381, grad_norm=53.914, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.776e-05, train_time=2.057 +[gpua014:0/64] 2023-12-02 08:25:05,658 (trainer:735) INFO: 3epoch:train:5601-5700batch: iter_time=9.586e-05, forward_time=0.148, loss_ctc=171.206, loss_att=192.834, acc=0.238, loss=186.346, backward_time=0.427, grad_norm=54.920, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.826e-05, train_time=2.309 +[gpua014:0/64] 2023-12-02 08:28:12,077 (trainer:735) INFO: 3epoch:train:5701-5800batch: iter_time=8.964e-05, forward_time=0.148, loss_ctc=178.223, loss_att=205.903, acc=0.232, loss=197.599, backward_time=0.351, grad_norm=61.067, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.876e-05, train_time=1.864 +[gpua014:0/64] 2023-12-02 08:30:47,179 (trainer:735) INFO: 3epoch:train:5801-5900batch: iter_time=9.905e-05, forward_time=0.149, loss_ctc=156.872, loss_att=178.314, acc=0.257, loss=171.881, backward_time=0.326, grad_norm=52.399, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.926e-05, train_time=1.551 +[gpua014:0/64] 2023-12-02 08:33:33,263 (trainer:735) INFO: 3epoch:train:5901-6000batch: iter_time=1.011e-04, forward_time=0.148, loss_ctc=185.679, loss_att=200.314, acc=0.241, loss=195.923, backward_time=0.323, grad_norm=63.377, clip=100.000, loss_scale=8.590e+09, optim_step_time=0.081, optim0_lr0=7.976e-05, train_time=1.661 +[gpua014:0/64] 2023-12-02 08:36:33,229 (trainer:735) INFO: 3epoch:train:6001-6100batch: iter_time=9.723e-05, forward_time=0.148, loss_ctc=180.087, loss_att=191.101, acc=0.255, loss=187.796, backward_time=0.392, grad_norm=65.783, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.026e-05, train_time=1.799 +[gpua014:0/64] 2023-12-02 08:38:58,005 (trainer:735) INFO: 3epoch:train:6101-6200batch: iter_time=9.402e-05, forward_time=0.150, loss_ctc=163.785, loss_att=176.946, acc=0.249, loss=172.998, backward_time=0.314, grad_norm=54.940, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.082, optim0_lr0=8.076e-05, train_time=1.448 +[gpua014:0/64] 2023-12-02 08:40:15,935 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua014:0/64] 2023-12-02 08:40:33,977 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 08:40:37,405 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 08:40:37,406 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua014:0/64] 2023-12-02 08:40:37,409 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 08:46:03,394 (trainer:735) INFO: 3epoch:train:6201-6300batch: iter_time=1.583, forward_time=0.187, loss_ctc=169.222, loss_att=182.573, acc=0.255, loss=178.568, backward_time=0.310, grad_norm=58.498, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.082, optim0_lr0=8.126e-05, train_time=4.253 +[gpua014:0/64] 2023-12-02 08:48:04,838 (trainer:735) INFO: 3epoch:train:6301-6400batch: iter_time=1.024e-04, forward_time=0.149, loss_ctc=181.214, loss_att=219.993, acc=0.238, loss=208.359, backward_time=0.296, grad_norm=56.289, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.176e-05, train_time=1.214 +[gpua014:0/64] 2023-12-02 08:50:01,346 (trainer:735) INFO: 3epoch:train:6401-6500batch: iter_time=9.846e-05, forward_time=0.147, loss_ctc=178.013, loss_att=194.814, acc=0.245, loss=189.774, backward_time=0.277, grad_norm=53.561, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.226e-05, train_time=1.165 +[gpua014:0/64] 2023-12-02 08:52:11,423 (trainer:735) INFO: 3epoch:train:6501-6600batch: iter_time=1.076e-04, forward_time=0.149, loss_ctc=149.002, loss_att=161.095, acc=0.265, loss=157.467, backward_time=0.281, grad_norm=54.043, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.276e-05, train_time=1.301 +[gpua014:0/64] 2023-12-02 08:54:16,465 (trainer:735) INFO: 3epoch:train:6601-6700batch: iter_time=9.897e-05, forward_time=0.147, loss_ctc=155.405, loss_att=177.837, acc=0.258, loss=171.107, backward_time=0.278, grad_norm=51.565, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.326e-05, train_time=1.250 +[gpua014:0/64] 2023-12-02 08:56:32,802 (trainer:735) INFO: 3epoch:train:6701-6800batch: iter_time=9.801e-05, forward_time=0.148, loss_ctc=167.761, loss_att=176.649, acc=0.257, loss=173.983, backward_time=0.292, grad_norm=56.596, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.376e-05, train_time=1.363 +[gpua014:0/64] 2023-12-02 08:58:54,961 (trainer:735) INFO: 3epoch:train:6801-6900batch: iter_time=9.572e-05, forward_time=0.148, loss_ctc=163.001, loss_att=187.700, acc=0.252, loss=180.291, backward_time=0.319, grad_norm=55.662, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.426e-05, train_time=1.421 +[gpua014:0/64] 2023-12-02 09:00:54,148 (trainer:735) INFO: 3epoch:train:6901-7000batch: iter_time=1.020e-04, forward_time=0.148, loss_ctc=170.009, loss_att=197.577, acc=0.237, loss=189.307, backward_time=0.281, grad_norm=59.871, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.476e-05, train_time=1.192 +[gpua014:0/64] 2023-12-02 09:02:55,910 (trainer:735) INFO: 3epoch:train:7001-7100batch: iter_time=9.341e-05, forward_time=0.148, loss_ctc=152.911, loss_att=190.702, acc=0.250, loss=179.364, backward_time=0.278, grad_norm=45.977, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.526e-05, train_time=1.217 +[gpua014:0/64] 2023-12-02 09:05:17,641 (trainer:735) INFO: 3epoch:train:7101-7200batch: iter_time=8.863e-05, forward_time=0.148, loss_ctc=149.389, loss_att=173.076, acc=0.261, loss=165.970, backward_time=0.282, grad_norm=48.395, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.081, optim0_lr0=8.576e-05, train_time=1.417 +[gpua014:0/64] 2023-12-02 09:07:33,094 (trainer:735) INFO: 3epoch:train:7201-7300batch: iter_time=8.313e-05, forward_time=0.149, loss_ctc=187.109, loss_att=199.802, acc=0.248, loss=195.994, backward_time=0.292, grad_norm=62.859, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.626e-05, train_time=1.354 +[gpua014:0/64] 2023-12-02 09:09:49,405 (trainer:735) INFO: 3epoch:train:7301-7400batch: iter_time=8.681e-05, forward_time=0.148, loss_ctc=177.453, loss_att=198.511, acc=0.251, loss=192.194, backward_time=0.290, grad_norm=65.337, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.676e-05, train_time=1.363 +[gpua014:0/64] 2023-12-02 09:11:54,833 (trainer:735) INFO: 3epoch:train:7401-7500batch: iter_time=9.076e-05, forward_time=0.148, loss_ctc=151.150, loss_att=168.808, acc=0.256, loss=163.511, backward_time=0.282, grad_norm=54.731, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.726e-05, train_time=1.254 +[gpua014:0/64] 2023-12-02 09:12:09,835 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua014:0/64] 2023-12-02 09:12:27,948 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 09:12:31,479 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 09:12:31,479 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua014:0/64] 2023-12-02 09:12:31,482 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 09:20:44,891 (trainer:735) INFO: 3epoch:train:7501-7600batch: iter_time=2.188, forward_time=0.177, loss_ctc=172.666, loss_att=199.284, acc=0.247, loss=191.299, backward_time=0.285, grad_norm=61.212, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.776e-05, train_time=5.300 +[gpua014:0/64] 2023-12-02 09:22:43,132 (trainer:735) INFO: 3epoch:train:7601-7700batch: iter_time=9.041e-05, forward_time=0.148, loss_ctc=172.852, loss_att=201.767, acc=0.245, loss=193.093, backward_time=0.279, grad_norm=54.186, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.826e-05, train_time=1.182 +[gpua014:0/64] 2023-12-02 09:24:37,954 (trainer:735) INFO: 3epoch:train:7701-7800batch: iter_time=8.594e-05, forward_time=0.147, loss_ctc=154.703, loss_att=168.147, acc=0.264, loss=164.114, backward_time=0.279, grad_norm=52.409, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.080, optim0_lr0=8.876e-05, train_time=1.148 +[gpua014:0/64] 2023-12-02 09:26:56,737 (trainer:735) INFO: 3epoch:train:7801-7900batch: iter_time=9.889e-05, forward_time=0.147, loss_ctc=149.686, loss_att=181.268, acc=0.260, loss=171.794, backward_time=0.312, grad_norm=56.192, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.079, optim0_lr0=8.926e-05, train_time=1.388 +[gpua014:0/64] 2023-12-02 09:29:26,773 (trainer:735) INFO: 3epoch:train:7901-8000batch: iter_time=8.607e-05, forward_time=0.148, loss_ctc=165.542, loss_att=177.885, acc=0.259, loss=174.182, backward_time=0.303, grad_norm=57.761, clip=100.000, loss_scale=1.718e+10, optim_step_time=0.079, optim0_lr0=8.976e-05, train_time=1.500 +[gpua014:0/64] 2023-12-02 09:31:52,675 (trainer:735) INFO: 3epoch:train:8001-8100batch: iter_time=8.410e-05, forward_time=0.147, loss_ctc=143.544, loss_att=168.700, acc=0.267, loss=161.153, backward_time=0.314, grad_norm=53.308, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.079, optim0_lr0=9.026e-05, train_time=1.459 +[gpua014:0/64] 2023-12-02 09:34:12,338 (trainer:735) INFO: 3epoch:train:8101-8200batch: iter_time=9.791e-05, forward_time=0.147, loss_ctc=157.524, loss_att=187.644, acc=0.246, loss=178.608, backward_time=0.306, grad_norm=51.076, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.079, optim0_lr0=9.076e-05, train_time=1.396 +[gpua014:0/64] 2023-12-02 09:36:35,692 (trainer:735) INFO: 3epoch:train:8201-8300batch: iter_time=8.743e-05, forward_time=0.148, loss_ctc=163.031, loss_att=201.076, acc=0.242, loss=189.662, backward_time=0.309, grad_norm=54.903, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.126e-05, train_time=1.433 +[gpua014:0/64] 2023-12-02 09:39:17,669 (trainer:735) INFO: 3epoch:train:8301-8400batch: iter_time=8.631e-05, forward_time=0.148, loss_ctc=143.837, loss_att=175.360, acc=0.265, loss=165.903, backward_time=0.344, grad_norm=48.711, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.176e-05, train_time=1.620 +[gpua014:0/64] 2023-12-02 09:41:39,397 (trainer:735) INFO: 3epoch:train:8401-8500batch: iter_time=8.646e-05, forward_time=0.184, loss_ctc=174.924, loss_att=195.495, acc=0.248, loss=189.324, backward_time=0.302, grad_norm=63.089, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.083, optim0_lr0=9.226e-05, train_time=1.417 +[gpua014:0/64] 2023-12-02 09:44:21,584 (trainer:735) INFO: 3epoch:train:8501-8600batch: iter_time=7.518e-05, forward_time=0.167, loss_ctc=165.362, loss_att=185.392, acc=0.264, loss=179.383, backward_time=0.334, grad_norm=63.679, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.084, optim0_lr0=9.276e-05, train_time=1.622 +[gpua014:0/64] 2023-12-02 09:46:35,784 (trainer:735) INFO: 3epoch:train:8601-8700batch: iter_time=7.958e-05, forward_time=0.148, loss_ctc=151.720, loss_att=173.935, acc=0.256, loss=167.270, backward_time=0.315, grad_norm=53.130, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.326e-05, train_time=1.342 +[gpua014:0/64] 2023-12-02 09:48:08,689 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua014:0/64] 2023-12-02 09:48:27,249 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 09:48:30,873 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 09:48:30,873 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua014:0/64] 2023-12-02 09:48:30,877 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 09:54:29,914 (trainer:735) INFO: 3epoch:train:8701-8800batch: iter_time=2.298, forward_time=0.148, loss_ctc=159.213, loss_att=177.872, acc=0.264, loss=172.274, backward_time=0.324, grad_norm=61.455, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.376e-05, train_time=4.741 +[gpua014:0/64] 2023-12-02 09:59:02,798 (trainer:735) INFO: 3epoch:train:8801-8900batch: iter_time=9.542e-05, forward_time=0.148, loss_ctc=168.177, loss_att=213.873, acc=0.247, loss=200.164, backward_time=0.446, grad_norm=56.474, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.426e-05, train_time=2.729 +[gpua014:0/64] 2023-12-02 10:04:03,286 (trainer:735) INFO: 3epoch:train:8901-9000batch: iter_time=9.234e-05, forward_time=0.150, loss_ctc=165.558, loss_att=191.251, acc=0.254, loss=183.543, backward_time=0.470, grad_norm=52.706, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.476e-05, train_time=3.005 +[gpua014:0/64] 2023-12-02 10:07:32,809 (trainer:735) INFO: 3epoch:train:9001-9100batch: iter_time=1.020e-04, forward_time=0.148, loss_ctc=141.179, loss_att=157.916, acc=0.274, loss=152.895, backward_time=0.357, grad_norm=56.937, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.526e-05, train_time=2.095 +[gpua014:0/64] 2023-12-02 10:11:06,095 (trainer:735) INFO: 3epoch:train:9101-9200batch: iter_time=9.680e-05, forward_time=0.148, loss_ctc=142.423, loss_att=173.041, acc=0.268, loss=163.856, backward_time=0.331, grad_norm=50.704, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.576e-05, train_time=2.133 +[gpua014:0/64] 2023-12-02 10:14:17,124 (trainer:735) INFO: 3epoch:train:9201-9300batch: iter_time=1.031e-04, forward_time=0.148, loss_ctc=156.876, loss_att=172.231, acc=0.268, loss=167.624, backward_time=0.325, grad_norm=58.780, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.626e-05, train_time=1.910 +[gpua014:0/64] 2023-12-02 10:17:21,935 (trainer:735) INFO: 3epoch:train:9301-9400batch: iter_time=1.025e-04, forward_time=0.148, loss_ctc=150.062, loss_att=182.742, acc=0.263, loss=172.938, backward_time=0.380, grad_norm=49.851, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.676e-05, train_time=1.848 +[gpua014:0/64] 2023-12-02 10:20:20,346 (trainer:735) INFO: 3epoch:train:9401-9500batch: iter_time=1.004e-04, forward_time=0.148, loss_ctc=158.929, loss_att=192.776, acc=0.247, loss=182.622, backward_time=0.332, grad_norm=58.957, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.081, optim0_lr0=9.726e-05, train_time=1.784 +[gpua014:0/64] 2023-12-02 10:23:18,610 (trainer:735) INFO: 3epoch:train:9501-9600batch: iter_time=1.037e-04, forward_time=0.148, loss_ctc=142.286, loss_att=186.684, acc=0.260, loss=173.364, backward_time=0.323, grad_norm=45.102, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.776e-05, train_time=1.782 +[gpua014:0/64] 2023-12-02 10:26:16,537 (trainer:735) INFO: 3epoch:train:9601-9700batch: iter_time=9.187e-05, forward_time=0.188, loss_ctc=138.481, loss_att=168.146, acc=0.273, loss=159.246, backward_time=0.366, grad_norm=46.020, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.083, optim0_lr0=9.826e-05, train_time=1.779 + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua014:0/64] 2023-12-02 10:29:29,156 (trainer:735) INFO: 3epoch:train:9701-9800batch: iter_time=9.215e-05, forward_time=0.177, loss_ctc=173.922, loss_att=195.208, acc=0.258, loss=188.822, backward_time=0.335, grad_norm=58.375, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.083, optim0_lr0=9.876e-05, train_time=1.926 +[gpua014:0/64] 2023-12-02 10:32:25,423 (trainer:735) INFO: 3epoch:train:9801-9900batch: iter_time=9.065e-05, forward_time=0.148, loss_ctc=165.394, loss_att=192.719, acc=0.263, loss=184.522, backward_time=0.326, grad_norm=63.012, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.080, optim0_lr0=9.926e-05, train_time=1.762 +[gpua014:0/64] 2023-12-02 10:35:02,478 (trainer:735) INFO: 3epoch:train:9901-10000batch: iter_time=9.229e-05, forward_time=0.148, loss_ctc=140.538, loss_att=164.243, acc=0.271, loss=157.131, backward_time=0.314, grad_norm=50.548, clip=100.000, loss_scale=3.436e+10, optim_step_time=0.079, optim0_lr0=9.976e-05, train_time=1.570 +[gpua014:0/64] 2023-12-02 10:35:22,521 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua014:0/64] 2023-12-02 10:35:41,016 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 10:35:44,546 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 10:35:44,546 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua014:0/64] 2023-12-02 10:35:44,549 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 10:42:58,252 (trainer:735) INFO: 3epoch:train:10001-10100batch: iter_time=2.524, forward_time=0.147, loss_ctc=160.571, loss_att=189.574, acc=0.260, loss=180.873, backward_time=0.342, grad_norm=61.213, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.003e-04, train_time=4.758 +[gpua014:0/64] 2023-12-02 10:46:54,314 (trainer:735) INFO: 3epoch:train:10101-10200batch: iter_time=9.102e-05, forward_time=0.149, loss_ctc=163.186, loss_att=195.177, acc=0.255, loss=185.580, backward_time=0.397, grad_norm=59.076, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.008e-04, train_time=2.360 +[gpua014:0/64] 2023-12-02 10:50:40,903 (trainer:735) INFO: 3epoch:train:10201-10300batch: iter_time=9.343e-05, forward_time=0.148, loss_ctc=145.607, loss_att=160.146, acc=0.277, loss=155.784, backward_time=0.485, grad_norm=57.050, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.013e-04, train_time=2.266 +[gpua014:0/64] 2023-12-02 10:55:34,362 (trainer:735) INFO: 3epoch:train:10301-10400batch: iter_time=9.916e-05, forward_time=0.148, loss_ctc=141.139, loss_att=170.487, acc=0.275, loss=161.682, backward_time=0.389, grad_norm=57.496, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.018e-04, train_time=2.934 +[gpua014:0/64] 2023-12-02 10:59:23,901 (trainer:735) INFO: 3epoch:train:10401-10500batch: iter_time=9.167e-05, forward_time=0.148, loss_ctc=157.825, loss_att=169.309, acc=0.274, loss=165.864, backward_time=0.463, grad_norm=56.027, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.023e-04, train_time=2.295 +[gpua014:0/64] 2023-12-02 11:03:04,500 (trainer:735) INFO: 3epoch:train:10501-10600batch: iter_time=9.324e-05, forward_time=0.147, loss_ctc=134.878, loss_att=160.241, acc=0.280, loss=152.632, backward_time=0.360, grad_norm=57.387, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.079, optim0_lr0=1.028e-04, train_time=2.206 +[gpua014:0/64] 2023-12-02 11:06:55,440 (trainer:735) INFO: 3epoch:train:10601-10700batch: iter_time=9.637e-05, forward_time=0.168, loss_ctc=149.469, loss_att=176.660, acc=0.260, loss=168.503, backward_time=0.415, grad_norm=55.830, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.083, optim0_lr0=1.033e-04, train_time=2.309 +[gpua014:0/64] 2023-12-02 11:10:34,972 (trainer:735) INFO: 3epoch:train:10701-10800batch: iter_time=1.011e-04, forward_time=0.180, loss_ctc=152.670, loss_att=190.649, acc=0.256, loss=179.255, backward_time=0.407, grad_norm=54.301, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.083, optim0_lr0=1.038e-04, train_time=2.195 +[gpua014:0/64] 2023-12-02 11:14:37,348 (trainer:735) INFO: 3epoch:train:10801-10900batch: iter_time=9.170e-05, forward_time=0.148, loss_ctc=134.124, loss_att=165.814, acc=0.283, loss=156.307, backward_time=0.492, grad_norm=49.683, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.043e-04, train_time=2.424 +[gpua014:0/64] 2023-12-02 11:17:56,897 (trainer:735) INFO: 3epoch:train:10901-11000batch: iter_time=8.734e-05, forward_time=0.148, loss_ctc=164.031, loss_att=187.434, acc=0.265, loss=180.413, backward_time=0.345, grad_norm=63.483, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.048e-04, train_time=1.995 +[gpua014:0/64] 2023-12-02 11:22:53,796 (trainer:735) INFO: 3epoch:train:11001-11100batch: iter_time=9.598e-05, forward_time=0.148, loss_ctc=155.868, loss_att=177.032, acc=0.283, loss=170.683, backward_time=0.426, grad_norm=56.724, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.053e-04, train_time=2.969 +[gpua014:0/64] 2023-12-02 11:26:49,734 (trainer:735) INFO: 3epoch:train:11101-11200batch: iter_time=9.843e-05, forward_time=0.148, loss_ctc=141.809, loss_att=164.499, acc=0.274, loss=157.692, backward_time=0.440, grad_norm=49.847, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.058e-04, train_time=2.359 +[gpua014:0/64] 2023-12-02 11:28:50,807 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua014:0/64] 2023-12-02 11:29:09,110 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 11:29:12,671 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 11:29:12,671 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua014:0/64] 2023-12-02 11:29:12,674 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 11:35:32,859 (trainer:735) INFO: 3epoch:train:11201-11300batch: iter_time=2.239, forward_time=0.153, loss_ctc=151.191, loss_att=171.157, acc=0.282, loss=165.167, backward_time=0.312, grad_norm=58.014, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.063e-04, train_time=5.231 +[gpua014:0/64] 2023-12-02 11:37:30,265 (trainer:735) INFO: 3epoch:train:11301-11400batch: iter_time=9.261e-05, forward_time=0.147, loss_ctc=157.180, loss_att=206.314, acc=0.267, loss=191.574, backward_time=0.279, grad_norm=56.029, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.068e-04, train_time=1.174 +[gpua014:0/64] 2023-12-02 11:39:35,292 (trainer:735) INFO: 3epoch:train:11401-11500batch: iter_time=2.424e-04, forward_time=0.203, loss_ctc=154.704, loss_att=183.221, acc=0.274, loss=174.666, backward_time=0.307, grad_norm=55.784, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.090, optim0_lr0=1.073e-04, train_time=1.250 +[gpua014:0/64] 2023-12-02 11:41:42,566 (trainer:735) INFO: 3epoch:train:11501-11600batch: iter_time=9.613e-05, forward_time=0.166, loss_ctc=132.223, loss_att=150.771, acc=0.297, loss=145.207, backward_time=0.300, grad_norm=54.751, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.084, optim0_lr0=1.078e-04, train_time=1.273 +[gpua014:0/64] 2023-12-02 11:44:01,861 (trainer:735) INFO: 3epoch:train:11601-11700batch: iter_time=9.784e-05, forward_time=0.149, loss_ctc=135.522, loss_att=166.513, acc=0.294, loss=157.216, backward_time=0.333, grad_norm=52.632, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.083e-04, train_time=1.393 +[gpua014:0/64] 2023-12-02 11:46:16,717 (trainer:735) INFO: 3epoch:train:11701-11800batch: iter_time=9.705e-05, forward_time=0.152, loss_ctc=149.139, loss_att=163.504, acc=0.293, loss=159.195, backward_time=0.296, grad_norm=54.988, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.088e-04, train_time=1.348 +[gpua014:0/64] 2023-12-02 11:48:19,226 (trainer:735) INFO: 3epoch:train:11801-11900batch: iter_time=8.814e-05, forward_time=0.148, loss_ctc=142.518, loss_att=174.564, acc=0.289, loss=164.950, backward_time=0.281, grad_norm=54.088, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.080, optim0_lr0=1.093e-04, train_time=1.225 +[gpua014:0/64] 2023-12-02 11:50:33,655 (trainer:735) INFO: 3epoch:train:11901-12000batch: iter_time=8.651e-05, forward_time=0.148, loss_ctc=149.039, loss_att=184.955, acc=0.272, loss=174.180, backward_time=0.286, grad_norm=56.596, clip=100.000, loss_scale=6.872e+10, optim_step_time=0.081, optim0_lr0=1.098e-04, train_time=1.344 +[gpua014:0/64] 2023-12-02 11:52:54,488 (trainer:735) INFO: 3epoch:train:12001-12100batch: iter_time=8.979e-05, forward_time=0.148, loss_ctc=134.263, loss_att=175.946, acc=0.290, loss=163.441, backward_time=0.312, grad_norm=49.400, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.103e-04, train_time=1.408 +[gpua014:0/64] 2023-12-02 11:55:26,022 (trainer:735) INFO: 3epoch:train:12101-12200batch: iter_time=9.049e-05, forward_time=0.171, loss_ctc=129.888, loss_att=157.381, acc=0.306, loss=149.133, backward_time=0.300, grad_norm=47.194, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.108e-04, train_time=1.515 +[gpua014:0/64] 2023-12-02 11:58:11,500 (trainer:735) INFO: 3epoch:train:12201-12300batch: iter_time=2.307e-04, forward_time=0.251, loss_ctc=167.334, loss_att=185.967, acc=0.289, loss=180.377, backward_time=0.316, grad_norm=60.606, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.101, optim0_lr0=1.113e-04, train_time=1.655 +[gpua014:0/64] 2023-12-02 12:00:27,614 (trainer:735) INFO: 3epoch:train:12301-12400batch: iter_time=8.438e-05, forward_time=0.150, loss_ctc=155.457, loss_att=181.381, acc=0.297, loss=173.604, backward_time=0.302, grad_norm=64.995, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.118e-04, train_time=1.361 +[gpua014:0/64] 2023-12-02 12:02:56,073 (trainer:735) INFO: 3epoch:train:12401-12500batch: iter_time=8.668e-05, forward_time=0.148, loss_ctc=132.483, loss_att=155.799, acc=0.295, loss=148.804, backward_time=0.289, grad_norm=52.817, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.123e-04, train_time=1.484 +[gpua014:0/64] 2023-12-02 12:03:16,101 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua014:0/64] 2023-12-02 12:03:34,758 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 12:03:38,346 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 12:03:38,346 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua014:0/64] 2023-12-02 12:03:38,349 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 12:09:29,478 (trainer:735) INFO: 3epoch:train:12501-12600batch: iter_time=2.364, forward_time=0.148, loss_ctc=151.786, loss_att=177.526, acc=0.287, loss=169.804, backward_time=0.287, grad_norm=62.791, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.128e-04, train_time=3.934 +[gpua014:0/64] 2023-12-02 12:11:43,512 (trainer:735) INFO: 3epoch:train:12601-12700batch: iter_time=8.169e-05, forward_time=0.148, loss_ctc=152.202, loss_att=178.964, acc=0.293, loss=170.935, backward_time=0.306, grad_norm=56.108, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.133e-04, train_time=1.340 +[gpua014:0/64] 2023-12-02 12:13:47,787 (trainer:735) INFO: 3epoch:train:12701-12800batch: iter_time=8.987e-05, forward_time=0.148, loss_ctc=137.069, loss_att=147.854, acc=0.314, loss=144.618, backward_time=0.289, grad_norm=55.040, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.138e-04, train_time=1.243 +[gpua014:0/64] 2023-12-02 12:16:03,711 (trainer:735) INFO: 3epoch:train:12801-12900batch: iter_time=9.256e-05, forward_time=0.150, loss_ctc=134.717, loss_att=157.227, acc=0.316, loss=150.474, backward_time=0.297, grad_norm=62.429, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.143e-04, train_time=1.359 +[gpua014:0/64] 2023-12-02 12:18:11,170 (trainer:735) INFO: 3epoch:train:12901-13000batch: iter_time=8.646e-05, forward_time=0.147, loss_ctc=147.562, loss_att=157.952, acc=0.310, loss=154.835, backward_time=0.285, grad_norm=59.245, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.080, optim0_lr0=1.148e-04, train_time=1.274 +[gpua014:0/64] 2023-12-02 12:20:20,956 (trainer:735) INFO: 3epoch:train:13001-13100batch: iter_time=8.868e-05, forward_time=0.149, loss_ctc=127.606, loss_att=146.213, acc=0.322, loss=140.631, backward_time=0.285, grad_norm=53.187, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.153e-04, train_time=1.298 +[gpua014:0/64] 2023-12-02 12:22:40,033 (trainer:735) INFO: 3epoch:train:13101-13200batch: iter_time=9.189e-05, forward_time=0.249, loss_ctc=141.507, loss_att=165.692, acc=0.292, loss=158.437, backward_time=0.343, grad_norm=54.650, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.091, optim0_lr0=1.158e-04, train_time=1.390 +[gpua014:0/64] 2023-12-02 12:24:56,272 (trainer:735) INFO: 3epoch:train:13201-13300batch: iter_time=8.762e-05, forward_time=0.148, loss_ctc=145.749, loss_att=175.758, acc=0.298, loss=166.755, backward_time=0.286, grad_norm=55.681, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.163e-04, train_time=1.363 +[gpua014:0/64] 2023-12-02 12:27:18,952 (trainer:735) INFO: 3epoch:train:13301-13400batch: iter_time=9.064e-05, forward_time=0.147, loss_ctc=125.851, loss_att=148.720, acc=0.328, loss=141.859, backward_time=0.310, grad_norm=50.288, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.168e-04, train_time=1.427 + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua014:0/64] 2023-12-02 12:29:55,738 (trainer:735) INFO: 3epoch:train:13401-13500batch: iter_time=9.853e-05, forward_time=0.147, loss_ctc=155.317, loss_att=170.846, acc=0.309, loss=166.187, backward_time=0.290, grad_norm=61.573, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.173e-04, train_time=1.568 + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua014:0/64] 2023-12-02 12:32:52,615 (trainer:735) INFO: 3epoch:train:13501-13600batch: iter_time=9.719e-05, forward_time=0.147, loss_ctc=148.023, loss_att=161.920, acc=0.330, loss=157.751, backward_time=0.370, grad_norm=64.320, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.178e-04, train_time=1.769 + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : GID table change +[gpua014:0/64] 2023-12-02 12:35:30,083 (trainer:735) INFO: 3epoch:train:13601-13700batch: iter_time=1.018e-04, forward_time=0.147, loss_ctc=134.349, loss_att=151.497, acc=0.315, loss=146.352, backward_time=0.311, grad_norm=56.791, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.183e-04, train_time=1.574 +[gpua014:0/64] 2023-12-02 12:37:11,406 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua014:0/64] 2023-12-02 12:37:30,018 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 12:37:33,579 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 12:37:33,579 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua014:0/64] 2023-12-02 12:37:33,582 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 12:42:48,300 (trainer:735) INFO: 3epoch:train:13701-13800batch: iter_time=2.855, forward_time=0.186, loss_ctc=140.856, loss_att=152.160, acc=0.325, loss=148.769, backward_time=0.293, grad_norm=55.086, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.082, optim0_lr0=1.188e-04, train_time=4.382 +[gpua014:0/64] 2023-12-02 12:44:46,003 (trainer:735) INFO: 3epoch:train:13801-13900batch: iter_time=7.882e-05, forward_time=0.149, loss_ctc=149.397, loss_att=181.390, acc=0.319, loss=171.792, backward_time=0.282, grad_norm=60.156, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.193e-04, train_time=1.177 +[gpua014:0/64] 2023-12-02 12:46:46,457 (trainer:735) INFO: 3epoch:train:13901-14000batch: iter_time=7.959e-05, forward_time=0.148, loss_ctc=147.318, loss_att=165.127, acc=0.316, loss=159.784, backward_time=0.281, grad_norm=61.673, clip=100.000, loss_scale=1.374e+11, optim_step_time=0.081, optim0_lr0=1.198e-04, train_time=1.205 +[gpua014:0/64] 2023-12-02 12:48:58,566 (trainer:735) INFO: 3epoch:train:14001-14100batch: iter_time=8.920e-05, forward_time=0.150, loss_ctc=126.089, loss_att=132.024, acc=0.345, loss=130.244, backward_time=0.290, grad_norm=55.598, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.081, optim0_lr0=1.203e-04, train_time=1.321 +[gpua014:0/64] 2023-12-02 12:51:10,112 (trainer:735) INFO: 3epoch:train:14101-14200batch: iter_time=8.560e-05, forward_time=0.147, loss_ctc=126.480, loss_att=145.040, acc=0.341, loss=139.472, backward_time=0.286, grad_norm=54.950, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.208e-04, train_time=1.315 +[gpua014:0/64] 2023-12-02 12:53:16,552 (trainer:735) INFO: 3epoch:train:14201-14300batch: iter_time=8.435e-05, forward_time=0.147, loss_ctc=138.288, loss_att=142.637, acc=0.343, loss=141.332, backward_time=0.286, grad_norm=59.312, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.213e-04, train_time=1.264 +[gpua014:0/64] 2023-12-02 12:55:41,396 (trainer:735) INFO: 3epoch:train:14301-14400batch: iter_time=8.812e-05, forward_time=0.149, loss_ctc=136.252, loss_att=154.754, acc=0.331, loss=149.204, backward_time=0.299, grad_norm=60.942, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.218e-04, train_time=1.448 +[gpua014:0/64] 2023-12-02 12:57:52,183 (trainer:735) INFO: 3epoch:train:14401-14500batch: iter_time=9.502e-05, forward_time=0.147, loss_ctc=141.488, loss_att=163.728, acc=0.313, loss=157.056, backward_time=0.286, grad_norm=55.353, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.223e-04, train_time=1.307 +[gpua014:0/64] 2023-12-02 13:00:29,349 (trainer:735) INFO: 3epoch:train:14501-14600batch: iter_time=8.521e-05, forward_time=0.147, loss_ctc=127.361, loss_att=153.774, acc=0.344, loss=145.850, backward_time=0.304, grad_norm=53.117, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.228e-04, train_time=1.572 +[gpua014:0/64] 2023-12-02 13:02:47,839 (trainer:735) INFO: 3epoch:train:14601-14700batch: iter_time=8.519e-05, forward_time=0.148, loss_ctc=123.523, loss_att=138.039, acc=0.355, loss=133.684, backward_time=0.287, grad_norm=53.743, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.081, optim0_lr0=1.233e-04, train_time=1.385 +[gpua014:0/64] 2023-12-02 13:05:16,612 (trainer:735) INFO: 3epoch:train:14701-14800batch: iter_time=8.483e-05, forward_time=0.182, loss_ctc=155.128, loss_att=165.373, acc=0.335, loss=162.300, backward_time=0.331, grad_norm=60.285, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.087, optim0_lr0=1.238e-04, train_time=1.488 +[gpua014:0/64] 2023-12-02 13:07:59,486 (trainer:735) INFO: 3epoch:train:14801-14900batch: iter_time=9.191e-05, forward_time=0.156, loss_ctc=148.089, loss_att=161.586, acc=0.346, loss=157.537, backward_time=0.317, grad_norm=69.661, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.081, optim0_lr0=1.243e-04, train_time=1.629 +[gpua014:0/64] 2023-12-02 13:10:17,987 (trainer:735) INFO: 3epoch:train:14901-15000batch: iter_time=9.055e-05, forward_time=0.147, loss_ctc=126.788, loss_att=137.912, acc=0.341, loss=134.575, backward_time=0.297, grad_norm=54.252, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.248e-04, train_time=1.384 +[gpua014:0/64] 2023-12-02 13:36:33,442 (trainer:341) INFO: 3epoch results: [train] iter_time=0.173, forward_time=0.154, loss_ctc=167.745, loss_att=180.270, acc=0.266, loss=176.512, backward_time=0.317, grad_norm=58.242, clip=100.000, loss_scale=5.469e+10, optim_step_time=0.081, optim0_lr0=8.751e-05, train_time=1.777, time=7 hours, 24 minutes and 36.95 seconds, total_count=45000, gpu_max_cached_mem_GB=37.328, [valid] loss_ctc=116.449, cer_ctc=0.563, loss_att=113.783, acc=0.271, cer=0.637, wer=1.000, loss=114.583, time=25 minutes and 51.21 seconds, total_count=14013, gpu_max_cached_mem_GB=37.328 +[gpua014:0/64] 2023-12-02 13:36:56,856 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua014:0/64] 2023-12-02 13:36:57,028 (trainer:272) INFO: 4/40epoch started. Estimated time to finish: 1 week, 5 days and 3 hours +[gpua014:0/64] 2023-12-02 13:36:58,118 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua014:0/64] 2023-12-02 13:37:16,420 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 13:37:19,878 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 13:37:19,878 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua014:0/64] 2023-12-02 13:37:19,882 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 13:44:34,781 (trainer:735) INFO: 4epoch:train:1-100batch: iter_time=2.620, forward_time=0.180, loss_ctc=138.678, loss_att=148.016, acc=0.348, loss=145.215, backward_time=0.286, grad_norm=70.096, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.253e-04, train_time=4.566 +[gpua014:0/64] 2023-12-02 13:46:32,425 (trainer:735) INFO: 4epoch:train:101-200batch: iter_time=8.942e-05, forward_time=0.148, loss_ctc=129.528, loss_att=153.496, acc=0.344, loss=146.306, backward_time=0.279, grad_norm=61.181, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.258e-04, train_time=1.176 +[gpua014:0/64] 2023-12-02 13:48:28,375 (trainer:735) INFO: 4epoch:train:201-300batch: iter_time=8.966e-05, forward_time=0.148, loss_ctc=136.562, loss_att=150.098, acc=0.372, loss=146.037, backward_time=0.279, grad_norm=59.926, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.263e-04, train_time=1.159 +[gpua014:0/64] 2023-12-02 13:50:27,198 (trainer:735) INFO: 4epoch:train:301-400batch: iter_time=9.546e-05, forward_time=0.148, loss_ctc=141.008, loss_att=156.586, acc=0.360, loss=151.913, backward_time=0.283, grad_norm=60.723, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.268e-04, train_time=1.188 +[gpua014:0/64] 2023-12-02 13:52:39,209 (trainer:735) INFO: 4epoch:train:401-500batch: iter_time=8.476e-05, forward_time=0.147, loss_ctc=118.002, loss_att=131.845, acc=0.367, loss=127.692, backward_time=0.279, grad_norm=50.606, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.273e-04, train_time=1.320 +[gpua014:0/64] 2023-12-02 13:54:56,492 (trainer:735) INFO: 4epoch:train:501-600batch: iter_time=8.831e-05, forward_time=0.149, loss_ctc=123.047, loss_att=134.059, acc=0.365, loss=130.755, backward_time=0.298, grad_norm=56.136, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.278e-04, train_time=1.373 +[gpua014:0/64] 2023-12-02 13:57:22,805 (trainer:735) INFO: 4epoch:train:601-700batch: iter_time=9.415e-05, forward_time=0.147, loss_ctc=133.830, loss_att=150.838, acc=0.357, loss=145.735, backward_time=0.293, grad_norm=54.666, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.283e-04, train_time=1.463 +[gpua014:0/64] 2023-12-02 13:59:43,119 (trainer:735) INFO: 4epoch:train:701-800batch: iter_time=9.223e-05, forward_time=0.147, loss_ctc=120.225, loss_att=129.129, acc=0.380, loss=126.458, backward_time=0.291, grad_norm=59.766, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.080, optim0_lr0=1.288e-04, train_time=1.403 +[gpua014:0/64] 2023-12-02 14:02:00,524 (trainer:735) INFO: 4epoch:train:801-900batch: iter_time=1.032e-04, forward_time=0.150, loss_ctc=117.609, loss_att=128.477, acc=0.395, loss=125.217, backward_time=0.333, grad_norm=47.611, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.081, optim0_lr0=1.293e-04, train_time=1.374 +[gpua014:0/64] 2023-12-02 14:04:44,092 (trainer:735) INFO: 4epoch:train:901-1000batch: iter_time=9.628e-05, forward_time=0.233, loss_ctc=135.008, loss_att=142.705, acc=0.361, loss=140.396, backward_time=0.359, grad_norm=64.217, clip=100.000, loss_scale=2.749e+11, optim_step_time=0.091, optim0_lr0=1.298e-04, train_time=1.635 +[gpua014:0/64] 2023-12-02 14:07:07,356 (trainer:735) INFO: 4epoch:train:1001-1100batch: iter_time=9.881e-05, forward_time=0.147, loss_ctc=130.155, loss_att=140.847, acc=0.362, loss=137.639, backward_time=0.305, grad_norm=53.251, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.303e-04, train_time=1.432 +[gpua014:0/64] 2023-12-02 14:09:31,221 (trainer:735) INFO: 4epoch:train:1101-1200batch: iter_time=9.789e-05, forward_time=0.149, loss_ctc=128.611, loss_att=144.921, acc=0.379, loss=140.028, backward_time=0.299, grad_norm=56.044, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.308e-04, train_time=1.438 +[gpua014:0/64] 2023-12-02 14:10:55,620 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua014:0/64] 2023-12-02 14:11:14,313 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 14:11:17,895 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 14:11:17,895 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua014:0/64] 2023-12-02 14:11:17,898 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 14:21:07,694 (trainer:735) INFO: 4epoch:train:1201-1300batch: iter_time=2.857, forward_time=0.149, loss_ctc=128.423, loss_att=136.282, acc=0.376, loss=133.924, backward_time=0.284, grad_norm=57.022, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.313e-04, train_time=6.965 +[gpua014:0/64] 2023-12-02 14:23:04,615 (trainer:735) INFO: 4epoch:train:1301-1400batch: iter_time=7.990e-05, forward_time=0.147, loss_ctc=126.913, loss_att=137.683, acc=0.374, loss=134.452, backward_time=0.278, grad_norm=56.571, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.318e-04, train_time=1.169 +[gpua014:0/64] 2023-12-02 14:25:08,104 (trainer:735) INFO: 4epoch:train:1401-1500batch: iter_time=8.614e-05, forward_time=0.146, loss_ctc=135.103, loss_att=140.843, acc=0.373, loss=139.121, backward_time=0.284, grad_norm=62.983, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.323e-04, train_time=1.235 +[gpua014:0/64] 2023-12-02 14:27:18,021 (trainer:735) INFO: 4epoch:train:1501-1600batch: iter_time=8.612e-05, forward_time=0.149, loss_ctc=118.244, loss_att=126.987, acc=0.406, loss=124.364, backward_time=0.291, grad_norm=53.009, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.328e-04, train_time=1.299 +[gpua014:0/64] 2023-12-02 14:29:20,955 (trainer:735) INFO: 4epoch:train:1601-1700batch: iter_time=9.039e-05, forward_time=0.146, loss_ctc=145.046, loss_att=150.803, acc=0.376, loss=149.076, backward_time=0.277, grad_norm=63.942, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.333e-04, train_time=1.229 +[gpua014:0/64] 2023-12-02 14:31:16,888 (trainer:735) INFO: 4epoch:train:1701-1800batch: iter_time=9.123e-05, forward_time=0.149, loss_ctc=109.009, loss_att=113.098, acc=0.394, loss=111.871, backward_time=0.278, grad_norm=45.146, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.338e-04, train_time=1.159 +[gpua014:0/64] 2023-12-02 14:33:38,302 (trainer:735) INFO: 4epoch:train:1801-1900batch: iter_time=8.453e-05, forward_time=0.148, loss_ctc=130.677, loss_att=142.843, acc=0.373, loss=139.193, backward_time=0.308, grad_norm=55.075, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.343e-04, train_time=1.414 +[gpua014:0/64] 2023-12-02 14:35:59,944 (trainer:735) INFO: 4epoch:train:1901-2000batch: iter_time=8.592e-05, forward_time=0.146, loss_ctc=118.240, loss_att=116.488, acc=0.409, loss=117.014, backward_time=0.298, grad_norm=53.935, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.348e-04, train_time=1.416 +[gpua014:0/64] 2023-12-02 14:38:06,895 (trainer:735) INFO: 4epoch:train:2001-2100batch: iter_time=8.710e-05, forward_time=0.147, loss_ctc=115.378, loss_att=124.558, acc=0.399, loss=121.804, backward_time=0.279, grad_norm=50.468, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.353e-04, train_time=1.269 +[gpua014:0/64] 2023-12-02 14:40:36,415 (trainer:735) INFO: 4epoch:train:2101-2200batch: iter_time=9.054e-05, forward_time=0.199, loss_ctc=135.370, loss_att=135.077, acc=0.408, loss=135.165, backward_time=0.344, grad_norm=67.864, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.086, optim0_lr0=1.358e-04, train_time=1.495 +[gpua014:0/64] 2023-12-02 14:42:51,147 (trainer:735) INFO: 4epoch:train:2201-2300batch: iter_time=8.779e-05, forward_time=0.166, loss_ctc=119.471, loss_att=121.296, acc=0.398, loss=120.749, backward_time=0.302, grad_norm=49.943, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.082, optim0_lr0=1.363e-04, train_time=1.347 +[gpua014:0/64] 2023-12-02 14:45:09,003 (trainer:735) INFO: 4epoch:train:2301-2400batch: iter_time=8.554e-05, forward_time=0.148, loss_ctc=128.583, loss_att=133.505, acc=0.396, loss=132.029, backward_time=0.294, grad_norm=53.823, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.368e-04, train_time=1.378 +[gpua014:0/64] 2023-12-02 14:47:13,760 (trainer:735) INFO: 4epoch:train:2401-2500batch: iter_time=8.603e-05, forward_time=0.147, loss_ctc=124.794, loss_att=132.482, acc=0.393, loss=130.176, backward_time=0.280, grad_norm=53.930, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.079, optim0_lr0=1.373e-04, train_time=1.247 +[gpua014:0/64] 2023-12-02 14:47:19,130 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua014:0/64] 2023-12-02 14:47:37,514 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 14:47:41,024 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 14:47:41,025 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua014:0/64] 2023-12-02 14:47:41,028 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 14:54:41,717 (trainer:735) INFO: 4epoch:train:2501-2600batch: iter_time=1.364, forward_time=0.148, loss_ctc=131.506, loss_att=131.674, acc=0.404, loss=131.624, backward_time=0.281, grad_norm=69.023, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.378e-04, train_time=4.479 +[gpua014:0/64] 2023-12-02 14:56:38,972 (trainer:735) INFO: 4epoch:train:2601-2700batch: iter_time=8.186e-05, forward_time=0.147, loss_ctc=123.433, loss_att=140.773, acc=0.389, loss=135.571, backward_time=0.280, grad_norm=62.195, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.383e-04, train_time=1.172 +[gpua014:0/64] 2023-12-02 14:58:55,184 (trainer:735) INFO: 4epoch:train:2701-2800batch: iter_time=8.758e-05, forward_time=0.148, loss_ctc=129.834, loss_att=133.576, acc=0.427, loss=132.453, backward_time=0.287, grad_norm=64.170, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.388e-04, train_time=1.362 +[gpua014:0/64] 2023-12-02 15:00:54,754 (trainer:735) INFO: 4epoch:train:2801-2900batch: iter_time=9.345e-05, forward_time=0.148, loss_ctc=135.437, loss_att=141.995, acc=0.409, loss=140.027, backward_time=0.284, grad_norm=60.393, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.393e-04, train_time=1.195 +[gpua014:0/64] 2023-12-02 15:02:59,560 (trainer:735) INFO: 4epoch:train:2901-3000batch: iter_time=9.119e-05, forward_time=0.147, loss_ctc=113.566, loss_att=121.474, acc=0.410, loss=119.102, backward_time=0.281, grad_norm=49.346, clip=100.000, loss_scale=5.498e+11, optim_step_time=0.080, optim0_lr0=1.398e-04, train_time=1.248 +[gpua014:0/64] 2023-12-02 15:05:10,408 (trainer:735) INFO: 4epoch:train:3001-3100batch: iter_time=1.005e-04, forward_time=0.147, loss_ctc=117.130, loss_att=122.517, acc=0.407, loss=120.901, backward_time=0.278, grad_norm=57.286, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.403e-04, train_time=1.308 +[gpua014:0/64] 2023-12-02 15:07:25,745 (trainer:735) INFO: 4epoch:train:3101-3200batch: iter_time=9.788e-05, forward_time=0.148, loss_ctc=129.097, loss_att=137.807, acc=0.403, loss=135.194, backward_time=0.300, grad_norm=55.630, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.408e-04, train_time=1.353 +[gpua014:0/64] 2023-12-02 15:09:28,430 (trainer:735) INFO: 4epoch:train:3201-3300batch: iter_time=1.002e-04, forward_time=0.147, loss_ctc=113.650, loss_att=112.913, acc=0.437, loss=113.134, backward_time=0.281, grad_norm=51.309, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.413e-04, train_time=1.227 +[gpua014:0/64] 2023-12-02 15:11:33,535 (trainer:735) INFO: 4epoch:train:3301-3400batch: iter_time=1.045e-04, forward_time=0.148, loss_ctc=111.800, loss_att=115.357, acc=0.446, loss=114.290, backward_time=0.277, grad_norm=48.117, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.418e-04, train_time=1.251 +[gpua014:0/64] 2023-12-02 15:13:46,802 (trainer:735) INFO: 4epoch:train:3401-3500batch: iter_time=1.009e-04, forward_time=0.148, loss_ctc=129.051, loss_att=127.189, acc=0.409, loss=127.747, backward_time=0.292, grad_norm=65.007, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.423e-04, train_time=1.332 +[gpua014:0/64] 2023-12-02 15:16:20,239 (trainer:735) INFO: 4epoch:train:3501-3600batch: iter_time=1.064e-04, forward_time=0.150, loss_ctc=123.001, loss_att=129.283, acc=0.406, loss=127.398, backward_time=0.297, grad_norm=48.829, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.428e-04, train_time=1.534 +[gpua014:0/64] 2023-12-02 15:18:41,132 (trainer:735) INFO: 4epoch:train:3601-3700batch: iter_time=5.984e-04, forward_time=0.148, loss_ctc=121.886, loss_att=131.067, acc=0.426, loss=128.313, backward_time=0.300, grad_norm=52.915, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.082, optim0_lr0=1.433e-04, train_time=1.409 +[gpua014:0/64] 2023-12-02 15:20:06,064 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua014:0/64] 2023-12-02 15:20:24,452 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 15:20:28,264 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 15:20:28,264 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua014:0/64] 2023-12-02 15:20:28,267 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 15:30:50,624 (trainer:735) INFO: 4epoch:train:3701-3800batch: iter_time=3.158, forward_time=0.185, loss_ctc=124.110, loss_att=129.212, acc=0.412, loss=127.682, backward_time=0.292, grad_norm=59.247, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.083, optim0_lr0=1.438e-04, train_time=7.295 +[gpua014:0/64] 2023-12-02 15:33:11,250 (trainer:735) INFO: 4epoch:train:3801-3900batch: iter_time=7.697e-05, forward_time=0.148, loss_ctc=122.269, loss_att=130.381, acc=0.422, loss=127.948, backward_time=0.344, grad_norm=54.853, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.443e-04, train_time=1.406 +[gpua014:0/64] 2023-12-02 15:35:11,097 (trainer:735) INFO: 4epoch:train:3901-4000batch: iter_time=8.097e-05, forward_time=0.147, loss_ctc=130.463, loss_att=134.568, acc=0.414, loss=133.337, backward_time=0.279, grad_norm=58.973, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.448e-04, train_time=1.198 +[gpua014:0/64] 2023-12-02 15:37:28,762 (trainer:735) INFO: 4epoch:train:4001-4100batch: iter_time=8.370e-05, forward_time=0.147, loss_ctc=113.481, loss_att=116.255, acc=0.456, loss=115.423, backward_time=0.290, grad_norm=47.643, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.453e-04, train_time=1.376 +[gpua014:0/64] 2023-12-02 15:39:35,254 (trainer:735) INFO: 4epoch:train:4101-4200batch: iter_time=8.549e-05, forward_time=0.150, loss_ctc=138.711, loss_att=143.522, acc=0.415, loss=142.079, backward_time=0.282, grad_norm=64.768, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.458e-04, train_time=1.265 +[gpua014:0/64] 2023-12-02 15:41:56,559 (trainer:735) INFO: 4epoch:train:4201-4300batch: iter_time=8.484e-05, forward_time=0.147, loss_ctc=105.583, loss_att=106.792, acc=0.433, loss=106.429, backward_time=0.324, grad_norm=48.019, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.463e-04, train_time=1.413 +[gpua014:0/64] 2023-12-02 15:43:57,408 (trainer:735) INFO: 4epoch:train:4301-4400batch: iter_time=8.407e-05, forward_time=0.147, loss_ctc=127.064, loss_att=133.506, acc=0.416, loss=131.573, backward_time=0.283, grad_norm=55.278, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.468e-04, train_time=1.208 +[gpua014:0/64] 2023-12-02 15:46:21,984 (trainer:735) INFO: 4epoch:train:4401-4500batch: iter_time=9.300e-05, forward_time=0.147, loss_ctc=112.156, loss_att=110.872, acc=0.449, loss=111.257, backward_time=0.304, grad_norm=50.797, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.473e-04, train_time=1.446 +[gpua014:0/64] 2023-12-02 15:48:37,832 (trainer:735) INFO: 4epoch:train:4501-4600batch: iter_time=8.954e-05, forward_time=0.147, loss_ctc=109.371, loss_att=113.508, acc=0.447, loss=112.267, backward_time=0.293, grad_norm=46.146, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.081, optim0_lr0=1.478e-04, train_time=1.358 +[gpua014:0/64] 2023-12-02 15:51:09,633 (trainer:735) INFO: 4epoch:train:4601-4700batch: iter_time=8.773e-05, forward_time=0.149, loss_ctc=128.300, loss_att=122.535, acc=0.455, loss=124.265, backward_time=0.302, grad_norm=59.883, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.483e-04, train_time=1.518 +[gpua014:0/64] 2023-12-02 15:53:44,631 (trainer:735) INFO: 4epoch:train:4701-4800batch: iter_time=8.396e-05, forward_time=0.146, loss_ctc=114.585, loss_att=112.758, acc=0.438, loss=113.306, backward_time=0.300, grad_norm=48.370, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.488e-04, train_time=1.550 +[gpua014:0/64] 2023-12-02 15:55:53,461 (trainer:735) INFO: 4epoch:train:4801-4900batch: iter_time=8.028e-05, forward_time=0.150, loss_ctc=122.506, loss_att=124.177, acc=0.439, loss=123.676, backward_time=0.279, grad_norm=52.728, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.493e-04, train_time=1.288 +[gpua014:0/64] 2023-12-02 15:58:11,155 (trainer:735) INFO: 4epoch:train:4901-5000batch: iter_time=7.790e-05, forward_time=0.147, loss_ctc=119.962, loss_att=130.880, acc=0.421, loss=127.604, backward_time=0.288, grad_norm=51.414, clip=100.000, loss_scale=1.100e+12, optim_step_time=0.080, optim0_lr0=1.498e-04, train_time=1.377 +[gpua014:0/64] 2023-12-02 15:58:15,925 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua014:0/64] 2023-12-02 15:58:34,695 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 15:58:38,292 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 15:58:38,292 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua014:0/64] 2023-12-02 15:58:38,295 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 16:05:50,591 (trainer:735) INFO: 4epoch:train:5001-5100batch: iter_time=1.421, forward_time=0.194, loss_ctc=123.697, loss_att=116.285, acc=0.444, loss=118.509, backward_time=0.289, grad_norm=59.986, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.082, optim0_lr0=1.503e-04, train_time=4.594 +[gpua014:0/64] 2023-12-02 16:07:56,339 (trainer:735) INFO: 4epoch:train:5101-5200batch: iter_time=8.299e-05, forward_time=0.147, loss_ctc=116.890, loss_att=121.017, acc=0.427, loss=119.779, backward_time=0.296, grad_norm=53.775, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.081, optim0_lr0=1.508e-04, train_time=1.257 +[gpua014:0/64] 2023-12-02 16:09:56,330 (trainer:735) INFO: 4epoch:train:5201-5300batch: iter_time=8.890e-05, forward_time=0.149, loss_ctc=125.129, loss_att=119.386, acc=0.465, loss=121.109, backward_time=0.279, grad_norm=52.282, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.513e-04, train_time=1.200 +[gpua014:0/64] 2023-12-02 16:11:57,286 (trainer:735) INFO: 4epoch:train:5301-5400batch: iter_time=8.569e-05, forward_time=0.146, loss_ctc=129.438, loss_att=128.126, acc=0.448, loss=128.519, backward_time=0.278, grad_norm=54.881, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.518e-04, train_time=1.209 +[gpua014:0/64] 2023-12-02 16:14:04,400 (trainer:735) INFO: 4epoch:train:5401-5500batch: iter_time=8.970e-05, forward_time=0.147, loss_ctc=109.440, loss_att=110.582, acc=0.438, loss=110.240, backward_time=0.297, grad_norm=53.599, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.523e-04, train_time=1.271 +[gpua014:0/64] 2023-12-02 16:16:09,967 (trainer:735) INFO: 4epoch:train:5501-5600batch: iter_time=9.340e-05, forward_time=0.147, loss_ctc=113.191, loss_att=112.258, acc=0.438, loss=112.538, backward_time=0.290, grad_norm=50.801, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.528e-04, train_time=1.255 +[gpua014:0/64] 2023-12-02 16:18:07,095 (trainer:735) INFO: 4epoch:train:5601-5700batch: iter_time=9.679e-05, forward_time=0.147, loss_ctc=122.063, loss_att=124.328, acc=0.432, loss=123.649, backward_time=0.277, grad_norm=49.664, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.533e-04, train_time=1.171 +[gpua014:0/64] 2023-12-02 16:20:37,391 (trainer:735) INFO: 4epoch:train:5701-5800batch: iter_time=8.696e-05, forward_time=0.147, loss_ctc=108.198, loss_att=99.711, acc=0.474, loss=102.257, backward_time=0.300, grad_norm=49.804, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.538e-04, train_time=1.503 +[gpua014:0/64] 2023-12-02 16:23:21,936 (trainer:735) INFO: 4epoch:train:5801-5900batch: iter_time=8.833e-05, forward_time=0.147, loss_ctc=107.963, loss_att=104.882, acc=0.478, loss=105.806, backward_time=0.314, grad_norm=46.591, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.543e-04, train_time=1.645 +[gpua014:0/64] 2023-12-02 16:25:33,553 (trainer:735) INFO: 4epoch:train:5901-6000batch: iter_time=8.629e-05, forward_time=0.150, loss_ctc=124.856, loss_att=116.713, acc=0.438, loss=119.156, backward_time=0.283, grad_norm=63.832, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.548e-04, train_time=1.316 +[gpua014:0/64] 2023-12-02 16:28:13,857 (trainer:735) INFO: 4epoch:train:6001-6100batch: iter_time=9.113e-05, forward_time=0.147, loss_ctc=117.265, loss_att=117.284, acc=0.441, loss=117.278, backward_time=0.307, grad_norm=46.746, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.553e-04, train_time=1.603 +[gpua014:0/64] 2023-12-02 16:30:37,846 (trainer:735) INFO: 4epoch:train:6101-6200batch: iter_time=1.050e-04, forward_time=0.149, loss_ctc=116.763, loss_att=115.901, acc=0.461, loss=116.160, backward_time=0.311, grad_norm=51.698, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.558e-04, train_time=1.440 +[gpua014:0/64] 2023-12-02 16:31:56,196 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua014:0/64] 2023-12-02 16:32:14,729 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 16:32:18,274 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 16:32:18,274 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua014:0/64] 2023-12-02 16:32:18,277 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 16:37:31,869 (trainer:735) INFO: 4epoch:train:6201-6300batch: iter_time=2.771, forward_time=0.147, loss_ctc=119.929, loss_att=112.894, acc=0.447, loss=115.005, backward_time=0.285, grad_norm=54.207, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.563e-04, train_time=4.140 +[gpua014:0/64] 2023-12-02 16:39:33,651 (trainer:735) INFO: 4epoch:train:6301-6400batch: iter_time=8.531e-05, forward_time=0.147, loss_ctc=117.930, loss_att=117.013, acc=0.451, loss=117.288, backward_time=0.278, grad_norm=54.872, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.568e-04, train_time=1.218 +[gpua014:0/64] 2023-12-02 16:41:41,994 (trainer:735) INFO: 4epoch:train:6401-6500batch: iter_time=8.802e-05, forward_time=0.147, loss_ctc=124.353, loss_att=116.238, acc=0.455, loss=118.672, backward_time=0.287, grad_norm=53.128, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.573e-04, train_time=1.283 +[gpua014:0/64] 2023-12-02 16:43:46,918 (trainer:735) INFO: 4epoch:train:6501-6600batch: iter_time=9.544e-05, forward_time=0.148, loss_ctc=109.626, loss_att=106.763, acc=0.483, loss=107.622, backward_time=0.294, grad_norm=47.247, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.578e-04, train_time=1.249 +[gpua014:0/64] 2023-12-02 16:45:44,353 (trainer:735) INFO: 4epoch:train:6601-6700batch: iter_time=1.004e-04, forward_time=0.148, loss_ctc=135.462, loss_att=128.681, acc=0.449, loss=130.715, backward_time=0.280, grad_norm=61.537, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.081, optim0_lr0=1.583e-04, train_time=1.174 +[gpua014:0/64] 2023-12-02 16:47:44,346 (trainer:735) INFO: 4epoch:train:6701-6800batch: iter_time=9.132e-05, forward_time=0.147, loss_ctc=101.900, loss_att=99.961, acc=0.454, loss=100.543, backward_time=0.285, grad_norm=44.839, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.588e-04, train_time=1.200 +[gpua014:0/64] 2023-12-02 16:50:04,730 (trainer:735) INFO: 4epoch:train:6801-6900batch: iter_time=9.217e-05, forward_time=0.147, loss_ctc=121.314, loss_att=122.326, acc=0.442, loss=122.022, backward_time=0.287, grad_norm=54.781, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.593e-04, train_time=1.404 +[gpua014:0/64] 2023-12-02 16:52:27,399 (trainer:735) INFO: 4epoch:train:6901-7000batch: iter_time=9.114e-05, forward_time=0.147, loss_ctc=109.197, loss_att=98.290, acc=0.477, loss=101.562, backward_time=0.304, grad_norm=51.637, clip=100.000, loss_scale=2.199e+12, optim_step_time=0.080, optim0_lr0=1.598e-04, train_time=1.426 +[gpua014:0/64] 2023-12-02 16:54:50,741 (trainer:735) INFO: 4epoch:train:7001-7100batch: iter_time=9.321e-05, forward_time=0.236, loss_ctc=106.980, loss_att=105.158, acc=0.475, loss=105.705, backward_time=0.359, grad_norm=48.822, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.085, optim0_lr0=1.603e-04, train_time=1.433 +[gpua014:0/64] 2023-12-02 16:57:09,895 (trainer:735) INFO: 4epoch:train:7101-7200batch: iter_time=9.285e-05, forward_time=0.147, loss_ctc=123.681, loss_att=114.008, acc=0.477, loss=116.910, backward_time=0.292, grad_norm=60.814, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.608e-04, train_time=1.391 +[gpua014:0/64] 2023-12-02 16:59:22,128 (trainer:735) INFO: 4epoch:train:7201-7300batch: iter_time=9.212e-05, forward_time=0.146, loss_ctc=110.584, loss_att=104.204, acc=0.465, loss=106.118, backward_time=0.281, grad_norm=49.744, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.613e-04, train_time=1.322 +[gpua014:0/64] 2023-12-02 17:01:33,916 (trainer:735) INFO: 4epoch:train:7301-7400batch: iter_time=8.770e-05, forward_time=0.147, loss_ctc=119.263, loss_att=115.800, acc=0.462, loss=116.839, backward_time=0.287, grad_norm=52.155, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.618e-04, train_time=1.318 +[gpua014:0/64] 2023-12-02 17:03:44,565 (trainer:735) INFO: 4epoch:train:7401-7500batch: iter_time=8.884e-05, forward_time=0.147, loss_ctc=116.281, loss_att=115.212, acc=0.455, loss=115.533, backward_time=0.277, grad_norm=49.512, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.623e-04, train_time=1.306 +[gpua014:0/64] 2023-12-02 17:03:50,058 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua014:0/64] 2023-12-02 17:04:08,708 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 17:04:12,265 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 17:04:12,265 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua014:0/64] 2023-12-02 17:04:12,268 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 17:14:16,741 (trainer:735) INFO: 4epoch:train:7501-7600batch: iter_time=1.400, forward_time=0.150, loss_ctc=118.753, loss_att=106.656, acc=0.474, loss=110.285, backward_time=0.408, grad_norm=54.752, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.628e-04, train_time=6.322 +[gpua014:0/64] 2023-12-02 17:18:55,297 (trainer:735) INFO: 4epoch:train:7601-7700batch: iter_time=8.355e-05, forward_time=0.147, loss_ctc=114.616, loss_att=112.945, acc=0.453, loss=113.446, backward_time=0.469, grad_norm=51.751, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.633e-04, train_time=2.785 +[gpua014:0/64] 2023-12-02 17:22:37,827 (trainer:735) INFO: 4epoch:train:7701-7800batch: iter_time=9.257e-05, forward_time=0.147, loss_ctc=120.973, loss_att=111.815, acc=0.490, loss=114.563, backward_time=0.399, grad_norm=51.579, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.638e-04, train_time=2.225 +[gpua014:0/64] 2023-12-02 17:26:32,034 (trainer:735) INFO: 4epoch:train:7801-7900batch: iter_time=9.408e-05, forward_time=0.149, loss_ctc=126.657, loss_att=120.766, acc=0.475, loss=122.533, backward_time=0.441, grad_norm=57.301, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.643e-04, train_time=2.342 +[gpua014:0/64] 2023-12-02 17:29:51,898 (trainer:735) INFO: 4epoch:train:7901-8000batch: iter_time=9.108e-05, forward_time=0.151, loss_ctc=106.484, loss_att=102.934, acc=0.468, loss=103.999, backward_time=0.397, grad_norm=47.216, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.648e-04, train_time=1.998 +[gpua014:0/64] 2023-12-02 17:33:17,761 (trainer:735) INFO: 4epoch:train:8001-8100batch: iter_time=9.327e-05, forward_time=0.147, loss_ctc=108.255, loss_att=105.586, acc=0.464, loss=106.387, backward_time=0.411, grad_norm=50.759, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.653e-04, train_time=2.058 +[gpua014:0/64] 2023-12-02 17:37:49,424 (trainer:735) INFO: 4epoch:train:8101-8200batch: iter_time=9.500e-05, forward_time=0.147, loss_ctc=119.509, loss_att=115.912, acc=0.458, loss=116.991, backward_time=0.447, grad_norm=51.081, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.658e-04, train_time=2.716 +[gpua014:0/64] 2023-12-02 17:42:28,406 (trainer:735) INFO: 4epoch:train:8201-8300batch: iter_time=8.926e-05, forward_time=0.149, loss_ctc=106.460, loss_att=94.038, acc=0.500, loss=97.765, backward_time=0.468, grad_norm=51.602, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.663e-04, train_time=2.790 +[gpua014:0/64] 2023-12-02 17:46:38,276 (trainer:735) INFO: 4epoch:train:8301-8400batch: iter_time=9.040e-05, forward_time=0.147, loss_ctc=103.390, loss_att=97.239, acc=0.505, loss=99.084, backward_time=0.474, grad_norm=45.119, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.668e-04, train_time=2.498 +[gpua014:0/64] 2023-12-02 17:50:26,249 (trainer:735) INFO: 4epoch:train:8401-8500batch: iter_time=8.744e-05, forward_time=0.147, loss_ctc=119.541, loss_att=107.007, acc=0.470, loss=110.767, backward_time=0.377, grad_norm=59.242, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.673e-04, train_time=2.280 +[gpua014:0/64] 2023-12-02 17:54:35,080 (trainer:735) INFO: 4epoch:train:8501-8600batch: iter_time=9.023e-05, forward_time=0.147, loss_ctc=114.822, loss_att=111.835, acc=0.462, loss=112.731, backward_time=0.498, grad_norm=48.876, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.079, optim0_lr0=1.678e-04, train_time=2.488 +[gpua014:0/64] 2023-12-02 17:58:22,246 (trainer:735) INFO: 4epoch:train:8601-8700batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=113.143, loss_att=108.742, acc=0.483, loss=110.062, backward_time=0.415, grad_norm=49.032, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.683e-04, train_time=2.271 +[gpua014:0/64] 2023-12-02 18:00:24,985 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua014:0/64] 2023-12-02 18:00:43,342 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 18:00:46,848 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 18:00:46,849 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua014:0/64] 2023-12-02 18:00:46,852 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 18:06:20,624 (trainer:735) INFO: 4epoch:train:8701-8800batch: iter_time=2.813, forward_time=0.186, loss_ctc=116.620, loss_att=108.320, acc=0.472, loss=110.810, backward_time=0.447, grad_norm=54.462, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.082, optim0_lr0=1.688e-04, train_time=4.784 +[gpua014:0/64] 2023-12-02 18:08:15,972 (trainer:735) INFO: 4epoch:train:8801-8900batch: iter_time=8.563e-05, forward_time=0.148, loss_ctc=113.889, loss_att=117.065, acc=0.476, loss=116.112, backward_time=0.278, grad_norm=54.025, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.693e-04, train_time=1.153 +[gpua014:0/64] 2023-12-02 18:10:17,597 (trainer:735) INFO: 4epoch:train:8901-9000batch: iter_time=8.042e-05, forward_time=0.147, loss_ctc=121.284, loss_att=121.350, acc=0.467, loss=121.330, backward_time=0.277, grad_norm=54.603, clip=100.000, loss_scale=4.398e+12, optim_step_time=0.080, optim0_lr0=1.698e-04, train_time=1.216 +[gpua014:0/64] 2023-12-02 18:12:42,342 (trainer:735) INFO: 4epoch:train:9001-9100batch: iter_time=8.946e-05, forward_time=0.147, loss_ctc=107.748, loss_att=103.290, acc=0.506, loss=104.628, backward_time=0.295, grad_norm=47.943, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.703e-04, train_time=1.447 +[gpua014:0/64] 2023-12-02 18:15:04,147 (trainer:735) INFO: 4epoch:train:9101-9200batch: iter_time=9.505e-05, forward_time=0.147, loss_ctc=130.539, loss_att=126.143, acc=0.470, loss=127.462, backward_time=0.290, grad_norm=57.593, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.708e-04, train_time=1.418 +[gpua014:0/64] 2023-12-02 18:17:32,224 (trainer:735) INFO: 4epoch:train:9201-9300batch: iter_time=8.912e-05, forward_time=0.147, loss_ctc=99.151, loss_att=95.097, acc=0.480, loss=96.313, backward_time=0.303, grad_norm=46.428, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.713e-04, train_time=1.481 +[gpua014:0/64] 2023-12-02 18:19:41,861 (trainer:735) INFO: 4epoch:train:9301-9400batch: iter_time=9.240e-05, forward_time=0.147, loss_ctc=119.299, loss_att=118.665, acc=0.469, loss=118.856, backward_time=0.282, grad_norm=51.552, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.718e-04, train_time=1.296 +[gpua014:0/64] 2023-12-02 18:21:59,658 (trainer:735) INFO: 4epoch:train:9401-9500batch: iter_time=9.231e-05, forward_time=0.147, loss_ctc=104.572, loss_att=98.281, acc=0.497, loss=100.168, backward_time=0.300, grad_norm=48.716, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.723e-04, train_time=1.378 +[gpua014:0/64] 2023-12-02 18:24:08,336 (trainer:735) INFO: 4epoch:train:9501-9600batch: iter_time=9.301e-05, forward_time=0.147, loss_ctc=103.689, loss_att=99.005, acc=0.502, loss=100.410, backward_time=0.291, grad_norm=50.102, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.728e-04, train_time=1.287 +[gpua014:0/64] 2023-12-02 18:26:27,234 (trainer:735) INFO: 4epoch:train:9601-9700batch: iter_time=9.086e-05, forward_time=0.148, loss_ctc=121.116, loss_att=109.589, acc=0.501, loss=113.047, backward_time=0.289, grad_norm=58.446, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.733e-04, train_time=1.389 +[gpua014:0/64] 2023-12-02 18:28:26,708 (trainer:735) INFO: 4epoch:train:9701-9800batch: iter_time=8.542e-05, forward_time=0.148, loss_ctc=107.955, loss_att=101.281, acc=0.486, loss=103.283, backward_time=0.280, grad_norm=47.832, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.738e-04, train_time=1.195 +[gpua014:0/64] 2023-12-02 18:30:58,470 (trainer:735) INFO: 4epoch:train:9801-9900batch: iter_time=8.622e-05, forward_time=0.147, loss_ctc=114.206, loss_att=111.097, acc=0.483, loss=112.030, backward_time=0.303, grad_norm=47.750, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.743e-04, train_time=1.517 +[gpua014:0/64] 2023-12-02 18:33:20,862 (trainer:735) INFO: 4epoch:train:9901-10000batch: iter_time=8.672e-05, forward_time=0.147, loss_ctc=112.257, loss_att=117.783, acc=0.466, loss=116.125, backward_time=0.305, grad_norm=50.489, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.748e-04, train_time=1.424 +[gpua014:0/64] 2023-12-02 18:33:26,141 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua014:0/64] 2023-12-02 18:33:44,880 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 18:33:48,441 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 18:33:48,441 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua014:0/64] 2023-12-02 18:33:48,444 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 18:40:23,412 (trainer:735) INFO: 4epoch:train:10001-10100batch: iter_time=1.378, forward_time=0.147, loss_ctc=116.995, loss_att=102.621, acc=0.491, loss=106.933, backward_time=0.286, grad_norm=55.104, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.753e-04, train_time=4.225 +[gpua014:0/64] 2023-12-02 18:42:20,385 (trainer:735) INFO: 4epoch:train:10101-10200batch: iter_time=8.430e-05, forward_time=0.146, loss_ctc=111.902, loss_att=108.955, acc=0.472, loss=109.839, backward_time=0.277, grad_norm=51.795, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.758e-04, train_time=1.170 +[gpua014:0/64] 2023-12-02 18:44:17,903 (trainer:735) INFO: 4epoch:train:10201-10300batch: iter_time=8.349e-05, forward_time=0.147, loss_ctc=117.771, loss_att=106.423, acc=0.507, loss=109.828, backward_time=0.279, grad_norm=52.611, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.763e-04, train_time=1.175 +[gpua014:0/64] 2023-12-02 18:46:45,654 (trainer:735) INFO: 4epoch:train:10301-10400batch: iter_time=8.588e-05, forward_time=0.155, loss_ctc=122.709, loss_att=114.499, acc=0.495, loss=116.962, backward_time=0.313, grad_norm=55.999, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.082, optim0_lr0=1.768e-04, train_time=1.477 +[gpua014:0/64] 2023-12-02 18:49:24,429 (trainer:735) INFO: 4epoch:train:10401-10500batch: iter_time=8.798e-05, forward_time=0.247, loss_ctc=103.011, loss_att=97.584, acc=0.485, loss=99.212, backward_time=0.322, grad_norm=48.671, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.090, optim0_lr0=1.773e-04, train_time=1.587 +[gpua014:0/64] 2023-12-02 18:51:59,547 (trainer:735) INFO: 4epoch:train:10501-10600batch: iter_time=8.589e-05, forward_time=0.146, loss_ctc=107.399, loss_att=100.315, acc=0.479, loss=102.440, backward_time=0.314, grad_norm=50.828, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.778e-04, train_time=1.551 +[gpua014:0/64] 2023-12-02 18:54:21,263 (trainer:735) INFO: 4epoch:train:10601-10700batch: iter_time=8.335e-05, forward_time=0.146, loss_ctc=117.122, loss_att=110.922, acc=0.474, loss=112.782, backward_time=0.292, grad_norm=50.568, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.783e-04, train_time=1.417 +[gpua014:0/64] 2023-12-02 18:56:44,505 (trainer:735) INFO: 4epoch:train:10701-10800batch: iter_time=8.270e-05, forward_time=0.150, loss_ctc=103.728, loss_att=88.584, acc=0.518, loss=93.127, backward_time=0.284, grad_norm=49.668, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.788e-04, train_time=1.432 +[gpua014:0/64] 2023-12-02 18:59:06,494 (trainer:735) INFO: 4epoch:train:10801-10900batch: iter_time=8.053e-05, forward_time=0.146, loss_ctc=102.418, loss_att=93.562, acc=0.523, loss=96.219, backward_time=0.310, grad_norm=45.565, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.793e-04, train_time=1.420 +[gpua014:0/64] 2023-12-02 19:01:17,834 (trainer:735) INFO: 4epoch:train:10901-11000batch: iter_time=8.209e-05, forward_time=0.148, loss_ctc=119.151, loss_att=103.355, acc=0.485, loss=108.094, backward_time=0.293, grad_norm=62.478, clip=100.000, loss_scale=8.796e+12, optim_step_time=0.080, optim0_lr0=1.798e-04, train_time=1.313 +[gpua014:0/64] 2023-12-02 19:03:24,634 (trainer:735) INFO: 4epoch:train:11001-11100batch: iter_time=8.398e-05, forward_time=0.147, loss_ctc=111.818, loss_att=106.497, acc=0.479, loss=108.093, backward_time=0.289, grad_norm=46.925, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.081, optim0_lr0=1.803e-04, train_time=1.268 +[gpua014:0/64] 2023-12-02 19:05:54,212 (trainer:735) INFO: 4epoch:train:11101-11200batch: iter_time=8.379e-05, forward_time=0.147, loss_ctc=110.631, loss_att=103.821, acc=0.500, loss=105.864, backward_time=0.282, grad_norm=49.942, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.808e-04, train_time=1.496 +[gpua014:0/64] 2023-12-02 19:07:35,986 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua014:0/64] 2023-12-02 19:07:54,995 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 19:07:58,541 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 19:07:58,541 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua014:0/64] 2023-12-02 19:07:58,545 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 19:15:48,092 (trainer:735) INFO: 4epoch:train:11201-11300batch: iter_time=2.512, forward_time=0.147, loss_ctc=113.200, loss_att=99.576, acc=0.494, loss=103.664, backward_time=0.335, grad_norm=51.391, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.813e-04, train_time=5.939 +[gpua014:0/64] 2023-12-02 19:18:03,048 (trainer:735) INFO: 4epoch:train:11301-11400batch: iter_time=7.548e-05, forward_time=0.147, loss_ctc=110.500, loss_att=104.599, acc=0.492, loss=106.370, backward_time=0.293, grad_norm=52.494, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.818e-04, train_time=1.349 +[gpua014:0/64] 2023-12-02 19:20:17,807 (trainer:735) INFO: 4epoch:train:11401-11500batch: iter_time=8.214e-05, forward_time=0.146, loss_ctc=118.935, loss_att=105.294, acc=0.493, loss=109.386, backward_time=0.339, grad_norm=50.675, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.823e-04, train_time=1.347 +[gpua014:0/64] 2023-12-02 19:22:43,063 (trainer:735) INFO: 4epoch:train:11501-11600batch: iter_time=9.268e-05, forward_time=0.146, loss_ctc=104.433, loss_att=96.899, acc=0.520, loss=99.160, backward_time=0.321, grad_norm=48.715, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.828e-04, train_time=1.452 +[gpua014:0/64] 2023-12-02 19:25:03,065 (trainer:735) INFO: 4epoch:train:11601-11700batch: iter_time=9.023e-05, forward_time=0.146, loss_ctc=129.251, loss_att=116.128, acc=0.487, loss=120.065, backward_time=0.285, grad_norm=61.110, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.833e-04, train_time=1.400 +[gpua014:0/64] 2023-12-02 19:27:34,592 (trainer:735) INFO: 4epoch:train:11701-11800batch: iter_time=9.513e-05, forward_time=0.146, loss_ctc=97.063, loss_att=90.911, acc=0.491, loss=92.756, backward_time=0.312, grad_norm=46.061, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.838e-04, train_time=1.515 +[gpua014:0/64] 2023-12-02 19:29:35,880 (trainer:735) INFO: 4epoch:train:11801-11900batch: iter_time=9.686e-05, forward_time=0.146, loss_ctc=115.954, loss_att=112.584, acc=0.478, loss=113.595, backward_time=0.278, grad_norm=50.509, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.843e-04, train_time=1.213 +[gpua014:0/64] 2023-12-02 19:32:04,597 (trainer:735) INFO: 4epoch:train:11901-12000batch: iter_time=9.099e-05, forward_time=0.146, loss_ctc=104.448, loss_att=87.947, acc=0.517, loss=92.897, backward_time=0.325, grad_norm=49.418, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.848e-04, train_time=1.487 +[gpua014:0/64] 2023-12-02 19:34:15,386 (trainer:735) INFO: 4epoch:train:12001-12100batch: iter_time=8.316e-05, forward_time=0.146, loss_ctc=101.240, loss_att=93.807, acc=0.515, loss=96.037, backward_time=0.290, grad_norm=47.784, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.853e-04, train_time=1.308 +[gpua014:0/64] 2023-12-02 19:36:30,702 (trainer:735) INFO: 4epoch:train:12101-12200batch: iter_time=8.624e-05, forward_time=0.147, loss_ctc=117.844, loss_att=104.479, acc=0.512, loss=108.489, backward_time=0.289, grad_norm=57.134, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.858e-04, train_time=1.353 +[gpua014:0/64] 2023-12-02 19:38:57,636 (trainer:735) INFO: 4epoch:train:12201-12300batch: iter_time=9.031e-05, forward_time=0.166, loss_ctc=105.354, loss_att=94.435, acc=0.505, loss=97.711, backward_time=0.305, grad_norm=46.823, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.082, optim0_lr0=1.863e-04, train_time=1.469 +[gpua014:0/64] 2023-12-02 19:41:50,296 (trainer:735) INFO: 4epoch:train:12301-12400batch: iter_time=8.712e-05, forward_time=0.166, loss_ctc=112.662, loss_att=105.197, acc=0.495, loss=107.436, backward_time=0.354, grad_norm=49.673, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.084, optim0_lr0=1.868e-04, train_time=1.726 +[gpua014:0/64] 2023-12-02 19:44:34,994 (trainer:735) INFO: 4epoch:train:12401-12500batch: iter_time=8.528e-05, forward_time=0.185, loss_ctc=110.136, loss_att=103.808, acc=0.492, loss=105.706, backward_time=0.309, grad_norm=47.508, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.081, optim0_lr0=1.873e-04, train_time=1.647 +[gpua014:0/64] 2023-12-02 19:44:40,269 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua014:0/64] 2023-12-02 19:44:58,504 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 19:45:02,045 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 19:45:02,045 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua014:0/64] 2023-12-02 19:45:02,048 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 19:51:37,584 (trainer:735) INFO: 4epoch:train:12501-12600batch: iter_time=1.365, forward_time=0.159, loss_ctc=113.665, loss_att=101.677, acc=0.510, loss=105.273, backward_time=0.280, grad_norm=53.686, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.878e-04, train_time=4.226 +[gpua014:0/64] 2023-12-02 19:53:36,056 (trainer:735) INFO: 4epoch:train:12601-12700batch: iter_time=7.495e-05, forward_time=0.147, loss_ctc=109.263, loss_att=115.184, acc=0.484, loss=113.408, backward_time=0.284, grad_norm=52.643, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.883e-04, train_time=1.185 +[gpua014:0/64] 2023-12-02 19:55:39,693 (trainer:735) INFO: 4epoch:train:12701-12800batch: iter_time=7.979e-05, forward_time=0.149, loss_ctc=114.353, loss_att=103.743, acc=0.531, loss=106.926, backward_time=0.279, grad_norm=51.472, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.888e-04, train_time=1.236 +[gpua014:0/64] 2023-12-02 19:57:46,745 (trainer:735) INFO: 4epoch:train:12801-12900batch: iter_time=9.210e-05, forward_time=0.147, loss_ctc=119.646, loss_att=113.461, acc=0.508, loss=115.317, backward_time=0.282, grad_norm=55.010, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.080, optim0_lr0=1.893e-04, train_time=1.270 +[gpua014:0/64] 2023-12-02 20:00:02,200 (trainer:735) INFO: 4epoch:train:12901-13000batch: iter_time=8.790e-05, forward_time=0.147, loss_ctc=101.919, loss_att=98.354, acc=0.499, loss=99.423, backward_time=0.300, grad_norm=48.798, clip=100.000, loss_scale=1.759e+13, optim_step_time=0.081, optim0_lr0=1.898e-04, train_time=1.354 +[gpua014:0/64] 2023-12-02 20:02:42,832 (trainer:735) INFO: 4epoch:train:13001-13100batch: iter_time=8.852e-05, forward_time=0.147, loss_ctc=103.696, loss_att=97.070, acc=0.502, loss=99.058, backward_time=0.312, grad_norm=49.688, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.903e-04, train_time=1.606 +[gpua014:0/64] 2023-12-02 20:05:20,109 (trainer:735) INFO: 4epoch:train:13101-13200batch: iter_time=8.665e-05, forward_time=0.147, loss_ctc=114.256, loss_att=110.700, acc=0.494, loss=111.767, backward_time=0.293, grad_norm=49.722, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.908e-04, train_time=1.573 +[gpua014:0/64] 2023-12-02 20:07:46,743 (trainer:735) INFO: 4epoch:train:13201-13300batch: iter_time=8.349e-05, forward_time=0.147, loss_ctc=100.597, loss_att=87.391, acc=0.531, loss=91.353, backward_time=0.286, grad_norm=48.320, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.913e-04, train_time=1.466 +[gpua014:0/64] 2023-12-02 20:10:02,229 (trainer:735) INFO: 4epoch:train:13301-13400batch: iter_time=8.087e-05, forward_time=0.147, loss_ctc=99.182, loss_att=91.570, acc=0.538, loss=93.854, backward_time=0.282, grad_norm=45.973, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.918e-04, train_time=1.355 +[gpua014:0/64] 2023-12-02 20:12:09,479 (trainer:735) INFO: 4epoch:train:13401-13500batch: iter_time=8.730e-05, forward_time=0.148, loss_ctc=116.088, loss_att=101.225, acc=0.503, loss=105.684, backward_time=0.286, grad_norm=61.258, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.923e-04, train_time=1.272 +[gpua014:0/64] 2023-12-02 20:14:32,372 (trainer:735) INFO: 4epoch:train:13501-13600batch: iter_time=8.944e-05, forward_time=0.149, loss_ctc=109.986, loss_att=104.582, acc=0.491, loss=106.203, backward_time=0.311, grad_norm=48.928, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.928e-04, train_time=1.429 +[gpua014:0/64] 2023-12-02 20:16:47,277 (trainer:735) INFO: 4epoch:train:13601-13700batch: iter_time=8.771e-05, forward_time=0.147, loss_ctc=108.483, loss_att=107.134, acc=0.509, loss=107.538, backward_time=0.299, grad_norm=51.752, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.933e-04, train_time=1.349 +[gpua014:0/64] 2023-12-02 20:18:27,255 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua014:0/64] 2023-12-02 20:18:46,330 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 20:18:49,946 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 20:18:49,946 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua014:0/64] 2023-12-02 20:18:49,949 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 20:24:01,121 (trainer:735) INFO: 4epoch:train:13701-13800batch: iter_time=2.851, forward_time=0.180, loss_ctc=111.219, loss_att=101.474, acc=0.504, loss=104.397, backward_time=0.295, grad_norm=54.144, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.081, optim0_lr0=1.938e-04, train_time=4.338 +[gpua014:0/64] 2023-12-02 20:26:00,023 (trainer:735) INFO: 4epoch:train:13801-13900batch: iter_time=0.002, forward_time=0.148, loss_ctc=109.238, loss_att=104.344, acc=0.513, loss=105.812, backward_time=0.279, grad_norm=54.421, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.943e-04, train_time=1.189 +[gpua014:0/64] 2023-12-02 20:28:07,691 (trainer:735) INFO: 4epoch:train:13901-14000batch: iter_time=8.126e-05, forward_time=0.149, loss_ctc=116.187, loss_att=108.753, acc=0.504, loss=110.984, backward_time=0.284, grad_norm=54.897, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.948e-04, train_time=1.276 +[gpua014:0/64] 2023-12-02 20:30:37,527 (trainer:735) INFO: 4epoch:train:14001-14100batch: iter_time=8.912e-05, forward_time=0.147, loss_ctc=102.260, loss_att=94.218, acc=0.536, loss=96.631, backward_time=0.316, grad_norm=45.882, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.953e-04, train_time=1.498 +[gpua014:0/64] 2023-12-02 20:33:02,898 (trainer:735) INFO: 4epoch:train:14101-14200batch: iter_time=9.148e-05, forward_time=0.147, loss_ctc=125.911, loss_att=115.543, acc=0.500, loss=118.653, backward_time=0.334, grad_norm=56.970, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.958e-04, train_time=1.453 +[gpua014:0/64] 2023-12-02 20:35:15,665 (trainer:735) INFO: 4epoch:train:14201-14300batch: iter_time=9.597e-05, forward_time=0.146, loss_ctc=95.288, loss_att=86.461, acc=0.515, loss=89.109, backward_time=0.288, grad_norm=45.196, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.963e-04, train_time=1.327 +[gpua014:0/64] 2023-12-02 20:37:11,801 (trainer:735) INFO: 4epoch:train:14301-14400batch: iter_time=8.727e-05, forward_time=0.150, loss_ctc=113.768, loss_att=108.266, acc=0.503, loss=109.916, backward_time=0.278, grad_norm=50.368, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.968e-04, train_time=1.161 +[gpua014:0/64] 2023-12-02 20:39:42,318 (trainer:735) INFO: 4epoch:train:14401-14500batch: iter_time=8.353e-05, forward_time=0.263, loss_ctc=100.585, loss_att=90.152, acc=0.525, loss=93.282, backward_time=0.332, grad_norm=49.297, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.084, optim0_lr0=1.973e-04, train_time=1.505 +[gpua014:0/64] 2023-12-02 20:42:04,100 (trainer:735) INFO: 4epoch:train:14501-14600batch: iter_time=9.199e-05, forward_time=0.148, loss_ctc=98.499, loss_att=91.770, acc=0.530, loss=93.789, backward_time=0.336, grad_norm=46.575, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.978e-04, train_time=1.417 +[gpua014:0/64] 2023-12-02 20:44:33,881 (trainer:735) INFO: 4epoch:train:14601-14700batch: iter_time=9.473e-05, forward_time=0.146, loss_ctc=114.948, loss_att=100.431, acc=0.531, loss=104.786, backward_time=0.334, grad_norm=55.750, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.983e-04, train_time=1.498 +[gpua014:0/64] 2023-12-02 20:47:23,757 (trainer:735) INFO: 4epoch:train:14701-14800batch: iter_time=8.770e-05, forward_time=0.149, loss_ctc=103.978, loss_att=92.965, acc=0.517, loss=96.269, backward_time=0.374, grad_norm=47.948, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.988e-04, train_time=1.699 +[gpua014:0/64] 2023-12-02 20:49:33,493 (trainer:735) INFO: 4epoch:train:14801-14900batch: iter_time=8.120e-05, forward_time=0.150, loss_ctc=109.127, loss_att=103.414, acc=0.509, loss=105.128, backward_time=0.282, grad_norm=48.830, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.993e-04, train_time=1.297 +[gpua014:0/64] 2023-12-02 20:52:05,795 (trainer:735) INFO: 4epoch:train:14901-15000batch: iter_time=8.120e-05, forward_time=0.147, loss_ctc=108.337, loss_att=108.815, acc=0.497, loss=108.672, backward_time=0.311, grad_norm=49.029, clip=100.000, loss_scale=3.518e+13, optim_step_time=0.080, optim0_lr0=1.998e-04, train_time=1.523 +[gpua014:0/64] 2023-12-02 21:18:10,699 (trainer:341) INFO: 4epoch results: [train] iter_time=0.177, forward_time=0.152, loss_ctc=116.786, loss_att=114.897, acc=0.457, loss=115.464, backward_time=0.308, grad_norm=53.077, clip=100.000, loss_scale=9.328e+12, optim_step_time=0.080, optim0_lr0=1.625e-04, train_time=1.740, time=7 hours, 15 minutes and 32.49 seconds, total_count=60000, gpu_max_cached_mem_GB=37.328, [valid] loss_ctc=91.652, cer_ctc=0.445, loss_att=77.951, acc=0.427, cer=0.532, wer=1.000, loss=82.061, time=25 minutes and 40.95 seconds, total_count=18684, gpu_max_cached_mem_GB=37.328 +[gpua014:0/64] 2023-12-02 21:18:31,751 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua014:0/64] 2023-12-02 21:18:31,837 (trainer:272) INFO: 5/40epoch started. Estimated time to finish: 1 week, 4 days and 17 hours +[gpua014:0/64] 2023-12-02 21:18:31,914 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua014:0/64] 2023-12-02 21:18:49,997 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 21:18:53,775 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 21:18:53,775 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua014:0/64] 2023-12-02 21:18:53,778 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 21:25:13,054 (trainer:735) INFO: 5epoch:train:1-100batch: iter_time=2.543, forward_time=0.170, loss_ctc=109.786, loss_att=95.078, acc=0.488, loss=99.490, backward_time=0.284, grad_norm=60.128, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.082, optim0_lr0=1.999e-04, train_time=4.011 +[gpua014:0/64] 2023-12-02 21:27:10,724 (trainer:735) INFO: 5epoch:train:101-200batch: iter_time=8.415e-05, forward_time=0.147, loss_ctc=117.489, loss_att=114.207, acc=0.485, loss=115.192, backward_time=0.277, grad_norm=56.160, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.997e-04, train_time=1.177 +[gpua014:0/64] 2023-12-02 21:29:20,423 (trainer:735) INFO: 5epoch:train:201-300batch: iter_time=8.843e-05, forward_time=0.255, loss_ctc=112.078, loss_att=103.130, acc=0.502, loss=105.814, backward_time=0.302, grad_norm=48.697, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.087, optim0_lr0=1.996e-04, train_time=1.296 +[gpua014:0/64] 2023-12-02 21:31:27,019 (trainer:735) INFO: 5epoch:train:301-400batch: iter_time=8.703e-05, forward_time=0.168, loss_ctc=130.047, loss_att=119.893, acc=0.496, loss=122.940, backward_time=0.289, grad_norm=62.472, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.082, optim0_lr0=1.994e-04, train_time=1.266 +[gpua014:0/64] 2023-12-02 21:33:44,144 (trainer:735) INFO: 5epoch:train:401-500batch: iter_time=8.175e-05, forward_time=0.146, loss_ctc=112.137, loss_att=104.134, acc=0.523, loss=106.535, backward_time=0.287, grad_norm=49.256, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.993e-04, train_time=1.371 +[gpua014:0/64] 2023-12-02 21:35:56,122 (trainer:735) INFO: 5epoch:train:501-600batch: iter_time=8.423e-05, forward_time=0.146, loss_ctc=98.811, loss_att=94.922, acc=0.502, loss=96.089, backward_time=0.294, grad_norm=44.748, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.991e-04, train_time=1.320 +[gpua014:0/64] 2023-12-02 21:38:12,878 (trainer:735) INFO: 5epoch:train:601-700batch: iter_time=8.923e-05, forward_time=0.146, loss_ctc=133.458, loss_att=107.378, acc=0.502, loss=115.202, backward_time=0.288, grad_norm=61.860, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.989e-04, train_time=1.367 +[gpua014:0/64] 2023-12-02 21:40:21,799 (trainer:735) INFO: 5epoch:train:701-800batch: iter_time=8.425e-05, forward_time=0.146, loss_ctc=114.878, loss_att=103.549, acc=0.524, loss=106.948, backward_time=0.282, grad_norm=51.135, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.988e-04, train_time=1.289 +[gpua014:0/64] 2023-12-02 21:43:06,872 (trainer:735) INFO: 5epoch:train:801-900batch: iter_time=5.886e-04, forward_time=0.218, loss_ctc=100.453, loss_att=83.157, acc=0.531, loss=88.346, backward_time=0.320, grad_norm=47.226, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.085, optim0_lr0=1.986e-04, train_time=1.651 +[gpua014:0/64] 2023-12-02 21:45:39,067 (trainer:735) INFO: 5epoch:train:901-1000batch: iter_time=8.360e-05, forward_time=0.161, loss_ctc=118.688, loss_att=108.715, acc=0.496, loss=111.707, backward_time=0.314, grad_norm=54.989, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.082, optim0_lr0=1.984e-04, train_time=1.521 +[gpua014:0/64] 2023-12-02 21:48:01,408 (trainer:735) INFO: 5epoch:train:1001-1100batch: iter_time=8.699e-05, forward_time=0.153, loss_ctc=117.521, loss_att=107.935, acc=0.507, loss=110.811, backward_time=0.297, grad_norm=50.178, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.983e-04, train_time=1.424 +[gpua014:0/64] 2023-12-02 21:50:17,105 (trainer:735) INFO: 5epoch:train:1101-1200batch: iter_time=9.116e-05, forward_time=0.148, loss_ctc=96.952, loss_att=80.224, acc=0.566, loss=85.243, backward_time=0.285, grad_norm=41.041, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.981e-04, train_time=1.357 +[gpua014:0/64] 2023-12-02 21:51:43,289 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua014:0/64] 2023-12-02 21:52:01,348 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 21:52:04,793 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 21:52:04,793 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua014:0/64] 2023-12-02 21:52:04,796 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 22:01:10,001 (trainer:735) INFO: 5epoch:train:1201-1300batch: iter_time=2.375, forward_time=0.148, loss_ctc=104.222, loss_att=85.740, acc=0.531, loss=91.285, backward_time=0.305, grad_norm=53.141, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.979e-04, train_time=6.529 +[gpua014:0/64] 2023-12-02 22:03:26,502 (trainer:735) INFO: 5epoch:train:1301-1400batch: iter_time=8.742e-05, forward_time=0.147, loss_ctc=107.829, loss_att=102.140, acc=0.476, loss=103.847, backward_time=0.290, grad_norm=53.323, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.978e-04, train_time=1.365 +[gpua014:0/64] 2023-12-02 22:06:12,008 (trainer:735) INFO: 5epoch:train:1401-1500batch: iter_time=9.178e-05, forward_time=0.148, loss_ctc=110.784, loss_att=102.111, acc=0.508, loss=104.713, backward_time=0.415, grad_norm=51.788, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.976e-04, train_time=1.655 +[gpua014:0/64] 2023-12-02 22:08:24,345 (trainer:735) INFO: 5epoch:train:1501-1600batch: iter_time=9.597e-05, forward_time=0.147, loss_ctc=127.398, loss_att=112.015, acc=0.495, loss=116.630, backward_time=0.292, grad_norm=66.333, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.975e-04, train_time=1.323 +[gpua014:0/64] 2023-12-02 22:10:46,150 (trainer:735) INFO: 5epoch:train:1601-1700batch: iter_time=8.880e-05, forward_time=0.147, loss_ctc=112.139, loss_att=111.340, acc=0.506, loss=111.580, backward_time=0.292, grad_norm=49.645, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.973e-04, train_time=1.418 +[gpua014:0/64] 2023-12-02 22:13:13,881 (trainer:735) INFO: 5epoch:train:1701-1800batch: iter_time=8.792e-05, forward_time=0.147, loss_ctc=99.274, loss_att=92.790, acc=0.524, loss=94.735, backward_time=0.301, grad_norm=46.354, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.080, optim0_lr0=1.971e-04, train_time=1.477 +[gpua014:0/64] 2023-12-02 22:15:38,945 (trainer:735) INFO: 5epoch:train:1801-1900batch: iter_time=9.107e-05, forward_time=0.148, loss_ctc=116.253, loss_att=94.823, acc=0.498, loss=101.252, backward_time=0.315, grad_norm=56.448, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.970e-04, train_time=1.450 +[gpua014:0/64] 2023-12-02 22:18:05,830 (trainer:735) INFO: 5epoch:train:1901-2000batch: iter_time=9.015e-05, forward_time=0.163, loss_ctc=119.214, loss_att=110.864, acc=0.496, loss=113.369, backward_time=0.294, grad_norm=56.177, clip=100.000, loss_scale=7.037e+13, optim_step_time=0.081, optim0_lr0=1.968e-04, train_time=1.469 +[gpua014:0/64] 2023-12-02 22:21:16,149 (trainer:735) INFO: 5epoch:train:2001-2100batch: iter_time=1.009e-04, forward_time=0.226, loss_ctc=100.068, loss_att=85.879, acc=0.546, loss=90.136, backward_time=0.334, grad_norm=46.835, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.083, optim0_lr0=1.967e-04, train_time=1.903 +[gpua014:0/64] 2023-12-02 22:24:07,980 (trainer:735) INFO: 5epoch:train:2101-2200batch: iter_time=8.767e-05, forward_time=0.177, loss_ctc=109.160, loss_att=96.207, acc=0.499, loss=100.093, backward_time=0.414, grad_norm=51.968, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.083, optim0_lr0=1.965e-04, train_time=1.718 +[gpua014:0/64] 2023-12-02 22:26:36,158 (trainer:735) INFO: 5epoch:train:2201-2300batch: iter_time=9.696e-05, forward_time=0.147, loss_ctc=110.828, loss_att=94.971, acc=0.512, loss=99.728, backward_time=0.289, grad_norm=50.086, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.963e-04, train_time=1.482 +[gpua014:0/64] 2023-12-02 22:29:26,049 (trainer:735) INFO: 5epoch:train:2301-2400batch: iter_time=8.902e-05, forward_time=0.146, loss_ctc=110.614, loss_att=96.346, acc=0.542, loss=100.626, backward_time=0.341, grad_norm=49.599, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.962e-04, train_time=1.698 +[gpua014:0/64] 2023-12-02 22:32:00,900 (trainer:735) INFO: 5epoch:train:2401-2500batch: iter_time=9.152e-05, forward_time=0.147, loss_ctc=90.713, loss_att=76.251, acc=0.554, loss=80.590, backward_time=0.300, grad_norm=44.094, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.960e-04, train_time=1.549 +[gpua014:0/64] 2023-12-02 22:32:20,928 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua014:0/64] 2023-12-02 22:32:39,533 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 22:32:43,071 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 22:32:43,071 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua014:0/64] 2023-12-02 22:32:43,075 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 22:40:13,705 (trainer:735) INFO: 5epoch:train:2501-2600batch: iter_time=2.483, forward_time=0.147, loss_ctc=103.848, loss_att=87.966, acc=0.505, loss=92.731, backward_time=0.291, grad_norm=52.754, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.959e-04, train_time=4.928 +[gpua014:0/64] 2023-12-02 22:42:22,058 (trainer:735) INFO: 5epoch:train:2601-2700batch: iter_time=8.133e-05, forward_time=0.147, loss_ctc=112.698, loss_att=107.127, acc=0.502, loss=108.798, backward_time=0.286, grad_norm=55.854, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.957e-04, train_time=1.283 +[gpua014:0/64] 2023-12-02 22:44:24,166 (trainer:735) INFO: 5epoch:train:2701-2800batch: iter_time=7.829e-05, forward_time=0.146, loss_ctc=106.664, loss_att=96.902, acc=0.514, loss=99.831, backward_time=0.287, grad_norm=47.583, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.956e-04, train_time=1.221 +[gpua014:0/64] 2023-12-02 22:46:28,469 (trainer:735) INFO: 5epoch:train:2801-2900batch: iter_time=8.753e-05, forward_time=0.147, loss_ctc=122.852, loss_att=114.924, acc=0.505, loss=117.303, backward_time=0.282, grad_norm=60.588, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.082, optim0_lr0=1.954e-04, train_time=1.243 +[gpua014:0/64] 2023-12-02 22:48:41,574 (trainer:735) INFO: 5epoch:train:2901-3000batch: iter_time=8.426e-05, forward_time=0.148, loss_ctc=108.580, loss_att=99.240, acc=0.531, loss=102.042, backward_time=0.295, grad_norm=47.464, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.953e-04, train_time=1.331 +[gpua014:0/64] 2023-12-02 22:50:44,408 (trainer:735) INFO: 5epoch:train:3001-3100batch: iter_time=8.272e-05, forward_time=0.149, loss_ctc=95.845, loss_att=88.957, acc=0.516, loss=91.023, backward_time=0.277, grad_norm=43.993, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.951e-04, train_time=1.228 +[gpua014:0/64] 2023-12-02 22:52:50,551 (trainer:735) INFO: 5epoch:train:3101-3200batch: iter_time=8.174e-05, forward_time=0.147, loss_ctc=121.930, loss_att=97.876, acc=0.518, loss=105.092, backward_time=0.291, grad_norm=64.464, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.949e-04, train_time=1.261 +[gpua014:0/64] 2023-12-02 22:54:55,109 (trainer:735) INFO: 5epoch:train:3201-3300batch: iter_time=9.005e-05, forward_time=0.148, loss_ctc=107.702, loss_att=96.965, acc=0.531, loss=100.186, backward_time=0.280, grad_norm=49.099, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.948e-04, train_time=1.245 +[gpua014:0/64] 2023-12-02 22:57:09,488 (trainer:735) INFO: 5epoch:train:3301-3400batch: iter_time=8.815e-05, forward_time=0.147, loss_ctc=95.758, loss_att=78.849, acc=0.542, loss=83.922, backward_time=0.282, grad_norm=42.029, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.946e-04, train_time=1.344 +[gpua014:0/64] 2023-12-02 22:59:39,260 (trainer:735) INFO: 5epoch:train:3401-3500batch: iter_time=8.155e-05, forward_time=0.147, loss_ctc=113.475, loss_att=100.097, acc=0.507, loss=104.110, backward_time=0.312, grad_norm=54.744, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.945e-04, train_time=1.498 +[gpua014:0/64] 2023-12-02 23:01:51,046 (trainer:735) INFO: 5epoch:train:3501-3600batch: iter_time=8.410e-05, forward_time=0.154, loss_ctc=112.172, loss_att=102.030, acc=0.516, loss=105.073, backward_time=0.283, grad_norm=50.074, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.943e-04, train_time=1.318 +[gpua014:0/64] 2023-12-02 23:04:43,798 (trainer:735) INFO: 5epoch:train:3601-3700batch: iter_time=8.192e-05, forward_time=0.196, loss_ctc=93.780, loss_att=75.578, acc=0.578, loss=81.039, backward_time=0.450, grad_norm=39.885, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.090, optim0_lr0=1.942e-04, train_time=1.727 +[gpua014:0/64] 2023-12-02 23:05:50,085 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua014:0/64] 2023-12-02 23:06:08,647 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 23:06:12,156 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 23:06:12,157 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua014:0/64] 2023-12-02 23:06:12,160 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 23:14:01,263 (trainer:735) INFO: 5epoch:train:3701-3800batch: iter_time=1.318, forward_time=0.190, loss_ctc=99.844, loss_att=80.580, acc=0.544, loss=86.359, backward_time=0.291, grad_norm=49.397, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.082, optim0_lr0=1.940e-04, train_time=5.574 +[gpua014:0/64] 2023-12-02 23:15:58,727 (trainer:735) INFO: 5epoch:train:3801-3900batch: iter_time=7.886e-05, forward_time=0.146, loss_ctc=102.800, loss_att=95.147, acc=0.497, loss=97.442, backward_time=0.276, grad_norm=51.200, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.081, optim0_lr0=1.939e-04, train_time=1.175 +[gpua014:0/64] 2023-12-02 23:17:58,819 (trainer:735) INFO: 5epoch:train:3901-4000batch: iter_time=7.950e-05, forward_time=0.146, loss_ctc=107.442, loss_att=96.401, acc=0.526, loss=99.713, backward_time=0.277, grad_norm=54.408, clip=100.000, loss_scale=1.407e+14, optim_step_time=0.080, optim0_lr0=1.937e-04, train_time=1.201 +[gpua014:0/64] 2023-12-02 23:20:02,565 (trainer:735) INFO: 5epoch:train:4001-4100batch: iter_time=8.264e-05, forward_time=0.148, loss_ctc=122.133, loss_att=106.846, acc=0.513, loss=111.432, backward_time=0.278, grad_norm=58.939, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.936e-04, train_time=1.237 +[gpua014:0/64] 2023-12-02 23:22:41,597 (trainer:735) INFO: 5epoch:train:4101-4200batch: iter_time=8.341e-05, forward_time=0.146, loss_ctc=108.007, loss_att=104.629, acc=0.525, loss=105.643, backward_time=0.327, grad_norm=46.565, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.934e-04, train_time=1.590 +[gpua014:0/64] 2023-12-02 23:24:51,722 (trainer:735) INFO: 5epoch:train:4201-4300batch: iter_time=8.133e-05, forward_time=0.145, loss_ctc=96.327, loss_att=87.514, acc=0.543, loss=90.158, backward_time=0.283, grad_norm=43.057, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.933e-04, train_time=1.301 +[gpua014:0/64] 2023-12-02 23:27:13,960 (trainer:735) INFO: 5epoch:train:4301-4400batch: iter_time=9.028e-05, forward_time=0.146, loss_ctc=111.265, loss_att=88.522, acc=0.519, loss=95.345, backward_time=0.287, grad_norm=50.357, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.931e-04, train_time=1.422 +[gpua014:0/64] 2023-12-02 23:29:21,180 (trainer:735) INFO: 5epoch:train:4401-4500batch: iter_time=8.659e-05, forward_time=0.146, loss_ctc=115.042, loss_att=105.613, acc=0.514, loss=108.442, backward_time=0.279, grad_norm=53.217, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.930e-04, train_time=1.272 +[gpua014:0/64] 2023-12-02 23:31:26,728 (trainer:735) INFO: 5epoch:train:4501-4600batch: iter_time=8.134e-05, forward_time=0.146, loss_ctc=95.745, loss_att=80.494, acc=0.565, loss=85.069, backward_time=0.279, grad_norm=42.330, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.928e-04, train_time=1.255 +[gpua014:0/64] 2023-12-02 23:33:50,789 (trainer:735) INFO: 5epoch:train:4601-4700batch: iter_time=7.782e-05, forward_time=0.149, loss_ctc=104.190, loss_att=91.003, acc=0.515, loss=94.959, backward_time=0.293, grad_norm=52.464, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.927e-04, train_time=1.440 +[gpua014:0/64] 2023-12-02 23:36:03,477 (trainer:735) INFO: 5epoch:train:4701-4800batch: iter_time=8.568e-05, forward_time=0.148, loss_ctc=106.443, loss_att=89.843, acc=0.531, loss=94.823, backward_time=0.301, grad_norm=48.980, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.925e-04, train_time=1.327 +[gpua014:0/64] 2023-12-02 23:38:34,688 (trainer:735) INFO: 5epoch:train:4801-4900batch: iter_time=8.245e-05, forward_time=0.146, loss_ctc=107.894, loss_att=91.112, acc=0.559, loss=96.147, backward_time=0.304, grad_norm=48.763, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.924e-04, train_time=1.512 +[gpua014:0/64] 2023-12-02 23:40:50,624 (trainer:735) INFO: 5epoch:train:4901-5000batch: iter_time=8.559e-05, forward_time=0.145, loss_ctc=87.074, loss_att=72.664, acc=0.570, loss=76.987, backward_time=0.287, grad_norm=42.296, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.922e-04, train_time=1.359 +[gpua014:0/64] 2023-12-02 23:41:10,429 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua014:0/64] 2023-12-02 23:41:28,760 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-02 23:41:32,253 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-02 23:41:32,253 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua014:0/64] 2023-12-02 23:41:32,256 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-02 23:48:58,597 (trainer:735) INFO: 5epoch:train:5001-5100batch: iter_time=3.656, forward_time=0.185, loss_ctc=100.104, loss_att=85.929, acc=0.520, loss=90.181, backward_time=0.290, grad_norm=49.081, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.083, optim0_lr0=1.921e-04, train_time=4.879 +[gpua014:0/64] 2023-12-02 23:50:59,056 (trainer:735) INFO: 5epoch:train:5101-5200batch: iter_time=8.819e-05, forward_time=0.146, loss_ctc=108.283, loss_att=106.533, acc=0.523, loss=107.058, backward_time=0.278, grad_norm=52.062, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.919e-04, train_time=1.204 +[gpua014:0/64] 2023-12-02 23:52:57,871 (trainer:735) INFO: 5epoch:train:5201-5300batch: iter_time=9.174e-05, forward_time=0.147, loss_ctc=102.005, loss_att=95.928, acc=0.532, loss=97.751, backward_time=0.277, grad_norm=45.203, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.918e-04, train_time=1.188 +[gpua014:0/64] 2023-12-02 23:55:09,066 (trainer:735) INFO: 5epoch:train:5301-5400batch: iter_time=1.060e-04, forward_time=0.148, loss_ctc=119.577, loss_att=111.700, acc=0.526, loss=114.063, backward_time=0.282, grad_norm=56.202, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.916e-04, train_time=1.312 +[gpua014:0/64] 2023-12-02 23:57:40,537 (trainer:735) INFO: 5epoch:train:5401-5500batch: iter_time=9.868e-05, forward_time=0.148, loss_ctc=104.058, loss_att=97.256, acc=0.553, loss=99.297, backward_time=0.299, grad_norm=47.754, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.915e-04, train_time=1.514 +[gpua014:0/64] 2023-12-02 23:59:45,452 (trainer:735) INFO: 5epoch:train:5501-5600batch: iter_time=8.972e-05, forward_time=0.163, loss_ctc=91.515, loss_att=87.067, acc=0.539, loss=88.401, backward_time=0.313, grad_norm=41.983, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.085, optim0_lr0=1.913e-04, train_time=1.249 +[gpua014:0/64] 2023-12-03 00:02:07,331 (trainer:735) INFO: 5epoch:train:5601-5700batch: iter_time=9.249e-05, forward_time=0.147, loss_ctc=118.320, loss_att=96.896, acc=0.536, loss=103.323, backward_time=0.300, grad_norm=66.101, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.081, optim0_lr0=1.912e-04, train_time=1.419 +[gpua014:0/64] 2023-12-03 00:04:25,136 (trainer:735) INFO: 5epoch:train:5701-5800batch: iter_time=1.015e-04, forward_time=0.161, loss_ctc=105.254, loss_att=95.240, acc=0.555, loss=98.244, backward_time=0.309, grad_norm=48.976, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.083, optim0_lr0=1.911e-04, train_time=1.378 +[gpua014:0/64] 2023-12-03 00:06:31,867 (trainer:735) INFO: 5epoch:train:5801-5900batch: iter_time=9.639e-05, forward_time=0.168, loss_ctc=93.398, loss_att=76.373, acc=0.561, loss=81.480, backward_time=0.311, grad_norm=41.320, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.082, optim0_lr0=1.909e-04, train_time=1.267 +[gpua014:0/64] 2023-12-03 00:08:30,155 (trainer:735) INFO: 5epoch:train:5901-6000batch: iter_time=9.549e-05, forward_time=0.147, loss_ctc=108.050, loss_att=97.723, acc=0.527, loss=100.821, backward_time=0.278, grad_norm=51.406, clip=100.000, loss_scale=2.815e+14, optim_step_time=0.080, optim0_lr0=1.908e-04, train_time=1.183 +[gpua014:0/64] 2023-12-03 00:11:14,901 (trainer:735) INFO: 5epoch:train:6001-6100batch: iter_time=9.184e-05, forward_time=0.147, loss_ctc=109.043, loss_att=99.410, acc=0.540, loss=102.300, backward_time=0.351, grad_norm=48.952, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.906e-04, train_time=1.647 +[gpua014:0/64] 2023-12-03 00:13:38,347 (trainer:735) INFO: 5epoch:train:6101-6200batch: iter_time=8.680e-05, forward_time=0.196, loss_ctc=90.610, loss_att=72.813, acc=0.600, loss=78.152, backward_time=0.322, grad_norm=39.080, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.082, optim0_lr0=1.905e-04, train_time=1.434 +[gpua014:0/64] 2023-12-03 00:15:02,840 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua014:0/64] 2023-12-03 00:15:21,031 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 00:15:24,571 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 00:15:24,572 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua014:0/64] 2023-12-03 00:15:24,575 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 00:20:22,824 (trainer:735) INFO: 5epoch:train:6201-6300batch: iter_time=2.607, forward_time=0.148, loss_ctc=96.392, loss_att=77.839, acc=0.561, loss=83.405, backward_time=0.279, grad_norm=50.390, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.903e-04, train_time=4.045 +[gpua014:0/64] 2023-12-03 00:22:18,390 (trainer:735) INFO: 5epoch:train:6301-6400batch: iter_time=7.433e-05, forward_time=0.146, loss_ctc=100.079, loss_att=92.963, acc=0.510, loss=95.098, backward_time=0.277, grad_norm=51.488, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.902e-04, train_time=1.155 +[gpua014:0/64] 2023-12-03 00:24:15,498 (trainer:735) INFO: 5epoch:train:6401-6500batch: iter_time=7.772e-05, forward_time=0.146, loss_ctc=102.114, loss_att=93.530, acc=0.541, loss=96.105, backward_time=0.277, grad_norm=47.072, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.900e-04, train_time=1.171 +[gpua014:0/64] 2023-12-03 00:26:13,443 (trainer:735) INFO: 5epoch:train:6501-6600batch: iter_time=8.273e-05, forward_time=0.146, loss_ctc=117.959, loss_att=103.830, acc=0.524, loss=108.069, backward_time=0.278, grad_norm=62.431, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.899e-04, train_time=1.179 +[gpua014:0/64] 2023-12-03 00:28:46,449 (trainer:735) INFO: 5epoch:train:6601-6700batch: iter_time=8.456e-05, forward_time=0.147, loss_ctc=103.505, loss_att=100.403, acc=0.539, loss=101.334, backward_time=0.291, grad_norm=45.497, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.898e-04, train_time=1.530 +[gpua014:0/64] 2023-12-03 00:30:54,765 (trainer:735) INFO: 5epoch:train:6701-6800batch: iter_time=8.493e-05, forward_time=0.147, loss_ctc=93.986, loss_att=85.633, acc=0.556, loss=88.139, backward_time=0.279, grad_norm=41.541, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.896e-04, train_time=1.283 +[gpua014:0/64] 2023-12-03 00:33:25,367 (trainer:735) INFO: 5epoch:train:6801-6900batch: iter_time=9.429e-05, forward_time=0.177, loss_ctc=106.935, loss_att=84.965, acc=0.535, loss=91.556, backward_time=0.318, grad_norm=48.987, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.082, optim0_lr0=1.895e-04, train_time=1.506 +[gpua014:0/64] 2023-12-03 00:35:37,088 (trainer:735) INFO: 5epoch:train:6901-7000batch: iter_time=8.528e-05, forward_time=0.187, loss_ctc=111.565, loss_att=100.022, acc=0.531, loss=103.485, backward_time=0.315, grad_norm=56.642, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.083, optim0_lr0=1.893e-04, train_time=1.317 +[gpua014:0/64] 2023-12-03 00:37:36,997 (trainer:735) INFO: 5epoch:train:7001-7100batch: iter_time=8.900e-05, forward_time=0.147, loss_ctc=93.324, loss_att=77.796, acc=0.577, loss=82.454, backward_time=0.280, grad_norm=42.727, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.892e-04, train_time=1.199 +[gpua014:0/64] 2023-12-03 00:39:48,643 (trainer:735) INFO: 5epoch:train:7101-7200batch: iter_time=8.385e-05, forward_time=0.147, loss_ctc=101.865, loss_att=88.511, acc=0.528, loss=92.517, backward_time=0.296, grad_norm=47.727, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.081, optim0_lr0=1.891e-04, train_time=1.316 +[gpua014:0/64] 2023-12-03 00:42:38,454 (trainer:735) INFO: 5epoch:train:7201-7300batch: iter_time=8.416e-05, forward_time=0.178, loss_ctc=103.315, loss_att=86.719, acc=0.545, loss=91.698, backward_time=0.357, grad_norm=47.072, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.084, optim0_lr0=1.889e-04, train_time=1.698 +[gpua014:0/64] 2023-12-03 00:44:45,810 (trainer:735) INFO: 5epoch:train:7301-7400batch: iter_time=8.296e-05, forward_time=0.147, loss_ctc=104.482, loss_att=88.572, acc=0.570, loss=93.345, backward_time=0.284, grad_norm=43.631, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.888e-04, train_time=1.273 +[gpua014:0/64] 2023-12-03 00:47:04,442 (trainer:735) INFO: 5epoch:train:7401-7500batch: iter_time=8.236e-05, forward_time=0.146, loss_ctc=84.201, loss_att=69.642, acc=0.583, loss=74.010, backward_time=0.289, grad_norm=41.467, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.081, optim0_lr0=1.886e-04, train_time=1.386 +[gpua014:0/64] 2023-12-03 00:47:22,067 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua014:0/64] 2023-12-03 00:47:40,711 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 00:47:44,335 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 00:47:44,335 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua014:0/64] 2023-12-03 00:47:44,338 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 00:54:03,683 (trainer:735) INFO: 5epoch:train:7501-7600batch: iter_time=2.944, forward_time=0.169, loss_ctc=96.894, loss_att=81.138, acc=0.534, loss=85.865, backward_time=0.281, grad_norm=49.279, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.885e-04, train_time=4.192 +[gpua014:0/64] 2023-12-03 00:56:02,867 (trainer:735) INFO: 5epoch:train:7601-7700batch: iter_time=9.003e-05, forward_time=0.147, loss_ctc=105.252, loss_att=98.143, acc=0.535, loss=100.276, backward_time=0.278, grad_norm=51.734, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.884e-04, train_time=1.192 +[gpua014:0/64] 2023-12-03 00:57:58,395 (trainer:735) INFO: 5epoch:train:7701-7800batch: iter_time=8.573e-05, forward_time=0.147, loss_ctc=100.074, loss_att=88.568, acc=0.545, loss=92.020, backward_time=0.279, grad_norm=47.761, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.882e-04, train_time=1.155 +[gpua014:0/64] 2023-12-03 01:00:16,377 (trainer:735) INFO: 5epoch:train:7801-7900batch: iter_time=8.622e-05, forward_time=0.147, loss_ctc=116.888, loss_att=107.667, acc=0.531, loss=110.434, backward_time=0.287, grad_norm=55.767, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.881e-04, train_time=1.380 +[gpua014:0/64] 2023-12-03 01:02:48,955 (trainer:735) INFO: 5epoch:train:7901-8000batch: iter_time=8.966e-05, forward_time=0.147, loss_ctc=102.369, loss_att=91.704, acc=0.559, loss=94.903, backward_time=0.286, grad_norm=46.825, clip=100.000, loss_scale=5.629e+14, optim_step_time=0.080, optim0_lr0=1.879e-04, train_time=1.526 +[gpua014:0/64] 2023-12-03 01:04:55,550 (trainer:735) INFO: 5epoch:train:8001-8100batch: iter_time=9.746e-05, forward_time=0.183, loss_ctc=89.244, loss_att=81.696, acc=0.547, loss=83.960, backward_time=0.295, grad_norm=41.196, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.083, optim0_lr0=1.878e-04, train_time=1.266 +[gpua014:0/64] 2023-12-03 01:07:25,740 (trainer:735) INFO: 5epoch:train:8101-8200batch: iter_time=9.594e-05, forward_time=0.148, loss_ctc=113.849, loss_att=90.734, acc=0.547, loss=97.669, backward_time=0.293, grad_norm=60.822, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.877e-04, train_time=1.502 +[gpua014:0/64] 2023-12-03 01:09:38,435 (trainer:735) INFO: 5epoch:train:8201-8300batch: iter_time=9.492e-05, forward_time=0.147, loss_ctc=102.706, loss_att=90.387, acc=0.559, loss=94.083, backward_time=0.288, grad_norm=50.183, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.875e-04, train_time=1.327 +[gpua014:0/64] 2023-12-03 01:11:53,487 (trainer:735) INFO: 5epoch:train:8301-8400batch: iter_time=8.637e-05, forward_time=0.147, loss_ctc=89.781, loss_att=71.770, acc=0.571, loss=77.173, backward_time=0.313, grad_norm=42.223, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.874e-04, train_time=1.350 +[gpua014:0/64] 2023-12-03 01:13:53,101 (trainer:735) INFO: 5epoch:train:8401-8500batch: iter_time=9.098e-05, forward_time=0.147, loss_ctc=106.994, loss_att=93.122, acc=0.534, loss=97.284, backward_time=0.279, grad_norm=51.829, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.872e-04, train_time=1.196 +[gpua014:0/64] 2023-12-03 01:16:19,357 (trainer:735) INFO: 5epoch:train:8501-8600batch: iter_time=9.139e-05, forward_time=0.147, loss_ctc=106.216, loss_att=94.423, acc=0.546, loss=97.961, backward_time=0.304, grad_norm=47.540, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.871e-04, train_time=1.462 +[gpua014:0/64] 2023-12-03 01:18:34,178 (trainer:735) INFO: 5epoch:train:8601-8700batch: iter_time=8.909e-05, forward_time=0.202, loss_ctc=87.658, loss_att=69.305, acc=0.609, loss=74.811, backward_time=0.322, grad_norm=39.086, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.087, optim0_lr0=1.870e-04, train_time=1.348 +[gpua014:0/64] 2023-12-03 01:19:53,195 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua014:0/64] 2023-12-03 01:20:12,003 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 01:20:15,670 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 01:20:15,670 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua014:0/64] 2023-12-03 01:20:15,674 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 01:25:20,181 (trainer:735) INFO: 5epoch:train:8701-8800batch: iter_time=2.303, forward_time=0.178, loss_ctc=93.312, loss_att=74.929, acc=0.576, loss=80.444, backward_time=0.283, grad_norm=47.399, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.082, optim0_lr0=1.868e-04, train_time=4.060 +[gpua014:0/64] 2023-12-03 01:27:15,366 (trainer:735) INFO: 5epoch:train:8801-8900batch: iter_time=7.643e-05, forward_time=0.147, loss_ctc=96.233, loss_att=92.820, acc=0.520, loss=93.844, backward_time=0.277, grad_norm=47.224, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.081, optim0_lr0=1.867e-04, train_time=1.152 +[gpua014:0/64] 2023-12-03 01:29:24,360 (trainer:735) INFO: 5epoch:train:8901-9000batch: iter_time=7.996e-05, forward_time=0.147, loss_ctc=99.131, loss_att=92.896, acc=0.556, loss=94.766, backward_time=0.280, grad_norm=45.312, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.866e-04, train_time=1.290 +[gpua014:0/64] 2023-12-03 01:31:29,584 (trainer:735) INFO: 5epoch:train:9001-9100batch: iter_time=7.818e-05, forward_time=0.147, loss_ctc=116.536, loss_att=104.030, acc=0.542, loss=107.781, backward_time=0.279, grad_norm=69.595, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.864e-04, train_time=1.252 +[gpua014:0/64] 2023-12-03 01:33:33,472 (trainer:735) INFO: 5epoch:train:9101-9200batch: iter_time=8.497e-05, forward_time=0.147, loss_ctc=102.740, loss_att=100.954, acc=0.555, loss=101.490, backward_time=0.293, grad_norm=45.642, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.863e-04, train_time=1.239 +[gpua014:0/64] 2023-12-03 01:35:34,433 (trainer:735) INFO: 5epoch:train:9201-9300batch: iter_time=8.740e-05, forward_time=0.147, loss_ctc=90.758, loss_att=83.266, acc=0.575, loss=85.514, backward_time=0.285, grad_norm=40.360, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.862e-04, train_time=1.209 +[gpua014:0/64] 2023-12-03 01:37:44,488 (trainer:735) INFO: 5epoch:train:9301-9400batch: iter_time=8.180e-05, forward_time=0.192, loss_ctc=105.255, loss_att=83.833, acc=0.556, loss=90.259, backward_time=0.333, grad_norm=48.719, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.086, optim0_lr0=1.860e-04, train_time=1.300 +[gpua014:0/64] 2023-12-03 01:39:50,805 (trainer:735) INFO: 5epoch:train:9401-9500batch: iter_time=7.740e-05, forward_time=0.164, loss_ctc=109.705, loss_att=100.969, acc=0.546, loss=103.590, backward_time=0.293, grad_norm=55.096, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.859e-04, train_time=1.263 +[gpua014:0/64] 2023-12-03 01:42:15,231 (trainer:735) INFO: 5epoch:train:9501-9600batch: iter_time=8.291e-05, forward_time=0.146, loss_ctc=90.888, loss_att=76.529, acc=0.599, loss=80.836, backward_time=0.288, grad_norm=40.278, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.081, optim0_lr0=1.858e-04, train_time=1.444 +[gpua014:0/64] 2023-12-03 01:44:26,811 (trainer:735) INFO: 5epoch:train:9601-9700batch: iter_time=8.187e-05, forward_time=0.146, loss_ctc=98.432, loss_att=87.252, acc=0.542, loss=90.606, backward_time=0.284, grad_norm=52.089, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.856e-04, train_time=1.316 +[gpua014:0/64] 2023-12-03 01:46:41,795 (trainer:735) INFO: 5epoch:train:9701-9800batch: iter_time=7.987e-05, forward_time=0.146, loss_ctc=100.615, loss_att=85.238, acc=0.560, loss=89.851, backward_time=0.281, grad_norm=45.534, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.855e-04, train_time=1.350 +[gpua014:0/64] 2023-12-03 01:49:06,760 (trainer:735) INFO: 5epoch:train:9801-9900batch: iter_time=7.981e-05, forward_time=0.147, loss_ctc=101.893, loss_att=86.447, acc=0.588, loss=91.081, backward_time=0.306, grad_norm=45.398, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.080, optim0_lr0=1.854e-04, train_time=1.449 +[gpua014:0/64] 2023-12-03 01:51:23,199 (trainer:735) INFO: 5epoch:train:9901-10000batch: iter_time=8.891e-05, forward_time=0.191, loss_ctc=82.366, loss_att=68.740, acc=0.601, loss=72.828, backward_time=0.285, grad_norm=39.810, clip=100.000, loss_scale=1.126e+15, optim_step_time=0.089, optim0_lr0=1.852e-04, train_time=1.364 +[gpua014:0/64] 2023-12-03 01:51:43,259 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua014:0/64] 2023-12-03 01:52:01,973 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 01:52:05,602 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 01:52:05,603 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua014:0/64] 2023-12-03 01:52:05,606 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 01:58:11,854 (trainer:735) INFO: 5epoch:train:10001-10100batch: iter_time=2.745, forward_time=0.147, loss_ctc=94.105, loss_att=78.990, acc=0.550, loss=83.524, backward_time=0.279, grad_norm=49.626, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.851e-04, train_time=4.087 +[gpua014:0/64] 2023-12-03 02:00:15,541 (trainer:735) INFO: 5epoch:train:10101-10200batch: iter_time=8.204e-05, forward_time=0.147, loss_ctc=103.487, loss_att=96.929, acc=0.552, loss=98.896, backward_time=0.278, grad_norm=52.996, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.850e-04, train_time=1.237 +[gpua014:0/64] 2023-12-03 02:02:20,218 (trainer:735) INFO: 5epoch:train:10201-10300batch: iter_time=8.035e-05, forward_time=0.147, loss_ctc=97.395, loss_att=87.491, acc=0.560, loss=90.462, backward_time=0.284, grad_norm=45.554, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.848e-04, train_time=1.247 +[gpua014:0/64] 2023-12-03 02:04:39,610 (trainer:735) INFO: 5epoch:train:10301-10400batch: iter_time=8.290e-05, forward_time=0.147, loss_ctc=113.820, loss_att=105.534, acc=0.548, loss=108.020, backward_time=0.287, grad_norm=55.513, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.847e-04, train_time=1.394 +[gpua014:0/64] 2023-12-03 02:06:41,122 (trainer:735) INFO: 5epoch:train:10401-10500batch: iter_time=8.723e-05, forward_time=0.147, loss_ctc=99.636, loss_att=90.884, acc=0.575, loss=93.510, backward_time=0.287, grad_norm=43.331, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.846e-04, train_time=1.215 +[gpua014:0/64] 2023-12-03 02:08:50,879 (trainer:735) INFO: 5epoch:train:10501-10600batch: iter_time=8.097e-05, forward_time=0.192, loss_ctc=86.957, loss_att=80.673, acc=0.567, loss=82.558, backward_time=0.318, grad_norm=38.507, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.083, optim0_lr0=1.844e-04, train_time=1.297 +[gpua014:0/64] 2023-12-03 02:10:56,209 (trainer:735) INFO: 5epoch:train:10601-10700batch: iter_time=7.810e-05, forward_time=0.148, loss_ctc=112.108, loss_att=90.172, acc=0.563, loss=96.753, backward_time=0.282, grad_norm=59.905, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.843e-04, train_time=1.253 +[gpua014:0/64] 2023-12-03 02:13:06,800 (trainer:735) INFO: 5epoch:train:10701-10800batch: iter_time=8.172e-05, forward_time=0.148, loss_ctc=100.617, loss_att=89.607, acc=0.579, loss=92.910, backward_time=0.299, grad_norm=46.384, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.842e-04, train_time=1.306 +[gpua014:0/64] 2023-12-03 02:15:17,705 (trainer:735) INFO: 5epoch:train:10801-10900batch: iter_time=8.352e-05, forward_time=0.147, loss_ctc=88.190, loss_att=70.617, acc=0.586, loss=75.889, backward_time=0.288, grad_norm=39.917, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.840e-04, train_time=1.309 +[gpua014:0/64] 2023-12-03 02:17:34,612 (trainer:735) INFO: 5epoch:train:10901-11000batch: iter_time=8.618e-05, forward_time=0.148, loss_ctc=103.820, loss_att=91.822, acc=0.551, loss=95.422, backward_time=0.284, grad_norm=51.342, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.839e-04, train_time=1.369 +[gpua014:0/64] 2023-12-03 02:20:09,438 (trainer:735) INFO: 5epoch:train:11001-11100batch: iter_time=8.539e-05, forward_time=0.147, loss_ctc=103.451, loss_att=93.492, acc=0.563, loss=96.480, backward_time=0.321, grad_norm=47.185, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.838e-04, train_time=1.548 +[gpua014:0/64] 2023-12-03 02:22:30,559 (trainer:735) INFO: 5epoch:train:11101-11200batch: iter_time=8.884e-05, forward_time=0.159, loss_ctc=86.625, loss_att=68.512, acc=0.624, loss=73.946, backward_time=0.303, grad_norm=37.413, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.083, optim0_lr0=1.837e-04, train_time=1.411 +[gpua014:0/64] 2023-12-03 02:24:24,667 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua014:0/64] 2023-12-03 02:24:43,661 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 02:24:47,290 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 02:24:47,290 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua014:0/64] 2023-12-03 02:24:47,293 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 02:34:04,767 (trainer:735) INFO: 5epoch:train:11201-11300batch: iter_time=1.635, forward_time=0.202, loss_ctc=90.797, loss_att=73.580, acc=0.585, loss=78.745, backward_time=0.312, grad_norm=45.645, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.081, optim0_lr0=1.835e-04, train_time=6.942 +[gpua014:0/64] 2023-12-03 02:36:00,723 (trainer:735) INFO: 5epoch:train:11301-11400batch: iter_time=7.543e-05, forward_time=0.147, loss_ctc=94.369, loss_att=87.566, acc=0.533, loss=89.607, backward_time=0.278, grad_norm=50.053, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.834e-04, train_time=1.159 +[gpua014:0/64] 2023-12-03 02:37:55,972 (trainer:735) INFO: 5epoch:train:11401-11500batch: iter_time=8.467e-05, forward_time=0.147, loss_ctc=97.362, loss_att=88.194, acc=0.565, loss=90.945, backward_time=0.278, grad_norm=45.373, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.833e-04, train_time=1.152 +[gpua014:0/64] 2023-12-03 02:39:58,799 (trainer:735) INFO: 5epoch:train:11501-11600batch: iter_time=8.374e-05, forward_time=0.154, loss_ctc=112.328, loss_att=98.091, acc=0.548, loss=102.362, backward_time=0.299, grad_norm=60.002, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.081, optim0_lr0=1.831e-04, train_time=1.228 +[gpua014:0/64] 2023-12-03 02:42:06,613 (trainer:735) INFO: 5epoch:train:11601-11700batch: iter_time=8.452e-05, forward_time=0.147, loss_ctc=99.950, loss_att=96.572, acc=0.559, loss=97.586, backward_time=0.301, grad_norm=44.279, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.830e-04, train_time=1.278 +[gpua014:0/64] 2023-12-03 02:44:22,163 (trainer:735) INFO: 5epoch:train:11701-11800batch: iter_time=9.163e-05, forward_time=0.148, loss_ctc=89.373, loss_att=79.972, acc=0.579, loss=82.792, backward_time=0.284, grad_norm=42.702, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.829e-04, train_time=1.355 +[gpua014:0/64] 2023-12-03 02:46:32,096 (trainer:735) INFO: 5epoch:train:11801-11900batch: iter_time=9.334e-05, forward_time=0.148, loss_ctc=102.756, loss_att=79.930, acc=0.559, loss=86.777, backward_time=0.290, grad_norm=47.849, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.828e-04, train_time=1.299 +[gpua014:0/64] 2023-12-03 02:49:14,900 (trainer:735) INFO: 5epoch:train:11901-12000batch: iter_time=1.027e-04, forward_time=0.147, loss_ctc=105.631, loss_att=96.110, acc=0.550, loss=98.966, backward_time=0.325, grad_norm=54.837, clip=100.000, loss_scale=2.252e+15, optim_step_time=0.080, optim0_lr0=1.826e-04, train_time=1.628 +[gpua014:0/64] 2023-12-03 02:51:39,015 (trainer:735) INFO: 5epoch:train:12001-12100batch: iter_time=1.081e-04, forward_time=0.150, loss_ctc=89.915, loss_att=74.404, acc=0.596, loss=79.057, backward_time=0.308, grad_norm=41.062, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.080, optim0_lr0=1.825e-04, train_time=1.441 +[gpua014:0/64] 2023-12-03 02:53:52,602 (trainer:735) INFO: 5epoch:train:12101-12200batch: iter_time=1.020e-04, forward_time=0.162, loss_ctc=96.899, loss_att=83.504, acc=0.550, loss=87.523, backward_time=0.282, grad_norm=48.257, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.824e-04, train_time=1.336 +[gpua014:0/64] 2023-12-03 02:55:59,837 (trainer:735) INFO: 5epoch:train:12201-12300batch: iter_time=1.021e-04, forward_time=0.163, loss_ctc=97.734, loss_att=81.795, acc=0.566, loss=86.577, backward_time=0.282, grad_norm=47.691, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.082, optim0_lr0=1.823e-04, train_time=1.272 +[gpua014:0/64] 2023-12-03 02:58:35,755 (trainer:735) INFO: 5epoch:train:12301-12400batch: iter_time=8.333e-05, forward_time=0.147, loss_ctc=100.118, loss_att=83.887, acc=0.592, loss=88.756, backward_time=0.319, grad_norm=47.628, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.821e-04, train_time=1.559 +[gpua014:0/64] 2023-12-03 03:00:45,747 (trainer:735) INFO: 5epoch:train:12401-12500batch: iter_time=7.893e-05, forward_time=0.191, loss_ctc=79.990, loss_att=65.802, acc=0.605, loss=70.058, backward_time=0.307, grad_norm=37.151, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.083, optim0_lr0=1.820e-04, train_time=1.300 +[gpua014:0/64] 2023-12-03 03:01:05,777 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua014:0/64] 2023-12-03 03:01:24,660 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 03:01:28,304 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 03:01:28,304 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua014:0/64] 2023-12-03 03:01:28,307 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 03:07:33,915 (trainer:735) INFO: 5epoch:train:12501-12600batch: iter_time=2.825, forward_time=0.162, loss_ctc=92.262, loss_att=78.244, acc=0.557, loss=82.449, backward_time=0.281, grad_norm=47.638, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.819e-04, train_time=4.082 +[gpua014:0/64] 2023-12-03 03:09:31,457 (trainer:735) INFO: 5epoch:train:12601-12700batch: iter_time=7.974e-05, forward_time=0.147, loss_ctc=100.633, loss_att=96.188, acc=0.559, loss=97.521, backward_time=0.286, grad_norm=52.079, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.818e-04, train_time=1.175 +[gpua014:0/64] 2023-12-03 03:11:39,373 (trainer:735) INFO: 5epoch:train:12701-12800batch: iter_time=8.358e-05, forward_time=0.148, loss_ctc=95.691, loss_att=87.752, acc=0.565, loss=90.134, backward_time=0.283, grad_norm=46.598, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.816e-04, train_time=1.279 +[gpua014:0/64] 2023-12-03 03:13:36,824 (trainer:735) INFO: 5epoch:train:12801-12900batch: iter_time=8.940e-05, forward_time=0.147, loss_ctc=110.113, loss_att=103.035, acc=0.557, loss=105.158, backward_time=0.283, grad_norm=55.483, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.080, optim0_lr0=1.815e-04, train_time=1.174 +[gpua014:0/64] 2023-12-03 03:15:45,664 (trainer:735) INFO: 5epoch:train:12901-13000batch: iter_time=8.969e-05, forward_time=0.156, loss_ctc=97.654, loss_att=87.920, acc=0.586, loss=90.840, backward_time=0.315, grad_norm=42.477, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.085, optim0_lr0=1.814e-04, train_time=1.288 +[gpua014:0/64] 2023-12-03 03:18:10,773 (trainer:735) INFO: 5epoch:train:13001-13100batch: iter_time=8.860e-05, forward_time=0.163, loss_ctc=85.289, loss_att=79.516, acc=0.572, loss=81.248, backward_time=0.295, grad_norm=39.716, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.813e-04, train_time=1.451 +[gpua014:0/64] 2023-12-03 03:20:37,517 (trainer:735) INFO: 5epoch:train:13101-13200batch: iter_time=8.264e-05, forward_time=0.185, loss_ctc=107.983, loss_att=87.991, acc=0.572, loss=93.988, backward_time=0.324, grad_norm=54.231, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.085, optim0_lr0=1.811e-04, train_time=1.467 +[gpua014:0/64] 2023-12-03 03:22:56,520 (trainer:735) INFO: 5epoch:train:13201-13300batch: iter_time=7.944e-05, forward_time=0.149, loss_ctc=98.543, loss_att=87.848, acc=0.589, loss=91.057, backward_time=0.286, grad_norm=45.520, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.810e-04, train_time=1.390 +[gpua014:0/64] 2023-12-03 03:25:35,409 (trainer:735) INFO: 5epoch:train:13301-13400batch: iter_time=8.606e-05, forward_time=0.159, loss_ctc=86.218, loss_att=69.137, acc=0.594, loss=74.262, backward_time=0.312, grad_norm=40.860, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.809e-04, train_time=1.589 +[gpua014:0/64] 2023-12-03 03:27:39,841 (trainer:735) INFO: 5epoch:train:13401-13500batch: iter_time=8.818e-05, forward_time=0.149, loss_ctc=101.606, loss_att=89.706, acc=0.557, loss=93.276, backward_time=0.284, grad_norm=53.566, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.808e-04, train_time=1.244 +[gpua014:0/64] 2023-12-03 03:29:56,026 (trainer:735) INFO: 5epoch:train:13501-13600batch: iter_time=8.137e-05, forward_time=0.148, loss_ctc=101.660, loss_att=91.116, acc=0.572, loss=94.279, backward_time=0.306, grad_norm=48.751, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.806e-04, train_time=1.362 +[gpua014:0/64] 2023-12-03 03:32:18,452 (trainer:735) INFO: 5epoch:train:13601-13700batch: iter_time=8.454e-05, forward_time=0.148, loss_ctc=84.220, loss_att=66.068, acc=0.633, loss=71.513, backward_time=0.295, grad_norm=39.834, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.080, optim0_lr0=1.805e-04, train_time=1.424 +[gpua014:0/64] 2023-12-03 03:33:37,187 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua014:0/64] 2023-12-03 03:33:55,894 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 03:33:59,565 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 03:33:59,565 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua014:0/64] 2023-12-03 03:33:59,568 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 03:38:22,710 (trainer:735) INFO: 5epoch:train:13701-13800batch: iter_time=2.389, forward_time=0.174, loss_ctc=89.117, loss_att=70.284, acc=0.602, loss=75.934, backward_time=0.281, grad_norm=42.954, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.083, optim0_lr0=1.804e-04, train_time=3.642 +[gpua014:0/64] 2023-12-03 03:40:19,195 (trainer:735) INFO: 5epoch:train:13801-13900batch: iter_time=7.928e-05, forward_time=0.148, loss_ctc=92.929, loss_att=85.969, acc=0.546, loss=88.057, backward_time=0.280, grad_norm=46.583, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.082, optim0_lr0=1.803e-04, train_time=1.165 +[gpua014:0/64] 2023-12-03 03:42:15,544 (trainer:735) INFO: 5epoch:train:13901-14000batch: iter_time=8.967e-05, forward_time=0.147, loss_ctc=95.315, loss_att=87.135, acc=0.579, loss=89.589, backward_time=0.281, grad_norm=44.465, clip=100.000, loss_scale=4.504e+15, optim_step_time=0.081, optim0_lr0=1.801e-04, train_time=1.163 +[gpua014:0/64] 2023-12-03 03:44:24,164 (trainer:735) INFO: 5epoch:train:14001-14100batch: iter_time=8.654e-05, forward_time=0.180, loss_ctc=109.162, loss_att=95.988, acc=0.563, loss=99.940, backward_time=0.311, grad_norm=57.173, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.086, optim0_lr0=1.800e-04, train_time=1.286 +[gpua014:0/64] 2023-12-03 03:46:34,212 (trainer:735) INFO: 5epoch:train:14101-14200batch: iter_time=8.525e-05, forward_time=0.148, loss_ctc=98.019, loss_att=94.552, acc=0.576, loss=95.592, backward_time=0.306, grad_norm=44.238, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.082, optim0_lr0=1.799e-04, train_time=1.300 +[gpua014:0/64] 2023-12-03 03:48:47,884 (trainer:735) INFO: 5epoch:train:14201-14300batch: iter_time=9.061e-05, forward_time=0.155, loss_ctc=87.534, loss_att=78.716, acc=0.593, loss=81.362, backward_time=0.313, grad_norm=40.796, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.798e-04, train_time=1.337 +[gpua014:0/64] 2023-12-03 03:51:17,947 (trainer:735) INFO: 5epoch:train:14301-14400batch: iter_time=1.010e-04, forward_time=0.149, loss_ctc=100.734, loss_att=78.621, acc=0.579, loss=85.255, backward_time=0.298, grad_norm=46.543, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.797e-04, train_time=1.500 +[gpua014:0/64] 2023-12-03 03:53:47,579 (trainer:735) INFO: 5epoch:train:14401-14500batch: iter_time=8.581e-05, forward_time=0.148, loss_ctc=103.762, loss_att=96.024, acc=0.567, loss=98.345, backward_time=0.319, grad_norm=57.764, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.795e-04, train_time=1.496 +[gpua014:0/64] 2023-12-03 03:56:05,521 (trainer:735) INFO: 5epoch:train:14501-14600batch: iter_time=9.278e-05, forward_time=0.148, loss_ctc=87.391, loss_att=71.730, acc=0.617, loss=76.428, backward_time=0.293, grad_norm=43.253, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.794e-04, train_time=1.379 +[gpua014:0/64] 2023-12-03 03:58:17,798 (trainer:735) INFO: 5epoch:train:14601-14700batch: iter_time=9.586e-05, forward_time=0.178, loss_ctc=94.924, loss_att=81.839, acc=0.566, loss=85.765, backward_time=0.300, grad_norm=47.647, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.085, optim0_lr0=1.793e-04, train_time=1.323 +[gpua014:0/64] 2023-12-03 04:01:08,052 (trainer:735) INFO: 5epoch:train:14701-14800batch: iter_time=8.936e-05, forward_time=0.148, loss_ctc=96.038, loss_att=79.770, acc=0.582, loss=84.650, backward_time=0.327, grad_norm=42.676, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.792e-04, train_time=1.702 +[gpua014:0/64] 2023-12-03 04:03:11,382 (trainer:735) INFO: 5epoch:train:14801-14900batch: iter_time=9.307e-05, forward_time=0.148, loss_ctc=98.470, loss_att=82.243, acc=0.608, loss=87.111, backward_time=0.303, grad_norm=42.806, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.791e-04, train_time=1.233 +[gpua014:0/64] 2023-12-03 04:05:17,246 (trainer:735) INFO: 5epoch:train:14901-15000batch: iter_time=8.643e-05, forward_time=0.148, loss_ctc=79.032, loss_att=64.330, acc=0.625, loss=68.741, backward_time=0.293, grad_norm=38.285, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.789e-04, train_time=1.258 +[gpua014:0/64] 2023-12-03 04:31:08,629 (trainer:341) INFO: 5epoch results: [train] iter_time=0.199, forward_time=0.156, loss_ctc=102.385, loss_att=90.109, acc=0.548, loss=93.792, backward_time=0.297, grad_norm=48.785, clip=100.000, loss_scale=1.792e+15, optim_step_time=0.081, optim0_lr0=1.889e-04, train_time=1.627, time=6 hours, 47 minutes and 8.81 seconds, total_count=75000, gpu_max_cached_mem_GB=37.328, [valid] loss_ctc=74.504, cer_ctc=0.370, loss_att=62.989, acc=0.510, cer=0.471, wer=1.000, loss=66.443, time=25 minutes and 27.92 seconds, total_count=23355, gpu_max_cached_mem_GB=37.328 +[gpua014:0/64] 2023-12-03 04:31:27,927 (trainer:389) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua014:0/64] 2023-12-03 04:31:28,144 (trainer:272) INFO: 6/40epoch started. Estimated time to finish: 1 week, 4 days and 5 hours +[gpua014:0/64] 2023-12-03 04:31:28,233 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua014:0/64] 2023-12-03 04:31:46,647 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 04:31:50,130 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 04:31:50,130 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua014:0/64] 2023-12-03 04:31:50,133 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 04:37:46,148 (trainer:735) INFO: 6epoch:train:1-100batch: iter_time=2.404, forward_time=0.174, loss_ctc=115.849, loss_att=102.776, acc=0.569, loss=106.698, backward_time=0.286, grad_norm=57.860, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.788e-04, train_time=3.779 +[gpua014:0/64] 2023-12-03 04:39:43,692 (trainer:735) INFO: 6epoch:train:101-200batch: iter_time=7.958e-05, forward_time=0.148, loss_ctc=97.285, loss_att=84.853, acc=0.568, loss=88.582, backward_time=0.278, grad_norm=45.392, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.787e-04, train_time=1.175 +[gpua014:0/64] 2023-12-03 04:41:39,339 (trainer:735) INFO: 6epoch:train:201-300batch: iter_time=8.239e-05, forward_time=0.148, loss_ctc=108.478, loss_att=87.219, acc=0.565, loss=93.597, backward_time=0.280, grad_norm=53.761, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.786e-04, train_time=1.156 +[gpua014:0/64] 2023-12-03 04:43:41,538 (trainer:735) INFO: 6epoch:train:301-400batch: iter_time=9.078e-05, forward_time=0.148, loss_ctc=104.228, loss_att=89.628, acc=0.567, loss=94.008, backward_time=0.283, grad_norm=52.684, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.785e-04, train_time=1.222 +[gpua014:0/64] 2023-12-03 04:45:47,073 (trainer:735) INFO: 6epoch:train:401-500batch: iter_time=9.404e-05, forward_time=0.163, loss_ctc=97.324, loss_att=82.691, acc=0.543, loss=87.081, backward_time=0.281, grad_norm=51.570, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.081, optim0_lr0=1.783e-04, train_time=1.255 +[gpua014:0/64] 2023-12-03 04:48:05,825 (trainer:735) INFO: 6epoch:train:501-600batch: iter_time=9.766e-05, forward_time=0.149, loss_ctc=114.950, loss_att=98.720, acc=0.559, loss=103.589, backward_time=0.296, grad_norm=57.647, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.082, optim0_lr0=1.782e-04, train_time=1.387 +[gpua014:0/64] 2023-12-03 04:50:25,636 (trainer:735) INFO: 6epoch:train:601-700batch: iter_time=9.215e-05, forward_time=0.158, loss_ctc=81.577, loss_att=71.935, acc=0.566, loss=74.828, backward_time=0.299, grad_norm=43.778, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.781e-04, train_time=1.398 +[gpua014:0/64] 2023-12-03 04:52:30,607 (trainer:735) INFO: 6epoch:train:701-800batch: iter_time=8.709e-05, forward_time=0.147, loss_ctc=81.775, loss_att=70.805, acc=0.584, loss=74.096, backward_time=0.281, grad_norm=41.882, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.780e-04, train_time=1.249 +[gpua014:0/64] 2023-12-03 04:54:40,234 (trainer:735) INFO: 6epoch:train:801-900batch: iter_time=9.078e-05, forward_time=0.149, loss_ctc=122.259, loss_att=118.090, acc=0.529, loss=119.341, backward_time=0.290, grad_norm=62.638, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.080, optim0_lr0=1.779e-04, train_time=1.297 +[gpua014:0/64] 2023-12-03 04:57:07,076 (trainer:735) INFO: 6epoch:train:901-1000batch: iter_time=8.575e-05, forward_time=0.168, loss_ctc=85.877, loss_att=74.088, acc=0.572, loss=77.625, backward_time=0.343, grad_norm=40.192, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.088, optim0_lr0=1.778e-04, train_time=1.468 +[gpua014:0/64] 2023-12-03 04:59:29,968 (trainer:735) INFO: 6epoch:train:1001-1100batch: iter_time=8.864e-05, forward_time=0.169, loss_ctc=88.318, loss_att=75.104, acc=0.594, loss=79.068, backward_time=0.308, grad_norm=41.635, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.082, optim0_lr0=1.776e-04, train_time=1.429 +[gpua014:0/64] 2023-12-03 05:01:45,323 (trainer:735) INFO: 6epoch:train:1101-1200batch: iter_time=9.102e-05, forward_time=0.147, loss_ctc=98.316, loss_att=90.779, acc=0.565, loss=93.040, backward_time=0.286, grad_norm=44.835, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.080, optim0_lr0=1.775e-04, train_time=1.353 +[gpua014:0/64] 2023-12-03 05:03:09,098 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua014:0/64] 2023-12-03 05:03:27,374 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 05:03:30,968 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 05:03:30,968 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua014:0/64] 2023-12-03 05:03:30,971 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 05:07:42,239 (trainer:735) INFO: 6epoch:train:1201-1300batch: iter_time=2.151, forward_time=0.148, loss_ctc=111.141, loss_att=98.672, acc=0.573, loss=102.413, backward_time=0.300, grad_norm=51.513, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.774e-04, train_time=3.569 +[gpua014:0/64] 2023-12-03 05:09:43,160 (trainer:735) INFO: 6epoch:train:1301-1400batch: iter_time=8.298e-05, forward_time=0.147, loss_ctc=106.668, loss_att=95.952, acc=0.573, loss=99.167, backward_time=0.280, grad_norm=53.549, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.773e-04, train_time=1.209 +[gpua014:0/64] 2023-12-03 05:11:46,450 (trainer:735) INFO: 6epoch:train:1401-1500batch: iter_time=9.565e-05, forward_time=0.146, loss_ctc=109.127, loss_att=89.126, acc=0.588, loss=95.126, backward_time=0.280, grad_norm=51.531, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.772e-04, train_time=1.233 +[gpua014:0/64] 2023-12-03 05:13:53,427 (trainer:735) INFO: 6epoch:train:1501-1600batch: iter_time=8.765e-05, forward_time=0.146, loss_ctc=92.288, loss_att=81.321, acc=0.576, loss=84.611, backward_time=0.280, grad_norm=47.029, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.080, optim0_lr0=1.771e-04, train_time=1.270 +[gpua014:0/64] 2023-12-03 05:15:53,130 (trainer:735) INFO: 6epoch:train:1601-1700batch: iter_time=1.053e-04, forward_time=0.157, loss_ctc=103.139, loss_att=86.025, acc=0.566, loss=91.159, backward_time=0.278, grad_norm=53.946, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.769e-04, train_time=1.197 +[gpua014:0/64] 2023-12-03 05:17:55,384 (trainer:735) INFO: 6epoch:train:1701-1800batch: iter_time=9.467e-05, forward_time=0.148, loss_ctc=102.636, loss_att=92.514, acc=0.576, loss=95.550, backward_time=0.281, grad_norm=52.663, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.082, optim0_lr0=1.768e-04, train_time=1.222 +[gpua014:0/64] 2023-12-03 05:20:00,859 (trainer:735) INFO: 6epoch:train:1801-1900batch: iter_time=8.834e-05, forward_time=0.146, loss_ctc=98.808, loss_att=78.807, acc=0.584, loss=84.807, backward_time=0.286, grad_norm=49.358, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.767e-04, train_time=1.255 +[gpua014:0/64] 2023-12-03 05:22:07,915 (trainer:735) INFO: 6epoch:train:1901-2000batch: iter_time=8.179e-05, forward_time=0.146, loss_ctc=75.937, loss_att=70.313, acc=0.577, loss=72.000, backward_time=0.296, grad_norm=41.681, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.080, optim0_lr0=1.766e-04, train_time=1.270 +[gpua014:0/64] 2023-12-03 05:24:32,042 (trainer:735) INFO: 6epoch:train:2001-2100batch: iter_time=8.844e-05, forward_time=0.147, loss_ctc=86.522, loss_att=78.420, acc=0.598, loss=80.851, backward_time=0.299, grad_norm=38.680, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.765e-04, train_time=1.441 +[gpua014:0/64] 2023-12-03 05:26:51,758 (trainer:735) INFO: 6epoch:train:2101-2200batch: iter_time=8.693e-05, forward_time=0.147, loss_ctc=113.256, loss_att=102.341, acc=0.538, loss=105.616, backward_time=0.298, grad_norm=60.046, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.764e-04, train_time=1.397 +[gpua014:0/64] 2023-12-03 05:28:55,447 (trainer:735) INFO: 6epoch:train:2201-2300batch: iter_time=9.693e-05, forward_time=0.149, loss_ctc=88.509, loss_att=76.489, acc=0.601, loss=80.095, backward_time=0.287, grad_norm=39.210, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.763e-04, train_time=1.237 +[gpua014:0/64] 2023-12-03 05:31:02,693 (trainer:735) INFO: 6epoch:train:2301-2400batch: iter_time=8.774e-05, forward_time=0.149, loss_ctc=94.129, loss_att=81.415, acc=0.589, loss=85.229, backward_time=0.280, grad_norm=42.658, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.082, optim0_lr0=1.761e-04, train_time=1.272 +[gpua014:0/64] 2023-12-03 05:33:03,998 (trainer:735) INFO: 6epoch:train:2401-2500batch: iter_time=8.608e-05, forward_time=0.147, loss_ctc=94.808, loss_att=89.386, acc=0.593, loss=91.013, backward_time=0.283, grad_norm=44.111, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.760e-04, train_time=1.213 +[gpua014:0/64] 2023-12-03 05:33:05,753 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua014:0/64] 2023-12-03 05:33:23,965 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 05:33:27,778 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 05:33:27,779 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua014:0/64] 2023-12-03 05:33:27,782 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 05:40:07,958 (trainer:735) INFO: 6epoch:train:2501-2600batch: iter_time=1.325, forward_time=0.161, loss_ctc=111.287, loss_att=95.982, acc=0.591, loss=100.573, backward_time=0.297, grad_norm=49.130, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.759e-04, train_time=4.239 +[gpua014:0/64] 2023-12-03 05:42:04,413 (trainer:735) INFO: 6epoch:train:2601-2700batch: iter_time=8.549e-05, forward_time=0.147, loss_ctc=95.997, loss_att=81.786, acc=0.597, loss=86.049, backward_time=0.277, grad_norm=45.181, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.758e-04, train_time=1.164 +[gpua014:0/64] 2023-12-03 05:44:04,016 (trainer:735) INFO: 6epoch:train:2701-2800batch: iter_time=9.357e-05, forward_time=0.148, loss_ctc=104.678, loss_att=85.035, acc=0.581, loss=90.928, backward_time=0.278, grad_norm=50.336, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.757e-04, train_time=1.196 +[gpua014:0/64] 2023-12-03 05:46:11,798 (trainer:735) INFO: 6epoch:train:2801-2900batch: iter_time=1.020e-04, forward_time=0.147, loss_ctc=97.640, loss_att=84.010, acc=0.590, loss=88.099, backward_time=0.278, grad_norm=48.658, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.756e-04, train_time=1.278 +[gpua014:0/64] 2023-12-03 05:48:33,278 (trainer:735) INFO: 6epoch:train:2901-3000batch: iter_time=8.205e-05, forward_time=0.149, loss_ctc=93.012, loss_att=78.715, acc=0.565, loss=83.004, backward_time=0.292, grad_norm=51.222, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.081, optim0_lr0=1.755e-04, train_time=1.415 +[gpua014:0/64] 2023-12-03 05:50:31,589 (trainer:735) INFO: 6epoch:train:3001-3100batch: iter_time=8.899e-05, forward_time=0.159, loss_ctc=110.878, loss_att=92.058, acc=0.586, loss=97.704, backward_time=0.284, grad_norm=55.244, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.083, optim0_lr0=1.754e-04, train_time=1.183 +[gpua014:0/64] 2023-12-03 05:52:50,811 (trainer:735) INFO: 6epoch:train:3101-3200batch: iter_time=8.861e-05, forward_time=0.157, loss_ctc=77.976, loss_att=69.441, acc=0.585, loss=72.002, backward_time=0.299, grad_norm=39.579, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.752e-04, train_time=1.392 +[gpua014:0/64] 2023-12-03 05:55:11,925 (trainer:735) INFO: 6epoch:train:3201-3300batch: iter_time=8.851e-05, forward_time=0.171, loss_ctc=79.217, loss_att=68.599, acc=0.601, loss=71.784, backward_time=0.301, grad_norm=38.176, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.083, optim0_lr0=1.751e-04, train_time=1.411 +[gpua014:0/64] 2023-12-03 05:57:17,693 (trainer:735) INFO: 6epoch:train:3301-3400batch: iter_time=9.215e-05, forward_time=0.152, loss_ctc=116.400, loss_att=111.125, acc=0.552, loss=112.707, backward_time=0.293, grad_norm=59.848, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.750e-04, train_time=1.257 +[gpua014:0/64] 2023-12-03 05:59:21,510 (trainer:735) INFO: 6epoch:train:3401-3500batch: iter_time=9.673e-05, forward_time=0.148, loss_ctc=83.889, loss_att=71.930, acc=0.589, loss=75.518, backward_time=0.280, grad_norm=38.883, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.749e-04, train_time=1.238 +[gpua014:0/64] 2023-12-03 06:01:37,415 (trainer:735) INFO: 6epoch:train:3501-3600batch: iter_time=8.394e-05, forward_time=0.150, loss_ctc=85.132, loss_att=71.626, acc=0.618, loss=75.678, backward_time=0.291, grad_norm=36.649, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.748e-04, train_time=1.359 +[gpua014:0/64] 2023-12-03 06:04:11,886 (trainer:735) INFO: 6epoch:train:3601-3700batch: iter_time=9.007e-05, forward_time=0.148, loss_ctc=96.330, loss_att=87.371, acc=0.586, loss=90.059, backward_time=0.279, grad_norm=43.275, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.747e-04, train_time=1.544 +[gpua014:0/64] 2023-12-03 06:05:24,956 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua014:0/64] 2023-12-03 06:05:43,702 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 06:05:47,242 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 06:05:47,242 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua014:0/64] 2023-12-03 06:05:47,245 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 06:10:43,980 (trainer:735) INFO: 6epoch:train:3701-3800batch: iter_time=2.641, forward_time=0.164, loss_ctc=106.313, loss_att=95.175, acc=0.590, loss=98.517, backward_time=0.280, grad_norm=47.895, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.746e-04, train_time=3.921 +[gpua014:0/64] 2023-12-03 06:12:41,710 (trainer:735) INFO: 6epoch:train:3801-3900batch: iter_time=8.200e-05, forward_time=0.148, loss_ctc=103.879, loss_att=92.226, acc=0.574, loss=95.722, backward_time=0.280, grad_norm=52.985, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.745e-04, train_time=1.177 +[gpua014:0/64] 2023-12-03 06:14:56,556 (trainer:735) INFO: 6epoch:train:3901-4000batch: iter_time=7.878e-05, forward_time=0.148, loss_ctc=106.338, loss_att=85.258, acc=0.590, loss=91.582, backward_time=0.334, grad_norm=49.635, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.744e-04, train_time=1.348 +[gpua014:0/64] 2023-12-03 06:17:11,222 (trainer:735) INFO: 6epoch:train:4001-4100batch: iter_time=8.222e-05, forward_time=0.148, loss_ctc=88.674, loss_att=77.651, acc=0.582, loss=80.958, backward_time=0.331, grad_norm=46.122, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.742e-04, train_time=1.346 +[gpua014:0/64] 2023-12-03 06:19:20,450 (trainer:735) INFO: 6epoch:train:4101-4200batch: iter_time=9.147e-05, forward_time=0.148, loss_ctc=100.219, loss_att=84.247, acc=0.574, loss=89.039, backward_time=0.307, grad_norm=50.220, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.741e-04, train_time=1.292 +[gpua014:0/64] 2023-12-03 06:21:28,911 (trainer:735) INFO: 6epoch:train:4201-4300batch: iter_time=9.528e-05, forward_time=0.149, loss_ctc=99.121, loss_att=90.607, acc=0.571, loss=93.161, backward_time=0.291, grad_norm=52.381, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.740e-04, train_time=1.284 +[gpua014:0/64] 2023-12-03 06:23:37,132 (trainer:735) INFO: 6epoch:train:4301-4400batch: iter_time=9.177e-05, forward_time=0.157, loss_ctc=96.643, loss_att=77.485, acc=0.585, loss=83.233, backward_time=0.280, grad_norm=48.643, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.081, optim0_lr0=1.739e-04, train_time=1.282 +[gpua014:0/64] 2023-12-03 06:25:53,210 (trainer:735) INFO: 6epoch:train:4401-4500batch: iter_time=1.005e-04, forward_time=0.146, loss_ctc=74.208, loss_att=66.161, acc=0.585, loss=68.575, backward_time=0.277, grad_norm=41.056, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.738e-04, train_time=1.361 +[gpua014:0/64] 2023-12-03 06:28:22,710 (trainer:735) INFO: 6epoch:train:4501-4600batch: iter_time=9.810e-05, forward_time=0.147, loss_ctc=84.738, loss_att=76.887, acc=0.601, loss=79.242, backward_time=0.316, grad_norm=40.046, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.737e-04, train_time=1.495 +[gpua014:0/64] 2023-12-03 06:30:39,453 (trainer:735) INFO: 6epoch:train:4601-4700batch: iter_time=8.809e-05, forward_time=0.147, loss_ctc=109.603, loss_att=98.923, acc=0.540, loss=102.127, backward_time=0.281, grad_norm=59.150, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.736e-04, train_time=1.367 +[gpua014:0/64] 2023-12-03 06:32:46,468 (trainer:735) INFO: 6epoch:train:4701-4800batch: iter_time=8.587e-05, forward_time=0.146, loss_ctc=86.504, loss_att=73.440, acc=0.606, loss=77.359, backward_time=0.285, grad_norm=38.910, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.735e-04, train_time=1.270 +[gpua014:0/64] 2023-12-03 06:34:58,900 (trainer:735) INFO: 6epoch:train:4801-4900batch: iter_time=8.829e-05, forward_time=0.153, loss_ctc=91.959, loss_att=79.304, acc=0.587, loss=83.100, backward_time=0.300, grad_norm=42.484, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.080, optim0_lr0=1.734e-04, train_time=1.324 +[gpua014:0/64] 2023-12-03 06:37:18,135 (trainer:735) INFO: 6epoch:train:4901-5000batch: iter_time=8.585e-05, forward_time=0.159, loss_ctc=93.969, loss_att=87.698, acc=0.591, loss=89.579, backward_time=0.299, grad_norm=46.199, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.082, optim0_lr0=1.733e-04, train_time=1.392 +[gpua014:0/64] 2023-12-03 06:37:19,890 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua014:0/64] 2023-12-03 06:37:38,477 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 06:37:41,979 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 06:37:41,979 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua014:0/64] 2023-12-03 06:37:41,982 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 06:44:25,941 (trainer:735) INFO: 6epoch:train:5001-5100batch: iter_time=1.327, forward_time=0.172, loss_ctc=109.331, loss_att=95.504, acc=0.598, loss=99.652, backward_time=0.284, grad_norm=54.432, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.731e-04, train_time=4.278 +[gpua014:0/64] 2023-12-03 06:46:23,752 (trainer:735) INFO: 6epoch:train:5101-5200batch: iter_time=8.970e-05, forward_time=0.148, loss_ctc=94.939, loss_att=81.181, acc=0.603, loss=85.308, backward_time=0.278, grad_norm=44.514, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.730e-04, train_time=1.178 +[gpua014:0/64] 2023-12-03 06:48:38,069 (trainer:735) INFO: 6epoch:train:5201-5300batch: iter_time=8.394e-05, forward_time=0.148, loss_ctc=100.552, loss_att=83.300, acc=0.590, loss=88.476, backward_time=0.292, grad_norm=49.994, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.729e-04, train_time=1.343 +[gpua014:0/64] 2023-12-03 06:50:52,726 (trainer:735) INFO: 6epoch:train:5301-5400batch: iter_time=8.745e-05, forward_time=0.147, loss_ctc=96.763, loss_att=83.207, acc=0.596, loss=87.274, backward_time=0.301, grad_norm=53.773, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.728e-04, train_time=1.346 +[gpua014:0/64] 2023-12-03 06:52:56,429 (trainer:735) INFO: 6epoch:train:5401-5500batch: iter_time=8.784e-05, forward_time=0.147, loss_ctc=89.702, loss_att=76.889, acc=0.575, loss=80.733, backward_time=0.286, grad_norm=50.829, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.727e-04, train_time=1.237 +[gpua014:0/64] 2023-12-03 06:55:16,465 (trainer:735) INFO: 6epoch:train:5501-5600batch: iter_time=9.313e-05, forward_time=0.148, loss_ctc=108.033, loss_att=90.450, acc=0.593, loss=95.724, backward_time=0.331, grad_norm=54.985, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.726e-04, train_time=1.400 +[gpua014:0/64] 2023-12-03 06:57:15,434 (trainer:735) INFO: 6epoch:train:5601-5700batch: iter_time=8.888e-05, forward_time=0.147, loss_ctc=76.524, loss_att=69.037, acc=0.590, loss=71.283, backward_time=0.278, grad_norm=39.031, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.725e-04, train_time=1.189 +[gpua014:0/64] 2023-12-03 06:59:37,056 (trainer:735) INFO: 6epoch:train:5701-5800batch: iter_time=7.820e-05, forward_time=0.147, loss_ctc=78.568, loss_att=67.758, acc=0.608, loss=71.001, backward_time=0.296, grad_norm=39.127, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.724e-04, train_time=1.416 +[gpua014:0/64] 2023-12-03 07:01:59,084 (trainer:735) INFO: 6epoch:train:5801-5900batch: iter_time=8.870e-05, forward_time=0.148, loss_ctc=116.272, loss_att=108.902, acc=0.563, loss=111.113, backward_time=0.306, grad_norm=56.561, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.723e-04, train_time=1.420 +[gpua014:0/64] 2023-12-03 07:04:07,316 (trainer:735) INFO: 6epoch:train:5901-6000batch: iter_time=9.515e-05, forward_time=0.148, loss_ctc=82.036, loss_att=70.187, acc=0.597, loss=73.742, backward_time=0.302, grad_norm=39.246, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.722e-04, train_time=1.282 +[gpua014:0/64] 2023-12-03 07:06:14,145 (trainer:735) INFO: 6epoch:train:6001-6100batch: iter_time=8.966e-05, forward_time=0.165, loss_ctc=83.828, loss_att=70.107, acc=0.623, loss=74.223, backward_time=0.293, grad_norm=38.532, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.084, optim0_lr0=1.721e-04, train_time=1.268 +[gpua014:0/64] 2023-12-03 07:08:37,612 (trainer:735) INFO: 6epoch:train:6101-6200batch: iter_time=9.435e-05, forward_time=0.148, loss_ctc=93.974, loss_att=85.556, acc=0.596, loss=88.082, backward_time=0.301, grad_norm=43.224, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.720e-04, train_time=1.434 +[gpua014:0/64] 2023-12-03 07:09:58,054 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua014:0/64] 2023-12-03 07:10:16,148 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua014:0/64] 2023-12-03 07:10:19,736 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua014:0/64] 2023-12-03 07:10:19,736 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua014:0/64] 2023-12-03 07:10:19,739 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua014:0/64] 2023-12-03 07:15:53,332 (trainer:735) INFO: 6epoch:train:6201-6300batch: iter_time=2.114, forward_time=0.172, loss_ctc=104.536, loss_att=93.071, acc=0.600, loss=96.511, backward_time=0.285, grad_norm=50.403, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.082, optim0_lr0=1.719e-04, train_time=4.357 +[gpua014:0/64] 2023-12-03 07:17:49,674 (trainer:735) INFO: 6epoch:train:6301-6400batch: iter_time=9.459e-05, forward_time=0.147, loss_ctc=103.191, loss_att=88.870, acc=0.594, loss=93.167, backward_time=0.278, grad_norm=49.930, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.718e-04, train_time=1.163 +[gpua014:0/64] 2023-12-03 07:20:05,952 (trainer:735) INFO: 6epoch:train:6401-6500batch: iter_time=8.970e-05, forward_time=0.147, loss_ctc=104.693, loss_att=83.583, acc=0.607, loss=89.916, backward_time=0.288, grad_norm=50.439, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.717e-04, train_time=1.363 +[gpua014:0/64] 2023-12-03 07:22:09,746 (trainer:735) INFO: 6epoch:train:6501-6600batch: iter_time=9.357e-05, forward_time=0.147, loss_ctc=87.000, loss_att=75.555, acc=0.594, loss=78.989, backward_time=0.280, grad_norm=46.451, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.715e-04, train_time=1.238 +[gpua014:0/64] 2023-12-03 07:24:18,665 (trainer:735) INFO: 6epoch:train:6601-6700batch: iter_time=9.390e-05, forward_time=0.147, loss_ctc=97.938, loss_att=81.148, acc=0.589, loss=86.185, backward_time=0.305, grad_norm=50.959, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.714e-04, train_time=1.289 +[gpua014:0/64] 2023-12-03 07:26:33,140 (trainer:735) INFO: 6epoch:train:6701-6800batch: iter_time=8.798e-05, forward_time=0.147, loss_ctc=96.721, loss_att=86.772, acc=0.596, loss=89.757, backward_time=0.324, grad_norm=47.676, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.080, optim0_lr0=1.713e-04, train_time=1.345 +[gpua014:0/64] 2023-12-03 07:28:43,800 (trainer:735) INFO: 6epoch:train:6801-6900batch: iter_time=8.177e-05, forward_time=0.160, loss_ctc=94.243, loss_att=73.716, acc=0.606, loss=79.874, backward_time=0.318, grad_norm=47.492, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.081, optim0_lr0=1.712e-04, train_time=1.306 + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:120543:120653 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120544:120652 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120545:120655 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:120546:120654 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +srun: Job step aborted: Waiting up to 32 seconds for job step to finish. diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.2.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.2.log new file mode 100644 index 0000000000000000000000000000000000000000..e3ec24ba3ab806aaaa717b10da18821f6437576e --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.2.log @@ -0,0 +1,3054 @@ +# Running on gpua002.delta.ncsa.illinois.edu +# Started at Sun Dec 17 23:16:52 CST 2023 +# SLURMD_NODENAME=gpua002 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2754724 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1702934193 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2754724 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[002,005,009,021-023,038-039,047,052,055,060,083,087,092,096]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1702876593 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[002,005,009,021-023,038-039,047,052,055,060,083,087,092,096]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=1291931 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua002 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_91ad1861-0af9-41f8-808f-bf64195fedd2 +[gpua002:0/64] 2023-12-17 23:20:54,304 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua002:0/64] 2023-12-17 23:20:54,488 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua002:0/64] 2023-12-17 23:20:54,518 (s2t:464) INFO: Vocabulary size: 50002 +[gpua002:0/64] 2023-12-17 23:21:06,832 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua002:0/64] 2023-12-17 23:21:06,842 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua002:0/64] 2023-12-17 23:21:06,843 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua002:0/64] 2023-12-17 23:21:06,843 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua002:0/64] 2023-12-17 23:21:06,850 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua002:0/64] 2023-12-17 23:21:12,866 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-17 23:21:13,836 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-17 23:21:13,836 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua002:0/64] 2023-12-17 23:21:13,837 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-17 23:21:42,614 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua002:1292077:1292077 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:1292077:1292077 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:1292077:1292077 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua002:0/64] 2023-12-17 23:21:49,652 (trainer:284) INFO: 40/40epoch started +[gpua002:0/64] 2023-12-17 23:21:49,701 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-17 23:22:08,542 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-17 23:22:12,111 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-17 23:22:12,111 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-17 23:22:12,114 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua092:995444:995444 [2] NCCL INFO cudaDriverVersion 12020 +gpua092:995444:995444 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:995444:995444 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:995444:995514 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:995444:995514 [2] NCCL INFO Using network IB +gpua092:995444:995514 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua092:995444:995514 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua092:995444:995514 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua092:995444:995514 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua092:995444:995514 [2] NCCL INFO Connected all rings +gpua092:995444:995514 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua092:995444:995514 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua092:995444:995514 [2] NCCL INFO Connected all trees +gpua092:995444:995514 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:995444:995514 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:995444:995514 [2] NCCL INFO comm 0xcb54010 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua039:978774:978774 [3] NCCL INFO cudaDriverVersion 12020 +gpua039:978774:978774 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:978774:978774 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:978774:978843 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:978774:978843 [3] NCCL INFO Using network IB +gpua039:978774:978843 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua039:978774:978843 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua039:978774:978843 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua039:978774:978843 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua039:978774:978843 [3] NCCL INFO Connected all rings +gpua039:978774:978843 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua039:978774:978843 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua055:1102501:1102501 [0] NCCL INFO cudaDriverVersion 12020 +gpua055:1102501:1102501 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:1102501:1102501 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:1102501:1102575 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:1102501:1102575 [0] NCCL INFO Using network IB +gpua055:1102501:1102575 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua055:1102501:1102575 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua055:1102501:1102575 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua055:1102501:1102575 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua055:1102501:1102575 [0] NCCL INFO Connected all rings +gpua038:582873:582873 [2] NCCL INFO cudaDriverVersion 12020 +gpua038:582873:582873 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.38<0> +gpua038:582873:582873 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua038:582873:582945 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.38<0> +gpua038:582873:582945 [2] NCCL INFO Using network IB +gpua038:582873:582945 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua038:582873:582945 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua038:582873:582945 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua038:582873:582945 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua038:582873:582945 [2] NCCL INFO Connected all rings +gpua038:582873:582945 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua038:582873:582945 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua039:978774:978843 [3] NCCL INFO Connected all trees +gpua039:978774:978843 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:978774:978843 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:978774:978843 [3] NCCL INFO comm 0x2f577640 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua055:1102501:1102575 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua055:1102501:1102575 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua055:1102501:1102575 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua055:1102501:1102575 [0] NCCL INFO Connected all trees +gpua055:1102501:1102575 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:1102501:1102575 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:1102501:1102575 [0] NCCL INFO comm 0x3c93f2f0 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua038:582873:582945 [2] NCCL INFO Connected all trees +gpua038:582873:582945 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua038:582873:582945 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua038:582873:582945 [2] NCCL INFO comm 0xeda6430 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua021:382380:382380 [0] NCCL INFO cudaDriverVersion 12020 +gpua021:382380:382380 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.21<0> +gpua021:382380:382380 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua021:382380:382457 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.21<0> +gpua021:382380:382457 [0] NCCL INFO Using network IB +gpua021:382380:382457 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua021:382380:382457 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua021:382380:382457 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua021:382380:382457 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua021:382380:382457 [0] NCCL INFO Connected all rings +gpua021:382380:382457 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua021:382380:382457 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua021:382380:382457 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua021:382380:382457 [0] NCCL INFO Connected all trees +gpua021:382380:382457 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua021:382380:382457 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua021:382380:382457 [0] NCCL INFO comm 0xb06cab0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua055:1102503:1102503 [2] NCCL INFO cudaDriverVersion 12020 +gpua055:1102503:1102503 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:1102503:1102503 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:1102503:1102580 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:1102503:1102580 [2] NCCL INFO Using network IB +gpua055:1102503:1102580 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua055:1102503:1102580 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua055:1102503:1102580 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua055:1102503:1102580 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua055:1102503:1102580 [2] NCCL INFO Connected all rings +gpua055:1102503:1102580 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua055:1102503:1102580 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua055:1102503:1102580 [2] NCCL INFO Connected all trees +gpua055:1102503:1102580 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:1102503:1102580 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:1102503:1102580 [2] NCCL INFO comm 0xd604dd0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:1102504:1102504 [3] NCCL INFO cudaDriverVersion 12020 +gpua055:1102504:1102504 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:1102504:1102504 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:1102504:1102577 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:1102504:1102577 [3] NCCL INFO Using network IB +gpua055:1102504:1102577 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua055:1102504:1102577 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua055:1102504:1102577 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua055:1102504:1102577 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua055:1102504:1102577 [3] NCCL INFO Connected all rings +gpua055:1102504:1102577 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua055:1102504:1102577 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua055:1102504:1102577 [3] NCCL INFO Connected all trees +gpua055:1102504:1102577 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:1102504:1102577 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:1102504:1102577 [3] NCCL INFO comm 0xe0116d0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua023:1042027:1042027 [3] NCCL INFO cudaDriverVersion 12020 +gpua023:1042027:1042027 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:1042027:1042027 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:1042027:1042091 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:1042027:1042091 [3] NCCL INFO Using network IB +gpua023:1042027:1042091 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua023:1042027:1042091 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua023:1042027:1042091 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua023:1042027:1042091 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua023:1042027:1042091 [3] NCCL INFO Connected all rings +gpua023:1042027:1042091 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua023:1042027:1042091 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua023:1042027:1042091 [3] NCCL INFO Connected all trees +gpua023:1042027:1042091 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:1042027:1042091 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:1042027:1042091 [3] NCCL INFO comm 0xb072fb0 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua038:582872:582872 [1] NCCL INFO cudaDriverVersion 12020 +gpua038:582872:582872 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.38<0> +gpua038:582872:582872 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua038:582872:582942 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.38<0> +gpua038:582872:582942 [1] NCCL INFO Using network IB +gpua038:582872:582942 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua038:582872:582942 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua038:582872:582942 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua038:582872:582942 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua038:582872:582942 [1] NCCL INFO Connected all rings +gpua038:582872:582942 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua038:582872:582942 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua038:582872:582942 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua038:582872:582942 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua038:582872:582942 [1] NCCL INFO Connected all trees +gpua038:582872:582942 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua038:582872:582942 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua038:582872:582942 [1] NCCL INFO comm 0x94d8a120 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua022:1202918:1202918 [1] NCCL INFO cudaDriverVersion 12020 +gpua022:1202918:1202918 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:1202918:1202918 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:1202918:1202987 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:1202918:1202987 [1] NCCL INFO Using network IB +gpua022:1202918:1202987 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua022:1202918:1202987 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua022:1202918:1202987 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua022:1202918:1202987 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua022:1202918:1202987 [1] NCCL INFO Connected all rings +gpua022:1202918:1202987 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua022:1202918:1202987 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua022:1202918:1202987 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua022:1202918:1202987 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua022:1202918:1202987 [1] NCCL INFO Connected all trees +gpua022:1202918:1202987 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:1202918:1202987 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:1202918:1202987 [1] NCCL INFO comm 0xfffe3d0 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua002:1292077:1292149 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:1292077:1292149 [0] NCCL INFO Using network IB +gpua002:1292077:1292149 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua002:1292077:1292149 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua002:1292077:1292149 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua002:1292077:1292149 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua002:1292077:1292149 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:1292077:1292149 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:1292077:1292149 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua002:1292077:1292149 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua022:1202917:1202917 [0] NCCL INFO cudaDriverVersion 12020 +gpua022:1202917:1202917 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:1202917:1202917 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:1202917:1202989 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:1202917:1202989 [0] NCCL INFO Using network IB +gpua022:1202917:1202989 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua022:1202917:1202989 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:1202917:1202989 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua022:1202917:1202989 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua022:1202917:1202989 [0] NCCL INFO Connected all rings +gpua002:1292077:1292149 [0] NCCL INFO Connected all rings +gpua002:1292077:1292149 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua002:1292077:1292149 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:1292077:1292149 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua002:1292077:1292149 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:1292077:1292149 [0] NCCL INFO Connected all trees +gpua002:1292077:1292149 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:1292077:1292149 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:1292077:1292149 [0] NCCL INFO comm 0xab674e0 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua022:1202917:1202989 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua022:1202917:1202989 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:1202917:1202989 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:1202917:1202989 [0] NCCL INFO Connected all trees +gpua022:1202917:1202989 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:1202917:1202989 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:1202917:1202989 [0] NCCL INFO comm 0xc054a20 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua002:1292079:1292079 [2] NCCL INFO cudaDriverVersion 12020 +gpua002:1292079:1292079 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:1292079:1292079 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:1292079:1292151 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:1292079:1292151 [2] NCCL INFO Using network IB +gpua002:1292079:1292151 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua002:1292079:1292151 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua002:1292079:1292151 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua002:1292079:1292151 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua002:1292079:1292151 [2] NCCL INFO Connected all rings +gpua002:1292079:1292151 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua002:1292079:1292151 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua023:1042026:1042026 [2] NCCL INFO cudaDriverVersion 12020 +gpua023:1042026:1042026 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:1042026:1042026 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:1042026:1042090 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:1042026:1042090 [2] NCCL INFO Using network IB +gpua023:1042026:1042090 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua023:1042026:1042090 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua023:1042026:1042090 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua023:1042026:1042090 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua023:1042026:1042090 [2] NCCL INFO Connected all rings +gpua023:1042026:1042090 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua023:1042026:1042090 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua002:1292079:1292151 [2] NCCL INFO Connected all trees +gpua002:1292079:1292151 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:1292079:1292151 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:1292079:1292151 [2] NCCL INFO comm 0xb1fc5e0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua023:1042026:1042090 [2] NCCL INFO Connected all trees +gpua023:1042026:1042090 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:1042026:1042090 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:1042026:1042090 [2] NCCL INFO comm 0xe844dd0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua002:1292078:1292078 [1] NCCL INFO cudaDriverVersion 12020 +gpua002:1292078:1292078 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:1292078:1292078 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:1292078:1292152 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:1292078:1292152 [1] NCCL INFO Using network IB +gpua002:1292078:1292152 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua002:1292078:1292152 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua002:1292078:1292152 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua002:1292078:1292152 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua002:1292078:1292152 [1] NCCL INFO Connected all rings +gpua002:1292078:1292152 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua002:1292078:1292152 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua002:1292078:1292152 [1] NCCL INFO Connected all trees +gpua002:1292078:1292152 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:1292078:1292152 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:1292078:1292152 [1] NCCL INFO comm 0x119cbbf0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua023:1042025:1042025 [1] NCCL INFO cudaDriverVersion 12020 +gpua023:1042025:1042025 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:1042025:1042025 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:1042025:1042092 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:1042025:1042092 [1] NCCL INFO Using network IB +gpua023:1042025:1042092 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua023:1042025:1042092 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua023:1042025:1042092 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua023:1042025:1042092 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua023:1042025:1042092 [1] NCCL INFO Connected all rings +gpua023:1042025:1042092 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua023:1042025:1042092 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua002:1292080:1292080 [3] NCCL INFO cudaDriverVersion 12020 +gpua002:1292080:1292080 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:1292080:1292080 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:1292080:1292150 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:1292080:1292150 [3] NCCL INFO Using network IB +gpua002:1292080:1292150 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua002:1292080:1292150 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua002:1292080:1292150 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua002:1292080:1292150 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua002:1292080:1292150 [3] NCCL INFO Connected all rings +gpua002:1292080:1292150 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua002:1292080:1292150 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua023:1042025:1042092 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua023:1042025:1042092 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua023:1042025:1042092 [1] NCCL INFO Connected all trees +gpua023:1042025:1042092 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:1042025:1042092 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:1042025:1042092 [1] NCCL INFO comm 0xe0d111e0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua002:1292080:1292150 [3] NCCL INFO Connected all trees +gpua002:1292080:1292150 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:1292080:1292150 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:1292080:1292150 [3] NCCL INFO comm 0x96cd5960 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua023:1042024:1042024 [0] NCCL INFO cudaDriverVersion 12020 +gpua023:1042024:1042024 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:1042024:1042024 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:1042024:1042093 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:1042024:1042093 [0] NCCL INFO Using network IB +gpua023:1042024:1042093 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua023:1042024:1042093 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua023:1042024:1042093 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:1042024:1042093 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua023:1042024:1042093 [0] NCCL INFO Connected all rings +gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:1042024:1042093 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua023:1042024:1042093 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua023:1042024:1042093 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua023:1042024:1042093 [0] NCCL INFO Connected all trees +gpua023:1042024:1042093 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:1042024:1042093 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:1042024:1042093 [0] NCCL INFO comm 0xe254efd0 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:2934817:2934817 [2] NCCL INFO cudaDriverVersion 12020 +gpua005:2934817:2934817 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2934817:2934817 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2934817:2934889 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2934817:2934889 [2] NCCL INFO Using network IB +gpua005:2934817:2934889 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua005:2934817:2934889 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua005:2934817:2934889 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua005:2934817:2934889 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua005:2934817:2934889 [2] NCCL INFO Connected all rings +gpua005:2934817:2934889 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua005:2934817:2934889 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua005:2934817:2934889 [2] NCCL INFO Connected all trees +gpua005:2934817:2934889 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2934817:2934889 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2934817:2934889 [2] NCCL INFO comm 0x10441c90 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua047:1448196:1448196 [3] NCCL INFO cudaDriverVersion 12020 +gpua047:1448196:1448196 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1448196:1448196 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1448196:1448258 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1448196:1448258 [3] NCCL INFO Using network IB +gpua047:1448196:1448258 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua047:1448196:1448258 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua047:1448196:1448258 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua047:1448196:1448258 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua047:1448196:1448258 [3] NCCL INFO Connected all rings +gpua047:1448196:1448258 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua047:1448196:1448258 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua047:1448196:1448258 [3] NCCL INFO Connected all trees +gpua047:1448196:1448258 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1448196:1448258 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1448196:1448258 [3] NCCL INFO comm 0xdf3f260 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua022:1202919:1202919 [2] NCCL INFO cudaDriverVersion 12020 +gpua022:1202919:1202919 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:1202919:1202919 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:1202919:1202988 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:1202919:1202988 [2] NCCL INFO Using network IB +gpua022:1202919:1202988 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua022:1202919:1202988 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua022:1202919:1202988 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua022:1202919:1202988 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua022:1202919:1202988 [2] NCCL INFO Connected all rings +gpua022:1202919:1202988 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua022:1202919:1202988 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua022:1202919:1202988 [2] NCCL INFO Connected all trees +gpua022:1202919:1202988 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:1202919:1202988 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:1202919:1202988 [2] NCCL INFO comm 0xe63cc7e0 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua052:1354356:1354356 [1] NCCL INFO cudaDriverVersion 12020 +gpua052:1354356:1354356 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.52<0> +gpua052:1354356:1354356 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua052:1354356:1354433 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.52<0> +gpua052:1354356:1354433 [1] NCCL INFO Using network IB +gpua052:1354356:1354433 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua052:1354356:1354433 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua052:1354356:1354433 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua052:1354356:1354433 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua052:1354356:1354433 [1] NCCL INFO Connected all rings +gpua052:1354356:1354433 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua052:1354356:1354433 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua052:1354356:1354433 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua052:1354356:1354433 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua052:1354356:1354433 [1] NCCL INFO Connected all trees +gpua052:1354356:1354433 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua052:1354356:1354433 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua052:1354356:1354433 [1] NCCL INFO comm 0xd3fcaf0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua052:1354355:1354355 [0] NCCL INFO cudaDriverVersion 12020 +gpua052:1354355:1354355 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.52<0> +gpua052:1354355:1354355 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua052:1354355:1354432 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.52<0> +gpua052:1354355:1354432 [0] NCCL INFO Using network IB +gpua052:1354355:1354432 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua052:1354355:1354432 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua052:1354355:1354432 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua052:1354355:1354432 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua052:1354355:1354432 [0] NCCL INFO Connected all rings +gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua052:1354355:1354432 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua052:1354355:1354432 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua052:1354355:1354432 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua052:1354355:1354432 [0] NCCL INFO Connected all trees +gpua052:1354355:1354432 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua052:1354355:1354432 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua052:1354355:1354432 [0] NCCL INFO comm 0x2432cce0 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua038:582874:582874 [3] NCCL INFO cudaDriverVersion 12020 +gpua038:582874:582874 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.38<0> +gpua038:582874:582874 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua038:582874:582944 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.38<0> +gpua038:582874:582944 [3] NCCL INFO Using network IB +gpua038:582874:582944 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua038:582874:582944 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua038:582874:582944 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua038:582874:582944 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua038:582874:582944 [3] NCCL INFO Connected all rings +gpua038:582874:582944 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua038:582874:582944 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua038:582874:582944 [3] NCCL INFO Connected all trees +gpua038:582874:582944 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua038:582874:582944 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua038:582874:582944 [3] NCCL INFO comm 0x102c0810 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua009:2527545:2527545 [3] NCCL INFO cudaDriverVersion 12020 +gpua009:2527545:2527545 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.9<0> +gpua009:2527545:2527545 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua009:2527545:2527610 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.9<0> +gpua009:2527545:2527610 [3] NCCL INFO Using network IB +gpua009:2527545:2527610 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua009:2527545:2527610 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua009:2527545:2527610 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua009:2527545:2527610 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua009:2527545:2527610 [3] NCCL INFO Connected all rings +gpua009:2527545:2527610 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua009:2527545:2527610 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua009:2527545:2527610 [3] NCCL INFO Connected all trees +gpua009:2527545:2527610 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua009:2527545:2527610 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua009:2527545:2527610 [3] NCCL INFO comm 0x188b2aa0 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:2273405:2273405 [1] NCCL INFO cudaDriverVersion 12020 +gpua083:2273405:2273405 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:2273405:2273405 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:2273405:2273475 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:2273405:2273475 [1] NCCL INFO Using network IB +gpua083:2273405:2273475 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua083:2273405:2273475 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua083:2273405:2273475 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua083:2273405:2273475 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua083:2273405:2273475 [1] NCCL INFO Connected all rings +gpua083:2273405:2273475 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua083:2273405:2273475 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua083:2273405:2273475 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua083:2273405:2273475 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua083:2273405:2273475 [1] NCCL INFO Connected all trees +gpua083:2273405:2273475 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:2273405:2273475 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:2273405:2273475 [1] NCCL INFO comm 0xc3ecc50 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua005:2934818:2934818 [3] NCCL INFO cudaDriverVersion 12020 +gpua005:2934818:2934818 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2934818:2934818 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2934818:2934891 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2934818:2934891 [3] NCCL INFO Using network IB +gpua005:2934818:2934891 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua005:2934818:2934891 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua005:2934818:2934891 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua005:2934818:2934891 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua005:2934818:2934891 [3] NCCL INFO Connected all rings +gpua005:2934818:2934891 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua005:2934818:2934891 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua005:2934818:2934891 [3] NCCL INFO Connected all trees +gpua005:2934818:2934891 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2934818:2934891 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2934818:2934891 [3] NCCL INFO comm 0xdfcc020 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua052:1354358:1354358 [3] NCCL INFO cudaDriverVersion 12020 +gpua052:1354358:1354358 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.52<0> +gpua052:1354358:1354358 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua052:1354358:1354430 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.52<0> +gpua052:1354358:1354430 [3] NCCL INFO Using network IB +gpua052:1354358:1354430 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua052:1354358:1354430 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua052:1354358:1354430 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua052:1354358:1354430 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua052:1354358:1354430 [3] NCCL INFO Connected all rings +gpua052:1354358:1354430 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua052:1354358:1354430 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua052:1354358:1354430 [3] NCCL INFO Connected all trees +gpua052:1354358:1354430 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua052:1354358:1354430 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua052:1354358:1354430 [3] NCCL INFO comm 0xfb214d0 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua039:978772:978772 [1] NCCL INFO cudaDriverVersion 12020 +gpua039:978772:978772 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:978772:978772 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:978772:978845 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:978772:978845 [1] NCCL INFO Using network IB +gpua039:978772:978845 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua039:978772:978845 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua039:978772:978845 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua039:978772:978845 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua039:978772:978845 [1] NCCL INFO Connected all rings +gpua039:978772:978845 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua039:978772:978845 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua039:978772:978845 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua039:978772:978845 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua039:978772:978845 [1] NCCL INFO Connected all trees +gpua039:978772:978845 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:978772:978845 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:978772:978845 [1] NCCL INFO comm 0x15c17a10 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua009:2527544:2527544 [2] NCCL INFO cudaDriverVersion 12020 +gpua009:2527544:2527544 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.9<0> +gpua009:2527544:2527544 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua009:2527544:2527607 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.9<0> +gpua009:2527544:2527607 [2] NCCL INFO Using network IB +gpua009:2527544:2527607 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua009:2527544:2527607 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua009:2527544:2527607 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua009:2527544:2527607 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua009:2527544:2527607 [2] NCCL INFO Connected all rings +gpua009:2527544:2527607 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua009:2527544:2527607 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua009:2527544:2527607 [2] NCCL INFO Connected all trees +gpua009:2527544:2527607 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua009:2527544:2527607 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua009:2527544:2527607 [2] NCCL INFO comm 0x9831f960 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua060:3165197:3165197 [2] NCCL INFO cudaDriverVersion 12020 +gpua060:3165197:3165197 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.60<0> +gpua060:3165197:3165197 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua060:3165197:3165269 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.60<0> +gpua060:3165197:3165269 [2] NCCL INFO Using network IB +gpua060:3165197:3165269 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua060:3165197:3165269 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua060:3165197:3165269 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua060:3165197:3165269 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua060:3165197:3165269 [2] NCCL INFO Connected all rings +gpua060:3165197:3165269 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua060:3165197:3165269 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua060:3165197:3165269 [2] NCCL INFO Connected all trees +gpua060:3165197:3165269 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua060:3165197:3165269 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua060:3165197:3165269 [2] NCCL INFO comm 0xe0fd470 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua005:2934815:2934815 [0] NCCL INFO cudaDriverVersion 12020 +gpua005:2934815:2934815 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2934815:2934815 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2934815:2934888 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2934815:2934888 [0] NCCL INFO Using network IB +gpua005:2934815:2934888 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua005:2934815:2934888 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua005:2934815:2934888 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2934815:2934888 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua005:2934815:2934888 [0] NCCL INFO Connected all rings +gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2934815:2934888 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2934815:2934888 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2934815:2934888 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua005:2934815:2934888 [0] NCCL INFO Connected all trees +gpua005:2934815:2934888 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2934815:2934888 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2934815:2934888 [0] NCCL INFO comm 0xfa11910 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua047:1448194:1448194 [1] NCCL INFO cudaDriverVersion 12020 +gpua047:1448194:1448194 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1448194:1448194 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1448194:1448257 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1448194:1448257 [1] NCCL INFO Using network IB +gpua047:1448194:1448257 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua047:1448194:1448257 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua047:1448194:1448257 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua047:1448194:1448257 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua047:1448194:1448257 [1] NCCL INFO Connected all rings +gpua047:1448194:1448257 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua047:1448194:1448257 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua047:1448194:1448257 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua047:1448194:1448257 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua047:1448194:1448257 [1] NCCL INFO Connected all trees +gpua047:1448194:1448257 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1448194:1448257 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1448194:1448257 [1] NCCL INFO comm 0x3e099190 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua083:2273406:2273406 [2] NCCL INFO cudaDriverVersion 12020 +gpua083:2273406:2273406 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:2273406:2273406 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:2273406:2273477 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:2273406:2273477 [2] NCCL INFO Using network IB +gpua083:2273406:2273477 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua083:2273406:2273477 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua083:2273406:2273477 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua083:2273406:2273477 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua083:2273406:2273477 [2] NCCL INFO Connected all rings +gpua083:2273406:2273477 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua083:2273406:2273477 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua083:2273406:2273477 [2] NCCL INFO Connected all trees +gpua083:2273406:2273477 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:2273406:2273477 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:2273406:2273477 [2] NCCL INFO comm 0xf2ae290 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua047:1448195:1448195 [2] NCCL INFO cudaDriverVersion 12020 +gpua047:1448195:1448195 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1448195:1448195 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1448195:1448256 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1448195:1448256 [2] NCCL INFO Using network IB +gpua047:1448195:1448256 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua047:1448195:1448256 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua047:1448195:1448256 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua047:1448195:1448256 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua047:1448195:1448256 [2] NCCL INFO Connected all rings +gpua047:1448195:1448256 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua047:1448195:1448256 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua060:3165195:3165195 [0] NCCL INFO cudaDriverVersion 12020 +gpua060:3165195:3165195 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.60<0> +gpua060:3165195:3165195 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua060:3165195:3165274 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.60<0> +gpua060:3165195:3165274 [0] NCCL INFO Using network IB +gpua060:3165195:3165274 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua060:3165195:3165274 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua060:3165195:3165274 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua060:3165195:3165274 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua060:3165195:3165274 [0] NCCL INFO Connected all rings +gpua047:1448195:1448256 [2] NCCL INFO Connected all trees +gpua047:1448195:1448256 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1448195:1448256 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1448195:1448256 [2] NCCL INFO comm 0xeace2660 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua060:3165195:3165274 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua060:3165195:3165274 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua060:3165195:3165274 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua060:3165195:3165274 [0] NCCL INFO Connected all trees +gpua060:3165195:3165274 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua060:3165195:3165274 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua060:3165195:3165274 [0] NCCL INFO comm 0x161cb360 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua009:2527543:2527543 [1] NCCL INFO cudaDriverVersion 12020 +gpua009:2527543:2527543 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.9<0> +gpua009:2527543:2527543 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua009:2527543:2527608 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.9<0> +gpua009:2527543:2527608 [1] NCCL INFO Using network IB +gpua009:2527543:2527608 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua009:2527543:2527608 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua009:2527543:2527608 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua009:2527543:2527608 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua009:2527543:2527608 [1] NCCL INFO Connected all rings +gpua009:2527543:2527608 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua009:2527543:2527608 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua021:382382:382382 [2] NCCL INFO cudaDriverVersion 12020 +gpua021:382382:382382 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.21<0> +gpua021:382382:382382 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua021:382382:382459 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.21<0> +gpua021:382382:382459 [2] NCCL INFO Using network IB +gpua021:382382:382459 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua021:382382:382459 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua021:382382:382459 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua021:382382:382459 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua021:382382:382459 [2] NCCL INFO Connected all rings +gpua021:382382:382459 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua021:382382:382459 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua083:2273404:2273404 [0] NCCL INFO cudaDriverVersion 12020 +gpua083:2273404:2273404 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:2273404:2273404 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:2273404:2273476 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:2273404:2273476 [0] NCCL INFO Using network IB +gpua083:2273404:2273476 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua083:2273404:2273476 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:2273404:2273476 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua083:2273404:2273476 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua083:2273404:2273476 [0] NCCL INFO Connected all rings +gpua009:2527543:2527608 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua009:2527543:2527608 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua009:2527543:2527608 [1] NCCL INFO Connected all trees +gpua009:2527543:2527608 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua009:2527543:2527608 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua009:2527543:2527608 [1] NCCL INFO comm 0xb673fc0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua021:382382:382459 [2] NCCL INFO Connected all trees +gpua021:382382:382459 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua021:382382:382459 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua021:382382:382459 [2] NCCL INFO comm 0x1a8d5890 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua083:2273404:2273476 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua083:2273404:2273476 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:2273404:2273476 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:2273404:2273476 [0] NCCL INFO Connected all trees +gpua083:2273404:2273476 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:2273404:2273476 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:2273404:2273476 [0] NCCL INFO comm 0x387567a0 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua009:2527542:2527542 [0] NCCL INFO cudaDriverVersion 12020 +gpua009:2527542:2527542 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.9<0> +gpua009:2527542:2527542 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua009:2527542:2527609 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.9<0> +gpua009:2527542:2527609 [0] NCCL INFO Using network IB +gpua009:2527542:2527609 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua009:2527542:2527609 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua009:2527542:2527609 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua009:2527542:2527609 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua009:2527542:2527609 [0] NCCL INFO Connected all rings +gpua021:382383:382383 [3] NCCL INFO cudaDriverVersion 12020 +gpua021:382383:382383 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.21<0> +gpua021:382383:382383 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua021:382383:382455 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.21<0> +gpua021:382383:382455 [3] NCCL INFO Using network IB +gpua021:382383:382455 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua021:382383:382455 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua021:382383:382455 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua021:382383:382455 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua021:382383:382455 [3] NCCL INFO Connected all rings +gpua021:382383:382455 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua021:382383:382455 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua009:2527542:2527609 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua009:2527542:2527609 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua009:2527542:2527609 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua009:2527542:2527609 [0] NCCL INFO Connected all trees +gpua009:2527542:2527609 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua009:2527542:2527609 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua009:2527542:2527609 [0] NCCL INFO comm 0xd94d9a0 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua021:382383:382455 [3] NCCL INFO Connected all trees +gpua021:382383:382455 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua021:382383:382455 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua021:382383:382455 [3] NCCL INFO comm 0xe4ea8d0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:2273407:2273407 [3] NCCL INFO cudaDriverVersion 12020 +gpua083:2273407:2273407 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:2273407:2273407 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:2273407:2273474 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:2273407:2273474 [3] NCCL INFO Using network IB +gpua083:2273407:2273474 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua083:2273407:2273474 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua083:2273407:2273474 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua083:2273407:2273474 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua083:2273407:2273474 [3] NCCL INFO Connected all rings +gpua083:2273407:2273474 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua083:2273407:2273474 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua083:2273407:2273474 [3] NCCL INFO Connected all trees +gpua083:2273407:2273474 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:2273407:2273474 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:2273407:2273474 [3] NCCL INFO comm 0x2e807f90 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua021:382381:382381 [1] NCCL INFO cudaDriverVersion 12020 +gpua021:382381:382381 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.21<0> +gpua021:382381:382381 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua021:382381:382460 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.21<0> +gpua021:382381:382460 [1] NCCL INFO Using network IB +gpua021:382381:382460 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua021:382381:382460 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua021:382381:382460 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua021:382381:382460 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua021:382381:382460 [1] NCCL INFO Connected all rings +gpua021:382381:382460 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua021:382381:382460 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua021:382381:382460 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua021:382381:382460 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua021:382381:382460 [1] NCCL INFO Connected all trees +gpua021:382381:382460 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua021:382381:382460 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua021:382381:382460 [1] NCCL INFO comm 0xe93eace0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua060:3165198:3165198 [3] NCCL INFO cudaDriverVersion 12020 +gpua060:3165198:3165198 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.60<0> +gpua060:3165198:3165198 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua060:3165198:3165270 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.60<0> +gpua060:3165198:3165270 [3] NCCL INFO Using network IB +gpua060:3165198:3165270 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua060:3165198:3165270 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua060:3165198:3165270 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua060:3165198:3165270 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua060:3165198:3165270 [3] NCCL INFO Connected all rings +gpua060:3165198:3165270 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua060:3165198:3165270 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua060:3165198:3165270 [3] NCCL INFO Connected all trees +gpua060:3165198:3165270 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua060:3165198:3165270 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua060:3165198:3165270 [3] NCCL INFO comm 0xdd5f650 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua047:1448193:1448193 [0] NCCL INFO cudaDriverVersion 12020 +gpua047:1448193:1448193 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1448193:1448193 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1448193:1448255 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1448193:1448255 [0] NCCL INFO Using network IB +gpua047:1448193:1448255 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua047:1448193:1448255 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua047:1448193:1448255 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua047:1448193:1448255 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua047:1448193:1448255 [0] NCCL INFO Connected all rings +gpua047:1448193:1448255 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua047:1448193:1448255 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua047:1448193:1448255 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua047:1448193:1448255 [0] NCCL INFO Connected all trees +gpua047:1448193:1448255 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1448193:1448255 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1448193:1448255 [0] NCCL INFO comm 0xe6fd150 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua039:978771:978771 [0] NCCL INFO cudaDriverVersion 12020 +gpua039:978771:978771 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:978771:978771 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:978771:978844 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:978771:978844 [0] NCCL INFO Using network IB +gpua039:978771:978844 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua039:978771:978844 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua039:978771:978844 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:978771:978844 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua039:978771:978844 [0] NCCL INFO Connected all rings +gpua039:978771:978844 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua039:978771:978844 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua039:978771:978844 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua039:978771:978844 [0] NCCL INFO Connected all trees +gpua039:978771:978844 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:978771:978844 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:978771:978844 [0] NCCL INFO comm 0xb0b39f0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:2934816:2934816 [1] NCCL INFO cudaDriverVersion 12020 +gpua005:2934816:2934816 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2934816:2934816 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2934816:2934890 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2934816:2934890 [1] NCCL INFO Using network IB +gpua005:2934816:2934890 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua005:2934816:2934890 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua005:2934816:2934890 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua005:2934816:2934890 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua005:2934816:2934890 [1] NCCL INFO Connected all rings +gpua005:2934816:2934890 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua005:2934816:2934890 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua005:2934816:2934890 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua005:2934816:2934890 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua005:2934816:2934890 [1] NCCL INFO Connected all trees +gpua005:2934816:2934890 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2934816:2934890 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2934816:2934890 [1] NCCL INFO comm 0xddd8560 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua055:1102502:1102502 [1] NCCL INFO cudaDriverVersion 12020 +gpua055:1102502:1102502 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:1102502:1102502 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:1102502:1102579 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:1102502:1102579 [1] NCCL INFO Using network IB +gpua055:1102502:1102579 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua055:1102502:1102579 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua055:1102502:1102579 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua055:1102502:1102579 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua055:1102502:1102579 [1] NCCL INFO Connected all rings +gpua055:1102502:1102579 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua055:1102502:1102579 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua055:1102502:1102579 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua055:1102502:1102579 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua055:1102502:1102579 [1] NCCL INFO Connected all trees +gpua055:1102502:1102579 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:1102502:1102579 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:1102502:1102579 [1] NCCL INFO comm 0xb099b80 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua039:978773:978773 [2] NCCL INFO cudaDriverVersion 12020 +gpua039:978773:978773 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.39<0> +gpua039:978773:978773 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua039:978773:978846 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.39<0> +gpua039:978773:978846 [2] NCCL INFO Using network IB +gpua039:978773:978846 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua039:978773:978846 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua039:978773:978846 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua039:978773:978846 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua039:978773:978846 [2] NCCL INFO Connected all rings +gpua039:978773:978846 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua039:978773:978846 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua039:978773:978846 [2] NCCL INFO Connected all trees +gpua039:978773:978846 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua039:978773:978846 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua039:978773:978846 [2] NCCL INFO comm 0x317f8b60 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua096:538964:538964 [2] NCCL INFO cudaDriverVersion 12020 +gpua096:538964:538964 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.96<0> +gpua096:538964:538964 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua096:538964:539035 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.96<0> +gpua096:538964:539035 [2] NCCL INFO Using network IB +gpua096:538964:539035 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua096:538964:539035 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua096:538964:539035 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua096:538964:539035 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua096:538964:539035 [2] NCCL INFO Connected all rings +gpua096:538964:539035 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua096:538964:539035 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua096:538964:539035 [2] NCCL INFO Connected all trees +gpua096:538964:539035 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua096:538964:539035 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua096:538964:539035 [2] NCCL INFO comm 0x2d2b4ef0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua096:538965:538965 [3] NCCL INFO cudaDriverVersion 12020 +gpua096:538965:538965 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.96<0> +gpua096:538965:538965 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua096:538965:539034 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.96<0> +gpua096:538965:539034 [3] NCCL INFO Using network IB +gpua096:538965:539034 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua096:538965:539034 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua096:538965:539034 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua096:538965:539034 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua096:538965:539034 [3] NCCL INFO Connected all rings +gpua096:538965:539034 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua096:538965:539034 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua096:538965:539034 [3] NCCL INFO Connected all trees +gpua096:538965:539034 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua096:538965:539034 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua096:538965:539034 [3] NCCL INFO comm 0xe0ea7e20 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua096:538962:538962 [0] NCCL INFO cudaDriverVersion 12020 +gpua096:538962:538962 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.96<0> +gpua096:538962:538962 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua096:538962:539038 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.96<0> +gpua096:538962:539038 [0] NCCL INFO Using network IB +gpua096:538962:539038 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua096:538962:539038 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua096:538962:539038 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua096:538962:539038 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua096:538962:539038 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua096:538962:539038 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua096:538962:539038 [0] NCCL INFO Connected all rings +gpua096:538962:539038 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua096:538962:539038 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua096:538962:539038 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua096:538962:539038 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua096:538962:539038 [0] NCCL INFO Connected all trees +gpua096:538962:539038 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua096:538962:539038 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua096:538962:539038 [0] NCCL INFO comm 0x3e6104c0 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua092:995443:995443 [1] NCCL INFO cudaDriverVersion 12020 +gpua092:995443:995443 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:995443:995443 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:995443:995512 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:995443:995512 [1] NCCL INFO Using network IB +gpua092:995443:995512 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua092:995443:995512 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua092:995443:995512 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua092:995443:995512 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua092:995443:995512 [1] NCCL INFO Connected all rings +gpua092:995443:995512 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua092:995443:995512 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua092:995443:995512 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua092:995443:995512 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua092:995443:995512 [1] NCCL INFO Connected all trees +gpua092:995443:995512 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:995443:995512 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:995443:995512 [1] NCCL INFO comm 0xb19e2b0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua092:995445:995445 [3] NCCL INFO cudaDriverVersion 12020 +gpua092:995445:995445 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:995445:995445 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:995445:995513 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:995445:995513 [3] NCCL INFO Using network IB +gpua092:995445:995513 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua092:995445:995513 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua092:995445:995513 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua092:995445:995513 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua092:995445:995513 [3] NCCL INFO Connected all rings +gpua092:995445:995513 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua092:995445:995513 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua092:995445:995513 [3] NCCL INFO Connected all trees +gpua092:995445:995513 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:995445:995513 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:995445:995513 [3] NCCL INFO comm 0x2818dff0 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua092:995442:995442 [0] NCCL INFO cudaDriverVersion 12020 +gpua092:995442:995442 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:995442:995442 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:995442:995515 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:995442:995515 [0] NCCL INFO Using network IB +gpua092:995442:995515 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua092:995442:995515 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua092:995442:995515 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua092:995442:995515 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua092:995442:995515 [0] NCCL INFO Connected all rings +gpua092:995442:995515 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua092:995442:995515 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua092:995442:995515 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua092:995442:995515 [0] NCCL INFO Connected all trees +gpua092:995442:995515 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:995442:995515 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:995442:995515 [0] NCCL INFO comm 0x2225ed30 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua052:1354357:1354357 [2] NCCL INFO cudaDriverVersion 12020 +gpua052:1354357:1354357 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.52<0> +gpua052:1354357:1354357 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua052:1354357:1354431 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.52<0> +gpua052:1354357:1354431 [2] NCCL INFO Using network IB +gpua052:1354357:1354431 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua052:1354357:1354431 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua052:1354357:1354431 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua052:1354357:1354431 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua052:1354357:1354431 [2] NCCL INFO Connected all rings +gpua052:1354357:1354431 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua052:1354357:1354431 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua052:1354357:1354431 [2] NCCL INFO Connected all trees +gpua052:1354357:1354431 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua052:1354357:1354431 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua052:1354357:1354431 [2] NCCL INFO comm 0x99564d70 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua060:3165196:3165196 [1] NCCL INFO cudaDriverVersion 12020 +gpua060:3165196:3165196 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.60<0> +gpua060:3165196:3165196 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua060:3165196:3165273 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.60<0> +gpua060:3165196:3165273 [1] NCCL INFO Using network IB +gpua060:3165196:3165273 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua060:3165196:3165273 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua060:3165196:3165273 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua060:3165196:3165273 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua060:3165196:3165273 [1] NCCL INFO Connected all rings +gpua060:3165196:3165273 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua060:3165196:3165273 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua060:3165196:3165273 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua060:3165196:3165273 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua060:3165196:3165273 [1] NCCL INFO Connected all trees +gpua060:3165196:3165273 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua060:3165196:3165273 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua060:3165196:3165273 [1] NCCL INFO comm 0x1cb87700 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua038:582871:582871 [0] NCCL INFO cudaDriverVersion 12020 +gpua038:582871:582871 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.38<0> +gpua038:582871:582871 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua038:582871:582943 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.38<0> +gpua038:582871:582943 [0] NCCL INFO Using network IB +gpua038:582871:582943 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua038:582871:582943 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua038:582871:582943 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua038:582871:582943 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua038:582871:582943 [0] NCCL INFO Connected all rings +gpua038:582871:582943 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua038:582871:582943 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua038:582871:582943 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua038:582871:582943 [0] NCCL INFO Connected all trees +gpua038:582871:582943 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua038:582871:582943 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua038:582871:582943 [0] NCCL INFO comm 0xe515370 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua096:538963:538963 [1] NCCL INFO cudaDriverVersion 12020 +gpua096:538963:538963 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.96<0> +gpua096:538963:538963 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua096:538963:539040 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.96<0> +gpua096:538963:539040 [1] NCCL INFO Using network IB +gpua096:538963:539040 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua096:538963:539040 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua096:538963:539040 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua096:538963:539040 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua096:538963:539040 [1] NCCL INFO Connected all rings +gpua096:538963:539040 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua096:538963:539040 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua096:538963:539040 [1] NCCL INFO Connected all trees +gpua096:538963:539040 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua096:538963:539040 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua096:538963:539040 [1] NCCL INFO comm 0xe6a02d00 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua022:1202920:1202920 [3] NCCL INFO cudaDriverVersion 12020 +gpua022:1202920:1202920 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:1202920:1202920 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:1202920:1202985 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:1202920:1202985 [3] NCCL INFO Using network IB +gpua022:1202920:1202985 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua022:1202920:1202985 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua022:1202920:1202985 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua022:1202920:1202985 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua022:1202920:1202985 [3] NCCL INFO Connected all rings +gpua022:1202920:1202985 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua022:1202920:1202985 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua022:1202920:1202985 [3] NCCL INFO Connected all trees +gpua022:1202920:1202985 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:1202920:1202985 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:1202920:1202985 [3] NCCL INFO comm 0x98ec14e0 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua087:1652757:1652757 [2] NCCL INFO cudaDriverVersion 12020 +gpua087:1652757:1652757 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.87<0> +gpua087:1652757:1652757 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua087:1652757:1652821 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.87<0> +gpua087:1652757:1652821 [2] NCCL INFO Using network IB +gpua087:1652757:1652821 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua087:1652757:1652821 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua087:1652757:1652821 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua087:1652757:1652821 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua087:1652757:1652821 [2] NCCL INFO Connected all rings +gpua087:1652757:1652821 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua087:1652757:1652821 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua087:1652757:1652821 [2] NCCL INFO Connected all trees +gpua087:1652757:1652821 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua087:1652757:1652821 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua087:1652757:1652821 [2] NCCL INFO comm 0xb1de4f0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua087:1652758:1652758 [3] NCCL INFO cudaDriverVersion 12020 +gpua087:1652758:1652758 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.87<0> +gpua087:1652758:1652758 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua087:1652758:1652819 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.87<0> +gpua087:1652758:1652819 [3] NCCL INFO Using network IB +gpua087:1652758:1652819 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua087:1652758:1652819 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua087:1652758:1652819 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua087:1652758:1652819 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua087:1652758:1652819 [3] NCCL INFO Connected all rings +gpua087:1652758:1652819 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua087:1652758:1652819 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua087:1652758:1652819 [3] NCCL INFO Connected all trees +gpua087:1652758:1652819 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua087:1652758:1652819 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua087:1652758:1652819 [3] NCCL INFO comm 0x38d7de00 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua087:1652756:1652756 [1] NCCL INFO cudaDriverVersion 12020 +gpua087:1652756:1652756 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.87<0> +gpua087:1652756:1652756 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua087:1652756:1652822 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.87<0> +gpua087:1652756:1652822 [1] NCCL INFO Using network IB +gpua087:1652756:1652822 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua087:1652756:1652822 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua087:1652756:1652822 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua087:1652756:1652822 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua087:1652756:1652822 [1] NCCL INFO Connected all rings +gpua087:1652756:1652822 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua087:1652756:1652822 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua087:1652756:1652822 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua087:1652756:1652822 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua087:1652756:1652822 [1] NCCL INFO Connected all trees +gpua087:1652756:1652822 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua087:1652756:1652822 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua087:1652756:1652822 [1] NCCL INFO comm 0x987f0ee0 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua087:1652755:1652755 [0] NCCL INFO cudaDriverVersion 12020 +gpua087:1652755:1652755 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.87<0> +gpua087:1652755:1652755 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua087:1652755:1652820 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.87<0> +gpua087:1652755:1652820 [0] NCCL INFO Using network IB +gpua087:1652755:1652820 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua087:1652755:1652820 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua087:1652755:1652820 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua087:1652755:1652820 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua087:1652755:1652820 [0] NCCL INFO Connected all rings +gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua087:1652755:1652820 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua087:1652755:1652820 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua087:1652755:1652820 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua087:1652755:1652820 [0] NCCL INFO Connected all trees +gpua087:1652755:1652820 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua087:1652755:1652820 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua087:1652755:1652820 [0] NCCL INFO comm 0xd682710 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +[gpua002:0/64] 2023-12-17 23:30:29,827 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua002:0/64] 2023-12-17 23:32:55,202 (trainer:737) INFO: 40epoch:train:1-100batch: iter_time=3.240, forward_time=0.236, loss_ctc=66.503, loss_att=53.724, acc=0.708, loss=57.558, backward_time=0.319, grad_norm=136.271, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.406e-05, train_time=6.654 +[gpua002:0/64] 2023-12-17 23:35:41,126 (trainer:737) INFO: 40epoch:train:101-200batch: iter_time=8.765e-05, forward_time=0.143, loss_ctc=70.488, loss_att=57.788, acc=0.706, loss=61.598, backward_time=0.317, grad_norm=114.014, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.405e-05, train_time=1.659 +[gpua002:0/64] 2023-12-17 23:38:51,577 (trainer:737) INFO: 40epoch:train:201-300batch: iter_time=8.479e-05, forward_time=0.144, loss_ctc=60.327, loss_att=46.388, acc=0.723, loss=50.570, backward_time=0.372, grad_norm=109.956, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.405e-05, train_time=1.904 +[gpua002:0/64] 2023-12-17 23:42:01,559 (trainer:737) INFO: 40epoch:train:301-400batch: iter_time=8.652e-05, forward_time=0.143, loss_ctc=65.803, loss_att=49.438, acc=0.733, loss=54.348, backward_time=0.363, grad_norm=73.071, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.404e-05, train_time=1.900 +[gpua002:0/64] 2023-12-17 23:45:06,082 (trainer:737) INFO: 40epoch:train:401-500batch: iter_time=8.475e-05, forward_time=0.142, loss_ctc=66.381, loss_att=54.104, acc=0.715, loss=57.787, backward_time=0.309, grad_norm=69.083, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.403e-05, train_time=1.845 +[gpua002:0/64] 2023-12-17 23:48:36,221 (trainer:737) INFO: 40epoch:train:501-600batch: iter_time=8.157e-05, forward_time=0.143, loss_ctc=74.095, loss_att=62.295, acc=0.701, loss=65.835, backward_time=0.388, grad_norm=84.736, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.403e-05, train_time=2.101 +[gpua002:0/64] 2023-12-17 23:51:16,766 (trainer:737) INFO: 40epoch:train:601-700batch: iter_time=8.726e-05, forward_time=0.286, loss_ctc=58.869, loss_att=44.469, acc=0.728, loss=48.789, backward_time=0.326, grad_norm=91.433, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.402e-05, train_time=1.605 +[gpua002:0/64] 2023-12-17 23:53:59,196 (trainer:737) INFO: 40epoch:train:701-800batch: iter_time=8.333e-05, forward_time=0.143, loss_ctc=63.253, loss_att=44.765, acc=0.740, loss=50.311, backward_time=0.304, grad_norm=81.894, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.402e-05, train_time=1.624 +[gpua002:0/64] 2023-12-17 23:57:19,610 (trainer:737) INFO: 40epoch:train:801-900batch: iter_time=8.289e-05, forward_time=0.144, loss_ctc=74.013, loss_att=57.868, acc=0.728, loss=62.712, backward_time=0.375, grad_norm=81.435, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.401e-05, train_time=2.003 +[gpua002:0/64] 2023-12-18 00:00:03,136 (trainer:737) INFO: 40epoch:train:901-1000batch: iter_time=7.962e-05, forward_time=0.143, loss_ctc=65.123, loss_att=51.754, acc=0.728, loss=55.765, backward_time=0.301, grad_norm=83.118, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.401e-05, train_time=1.636 +[gpua002:0/64] 2023-12-18 00:02:56,533 (trainer:737) INFO: 40epoch:train:1001-1100batch: iter_time=8.054e-05, forward_time=0.143, loss_ctc=57.907, loss_att=48.281, acc=0.719, loss=51.169, backward_time=0.335, grad_norm=108.464, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.400e-05, train_time=1.734 +[gpua002:0/64] 2023-12-18 00:05:45,623 (trainer:737) INFO: 40epoch:train:1101-1200batch: iter_time=7.334e-05, forward_time=0.144, loss_ctc=76.598, loss_att=66.028, acc=0.700, loss=69.199, backward_time=0.309, grad_norm=126.360, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.400e-05, train_time=1.691 +[gpua002:0/64] 2023-12-18 00:07:13,334 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-18 00:07:32,324 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 00:07:35,783 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 00:07:35,783 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-18 00:07:35,788 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 00:14:33,964 (trainer:737) INFO: 40epoch:train:1201-1300batch: iter_time=2.615, forward_time=0.146, loss_ctc=72.111, loss_att=56.045, acc=0.711, loss=60.865, backward_time=0.286, grad_norm=105.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.399e-05, train_time=5.283 +[gpua002:0/64] 2023-12-18 00:17:37,070 (trainer:737) INFO: 40epoch:train:1301-1400batch: iter_time=8.133e-05, forward_time=0.146, loss_ctc=63.699, loss_att=50.863, acc=0.722, loss=54.714, backward_time=0.344, grad_norm=95.018, clip=100.000, loss_scale=2.272e+31, optim_step_time=0.132, optim0_lr0=6.399e-05, train_time=1.831 +[gpua002:0/64] 2023-12-18 00:19:57,050 (trainer:737) INFO: 40epoch:train:1401-1500batch: iter_time=8.382e-05, forward_time=0.233, loss_ctc=63.347, loss_att=52.352, acc=0.720, loss=55.650, backward_time=0.339, grad_norm=99.477, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.398e-05, train_time=1.399 +[gpua002:0/64] 2023-12-18 00:22:43,472 (trainer:737) INFO: 40epoch:train:1501-1600batch: iter_time=8.355e-05, forward_time=0.146, loss_ctc=60.509, loss_att=44.117, acc=0.735, loss=49.034, backward_time=0.319, grad_norm=77.739, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.397e-05, train_time=1.664 +[gpua002:0/64] 2023-12-18 00:24:55,811 (trainer:737) INFO: 40epoch:train:1601-1700batch: iter_time=8.144e-05, forward_time=0.145, loss_ctc=69.127, loss_att=53.992, acc=0.725, loss=58.532, backward_time=0.285, grad_norm=83.853, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.397e-05, train_time=1.323 +[gpua002:0/64] 2023-12-18 00:27:34,336 (trainer:737) INFO: 40epoch:train:1701-1800batch: iter_time=8.180e-05, forward_time=0.145, loss_ctc=71.172, loss_att=56.032, acc=0.715, loss=60.574, backward_time=0.302, grad_norm=95.497, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.396e-05, train_time=1.585 +[gpua002:0/64] 2023-12-18 00:30:35,227 (trainer:737) INFO: 40epoch:train:1801-1900batch: iter_time=8.176e-05, forward_time=0.145, loss_ctc=65.502, loss_att=53.571, acc=0.712, loss=57.151, backward_time=0.314, grad_norm=112.460, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.396e-05, train_time=1.809 +[gpua002:0/64] 2023-12-18 00:33:14,075 (trainer:737) INFO: 40epoch:train:1901-2000batch: iter_time=7.888e-05, forward_time=0.146, loss_ctc=53.718, loss_att=38.312, acc=0.754, loss=42.934, backward_time=0.334, grad_norm=111.132, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.395e-05, train_time=1.588 +[gpua002:0/64] 2023-12-18 00:33:55,495 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-18 00:35:51,833 (trainer:737) INFO: 40epoch:train:2001-2100batch: iter_time=8.319e-05, forward_time=0.144, loss_ctc=67.709, loss_att=49.559, acc=0.729, loss=55.004, backward_time=0.314, grad_norm=110.380, clip=100.000, loss_scale=2.499e+31, optim_step_time=0.131, optim0_lr0=6.395e-05, train_time=1.577 +[gpua002:0/64] 2023-12-18 00:38:43,866 (trainer:737) INFO: 40epoch:train:2101-2200batch: iter_time=8.200e-05, forward_time=0.145, loss_ctc=73.413, loss_att=62.456, acc=0.724, loss=65.743, backward_time=0.322, grad_norm=85.051, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.394e-05, train_time=1.720 +[gpua002:0/64] 2023-12-18 00:41:30,635 (trainer:737) INFO: 40epoch:train:2201-2300batch: iter_time=8.208e-05, forward_time=0.144, loss_ctc=62.138, loss_att=47.161, acc=0.734, loss=51.654, backward_time=0.301, grad_norm=115.780, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.394e-05, train_time=1.667 +[gpua002:0/64] 2023-12-18 00:44:06,565 (trainer:737) INFO: 40epoch:train:2301-2400batch: iter_time=4.926e-04, forward_time=0.239, loss_ctc=67.466, loss_att=52.749, acc=0.724, loss=57.164, backward_time=0.329, grad_norm=138.408, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.393e-05, train_time=1.559 +[gpua002:0/64] 2023-12-18 00:46:21,572 (trainer:737) INFO: 40epoch:train:2401-2500batch: iter_time=8.055e-05, forward_time=0.150, loss_ctc=74.355, loss_att=62.859, acc=0.711, loss=66.308, backward_time=0.300, grad_norm=90.306, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.393e-05, train_time=1.350 +[gpua002:0/64] 2023-12-18 00:46:41,619 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-18 00:47:00,774 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 00:47:04,421 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 00:47:04,421 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-18 00:47:04,424 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 00:56:39,384 (trainer:737) INFO: 40epoch:train:2501-2600batch: iter_time=2.534, forward_time=0.146, loss_ctc=64.852, loss_att=53.213, acc=0.725, loss=56.704, backward_time=0.295, grad_norm=75.670, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.392e-05, train_time=6.178 +[gpua002:0/64] 2023-12-18 00:59:28,068 (trainer:737) INFO: 40epoch:train:2601-2700batch: iter_time=7.970e-05, forward_time=0.146, loss_ctc=69.380, loss_att=57.932, acc=0.717, loss=61.366, backward_time=0.313, grad_norm=82.101, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.391e-05, train_time=1.687 +[gpua002:0/64] 2023-12-18 01:01:18,469 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-18 01:02:34,347 (trainer:737) INFO: 40epoch:train:2701-2800batch: iter_time=7.912e-05, forward_time=0.146, loss_ctc=59.364, loss_att=46.252, acc=0.737, loss=50.185, backward_time=0.326, grad_norm=76.594, clip=100.000, loss_scale=1.608e+31, optim_step_time=0.132, optim0_lr0=6.391e-05, train_time=1.863 +[gpua002:0/64] 2023-12-18 01:05:52,645 (trainer:737) INFO: 40epoch:train:2801-2900batch: iter_time=7.802e-05, forward_time=0.164, loss_ctc=64.721, loss_att=50.221, acc=0.742, loss=54.571, backward_time=0.345, grad_norm=72.695, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.390e-05, train_time=1.983 +[gpua002:0/64] 2023-12-18 01:09:03,272 (trainer:737) INFO: 40epoch:train:2901-3000batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=65.766, loss_att=52.856, acc=0.730, loss=56.729, backward_time=0.384, grad_norm=97.666, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.390e-05, train_time=1.906 +[gpua002:0/64] 2023-12-18 01:09:57,755 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-18 01:11:59,758 (trainer:737) INFO: 40epoch:train:3001-3100batch: iter_time=8.076e-05, forward_time=0.146, loss_ctc=72.599, loss_att=60.844, acc=0.715, loss=64.371, backward_time=0.349, grad_norm=129.313, clip=100.000, loss_scale=6.453e+30, optim_step_time=0.132, optim0_lr0=6.389e-05, train_time=1.765 +[gpua002:0/64] 2023-12-18 01:14:45,562 (trainer:737) INFO: 40epoch:train:3101-3200batch: iter_time=8.420e-05, forward_time=0.146, loss_ctc=58.214, loss_att=44.270, acc=0.737, loss=48.454, backward_time=0.298, grad_norm=105.428, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.389e-05, train_time=1.658 +[gpua002:0/64] 2023-12-18 01:17:35,287 (trainer:737) INFO: 40epoch:train:3201-3300batch: iter_time=8.181e-05, forward_time=0.147, loss_ctc=61.702, loss_att=44.500, acc=0.755, loss=49.660, backward_time=0.353, grad_norm=312.606, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.388e-05, train_time=1.697 +[gpua002:0/64] 2023-12-18 01:20:27,326 (trainer:737) INFO: 40epoch:train:3301-3400batch: iter_time=8.255e-05, forward_time=0.197, loss_ctc=72.653, loss_att=57.058, acc=0.739, loss=61.736, backward_time=0.324, grad_norm=104.834, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.388e-05, train_time=1.720 +[gpua002:0/64] 2023-12-18 01:23:11,426 (trainer:737) INFO: 40epoch:train:3401-3500batch: iter_time=7.825e-05, forward_time=0.172, loss_ctc=63.633, loss_att=51.018, acc=0.742, loss=54.802, backward_time=0.326, grad_norm=99.216, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.387e-05, train_time=1.641 +[gpua002:0/64] 2023-12-18 01:25:56,065 (trainer:737) INFO: 40epoch:train:3501-3600batch: iter_time=8.253e-05, forward_time=0.146, loss_ctc=57.340, loss_att=48.730, acc=0.728, loss=51.313, backward_time=0.317, grad_norm=130.100, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.387e-05, train_time=1.646 +[gpua002:0/64] 2023-12-18 01:28:41,948 (trainer:737) INFO: 40epoch:train:3601-3700batch: iter_time=8.129e-05, forward_time=0.147, loss_ctc=76.086, loss_att=64.951, acc=0.720, loss=68.292, backward_time=0.340, grad_norm=105.389, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.386e-05, train_time=1.659 +[gpua002:0/64] 2023-12-18 01:30:27,963 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-18 01:30:47,101 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 01:30:50,690 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 01:30:50,691 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-18 01:30:50,694 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 01:35:34,692 (trainer:737) INFO: 40epoch:train:3701-3800batch: iter_time=2.480, forward_time=0.147, loss_ctc=71.315, loss_att=57.285, acc=0.719, loss=61.494, backward_time=0.302, grad_norm=137.727, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.386e-05, train_time=4.127 +[gpua002:0/64] 2023-12-18 01:37:59,405 (trainer:737) INFO: 40epoch:train:3801-3900batch: iter_time=8.304e-05, forward_time=0.146, loss_ctc=62.786, loss_att=50.409, acc=0.737, loss=54.122, backward_time=0.300, grad_norm=110.684, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.385e-05, train_time=1.447 +[gpua002:0/64] 2023-12-18 01:40:22,252 (trainer:737) INFO: 40epoch:train:3901-4000batch: iter_time=8.249e-05, forward_time=0.223, loss_ctc=62.295, loss_att=51.807, acc=0.730, loss=54.953, backward_time=0.286, grad_norm=73.758, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.384e-05, train_time=1.428 +[gpua002:0/64] 2023-12-18 01:42:47,165 (trainer:737) INFO: 40epoch:train:4001-4100batch: iter_time=8.392e-05, forward_time=0.181, loss_ctc=59.739, loss_att=44.120, acc=0.746, loss=48.806, backward_time=0.306, grad_norm=91.903, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.384e-05, train_time=1.449 +[gpua002:0/64] 2023-12-18 01:45:04,855 (trainer:737) INFO: 40epoch:train:4101-4200batch: iter_time=8.386e-05, forward_time=0.159, loss_ctc=68.482, loss_att=55.020, acc=0.734, loss=59.059, backward_time=0.296, grad_norm=117.210, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.383e-05, train_time=1.377 +[gpua002:0/64] 2023-12-18 01:47:37,244 (trainer:737) INFO: 40epoch:train:4201-4300batch: iter_time=8.428e-05, forward_time=0.145, loss_ctc=70.442, loss_att=56.089, acc=0.721, loss=60.395, backward_time=0.331, grad_norm=148.402, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.383e-05, train_time=1.524 +[gpua002:0/64] 2023-12-18 01:50:12,831 (trainer:737) INFO: 40epoch:train:4301-4400batch: iter_time=7.965e-05, forward_time=0.146, loss_ctc=64.757, loss_att=53.619, acc=0.722, loss=56.961, backward_time=0.307, grad_norm=88.259, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.382e-05, train_time=1.556 +[gpua002:0/64] 2023-12-18 01:52:27,397 (trainer:737) INFO: 40epoch:train:4401-4500batch: iter_time=8.084e-05, forward_time=0.145, loss_ctc=53.355, loss_att=38.227, acc=0.767, loss=42.765, backward_time=0.294, grad_norm=69.996, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.382e-05, train_time=1.345 +[gpua002:0/64] 2023-12-18 01:54:57,885 (trainer:737) INFO: 40epoch:train:4501-4600batch: iter_time=8.151e-05, forward_time=0.146, loss_ctc=67.085, loss_att=49.449, acc=0.741, loss=54.740, backward_time=0.312, grad_norm=95.056, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.381e-05, train_time=1.505 +[gpua002:0/64] 2023-12-18 01:57:51,579 (trainer:737) INFO: 40epoch:train:4601-4700batch: iter_time=8.257e-05, forward_time=0.145, loss_ctc=72.840, loss_att=62.100, acc=0.731, loss=65.322, backward_time=0.337, grad_norm=89.548, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.381e-05, train_time=1.737 +[gpua002:0/64] 2023-12-18 02:00:17,141 (trainer:737) INFO: 40epoch:train:4701-4800batch: iter_time=8.046e-05, forward_time=0.145, loss_ctc=60.884, loss_att=47.061, acc=0.743, loss=51.208, backward_time=0.305, grad_norm=57.959, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.380e-05, train_time=1.455 +[gpua002:0/64] 2023-12-18 02:03:01,350 (trainer:737) INFO: 40epoch:train:4801-4900batch: iter_time=9.082e-05, forward_time=0.149, loss_ctc=67.166, loss_att=53.861, acc=0.734, loss=57.853, backward_time=0.319, grad_norm=74.195, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.380e-05, train_time=1.642 +[gpua002:0/64] 2023-12-18 02:05:22,168 (trainer:737) INFO: 40epoch:train:4901-5000batch: iter_time=8.036e-05, forward_time=0.225, loss_ctc=74.111, loss_att=63.609, acc=0.721, loss=66.760, backward_time=0.299, grad_norm=72.864, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.379e-05, train_time=1.408 +[gpua002:0/64] 2023-12-18 02:05:42,197 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-18 02:06:01,449 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 02:06:05,002 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 02:06:05,002 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-18 02:06:05,006 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 02:16:45,411 (trainer:737) INFO: 40epoch:train:5001-5100batch: iter_time=3.162, forward_time=0.203, loss_ctc=64.685, loss_att=52.236, acc=0.721, loss=55.970, backward_time=0.292, grad_norm=73.908, clip=100.000, loss_scale=8.721e+30, optim_step_time=0.133, optim0_lr0=6.378e-05, train_time=6.832 +[gpua002:0/64] 2023-12-18 02:19:33,122 (trainer:737) INFO: 40epoch:train:5101-5200batch: iter_time=8.629e-05, forward_time=0.198, loss_ctc=68.903, loss_att=57.035, acc=0.713, loss=60.595, backward_time=0.409, grad_norm=67.584, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.378e-05, train_time=1.677 +[gpua002:0/64] 2023-12-18 02:22:12,348 (trainer:737) INFO: 40epoch:train:5201-5300batch: iter_time=8.387e-05, forward_time=0.223, loss_ctc=58.950, loss_att=45.375, acc=0.733, loss=49.447, backward_time=0.339, grad_norm=73.893, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.377e-05, train_time=1.592 +[gpua002:0/64] 2023-12-18 02:24:39,406 (trainer:737) INFO: 40epoch:train:5301-5400batch: iter_time=8.339e-05, forward_time=0.163, loss_ctc=64.001, loss_att=47.886, acc=0.745, loss=52.721, backward_time=0.305, grad_norm=86.169, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.377e-05, train_time=1.470 +[gpua002:0/64] 2023-12-18 02:27:36,935 (trainer:737) INFO: 40epoch:train:5401-5500batch: iter_time=8.382e-05, forward_time=0.214, loss_ctc=65.076, loss_att=51.911, acc=0.725, loss=55.860, backward_time=0.324, grad_norm=73.511, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.376e-05, train_time=1.775 +[gpua002:0/64] 2023-12-18 02:30:04,542 (trainer:737) INFO: 40epoch:train:5501-5600batch: iter_time=8.334e-05, forward_time=0.221, loss_ctc=72.054, loss_att=60.211, acc=0.709, loss=63.764, backward_time=0.312, grad_norm=74.018, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.376e-05, train_time=1.476 +[gpua002:0/64] 2023-12-18 02:32:41,305 (trainer:737) INFO: 40epoch:train:5601-5700batch: iter_time=8.434e-05, forward_time=0.158, loss_ctc=57.559, loss_att=43.028, acc=0.739, loss=47.387, backward_time=0.295, grad_norm=65.987, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.375e-05, train_time=1.567 +[gpua002:0/64] 2023-12-18 02:34:50,944 (trainer:737) INFO: 40epoch:train:5701-5800batch: iter_time=8.408e-05, forward_time=0.145, loss_ctc=60.940, loss_att=43.609, acc=0.749, loss=48.808, backward_time=0.285, grad_norm=82.897, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.375e-05, train_time=1.296 +[gpua002:0/64] 2023-12-18 02:37:28,330 (trainer:737) INFO: 40epoch:train:5801-5900batch: iter_time=3.377e-04, forward_time=0.228, loss_ctc=72.980, loss_att=56.846, acc=0.734, loss=61.686, backward_time=0.330, grad_norm=97.641, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.374e-05, train_time=1.572 +[gpua002:0/64] 2023-12-18 02:39:46,793 (trainer:737) INFO: 40epoch:train:5901-6000batch: iter_time=8.176e-05, forward_time=0.169, loss_ctc=62.967, loss_att=50.761, acc=0.736, loss=54.423, backward_time=0.289, grad_norm=77.509, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.374e-05, train_time=1.386 +[gpua002:0/64] 2023-12-18 02:42:22,604 (trainer:737) INFO: 40epoch:train:6001-6100batch: iter_time=3.147e-04, forward_time=0.208, loss_ctc=57.041, loss_att=47.159, acc=0.725, loss=50.124, backward_time=0.363, grad_norm=101.575, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.373e-05, train_time=1.558 +[gpua002:0/64] 2023-12-18 02:44:42,266 (trainer:737) INFO: 40epoch:train:6101-6200batch: iter_time=8.356e-05, forward_time=0.147, loss_ctc=75.324, loss_att=64.320, acc=0.708, loss=67.621, backward_time=0.285, grad_norm=91.135, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.373e-05, train_time=1.396 +[gpua002:0/64] 2023-12-18 02:46:19,430 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-18 02:46:38,566 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 02:46:42,112 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 02:46:42,112 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-18 02:46:42,118 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 02:54:14,652 (trainer:737) INFO: 40epoch:train:6201-6300batch: iter_time=4.282, forward_time=0.177, loss_ctc=71.036, loss_att=56.313, acc=0.721, loss=60.730, backward_time=0.287, grad_norm=81.997, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.372e-05, train_time=5.724 +[gpua002:0/64] 2023-12-18 02:56:36,238 (trainer:737) INFO: 40epoch:train:6301-6400batch: iter_time=3.321e-04, forward_time=0.259, loss_ctc=62.525, loss_att=50.707, acc=0.737, loss=54.252, backward_time=0.304, grad_norm=78.458, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.371e-05, train_time=1.415 +[gpua002:0/64] 2023-12-18 02:58:57,197 (trainer:737) INFO: 40epoch:train:6401-6500batch: iter_time=8.083e-05, forward_time=0.262, loss_ctc=62.038, loss_att=51.736, acc=0.731, loss=54.827, backward_time=0.304, grad_norm=73.884, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.371e-05, train_time=1.408 +[gpua002:0/64] 2023-12-18 03:01:16,091 (trainer:737) INFO: 40epoch:train:6501-6600batch: iter_time=9.501e-05, forward_time=0.174, loss_ctc=59.712, loss_att=43.944, acc=0.747, loss=48.674, backward_time=0.293, grad_norm=84.164, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.370e-05, train_time=1.390 +[gpua002:0/64] 2023-12-18 03:04:00,811 (trainer:737) INFO: 40epoch:train:6601-6700batch: iter_time=8.336e-05, forward_time=0.203, loss_ctc=68.317, loss_att=54.777, acc=0.735, loss=58.839, backward_time=0.302, grad_norm=74.478, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.370e-05, train_time=1.647 +[gpua002:0/64] 2023-12-18 03:06:39,211 (trainer:737) INFO: 40epoch:train:6701-6800batch: iter_time=8.242e-05, forward_time=0.236, loss_ctc=70.236, loss_att=55.846, acc=0.722, loss=60.163, backward_time=0.337, grad_norm=82.553, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.369e-05, train_time=1.584 +[gpua002:0/64] 2023-12-18 03:09:02,089 (trainer:737) INFO: 40epoch:train:6801-6900batch: iter_time=3.695e-04, forward_time=0.166, loss_ctc=64.637, loss_att=53.228, acc=0.723, loss=56.650, backward_time=0.328, grad_norm=75.793, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.369e-05, train_time=1.427 +[gpua002:0/64] 2023-12-18 03:11:41,314 (trainer:737) INFO: 40epoch:train:6901-7000batch: iter_time=7.888e-05, forward_time=0.191, loss_ctc=52.599, loss_att=37.738, acc=0.769, loss=42.197, backward_time=0.375, grad_norm=56.039, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.368e-05, train_time=1.593 +[gpua002:0/64] 2023-12-18 03:14:17,084 (trainer:737) INFO: 40epoch:train:7001-7100batch: iter_time=8.010e-05, forward_time=0.156, loss_ctc=66.632, loss_att=49.604, acc=0.741, loss=54.713, backward_time=0.315, grad_norm=75.025, clip=100.000, loss_scale=1.744e+31, optim_step_time=0.132, optim0_lr0=6.368e-05, train_time=1.558 +[gpua002:0/64] 2023-12-18 03:16:59,151 (trainer:737) INFO: 40epoch:train:7101-7200batch: iter_time=7.039e-04, forward_time=0.224, loss_ctc=73.032, loss_att=62.085, acc=0.732, loss=65.369, backward_time=0.333, grad_norm=72.357, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.367e-05, train_time=1.620 +[gpua002:0/64] 2023-12-18 03:19:50,654 (trainer:737) INFO: 40epoch:train:7201-7300batch: iter_time=3.548e-04, forward_time=0.243, loss_ctc=60.436, loss_att=46.486, acc=0.745, loss=50.671, backward_time=0.335, grad_norm=73.885, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.367e-05, train_time=1.716 +[gpua002:0/64] 2023-12-18 03:22:21,317 (trainer:737) INFO: 40epoch:train:7301-7400batch: iter_time=7.858e-05, forward_time=0.148, loss_ctc=66.756, loss_att=53.637, acc=0.734, loss=57.573, backward_time=0.296, grad_norm=75.143, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.366e-05, train_time=1.504 +[gpua002:0/64] 2023-12-18 03:25:06,261 (trainer:737) INFO: 40epoch:train:7401-7500batch: iter_time=3.865e-04, forward_time=0.211, loss_ctc=73.842, loss_att=62.872, acc=0.723, loss=66.163, backward_time=0.351, grad_norm=123.546, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.366e-05, train_time=1.651 +[gpua002:0/64] 2023-12-18 03:25:26,335 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-18 03:25:46,028 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 03:25:49,530 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 03:25:49,530 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-18 03:25:49,533 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 03:36:07,291 (trainer:737) INFO: 40epoch:train:7501-7600batch: iter_time=3.028, forward_time=0.147, loss_ctc=63.854, loss_att=51.230, acc=0.724, loss=55.017, backward_time=0.279, grad_norm=85.855, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.365e-05, train_time=6.611 +[gpua002:0/64] 2023-12-18 03:38:30,248 (trainer:737) INFO: 40epoch:train:7601-7700batch: iter_time=8.065e-05, forward_time=0.146, loss_ctc=68.702, loss_att=56.665, acc=0.716, loss=60.276, backward_time=0.292, grad_norm=71.840, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.364e-05, train_time=1.429 +[gpua002:0/64] 2023-12-18 03:41:02,926 (trainer:737) INFO: 40epoch:train:7701-7800batch: iter_time=8.101e-05, forward_time=0.147, loss_ctc=58.759, loss_att=45.000, acc=0.736, loss=49.128, backward_time=0.307, grad_norm=70.978, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.364e-05, train_time=1.527 +[gpua002:0/64] 2023-12-18 03:43:26,961 (trainer:737) INFO: 40epoch:train:7801-7900batch: iter_time=8.401e-05, forward_time=0.171, loss_ctc=63.747, loss_att=47.805, acc=0.744, loss=52.587, backward_time=0.287, grad_norm=111.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.363e-05, train_time=1.440 +[gpua002:0/64] 2023-12-18 03:45:54,594 (trainer:737) INFO: 40epoch:train:7901-8000batch: iter_time=8.731e-05, forward_time=0.231, loss_ctc=64.589, loss_att=51.615, acc=0.726, loss=55.507, backward_time=0.313, grad_norm=63.360, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.363e-05, train_time=1.476 +[gpua002:0/64] 2023-12-18 03:48:15,817 (trainer:737) INFO: 40epoch:train:8001-8100batch: iter_time=7.954e-05, forward_time=0.167, loss_ctc=71.100, loss_att=59.623, acc=0.711, loss=63.066, backward_time=0.299, grad_norm=79.707, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.362e-05, train_time=1.413 +[gpua002:0/64] 2023-12-18 03:51:00,715 (trainer:737) INFO: 40epoch:train:8101-8200batch: iter_time=7.944e-05, forward_time=0.148, loss_ctc=57.731, loss_att=43.073, acc=0.738, loss=47.471, backward_time=0.315, grad_norm=65.766, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.362e-05, train_time=1.649 +[gpua002:0/64] 2023-12-18 03:53:37,647 (trainer:737) INFO: 40epoch:train:8201-8300batch: iter_time=8.305e-05, forward_time=0.146, loss_ctc=60.698, loss_att=43.167, acc=0.752, loss=48.426, backward_time=0.303, grad_norm=75.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.361e-05, train_time=1.569 +[gpua002:0/64] 2023-12-18 03:56:01,451 (trainer:737) INFO: 40epoch:train:8301-8400batch: iter_time=8.557e-05, forward_time=0.158, loss_ctc=72.058, loss_att=55.995, acc=0.738, loss=60.814, backward_time=0.284, grad_norm=71.649, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.361e-05, train_time=1.438 +[gpua002:0/64] 2023-12-18 03:58:39,661 (trainer:737) INFO: 40epoch:train:8401-8500batch: iter_time=8.103e-05, forward_time=0.215, loss_ctc=63.235, loss_att=50.793, acc=0.737, loss=54.526, backward_time=0.347, grad_norm=76.321, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.360e-05, train_time=1.582 +[gpua002:0/64] 2023-12-18 04:01:13,549 (trainer:737) INFO: 40epoch:train:8501-8600batch: iter_time=8.098e-05, forward_time=0.146, loss_ctc=56.581, loss_att=47.146, acc=0.729, loss=49.976, backward_time=0.314, grad_norm=75.180, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.360e-05, train_time=1.538 +[gpua002:0/64] 2023-12-18 04:03:34,040 (trainer:737) INFO: 40epoch:train:8601-8700batch: iter_time=8.269e-05, forward_time=0.146, loss_ctc=75.361, loss_att=64.824, acc=0.707, loss=67.985, backward_time=0.288, grad_norm=98.243, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.359e-05, train_time=1.405 +[gpua002:0/64] 2023-12-18 04:05:04,518 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-18 04:05:24,430 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 04:05:27,876 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 04:05:27,876 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-18 04:05:27,879 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 04:16:53,211 (trainer:737) INFO: 40epoch:train:8701-8800batch: iter_time=2.991, forward_time=0.146, loss_ctc=70.796, loss_att=55.160, acc=0.720, loss=59.851, backward_time=0.284, grad_norm=88.062, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.359e-05, train_time=7.991 +[gpua002:0/64] 2023-12-18 04:19:13,810 (trainer:737) INFO: 40epoch:train:8801-8900batch: iter_time=7.791e-05, forward_time=0.147, loss_ctc=62.613, loss_att=49.755, acc=0.731, loss=53.613, backward_time=0.296, grad_norm=82.556, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.358e-05, train_time=1.406 +[gpua002:0/64] 2023-12-18 04:21:49,824 (trainer:737) INFO: 40epoch:train:8901-9000batch: iter_time=7.945e-05, forward_time=0.147, loss_ctc=61.782, loss_att=51.053, acc=0.729, loss=54.272, backward_time=0.322, grad_norm=64.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.357e-05, train_time=1.560 +[gpua002:0/64] 2023-12-18 04:24:21,826 (trainer:737) INFO: 40epoch:train:9001-9100batch: iter_time=7.983e-05, forward_time=0.146, loss_ctc=60.222, loss_att=43.643, acc=0.741, loss=48.617, backward_time=0.307, grad_norm=67.703, clip=100.000, loss_scale=3.489e+31, optim_step_time=0.132, optim0_lr0=6.357e-05, train_time=1.520 +[gpua002:0/64] 2023-12-18 04:26:51,807 (trainer:737) INFO: 40epoch:train:9101-9200batch: iter_time=8.094e-05, forward_time=0.183, loss_ctc=67.726, loss_att=52.756, acc=0.733, loss=57.247, backward_time=0.301, grad_norm=97.827, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=6.356e-05, train_time=1.497 +[gpua002:0/64] 2023-12-18 04:29:27,422 (trainer:737) INFO: 40epoch:train:9201-9300batch: iter_time=8.180e-05, forward_time=0.233, loss_ctc=69.901, loss_att=55.068, acc=0.720, loss=59.518, backward_time=0.301, grad_norm=77.543, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.356e-05, train_time=1.558 +[gpua002:0/64] 2023-12-18 04:32:10,068 (trainer:737) INFO: 40epoch:train:9301-9400batch: iter_time=8.278e-05, forward_time=0.147, loss_ctc=65.007, loss_att=53.277, acc=0.717, loss=56.796, backward_time=0.295, grad_norm=79.588, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.355e-05, train_time=1.626 +[gpua002:0/64] 2023-12-18 04:34:56,213 (trainer:737) INFO: 40epoch:train:9401-9500batch: iter_time=7.957e-05, forward_time=0.146, loss_ctc=53.097, loss_att=37.813, acc=0.762, loss=42.398, backward_time=0.308, grad_norm=59.349, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.355e-05, train_time=1.662 +[gpua002:0/64] 2023-12-18 04:37:40,006 (trainer:737) INFO: 40epoch:train:9501-9600batch: iter_time=8.095e-05, forward_time=0.146, loss_ctc=65.869, loss_att=48.282, acc=0.736, loss=53.558, backward_time=0.293, grad_norm=81.625, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.354e-05, train_time=1.638 +[gpua002:0/64] 2023-12-18 04:40:21,387 (trainer:737) INFO: 40epoch:train:9601-9700batch: iter_time=8.076e-05, forward_time=0.147, loss_ctc=72.225, loss_att=61.583, acc=0.728, loss=64.776, backward_time=0.316, grad_norm=85.517, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.354e-05, train_time=1.614 +[gpua002:0/64] 2023-12-18 04:42:59,175 (trainer:737) INFO: 40epoch:train:9701-9800batch: iter_time=8.335e-05, forward_time=0.146, loss_ctc=60.145, loss_att=45.924, acc=0.741, loss=50.190, backward_time=0.295, grad_norm=66.831, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.353e-05, train_time=1.578 +[gpua002:0/64] 2023-12-18 04:45:32,175 (trainer:737) INFO: 40epoch:train:9801-9900batch: iter_time=8.034e-05, forward_time=0.147, loss_ctc=66.790, loss_att=52.188, acc=0.729, loss=56.568, backward_time=0.280, grad_norm=64.223, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.353e-05, train_time=1.530 +[gpua002:0/64] 2023-12-18 04:47:58,640 (trainer:737) INFO: 40epoch:train:9901-10000batch: iter_time=8.111e-05, forward_time=0.147, loss_ctc=73.420, loss_att=61.768, acc=0.716, loss=65.264, backward_time=0.301, grad_norm=70.608, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.352e-05, train_time=1.464 +[gpua002:0/64] 2023-12-18 04:48:18,669 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-18 04:48:37,839 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 04:48:41,339 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 04:48:41,340 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-18 04:48:41,343 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 04:58:08,197 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-18 04:59:02,676 (trainer:737) INFO: 40epoch:train:10001-10100batch: iter_time=3.108, forward_time=0.201, loss_ctc=63.680, loss_att=52.487, acc=0.732, loss=55.845, backward_time=0.285, grad_norm=72.039, clip=100.000, loss_scale=3.135e+31, optim_step_time=0.133, optim0_lr0=6.352e-05, train_time=6.640 +[gpua002:0/64] 2023-12-18 05:01:30,075 (trainer:737) INFO: 40epoch:train:10101-10200batch: iter_time=8.184e-05, forward_time=0.146, loss_ctc=68.183, loss_att=56.659, acc=0.725, loss=60.116, backward_time=0.334, grad_norm=73.924, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.351e-05, train_time=1.474 +[gpua002:0/64] 2023-12-18 05:03:38,017 (trainer:737) INFO: 40epoch:train:10201-10300batch: iter_time=7.986e-05, forward_time=0.149, loss_ctc=58.946, loss_att=45.095, acc=0.744, loss=49.250, backward_time=0.288, grad_norm=77.361, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.351e-05, train_time=1.278 +[gpua002:0/64] 2023-12-18 05:06:08,962 (trainer:737) INFO: 40epoch:train:10301-10400batch: iter_time=7.914e-05, forward_time=0.146, loss_ctc=63.516, loss_att=49.118, acc=0.750, loss=53.437, backward_time=0.309, grad_norm=65.490, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.350e-05, train_time=1.510 +[gpua002:0/64] 2023-12-18 05:08:44,583 (trainer:737) INFO: 40epoch:train:10401-10500batch: iter_time=8.121e-05, forward_time=0.146, loss_ctc=64.432, loss_att=52.274, acc=0.734, loss=55.921, backward_time=0.335, grad_norm=62.235, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.349e-05, train_time=1.556 +[gpua002:0/64] 2023-12-18 05:10:57,716 (trainer:737) INFO: 40epoch:train:10501-10600batch: iter_time=8.246e-05, forward_time=0.146, loss_ctc=72.065, loss_att=59.976, acc=0.719, loss=63.602, backward_time=0.295, grad_norm=71.077, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.349e-05, train_time=1.331 +[gpua002:0/64] 2023-12-18 05:14:06,902 (trainer:737) INFO: 40epoch:train:10601-10700batch: iter_time=8.020e-05, forward_time=0.146, loss_ctc=57.053, loss_att=43.473, acc=0.743, loss=47.547, backward_time=0.344, grad_norm=61.842, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.348e-05, train_time=1.892 +[gpua002:0/64] 2023-12-18 05:16:40,444 (trainer:737) INFO: 40epoch:train:10701-10800batch: iter_time=8.024e-05, forward_time=0.146, loss_ctc=60.505, loss_att=43.499, acc=0.760, loss=48.601, backward_time=0.320, grad_norm=66.651, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.348e-05, train_time=1.535 +[gpua002:0/64] 2023-12-18 05:19:07,492 (trainer:737) INFO: 40epoch:train:10801-10900batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=71.628, loss_att=56.430, acc=0.742, loss=60.989, backward_time=0.299, grad_norm=70.167, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.347e-05, train_time=1.470 +[gpua002:0/64] 2023-12-18 05:21:46,699 (trainer:737) INFO: 40epoch:train:10901-11000batch: iter_time=8.013e-05, forward_time=0.185, loss_ctc=63.259, loss_att=50.518, acc=0.745, loss=54.340, backward_time=0.298, grad_norm=61.268, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.347e-05, train_time=1.592 +[gpua002:0/64] 2023-12-18 05:24:08,893 (trainer:737) INFO: 40epoch:train:11001-11100batch: iter_time=8.356e-05, forward_time=0.211, loss_ctc=56.190, loss_att=47.126, acc=0.737, loss=49.845, backward_time=0.305, grad_norm=65.416, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.346e-05, train_time=1.422 +[gpua002:0/64] 2023-12-18 05:26:49,860 (trainer:737) INFO: 40epoch:train:11101-11200batch: iter_time=8.185e-05, forward_time=0.147, loss_ctc=74.558, loss_att=63.736, acc=0.722, loss=66.983, backward_time=0.309, grad_norm=70.821, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.346e-05, train_time=1.609 +[gpua002:0/64] 2023-12-18 05:28:16,875 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-18 05:28:35,945 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 05:28:39,439 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 05:28:39,439 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-18 05:28:39,457 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 05:37:15,497 (trainer:737) INFO: 40epoch:train:11201-11300batch: iter_time=3.145, forward_time=0.146, loss_ctc=69.981, loss_att=56.710, acc=0.725, loss=60.691, backward_time=0.293, grad_norm=70.197, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.345e-05, train_time=6.256 +[gpua002:0/64] 2023-12-18 05:39:15,880 (trainer:737) INFO: 40epoch:train:11301-11400batch: iter_time=8.120e-05, forward_time=0.146, loss_ctc=62.046, loss_att=49.951, acc=0.741, loss=53.580, backward_time=0.277, grad_norm=68.888, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.345e-05, train_time=1.204 +[gpua002:0/64] 2023-12-18 05:41:44,713 (trainer:737) INFO: 40epoch:train:11401-11500batch: iter_time=8.130e-05, forward_time=0.146, loss_ctc=61.925, loss_att=51.138, acc=0.736, loss=54.374, backward_time=0.303, grad_norm=71.059, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.344e-05, train_time=1.487 +[gpua002:0/64] 2023-12-18 05:44:41,127 (trainer:737) INFO: 40epoch:train:11501-11600batch: iter_time=8.355e-05, forward_time=0.213, loss_ctc=59.591, loss_att=43.611, acc=0.750, loss=48.405, backward_time=0.335, grad_norm=62.671, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.344e-05, train_time=1.765 +[gpua002:0/64] 2023-12-18 05:47:07,505 (trainer:737) INFO: 40epoch:train:11601-11700batch: iter_time=8.326e-05, forward_time=0.146, loss_ctc=67.826, loss_att=54.347, acc=0.737, loss=58.391, backward_time=0.299, grad_norm=69.827, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.343e-05, train_time=1.464 +[gpua002:0/64] 2023-12-18 05:49:32,010 (trainer:737) INFO: 40epoch:train:11701-11800batch: iter_time=8.394e-05, forward_time=0.146, loss_ctc=69.453, loss_att=55.380, acc=0.725, loss=59.602, backward_time=0.282, grad_norm=62.610, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.343e-05, train_time=1.445 +[gpua002:0/64] 2023-12-18 05:52:07,793 (trainer:737) INFO: 40epoch:train:11801-11900batch: iter_time=8.272e-05, forward_time=0.145, loss_ctc=64.765, loss_att=53.140, acc=0.726, loss=56.628, backward_time=0.299, grad_norm=70.513, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.342e-05, train_time=1.558 +[gpua002:0/64] 2023-12-18 05:54:25,213 (trainer:737) INFO: 40epoch:train:11901-12000batch: iter_time=8.240e-05, forward_time=0.146, loss_ctc=52.731, loss_att=37.929, acc=0.769, loss=42.369, backward_time=0.290, grad_norm=67.560, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.341e-05, train_time=1.374 +[gpua002:0/64] 2023-12-18 05:57:00,626 (trainer:737) INFO: 40epoch:train:12001-12100batch: iter_time=8.282e-05, forward_time=0.146, loss_ctc=65.847, loss_att=48.602, acc=0.744, loss=53.776, backward_time=0.287, grad_norm=78.867, clip=100.000, loss_scale=2.941e+31, optim_step_time=0.132, optim0_lr0=6.341e-05, train_time=1.553 +[gpua002:0/64] 2023-12-18 05:59:45,509 (trainer:737) INFO: 40epoch:train:12101-12200batch: iter_time=8.206e-05, forward_time=0.146, loss_ctc=71.863, loss_att=61.452, acc=0.734, loss=64.575, backward_time=0.291, grad_norm=78.286, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.340e-05, train_time=1.649 +[gpua002:0/64] 2023-12-18 06:02:15,375 (trainer:737) INFO: 40epoch:train:12201-12300batch: iter_time=8.069e-05, forward_time=0.216, loss_ctc=60.234, loss_att=46.398, acc=0.746, loss=50.548, backward_time=0.306, grad_norm=58.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.340e-05, train_time=1.498 +[gpua002:0/64] 2023-12-18 06:04:53,281 (trainer:737) INFO: 40epoch:train:12301-12400batch: iter_time=8.014e-05, forward_time=0.196, loss_ctc=66.226, loss_att=52.670, acc=0.738, loss=56.737, backward_time=0.355, grad_norm=69.275, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.339e-05, train_time=1.579 +[gpua002:0/64] 2023-12-18 06:07:27,473 (trainer:737) INFO: 40epoch:train:12401-12500batch: iter_time=7.837e-05, forward_time=0.146, loss_ctc=73.308, loss_att=62.766, acc=0.725, loss=65.929, backward_time=0.314, grad_norm=87.701, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.339e-05, train_time=1.542 +[gpua002:0/64] 2023-12-18 06:07:47,502 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-18 06:08:07,083 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 06:08:10,724 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 06:08:10,724 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-18 06:08:10,727 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 06:18:16,171 (trainer:737) INFO: 40epoch:train:12501-12600batch: iter_time=5.232, forward_time=0.178, loss_ctc=63.868, loss_att=50.549, acc=0.734, loss=54.545, backward_time=0.282, grad_norm=69.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.338e-05, train_time=6.486 +[gpua002:0/64] 2023-12-18 06:18:29,217 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-18 06:20:17,861 (trainer:737) INFO: 40epoch:train:12601-12700batch: iter_time=8.164e-05, forward_time=0.147, loss_ctc=67.916, loss_att=55.729, acc=0.727, loss=59.385, backward_time=0.279, grad_norm=69.129, clip=100.000, loss_scale=2.233e+31, optim_step_time=0.131, optim0_lr0=6.338e-05, train_time=1.217 +[gpua002:0/64] 2023-12-18 06:23:06,484 (trainer:737) INFO: 40epoch:train:12701-12800batch: iter_time=8.631e-05, forward_time=0.235, loss_ctc=58.378, loss_att=44.314, acc=0.746, loss=48.533, backward_time=0.317, grad_norm=67.203, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.337e-05, train_time=1.685 +[gpua002:0/64] 2023-12-18 06:25:18,889 (trainer:737) INFO: 40epoch:train:12801-12900batch: iter_time=8.532e-05, forward_time=0.146, loss_ctc=63.466, loss_att=48.755, acc=0.751, loss=53.168, backward_time=0.298, grad_norm=71.250, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.337e-05, train_time=1.325 +[gpua002:0/64] 2023-12-18 06:27:50,759 (trainer:737) INFO: 40epoch:train:12901-13000batch: iter_time=8.515e-05, forward_time=0.146, loss_ctc=64.564, loss_att=51.420, acc=0.737, loss=55.363, backward_time=0.292, grad_norm=63.746, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.336e-05, train_time=1.519 +[gpua002:0/64] 2023-12-18 06:30:11,959 (trainer:737) INFO: 40epoch:train:13001-13100batch: iter_time=8.813e-05, forward_time=0.148, loss_ctc=71.564, loss_att=59.559, acc=0.720, loss=63.161, backward_time=0.286, grad_norm=97.802, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.336e-05, train_time=1.412 +[gpua002:0/64] 2023-12-18 06:32:40,502 (trainer:737) INFO: 40epoch:train:13101-13200batch: iter_time=8.621e-05, forward_time=0.251, loss_ctc=56.994, loss_att=43.050, acc=0.744, loss=47.233, backward_time=0.325, grad_norm=80.697, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.335e-05, train_time=1.485 +[gpua002:0/64] 2023-12-18 06:35:24,421 (trainer:737) INFO: 40epoch:train:13201-13300batch: iter_time=8.364e-05, forward_time=0.145, loss_ctc=60.381, loss_att=43.110, acc=0.762, loss=48.291, backward_time=0.327, grad_norm=79.135, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.335e-05, train_time=1.639 +[gpua002:0/64] 2023-12-18 06:38:00,102 (trainer:737) INFO: 40epoch:train:13301-13400batch: iter_time=8.697e-05, forward_time=0.147, loss_ctc=71.592, loss_att=56.277, acc=0.743, loss=60.872, backward_time=0.289, grad_norm=70.986, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.334e-05, train_time=1.557 +[gpua002:0/64] 2023-12-18 06:40:40,299 (trainer:737) INFO: 40epoch:train:13401-13500batch: iter_time=8.657e-05, forward_time=0.145, loss_ctc=62.896, loss_att=50.554, acc=0.744, loss=54.256, backward_time=0.331, grad_norm=76.864, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.334e-05, train_time=1.602 +[gpua002:0/64] 2023-12-18 06:43:06,818 (trainer:737) INFO: 40epoch:train:13501-13600batch: iter_time=8.316e-05, forward_time=0.220, loss_ctc=56.192, loss_att=46.858, acc=0.738, loss=49.659, backward_time=0.313, grad_norm=59.917, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.333e-05, train_time=1.465 +[gpua002:0/64] 2023-12-18 06:45:28,430 (trainer:737) INFO: 40epoch:train:13601-13700batch: iter_time=8.400e-05, forward_time=0.146, loss_ctc=74.820, loss_att=63.706, acc=0.724, loss=67.040, backward_time=0.292, grad_norm=67.314, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.332e-05, train_time=1.416 +[gpua002:0/64] 2023-12-18 06:46:59,113 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-18 06:47:18,679 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-18 06:47:22,206 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-18 06:47:22,206 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-18 06:47:22,209 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-18 06:54:45,895 (trainer:737) INFO: 40epoch:train:13701-13800batch: iter_time=3.110, forward_time=0.148, loss_ctc=69.760, loss_att=57.253, acc=0.720, loss=61.005, backward_time=0.286, grad_norm=70.417, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.332e-05, train_time=5.575 +[gpua002:0/64] 2023-12-18 06:56:46,550 (trainer:737) INFO: 40epoch:train:13801-13900batch: iter_time=7.872e-05, forward_time=0.145, loss_ctc=61.955, loss_att=50.262, acc=0.733, loss=53.770, backward_time=0.277, grad_norm=75.783, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.331e-05, train_time=1.206 +[gpua002:0/64] 2023-12-18 06:59:44,826 (trainer:737) INFO: 40epoch:train:13901-14000batch: iter_time=7.599e-05, forward_time=0.148, loss_ctc=61.838, loss_att=51.118, acc=0.729, loss=54.334, backward_time=0.333, grad_norm=65.514, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.331e-05, train_time=1.783 +[gpua002:0/64] 2023-12-18 07:02:06,283 (trainer:737) INFO: 40epoch:train:14001-14100batch: iter_time=8.036e-05, forward_time=0.145, loss_ctc=59.461, loss_att=43.814, acc=0.741, loss=48.508, backward_time=0.308, grad_norm=86.042, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.330e-05, train_time=1.414 +[gpua002:0/64] 2023-12-18 07:04:53,126 (trainer:737) INFO: 40epoch:train:14101-14200batch: iter_time=7.988e-05, forward_time=0.233, loss_ctc=67.049, loss_att=53.056, acc=0.732, loss=57.254, backward_time=0.361, grad_norm=67.490, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.330e-05, train_time=1.668 +[gpua002:0/64] 2023-12-18 07:07:33,619 (trainer:737) INFO: 40epoch:train:14201-14300batch: iter_time=8.437e-05, forward_time=0.145, loss_ctc=69.518, loss_att=55.409, acc=0.721, loss=59.642, backward_time=0.301, grad_norm=65.210, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.329e-05, train_time=1.604 +[gpua002:0/64] 2023-12-18 07:10:45,887 (trainer:737) INFO: 40epoch:train:14301-14400batch: iter_time=8.234e-05, forward_time=0.146, loss_ctc=63.508, loss_att=52.936, acc=0.717, loss=56.108, backward_time=0.372, grad_norm=69.398, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.329e-05, train_time=1.923 +[gpua002:0/64] 2023-12-18 07:13:10,735 (trainer:737) INFO: 40epoch:train:14401-14500batch: iter_time=8.288e-05, forward_time=0.146, loss_ctc=52.363, loss_att=37.548, acc=0.761, loss=41.992, backward_time=0.299, grad_norm=57.103, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.328e-05, train_time=1.448 +[gpua002:0/64] 2023-12-18 07:15:50,915 (trainer:737) INFO: 40epoch:train:14501-14600batch: iter_time=7.920e-05, forward_time=0.145, loss_ctc=64.922, loss_att=48.021, acc=0.739, loss=53.092, backward_time=0.327, grad_norm=73.216, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.328e-05, train_time=1.601 +[gpua002:0/64] 2023-12-18 07:18:31,398 (trainer:737) INFO: 40epoch:train:14601-14700batch: iter_time=7.859e-05, forward_time=0.210, loss_ctc=71.325, loss_att=61.559, acc=0.729, loss=64.489, backward_time=0.318, grad_norm=72.146, clip=100.000, loss_scale=3.833e+31, optim_step_time=0.134, optim0_lr0=6.327e-05, train_time=1.605 +[gpua002:0/64] 2023-12-18 07:21:01,357 (trainer:737) INFO: 40epoch:train:14701-14800batch: iter_time=8.075e-05, forward_time=0.198, loss_ctc=59.436, loss_att=45.620, acc=0.744, loss=49.765, backward_time=0.332, grad_norm=71.753, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.327e-05, train_time=1.500 +[gpua002:0/64] 2023-12-18 07:23:33,354 (trainer:737) INFO: 40epoch:train:14801-14900batch: iter_time=7.926e-05, forward_time=0.146, loss_ctc=66.115, loss_att=52.432, acc=0.729, loss=56.537, backward_time=0.293, grad_norm=67.500, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.326e-05, train_time=1.519 +[gpua002:0/64] 2023-12-18 07:26:11,873 (trainer:737) INFO: 40epoch:train:14901-15000batch: iter_time=8.056e-05, forward_time=0.146, loss_ctc=73.421, loss_att=61.858, acc=0.718, loss=65.327, backward_time=0.294, grad_norm=74.345, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.326e-05, train_time=1.586 +[gpua002:0/64] 2023-12-18 07:51:44,442 (trainer:343) INFO: 40epoch results: [train] iter_time=0.260, forward_time=0.167, loss_ctc=65.311, loss_att=51.969, acc=0.732, loss=55.971, backward_time=0.313, grad_norm=83.654, clip=100.000, loss_scale=2.024e+31, optim_step_time=0.133, optim0_lr0=6.365e-05, train_time=1.937, time=8 hours, 4 minutes and 46.36 seconds, total_count=600000, gpu_max_cached_mem_GB=34.973, [valid] loss_ctc=31.615, cer_ctc=0.163, loss_att=30.587, acc=0.736, cer=0.328, wer=0.998, loss=30.895, time=25 minutes and 8.22 seconds, total_count=186840, gpu_max_cached_mem_GB=34.973 +gpua047:1448193:1448266 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua009:2527542:2527618 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua060:3165196:3165279 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua009:2527544:2527616 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua087:1652756:1652830 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua096:538963:539045 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua087:1652756:1652756 [1] NCCL INFO comm 0x987f0ee0 rank 53 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua009:2527544:2527544 [2] NCCL INFO comm 0x9831f960 rank 10 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua047:1448193:1448193 [0] NCCL INFO comm 0xe6fd150 rank 32 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua060:3165196:3165196 [1] NCCL INFO comm 0x1cb87700 rank 45 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua009:2527542:2527542 [0] NCCL INFO comm 0xd94d9a0 rank 8 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua096:538963:538963 [1] NCCL INFO comm 0xe6a02d00 rank 61 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua038:582871:582952 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua023:1042027:1042101 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua039:978771:978854 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua039:978773:978853 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua055:1102504:1102585 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua002:1292079:1292157 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua083:2273404:2273484 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua055:1102501:1102586 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua009:2527545:2527615 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua092:995444:995520 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua096:538962:539043 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua092:995442:995523 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua060:3165197:3165280 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua047:1448196:1448263 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua002:1292078:1292159 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua039:978772:978852 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua060:3165195:3165278 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua092:995444:995444 [2] NCCL INFO comm 0xcb54010 rank 58 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua005:2934817:2934899 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua005:2934816:2934898 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua055:1102503:1102584 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua021:382383:382464 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua055:1102504:1102504 [3] NCCL INFO comm 0xe0116d0 rank 43 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua023:1042027:1042027 [3] NCCL INFO comm 0xb072fb0 rank 23 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua038:582871:582871 [0] NCCL INFO comm 0xe515370 rank 24 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua039:978774:978851 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua039:978772:978772 [1] NCCL INFO comm 0x15c17a10 rank 29 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua096:538965:539042 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua039:978773:978773 [2] NCCL INFO comm 0x317f8b60 rank 30 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua005:2934816:2934816 [1] NCCL INFO comm 0xddd8560 rank 5 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua083:2273406:2273485 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua038:582874:582951 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua005:2934815:2934897 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua055:1102503:1102503 [2] NCCL INFO comm 0xd604dd0 rank 42 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua092:995445:995522 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua096:538965:538965 [3] NCCL INFO comm 0xe0ea7e20 rank 63 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua083:2273406:2273406 [2] NCCL INFO comm 0xf2ae290 rank 50 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua022:1202920:1202996 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua083:2273405:2273483 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua021:382382:382465 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua092:995442:995442 [0] NCCL INFO comm 0x2225ed30 rank 56 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua002:1292079:1292079 [2] NCCL INFO comm 0xb1fc5e0 rank 2 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua009:2527545:2527545 [3] NCCL INFO comm 0x188b2aa0 rank 11 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua060:3165197:3165197 [2] NCCL INFO comm 0xe0fd470 rank 46 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua021:382383:382383 [3] NCCL INFO comm 0xe4ea8d0 rank 15 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua055:1102501:1102501 [0] NCCL INFO comm 0x3c93f2f0 rank 40 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua087:1652755:1652828 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua002:1292080:1292158 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua055:1102502:1102583 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua039:978771:978771 [0] NCCL INFO comm 0xb0b39f0 rank 28 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua023:1042024:1042099 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua038:582873:582950 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua009:2527543:2527617 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua021:382380:382466 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua005:2934818:2934896 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua092:995443:995521 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua038:582873:582873 [2] NCCL INFO comm 0xeda6430 rank 26 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua087:1652757:1652829 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua083:2273405:2273405 [1] NCCL INFO comm 0xc3ecc50 rank 49 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua096:538962:538962 [0] NCCL INFO comm 0x3e6104c0 rank 60 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua083:2273407:2273482 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua047:1448196:1448196 [3] NCCL INFO comm 0xdf3f260 rank 35 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua002:1292078:1292078 [1] NCCL INFO comm 0x119cbbf0 rank 1 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua023:1042026:1042098 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua005:2934817:2934817 [2] NCCL INFO comm 0x10441c90 rank 6 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua060:3165195:3165195 [0] NCCL INFO comm 0x161cb360 rank 44 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua047:1448195:1448265 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua023:1042025:1042100 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua005:2934815:2934815 [0] NCCL INFO comm 0xfa11910 rank 4 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua096:538964:539044 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua022:1202920:1202920 [3] NCCL INFO comm 0x98ec14e0 rank 19 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua047:1448194:1448264 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua039:978774:978774 [3] NCCL INFO comm 0x2f577640 rank 31 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua002:1292080:1292080 [3] NCCL INFO comm 0x96cd5960 rank 3 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua023:1042026:1042026 [2] NCCL INFO comm 0xe844dd0 rank 22 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua038:582874:582874 [3] NCCL INFO comm 0x102c0810 rank 27 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua092:995445:995445 [3] NCCL INFO comm 0x2818dff0 rank 59 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua021:382382:382382 [2] NCCL INFO comm 0x1a8d5890 rank 14 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua060:3165198:3165277 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua038:582872:582953 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua047:1448195:1448195 [2] NCCL INFO comm 0xeace2660 rank 34 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua023:1042024:1042024 [0] NCCL INFO comm 0xe254efd0 rank 20 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua092:995443:995443 [1] NCCL INFO comm 0xb19e2b0 rank 57 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua055:1102502:1102502 [1] NCCL INFO comm 0xb099b80 rank 41 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua087:1652757:1652757 [2] NCCL INFO comm 0xb1de4f0 rank 54 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua087:1652755:1652755 [0] NCCL INFO comm 0xd682710 rank 52 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua083:2273407:2273407 [3] NCCL INFO comm 0x2e807f90 rank 51 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua005:2934818:2934818 [3] NCCL INFO comm 0xdfcc020 rank 7 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua009:2527543:2527543 [1] NCCL INFO comm 0xb673fc0 rank 9 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua083:2273404:2273404 [0] NCCL INFO comm 0x387567a0 rank 48 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua023:1042025:1042025 [1] NCCL INFO comm 0xe0d111e0 rank 21 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua047:1448194:1448194 [1] NCCL INFO comm 0x3e099190 rank 33 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua021:382380:382380 [0] NCCL INFO comm 0xb06cab0 rank 12 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua096:538964:538964 [2] NCCL INFO comm 0x2d2b4ef0 rank 62 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua087:1652758:1652827 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua060:3165198:3165198 [3] NCCL INFO comm 0xdd5f650 rank 47 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua038:582872:582872 [1] NCCL INFO comm 0x94d8a120 rank 25 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua087:1652758:1652758 [3] NCCL INFO comm 0x38d7de00 rank 55 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua021:382381:382463 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua021:382381:382381 [1] NCCL INFO comm 0xe93eace0 rank 13 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua022:1202917:1202995 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua022:1202919:1202993 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua022:1202918:1202994 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua052:1354358:1354438 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua052:1354357:1354441 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua052:1354356:1354439 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua052:1354355:1354440 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua022:1202918:1202918 [1] NCCL INFO comm 0xfffe3d0 rank 17 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua052:1354358:1354358 [3] NCCL INFO comm 0xfb214d0 rank 39 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua052:1354355:1354355 [0] NCCL INFO comm 0x2432cce0 rank 36 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua022:1202919:1202919 [2] NCCL INFO comm 0xe63cc7e0 rank 18 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua052:1354356:1354356 [1] NCCL INFO comm 0xd3fcaf0 rank 37 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua052:1354357:1354357 [2] NCCL INFO comm 0x99564d70 rank 38 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua022:1202917:1202917 [0] NCCL INFO comm 0xc054a20 rank 16 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +[gpua002:0/64] 2023-12-18 07:52:07,931 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-18 07:52:07,975 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.till40epoch.pth +[gpua002:0/64] 2023-12-18 07:52:46,625 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till40epoch.pth +[gpua002:0/64] 2023-12-18 07:53:11,702 (trainer:463) INFO: The training was finished at 40 epochs +[gpua002:0/64] 2023-12-18 07:53:11,704 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.pth +[gpua002:0/64] 2023-12-18 07:53:23,107 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.pth +gpua002:1292077:1292160 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua002:1292077:1292077 [0] NCCL INFO comm 0xab674e0 rank 0 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +# Accounting: begin_time=1702876612 +# Accounting: end_time=1702907639 +# Accounting: time=31027 threads=1 +# Finished at Mon Dec 18 07:53:59 CST 2023 with status 0 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.3.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.3.log new file mode 100644 index 0000000000000000000000000000000000000000..7f0444814f975de1232527fb4d7e2655b5f49276 --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.3.log @@ -0,0 +1,4225 @@ +# Running on gpua010.delta.ncsa.illinois.edu +# Started at Fri Dec 15 16:28:29 CST 2023 +# SLURMD_NODENAME=gpua010 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2751183 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1702852088 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2751183 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[010-012,014,028,031-032,054-056,067,080-081,085-086,088]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1702679288 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[010-012,014,028,031-032,054-056,067,080-081,085-086,088]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=692842 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua010 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_083a7ceb-a560-413f-9765-e9d98d7ac977 +[gpua010:0/64] 2023-12-15 16:32:27,480 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua010:0/64] 2023-12-15 16:32:29,206 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua010:0/64] 2023-12-15 16:32:29,251 (s2t:464) INFO: Vocabulary size: 50002 +[gpua010:0/64] 2023-12-15 16:32:42,873 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua010:0/64] 2023-12-15 16:32:42,884 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua010:0/64] 2023-12-15 16:32:42,884 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua010:0/64] 2023-12-15 16:32:42,884 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua010:0/64] 2023-12-15 16:32:42,928 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua010:0/64] 2023-12-15 16:32:50,049 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 16:32:51,075 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 16:32:51,075 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua010:0/64] 2023-12-15 16:32:51,076 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 16:33:22,606 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua010:692989:692989 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> +gpua010:692989:692989 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua010:692989:692989 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua010:0/64] 2023-12-15 16:33:28,904 (trainer:284) INFO: 35/40epoch started +[gpua010:0/64] 2023-12-15 16:33:28,991 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua010:0/64] 2023-12-15 16:33:46,915 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 16:33:50,371 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 16:33:50,371 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua010:0/64] 2023-12-15 16:33:50,375 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua011:1214548:1214548 [2] NCCL INFO cudaDriverVersion 12020 +gpua011:1214548:1214548 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:1214548:1214548 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:1214548:1214622 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:1214548:1214622 [2] NCCL INFO Using network IB +gpua011:1214548:1214622 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua011:1214548:1214622 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua011:1214548:1214622 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua011:1214548:1214622 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua011:1214548:1214622 [2] NCCL INFO Connected all rings +gpua011:1214548:1214622 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua011:1214548:1214622 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua011:1214548:1214622 [2] NCCL INFO Connected all trees +gpua011:1214548:1214622 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:1214548:1214622 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:1214548:1214622 [2] NCCL INFO comm 0x132cf540 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua010:692992:692992 [3] NCCL INFO cudaDriverVersion 12020 +gpua010:692992:692992 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> +gpua010:692992:692992 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua010:692992:693066 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> +gpua010:692992:693066 [3] NCCL INFO Using network IB +gpua010:692992:693066 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua010:692992:693066 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua010:692992:693066 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua010:692992:693066 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua010:692992:693066 [3] NCCL INFO Connected all rings +gpua010:692992:693066 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua010:692992:693066 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua010:692992:693066 [3] NCCL INFO Connected all trees +gpua011:1214549:1214549 [3] NCCL INFO cudaDriverVersion 12020 +gpua011:1214549:1214549 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:1214549:1214549 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:1214549:1214621 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:1214549:1214621 [3] NCCL INFO Using network IB +gpua011:1214549:1214621 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua011:1214549:1214621 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua011:1214549:1214621 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua011:1214549:1214621 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua011:1214549:1214621 [3] NCCL INFO Connected all rings +gpua011:1214549:1214621 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua011:1214549:1214621 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua012:548191:548191 [3] NCCL INFO cudaDriverVersion 12020 +gpua012:548191:548191 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.12<0> +gpua012:548191:548191 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua012:548191:548256 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.12<0> +gpua012:548191:548256 [3] NCCL INFO Using network IB +gpua012:548191:548256 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua012:548191:548256 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua012:548191:548256 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua012:548191:548256 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua012:548191:548256 [3] NCCL INFO Connected all rings +gpua012:548191:548256 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua012:548191:548256 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua067:1001715:1001715 [1] NCCL INFO cudaDriverVersion 12020 +gpua067:1001715:1001715 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:1001715:1001715 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:1001715:1001793 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:1001715:1001793 [1] NCCL INFO Using network IB +gpua067:1001715:1001793 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua067:1001715:1001793 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua067:1001715:1001793 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua067:1001715:1001793 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua067:1001715:1001793 [1] NCCL INFO Connected all rings +gpua067:1001715:1001793 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua067:1001715:1001793 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua056:1663030:1663030 [0] NCCL INFO cudaDriverVersion 12020 +gpua056:1663030:1663030 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1663030:1663030 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1663030:1663104 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1663030:1663104 [0] NCCL INFO Using network IB +gpua056:1663030:1663104 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua056:1663030:1663104 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua056:1663030:1663104 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua056:1663030:1663104 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua056:1663030:1663104 [0] NCCL INFO Connected all rings +gpua081:3492276:3492276 [0] NCCL INFO cudaDriverVersion 12020 +gpua081:3492276:3492276 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.81<0> +gpua081:3492276:3492276 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua081:3492276:3492347 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.81<0> +gpua081:3492276:3492347 [0] NCCL INFO Using network IB +gpua081:3492276:3492347 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua081:3492276:3492347 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua081:3492276:3492347 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua081:3492276:3492347 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua081:3492276:3492347 [0] NCCL INFO Connected all rings +gpua085:1759177:1759177 [3] NCCL INFO cudaDriverVersion 12020 +gpua085:1759177:1759177 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1759177:1759177 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1759177:1759244 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1759177:1759244 [3] NCCL INFO Using network IB +gpua085:1759177:1759244 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua085:1759177:1759244 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua085:1759177:1759244 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua085:1759177:1759244 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua085:1759177:1759244 [3] NCCL INFO Connected all rings +gpua085:1759177:1759244 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua085:1759177:1759244 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua080:3575782:3575782 [2] NCCL INFO cudaDriverVersion 12020 +gpua080:3575782:3575782 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> +gpua080:3575782:3575782 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua080:3575782:3575848 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> +gpua080:3575782:3575848 [2] NCCL INFO Using network IB +gpua080:3575782:3575848 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua080:3575782:3575848 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua080:3575782:3575848 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua080:3575782:3575848 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua080:3575782:3575848 [2] NCCL INFO Connected all rings +gpua080:3575782:3575848 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua080:3575782:3575848 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua010:692992:693066 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua010:692992:693066 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua010:692992:693066 [3] NCCL INFO comm 0x4bb064d0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua011:1214549:1214621 [3] NCCL INFO Connected all trees +gpua011:1214549:1214621 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:1214549:1214621 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:1214549:1214621 [3] NCCL INFO comm 0xcea1f30 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua012:548191:548256 [3] NCCL INFO Connected all trees +gpua012:548191:548256 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua012:548191:548256 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua012:548191:548256 [3] NCCL INFO comm 0xe3e9cb40 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua012:548188:548188 [0] NCCL INFO cudaDriverVersion 12020 +gpua012:548188:548188 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.12<0> +gpua012:548188:548188 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua012:548188:548260 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.12<0> +gpua012:548188:548260 [0] NCCL INFO Using network IB +gpua012:548188:548260 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua012:548188:548260 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua067:1001715:1001793 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua067:1001715:1001793 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua067:1001715:1001793 [1] NCCL INFO Connected all trees +gpua067:1001715:1001793 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1001715:1001793 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:1001715:1001793 [1] NCCL INFO comm 0x4f10c9e0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua056:1663030:1663104 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua056:1663030:1663104 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua056:1663030:1663104 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua056:1663030:1663104 [0] NCCL INFO Connected all trees +gpua056:1663030:1663104 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1663030:1663104 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1663030:1663104 [0] NCCL INFO comm 0x181ebc60 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua081:3492276:3492347 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua081:3492276:3492347 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua081:3492276:3492347 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua081:3492276:3492347 [0] NCCL INFO Connected all trees +gpua081:3492276:3492347 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua081:3492276:3492347 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua081:3492276:3492347 [0] NCCL INFO comm 0x4121f1f0 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua085:1759177:1759244 [3] NCCL INFO Connected all trees +gpua085:1759177:1759244 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1759177:1759244 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1759177:1759244 [3] NCCL INFO comm 0xdd31def0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua080:3575782:3575848 [2] NCCL INFO Connected all trees +gpua080:3575782:3575848 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua080:3575782:3575848 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua080:3575782:3575848 [2] NCCL INFO comm 0xbdb3680 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua011:1214546:1214546 [0] NCCL INFO cudaDriverVersion 12020 +gpua011:1214546:1214546 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:1214546:1214546 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:1214546:1214620 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:1214546:1214620 [0] NCCL INFO Using network IB +gpua011:1214546:1214620 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua011:1214546:1214620 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua011:1214546:1214620 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1214546:1214620 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua011:1214546:1214620 [0] NCCL INFO Connected all rings +gpua012:548188:548260 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua012:548188:548260 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua012:548188:548260 [0] NCCL INFO Connected all rings +gpua012:548188:548260 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua012:548188:548260 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua012:548188:548260 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua012:548188:548260 [0] NCCL INFO Connected all trees +gpua012:548188:548260 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1001714:1001714 [0] NCCL INFO cudaDriverVersion 12020 +gpua067:1001714:1001714 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:1001714:1001714 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:1001714:1001794 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:1001714:1001794 [0] NCCL INFO Using network IB +gpua067:1001714:1001794 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua067:1001714:1001794 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua067:1001714:1001794 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua067:1001714:1001794 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua067:1001714:1001794 [0] NCCL INFO Connected all rings +gpua085:1759176:1759176 [2] NCCL INFO cudaDriverVersion 12020 +gpua085:1759176:1759176 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1759176:1759176 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1759176:1759242 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1759176:1759242 [2] NCCL INFO Using network IB +gpua085:1759176:1759242 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua085:1759176:1759242 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua085:1759176:1759242 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua085:1759176:1759242 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua085:1759176:1759242 [2] NCCL INFO Connected all rings +gpua085:1759176:1759242 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua085:1759176:1759242 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1214546:1214620 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1214546:1214620 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1214546:1214620 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua011:1214546:1214620 [0] NCCL INFO Connected all trees +gpua011:1214546:1214620 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:1214546:1214620 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:1214546:1214620 [0] NCCL INFO comm 0x4c492ba0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua012:548188:548260 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua012:548188:548260 [0] NCCL INFO comm 0x14c5d500 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua067:1001714:1001794 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua067:1001714:1001794 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua067:1001714:1001794 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua067:1001714:1001794 [0] NCCL INFO Connected all trees +gpua067:1001714:1001794 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1001714:1001794 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:1001714:1001794 [0] NCCL INFO comm 0xb3cb830 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua085:1759176:1759242 [2] NCCL INFO Connected all trees +gpua085:1759176:1759242 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1759176:1759242 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1759176:1759242 [2] NCCL INFO comm 0xea3e900 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua085:1759175:1759175 [1] NCCL INFO cudaDriverVersion 12020 +gpua085:1759175:1759175 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1759175:1759175 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1759175:1759246 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1759175:1759246 [1] NCCL INFO Using network IB +gpua085:1759175:1759246 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua085:1759175:1759246 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua085:1759175:1759246 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua085:1759175:1759246 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua085:1759175:1759246 [1] NCCL INFO Connected all rings +gpua085:1759175:1759246 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua085:1759175:1759246 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua085:1759175:1759246 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua085:1759175:1759246 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua085:1759175:1759246 [1] NCCL INFO Connected all trees +gpua085:1759175:1759246 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1759175:1759246 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1759175:1759246 [1] NCCL INFO comm 0x99c3ec90 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua011:1214547:1214547 [1] NCCL INFO cudaDriverVersion 12020 +gpua011:1214547:1214547 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:1214547:1214547 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:1214547:1214624 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:1214547:1214624 [1] NCCL INFO Using network IB +gpua011:1214547:1214624 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua011:1214547:1214624 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua011:1214547:1214624 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua011:1214547:1214624 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua011:1214547:1214624 [1] NCCL INFO Connected all rings +gpua011:1214547:1214624 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua011:1214547:1214624 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua011:1214547:1214624 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua011:1214547:1214624 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua011:1214547:1214624 [1] NCCL INFO Connected all trees +gpua011:1214547:1214624 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:1214547:1214624 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:1214547:1214624 [1] NCCL INFO comm 0xd45f020 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua080:3575781:3575781 [1] NCCL INFO cudaDriverVersion 12020 +gpua080:3575781:3575781 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> +gpua080:3575781:3575781 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua080:3575781:3575850 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> +gpua080:3575781:3575850 [1] NCCL INFO Using network IB +gpua080:3575781:3575850 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua080:3575781:3575850 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua080:3575781:3575850 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua080:3575781:3575850 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua080:3575781:3575850 [1] NCCL INFO Connected all rings +gpua080:3575781:3575850 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua080:3575781:3575850 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua080:3575781:3575850 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua080:3575781:3575850 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua080:3575781:3575850 [1] NCCL INFO Connected all trees +gpua080:3575781:3575850 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua080:3575781:3575850 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua080:3575781:3575850 [1] NCCL INFO comm 0x16c4e730 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua067:1001717:1001717 [3] NCCL INFO cudaDriverVersion 12020 +gpua067:1001717:1001717 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:1001717:1001717 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:1001717:1001798 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:1001717:1001798 [3] NCCL INFO Using network IB +gpua067:1001717:1001798 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua067:1001717:1001798 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua067:1001717:1001798 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua067:1001717:1001798 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua067:1001717:1001798 [3] NCCL INFO Connected all rings +gpua067:1001717:1001798 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua067:1001717:1001798 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua028:1145082:1145082 [0] NCCL INFO cudaDriverVersion 12020 +gpua028:1145082:1145082 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> +gpua028:1145082:1145082 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua028:1145082:1145155 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> +gpua028:1145082:1145155 [0] NCCL INFO Using network IB +gpua028:1145082:1145155 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua028:1145082:1145155 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua028:1145082:1145155 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua028:1145082:1145155 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua028:1145082:1145155 [0] NCCL INFO Connected all rings +gpua067:1001717:1001798 [3] NCCL INFO Connected all trees +gpua067:1001717:1001798 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1001717:1001798 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:1001717:1001798 [3] NCCL INFO comm 0x4c73a120 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua080:3575780:3575780 [0] NCCL INFO cudaDriverVersion 12020 +gpua080:3575780:3575780 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> +gpua080:3575780:3575780 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua080:3575780:3575847 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> +gpua080:3575780:3575847 [0] NCCL INFO Using network IB +gpua080:3575780:3575847 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua080:3575780:3575847 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua080:3575780:3575847 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua080:3575780:3575847 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua080:3575780:3575847 [0] NCCL INFO Connected all rings +gpua010:692990:692990 [1] NCCL INFO cudaDriverVersion 12020 +gpua010:692990:692990 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> +gpua010:692990:692990 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua010:692990:693065 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> +gpua010:692990:693065 [1] NCCL INFO Using network IB +gpua010:692990:693065 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua010:692990:693065 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua010:692990:693065 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua010:692990:693065 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua010:692990:693065 [1] NCCL INFO Connected all rings +gpua010:692990:693065 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua010:692990:693065 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua028:1145082:1145155 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua028:1145082:1145155 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua028:1145082:1145155 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua028:1145082:1145155 [0] NCCL INFO Connected all trees +gpua028:1145082:1145155 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua028:1145082:1145155 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua028:1145082:1145155 [0] NCCL INFO comm 0xc9e19d0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua080:3575780:3575847 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua080:3575780:3575847 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua080:3575780:3575847 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua080:3575780:3575847 [0] NCCL INFO Connected all trees +gpua080:3575780:3575847 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua080:3575780:3575847 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua080:3575780:3575847 [0] NCCL INFO comm 0x1d14dea0 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua010:692990:693065 [1] NCCL INFO Connected all trees +gpua010:692990:693065 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua010:692990:693065 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua010:692990:693065 [1] NCCL INFO comm 0x24d52510 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua080:3575783:3575783 [3] NCCL INFO cudaDriverVersion 12020 +gpua080:3575783:3575783 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> +gpua080:3575783:3575783 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua080:3575783:3575849 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> +gpua080:3575783:3575849 [3] NCCL INFO Using network IB +gpua080:3575783:3575849 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua080:3575783:3575849 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua080:3575783:3575849 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua080:3575783:3575849 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua080:3575783:3575849 [3] NCCL INFO Connected all rings +gpua080:3575783:3575849 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua080:3575783:3575849 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua080:3575783:3575849 [3] NCCL INFO Connected all trees +gpua080:3575783:3575849 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua080:3575783:3575849 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua080:3575783:3575849 [3] NCCL INFO comm 0xc4b0cf0 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua028:1145084:1145084 [2] NCCL INFO cudaDriverVersion 12020 +gpua028:1145084:1145084 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> +gpua028:1145084:1145084 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua028:1145084:1145157 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> +gpua028:1145084:1145157 [2] NCCL INFO Using network IB +gpua028:1145084:1145157 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua028:1145084:1145157 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua028:1145084:1145157 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua028:1145084:1145157 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua028:1145084:1145157 [2] NCCL INFO Connected all rings +gpua028:1145084:1145157 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua028:1145084:1145157 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua028:1145084:1145157 [2] NCCL INFO Connected all trees +gpua028:1145084:1145157 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua028:1145084:1145157 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua028:1145084:1145157 [2] NCCL INFO comm 0xb6e6630 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua014:553261:553261 [2] NCCL INFO cudaDriverVersion 12020 +gpua014:553261:553261 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:553261:553261 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:553261:553340 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:553261:553340 [2] NCCL INFO Using network IB +gpua014:553261:553340 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua014:553261:553340 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua014:553261:553340 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua014:553261:553340 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua014:553261:553340 [2] NCCL INFO Connected all rings +gpua014:553261:553340 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua014:553261:553340 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua014:553261:553340 [2] NCCL INFO Connected all trees +gpua014:553261:553340 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:553261:553340 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:553261:553340 [2] NCCL INFO comm 0x254bfb80 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua032:892274:892274 [0] NCCL INFO cudaDriverVersion 12020 +gpua032:892274:892274 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:892274:892274 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:892274:892344 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:892274:892344 [0] NCCL INFO Using network IB +gpua032:892274:892344 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua032:892274:892344 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:892274:892344 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua032:892274:892344 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua032:892274:892344 [0] NCCL INFO Connected all rings +gpua032:892274:892344 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua032:892274:892344 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:892274:892344 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua032:892274:892344 [0] NCCL INFO Connected all trees +gpua032:892274:892344 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:892274:892344 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:892274:892344 [0] NCCL INFO comm 0x28dc99a0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua012:548189:548189 [1] NCCL INFO cudaDriverVersion 12020 +gpua012:548189:548189 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.12<0> +gpua012:548189:548189 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua012:548189:548254 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.12<0> +gpua012:548189:548254 [1] NCCL INFO Using network IB +gpua012:548189:548254 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua012:548189:548254 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua012:548189:548254 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua012:548189:548254 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua012:548189:548254 [1] NCCL INFO Connected all rings +gpua012:548189:548254 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua012:548189:548254 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua012:548189:548254 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua012:548189:548254 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua012:548189:548254 [1] NCCL INFO Connected all trees +gpua012:548189:548254 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua012:548189:548254 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua012:548189:548254 [1] NCCL INFO comm 0xbc2aa40 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua031:1272356:1272356 [0] NCCL INFO cudaDriverVersion 12020 +gpua031:1272356:1272356 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1272356:1272356 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1272356:1272437 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1272356:1272437 [0] NCCL INFO Using network IB +gpua031:1272356:1272437 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua031:1272356:1272437 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua031:1272356:1272437 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua031:1272356:1272437 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua031:1272356:1272437 [0] NCCL INFO Connected all rings +gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua031:1272356:1272437 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua031:1272356:1272437 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua031:1272356:1272437 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua031:1272356:1272437 [0] NCCL INFO Connected all trees +gpua031:1272356:1272437 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1272356:1272437 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1272356:1272437 [0] NCCL INFO comm 0xef96050 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua067:1001716:1001716 [2] NCCL INFO cudaDriverVersion 12020 +gpua067:1001716:1001716 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:1001716:1001716 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:1001716:1001797 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:1001716:1001797 [2] NCCL INFO Using network IB +gpua067:1001716:1001797 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua067:1001716:1001797 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua067:1001716:1001797 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua067:1001716:1001797 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua067:1001716:1001797 [2] NCCL INFO Connected all rings +gpua067:1001716:1001797 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua067:1001716:1001797 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua067:1001716:1001797 [2] NCCL INFO Connected all trees +gpua067:1001716:1001797 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1001716:1001797 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:1001716:1001797 [2] NCCL INFO comm 0xea6042a0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua032:892276:892276 [2] NCCL INFO cudaDriverVersion 12020 +gpua032:892276:892276 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:892276:892276 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:892276:892349 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:892276:892349 [2] NCCL INFO Using network IB +gpua032:892276:892349 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua032:892276:892349 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua032:892276:892349 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua032:892276:892349 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua032:892276:892349 [2] NCCL INFO Connected all rings +gpua032:892276:892349 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua032:892276:892349 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua032:892276:892349 [2] NCCL INFO Connected all trees +gpua032:892276:892349 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:892276:892349 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:892276:892349 [2] NCCL INFO comm 0x119add40 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua088:2258974:2258974 [0] NCCL INFO cudaDriverVersion 12020 +gpua088:2258974:2258974 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> +gpua088:2258974:2258974 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua088:2258974:2259045 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> +gpua088:2258974:2259045 [0] NCCL INFO Using network IB +gpua088:2258974:2259045 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua088:2258974:2259045 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua088:2258974:2259045 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua088:2258974:2259045 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua088:2258974:2259045 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua088:2258974:2259045 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua088:2258974:2259045 [0] NCCL INFO Connected all rings +gpua088:2258974:2259045 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua088:2258974:2259045 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua088:2258974:2259045 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua088:2258974:2259045 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua088:2258974:2259045 [0] NCCL INFO Connected all trees +gpua088:2258974:2259045 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua088:2258974:2259045 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua088:2258974:2259045 [0] NCCL INFO comm 0x997ac020 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1663032:1663032 [2] NCCL INFO cudaDriverVersion 12020 +gpua056:1663032:1663032 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1663032:1663032 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1663032:1663103 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1663032:1663103 [2] NCCL INFO Using network IB +gpua056:1663032:1663103 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua056:1663032:1663103 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua056:1663032:1663103 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua056:1663032:1663103 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua056:1663032:1663103 [2] NCCL INFO Connected all rings +gpua056:1663032:1663103 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua056:1663032:1663103 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua056:1663032:1663103 [2] NCCL INFO Connected all trees +gpua056:1663032:1663103 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1663032:1663103 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1663032:1663103 [2] NCCL INFO comm 0x123c37b0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua032:892277:892277 [3] NCCL INFO cudaDriverVersion 12020 +gpua032:892277:892277 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:892277:892277 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:892277:892345 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:892277:892345 [3] NCCL INFO Using network IB +gpua032:892277:892345 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua032:892277:892345 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua032:892277:892345 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua032:892277:892345 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua032:892277:892345 [3] NCCL INFO Connected all rings +gpua032:892277:892345 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua032:892277:892345 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua032:892277:892345 [3] NCCL INFO Connected all trees +gpua032:892277:892345 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:892277:892345 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:892277:892345 [3] NCCL INFO comm 0x985f8f0 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua056:1663033:1663033 [3] NCCL INFO cudaDriverVersion 12020 +gpua056:1663033:1663033 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1663033:1663033 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1663033:1663101 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1663033:1663101 [3] NCCL INFO Using network IB +gpua056:1663033:1663101 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua056:1663033:1663101 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua056:1663033:1663101 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua056:1663033:1663101 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua056:1663033:1663101 [3] NCCL INFO Connected all rings +gpua056:1663033:1663101 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua056:1663033:1663101 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua056:1663033:1663101 [3] NCCL INFO Connected all trees +gpua056:1663033:1663101 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1663033:1663101 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1663033:1663101 [3] NCCL INFO comm 0x22662390 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua055:981318:981318 [2] NCCL INFO cudaDriverVersion 12020 +gpua055:981318:981318 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:981318:981318 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:981318:981389 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:981318:981389 [2] NCCL INFO Using network IB +gpua055:981318:981389 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua055:981318:981389 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua055:981318:981389 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua055:981318:981389 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua055:981318:981389 [2] NCCL INFO Connected all rings +gpua055:981318:981389 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua055:981318:981389 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua014:553260:553260 [1] NCCL INFO cudaDriverVersion 12020 +gpua014:553260:553260 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:553260:553260 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:553260:553338 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:553260:553338 [1] NCCL INFO Using network IB +gpua014:553260:553338 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua014:553260:553338 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua014:553260:553338 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua014:553260:553338 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua014:553260:553338 [1] NCCL INFO Connected all rings +gpua014:553260:553338 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua014:553260:553338 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua055:981318:981389 [2] NCCL INFO Connected all trees +gpua055:981318:981389 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:981318:981389 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:981318:981389 [2] NCCL INFO comm 0x9a193aa0 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua014:553260:553338 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua014:553260:553338 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua014:553260:553338 [1] NCCL INFO Connected all trees +gpua014:553260:553338 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:553260:553338 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:553260:553338 [1] NCCL INFO comm 0x9a4efe10 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua012:548190:548190 [2] NCCL INFO cudaDriverVersion 12020 +gpua012:548190:548190 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.12<0> +gpua012:548190:548190 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua012:548190:548255 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.12<0> +gpua012:548190:548255 [2] NCCL INFO Using network IB +gpua012:548190:548255 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua012:548190:548255 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua012:548190:548255 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua012:548190:548255 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua012:548190:548255 [2] NCCL INFO Connected all rings +gpua012:548190:548255 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua012:548190:548255 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua012:548190:548255 [2] NCCL INFO Connected all trees +gpua012:548190:548255 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua012:548190:548255 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua012:548190:548255 [2] NCCL INFO comm 0xed1f4ee0 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua014:553259:553259 [0] NCCL INFO cudaDriverVersion 12020 +gpua014:553259:553259 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:553259:553259 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:553259:553337 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:553259:553337 [0] NCCL INFO Using network IB +gpua014:553259:553337 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua014:553259:553337 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua014:553259:553337 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:553259:553337 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua014:553259:553337 [0] NCCL INFO Connected all rings +gpua014:553259:553337 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:553259:553337 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua014:553259:553337 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua014:553259:553337 [0] NCCL INFO Connected all trees +gpua014:553259:553337 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:553259:553337 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:553259:553337 [0] NCCL INFO comm 0xec0bf4e0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua014:553262:553262 [3] NCCL INFO cudaDriverVersion 12020 +gpua014:553262:553262 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:553262:553262 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:553262:553335 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:553262:553335 [3] NCCL INFO Using network IB +gpua014:553262:553335 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua014:553262:553335 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua014:553262:553335 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua014:553262:553335 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua014:553262:553335 [3] NCCL INFO Connected all rings +gpua014:553262:553335 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua014:553262:553335 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua014:553262:553335 [3] NCCL INFO Connected all trees +gpua014:553262:553335 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:553262:553335 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:553262:553335 [3] NCCL INFO comm 0xe9270c60 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua085:1759174:1759174 [0] NCCL INFO cudaDriverVersion 12020 +gpua085:1759174:1759174 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1759174:1759174 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1759174:1759245 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1759174:1759245 [0] NCCL INFO Using network IB +gpua085:1759174:1759245 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua085:1759174:1759245 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua085:1759174:1759245 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1759174:1759245 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua085:1759174:1759245 [0] NCCL INFO Connected all rings +gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1759174:1759245 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua085:1759174:1759245 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1759174:1759245 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua085:1759174:1759245 [0] NCCL INFO Connected all trees +gpua085:1759174:1759245 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1759174:1759245 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1759174:1759245 [0] NCCL INFO comm 0x9d160610 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua086:1201709:1201709 [0] NCCL INFO cudaDriverVersion 12020 +gpua086:1201709:1201709 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1201709:1201709 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1201709:1201777 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1201709:1201777 [0] NCCL INFO Using network IB +gpua086:1201709:1201777 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua086:1201709:1201777 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1201709:1201777 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua086:1201709:1201777 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua086:1201709:1201777 [0] NCCL INFO Connected all rings +gpua028:1145085:1145085 [3] NCCL INFO cudaDriverVersion 12020 +gpua028:1145085:1145085 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> +gpua028:1145085:1145085 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua028:1145085:1145153 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> +gpua028:1145085:1145153 [3] NCCL INFO Using network IB +gpua028:1145085:1145153 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua028:1145085:1145153 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua028:1145085:1145153 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua028:1145085:1145153 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua028:1145085:1145153 [3] NCCL INFO Connected all rings +gpua028:1145085:1145153 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua028:1145085:1145153 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua086:1201709:1201777 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua086:1201709:1201777 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1201709:1201777 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua086:1201709:1201777 [0] NCCL INFO Connected all trees +gpua086:1201709:1201777 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1201709:1201777 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1201709:1201777 [0] NCCL INFO comm 0xca2a370 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua028:1145085:1145153 [3] NCCL INFO Connected all trees +gpua028:1145085:1145153 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua028:1145085:1145153 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua028:1145085:1145153 [3] NCCL INFO comm 0x138749d0 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua081:3492279:3492279 [3] NCCL INFO cudaDriverVersion 12020 +gpua081:3492279:3492279 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.81<0> +gpua081:3492279:3492279 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua081:3492279:3492346 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.81<0> +gpua081:3492279:3492346 [3] NCCL INFO Using network IB +gpua081:3492279:3492346 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua081:3492279:3492346 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua081:3492279:3492346 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua081:3492279:3492346 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua081:3492279:3492346 [3] NCCL INFO Connected all rings +gpua081:3492279:3492346 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua081:3492279:3492346 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua081:3492279:3492346 [3] NCCL INFO Connected all trees +gpua081:3492279:3492346 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua081:3492279:3492346 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua081:3492279:3492346 [3] NCCL INFO comm 0x4aa52850 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua028:1145083:1145083 [1] NCCL INFO cudaDriverVersion 12020 +gpua028:1145083:1145083 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> +gpua028:1145083:1145083 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua028:1145083:1145159 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> +gpua028:1145083:1145159 [1] NCCL INFO Using network IB +gpua028:1145083:1145159 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua028:1145083:1145159 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua028:1145083:1145159 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua028:1145083:1145159 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua028:1145083:1145159 [1] NCCL INFO Connected all rings +gpua028:1145083:1145159 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua028:1145083:1145159 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua028:1145083:1145159 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua028:1145083:1145159 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua028:1145083:1145159 [1] NCCL INFO Connected all trees +gpua028:1145083:1145159 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua028:1145083:1145159 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua028:1145083:1145159 [1] NCCL INFO comm 0xe27a720 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua010:692989:693064 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> +gpua010:692989:693064 [0] NCCL INFO Using network IB +gpua010:692989:693064 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua010:692989:693064 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua010:692989:693064 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua010:692989:693064 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua010:692989:693064 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua010:692989:693064 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua010:692989:693064 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua010:692989:693064 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua010:692989:693064 [0] NCCL INFO Connected all rings +gpua010:692989:693064 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua010:692989:693064 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua010:692989:693064 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua010:692989:693064 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua010:692989:693064 [0] NCCL INFO Connected all trees +gpua010:692989:693064 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua010:692989:693064 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua010:692989:693064 [0] NCCL INFO comm 0x40b4a080 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua010:692991:692991 [2] NCCL INFO cudaDriverVersion 12020 +gpua010:692991:692991 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> +gpua010:692991:692991 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua010:692991:693067 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> +gpua010:692991:693067 [2] NCCL INFO Using network IB +gpua010:692991:693067 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua010:692991:693067 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua010:692991:693067 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua010:692991:693067 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua010:692991:693067 [2] NCCL INFO Connected all rings +gpua010:692991:693067 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua010:692991:693067 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua010:692991:693067 [2] NCCL INFO Connected all trees +gpua010:692991:693067 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua010:692991:693067 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua010:692991:693067 [2] NCCL INFO comm 0xba5e9d0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:981316:981316 [0] NCCL INFO cudaDriverVersion 12020 +gpua055:981316:981316 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:981316:981316 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:981316:981387 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:981316:981387 [0] NCCL INFO Using network IB +gpua055:981316:981387 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua055:981316:981387 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua055:981316:981387 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua055:981316:981387 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua055:981316:981387 [0] NCCL INFO Connected all rings +gpua055:981316:981387 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua055:981316:981387 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua055:981316:981387 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua055:981316:981387 [0] NCCL INFO Connected all trees +gpua055:981316:981387 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:981316:981387 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:981316:981387 [0] NCCL INFO comm 0xe653b260 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua081:3492278:3492278 [2] NCCL INFO cudaDriverVersion 12020 +gpua081:3492278:3492278 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.81<0> +gpua081:3492278:3492278 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua081:3492278:3492345 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.81<0> +gpua081:3492278:3492345 [2] NCCL INFO Using network IB +gpua081:3492278:3492345 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua081:3492278:3492345 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua081:3492278:3492345 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua081:3492278:3492345 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua081:3492278:3492345 [2] NCCL INFO Connected all rings +gpua081:3492278:3492345 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua081:3492278:3492345 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua081:3492278:3492345 [2] NCCL INFO Connected all trees +gpua081:3492278:3492345 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua081:3492278:3492345 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua081:3492278:3492345 [2] NCCL INFO comm 0xa1e86d30 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:981319:981319 [3] NCCL INFO cudaDriverVersion 12020 +gpua055:981319:981319 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:981319:981319 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:981319:981390 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:981319:981390 [3] NCCL INFO Using network IB +gpua055:981319:981390 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua055:981319:981390 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua055:981319:981390 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua055:981319:981390 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua055:981319:981390 [3] NCCL INFO Connected all rings +gpua055:981319:981390 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua055:981319:981390 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua055:981319:981390 [3] NCCL INFO Connected all trees +gpua055:981319:981390 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:981319:981390 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:981319:981390 [3] NCCL INFO comm 0x145781c0 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua031:1272357:1272357 [1] NCCL INFO cudaDriverVersion 12020 +gpua031:1272357:1272357 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1272357:1272357 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1272357:1272438 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1272357:1272438 [1] NCCL INFO Using network IB +gpua031:1272357:1272438 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua031:1272357:1272438 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua031:1272357:1272438 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua031:1272357:1272438 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua031:1272357:1272438 [1] NCCL INFO Connected all rings +gpua031:1272357:1272438 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua031:1272357:1272438 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua031:1272357:1272438 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua031:1272357:1272438 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua031:1272357:1272438 [1] NCCL INFO Connected all trees +gpua031:1272357:1272438 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1272357:1272438 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1272357:1272438 [1] NCCL INFO comm 0xf7869c0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua055:981317:981317 [1] NCCL INFO cudaDriverVersion 12020 +gpua055:981317:981317 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:981317:981317 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:981317:981392 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:981317:981392 [1] NCCL INFO Using network IB +gpua055:981317:981392 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua055:981317:981392 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua055:981317:981392 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua055:981317:981392 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua055:981317:981392 [1] NCCL INFO Connected all rings +gpua055:981317:981392 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua055:981317:981392 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua055:981317:981392 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua055:981317:981392 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua055:981317:981392 [1] NCCL INFO Connected all trees +gpua055:981317:981392 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:981317:981392 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:981317:981392 [1] NCCL INFO comm 0xb382580 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua081:3492277:3492277 [1] NCCL INFO cudaDriverVersion 12020 +gpua081:3492277:3492277 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.81<0> +gpua081:3492277:3492277 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua081:3492277:3492344 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.81<0> +gpua081:3492277:3492344 [1] NCCL INFO Using network IB +gpua081:3492277:3492344 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua081:3492277:3492344 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua081:3492277:3492344 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua081:3492277:3492344 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua081:3492277:3492344 [1] NCCL INFO Connected all rings +gpua081:3492277:3492344 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua081:3492277:3492344 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua081:3492277:3492344 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua081:3492277:3492344 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua081:3492277:3492344 [1] NCCL INFO Connected all trees +gpua081:3492277:3492344 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua081:3492277:3492344 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua081:3492277:3492344 [1] NCCL INFO comm 0x955d8790 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua056:1663031:1663031 [1] NCCL INFO cudaDriverVersion 12020 +gpua056:1663031:1663031 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1663031:1663031 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1663031:1663102 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1663031:1663102 [1] NCCL INFO Using network IB +gpua056:1663031:1663102 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua056:1663031:1663102 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua056:1663031:1663102 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua056:1663031:1663102 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua056:1663031:1663102 [1] NCCL INFO Connected all rings +gpua056:1663031:1663102 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua056:1663031:1663102 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua056:1663031:1663102 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua056:1663031:1663102 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua056:1663031:1663102 [1] NCCL INFO Connected all trees +gpua056:1663031:1663102 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1663031:1663102 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1663031:1663102 [1] NCCL INFO comm 0x140b3bf0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua054:811460:811460 [2] NCCL INFO cudaDriverVersion 12020 +gpua054:811460:811460 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:811460:811460 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:811460:811528 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:811460:811528 [2] NCCL INFO Using network IB +gpua054:811460:811528 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua054:811460:811528 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua054:811460:811528 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua054:811460:811528 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua054:811460:811528 [2] NCCL INFO Connected all rings +gpua054:811460:811528 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua054:811460:811528 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua054:811460:811528 [2] NCCL INFO Connected all trees +gpua054:811460:811528 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:811460:811528 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:811460:811528 [2] NCCL INFO comm 0x2e40b940 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua088:2258976:2258976 [2] NCCL INFO cudaDriverVersion 12020 +gpua088:2258976:2258976 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> +gpua088:2258976:2258976 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua088:2258976:2259046 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> +gpua088:2258976:2259046 [2] NCCL INFO Using network IB +gpua088:2258976:2259046 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua088:2258976:2259046 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua088:2258976:2259046 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua088:2258976:2259046 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua088:2258976:2259046 [2] NCCL INFO Connected all rings +gpua088:2258976:2259046 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua088:2258976:2259046 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua088:2258976:2259046 [2] NCCL INFO Connected all trees +gpua088:2258976:2259046 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua088:2258976:2259046 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua088:2258976:2259046 [2] NCCL INFO comm 0xf888190 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua086:1201712:1201712 [3] NCCL INFO cudaDriverVersion 12020 +gpua086:1201712:1201712 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1201712:1201712 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1201712:1201779 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1201712:1201779 [3] NCCL INFO Using network IB +gpua086:1201712:1201779 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua086:1201712:1201779 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua086:1201712:1201779 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua086:1201712:1201779 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua086:1201712:1201779 [3] NCCL INFO Connected all rings +gpua086:1201712:1201779 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua086:1201712:1201779 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua086:1201712:1201779 [3] NCCL INFO Connected all trees +gpua086:1201712:1201779 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1201712:1201779 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1201712:1201779 [3] NCCL INFO comm 0xca58790 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua054:811459:811459 [1] NCCL INFO cudaDriverVersion 12020 +gpua054:811459:811459 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:811459:811459 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:811459:811527 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:811459:811527 [1] NCCL INFO Using network IB +gpua054:811459:811527 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua054:811459:811527 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua054:811459:811527 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua054:811459:811527 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua054:811459:811527 [1] NCCL INFO Connected all rings +gpua054:811459:811527 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua054:811459:811527 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua054:811459:811527 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua054:811459:811527 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua054:811459:811527 [1] NCCL INFO Connected all trees +gpua054:811459:811527 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:811459:811527 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:811459:811527 [1] NCCL INFO comm 0xbded130 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua032:892275:892275 [1] NCCL INFO cudaDriverVersion 12020 +gpua032:892275:892275 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:892275:892275 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:892275:892343 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:892275:892343 [1] NCCL INFO Using network IB +gpua032:892275:892343 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua032:892275:892343 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua032:892275:892343 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua032:892275:892343 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua032:892275:892343 [1] NCCL INFO Connected all rings +gpua032:892275:892343 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua032:892275:892343 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua032:892275:892343 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua032:892275:892343 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua032:892275:892343 [1] NCCL INFO Connected all trees +gpua032:892275:892343 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:892275:892343 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:892275:892343 [1] NCCL INFO comm 0x36dc3f90 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua054:811461:811461 [3] NCCL INFO cudaDriverVersion 12020 +gpua054:811461:811461 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:811461:811461 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:811461:811526 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:811461:811526 [3] NCCL INFO Using network IB +gpua054:811461:811526 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua054:811461:811526 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua054:811461:811526 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua054:811461:811526 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua054:811461:811526 [3] NCCL INFO Connected all rings +gpua054:811461:811526 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua054:811461:811526 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua054:811461:811526 [3] NCCL INFO Connected all trees +gpua054:811461:811526 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:811461:811526 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:811461:811526 [3] NCCL INFO comm 0xeb945d20 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua088:2258977:2258977 [3] NCCL INFO cudaDriverVersion 12020 +gpua088:2258977:2258977 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> +gpua088:2258977:2258977 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua088:2258977:2259052 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> +gpua088:2258977:2259052 [3] NCCL INFO Using network IB +gpua088:2258977:2259052 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua088:2258977:2259052 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua088:2258977:2259052 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua088:2258977:2259052 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua088:2258977:2259052 [3] NCCL INFO Connected all rings +gpua088:2258977:2259052 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua088:2258977:2259052 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua088:2258977:2259052 [3] NCCL INFO Connected all trees +gpua088:2258977:2259052 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua088:2258977:2259052 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua088:2258977:2259052 [3] NCCL INFO comm 0x21dfcba0 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:1201711:1201711 [2] NCCL INFO cudaDriverVersion 12020 +gpua086:1201711:1201711 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1201711:1201711 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1201711:1201776 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1201711:1201776 [2] NCCL INFO Using network IB +gpua086:1201711:1201776 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua086:1201711:1201776 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua086:1201711:1201776 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua086:1201711:1201776 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua086:1201711:1201776 [2] NCCL INFO Connected all rings +gpua086:1201711:1201776 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua086:1201711:1201776 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua086:1201711:1201776 [2] NCCL INFO Connected all trees +gpua086:1201711:1201776 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1201711:1201776 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1201711:1201776 [2] NCCL INFO comm 0x4dec9510 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:1272358:1272358 [2] NCCL INFO cudaDriverVersion 12020 +gpua031:1272358:1272358 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1272358:1272358 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1272358:1272436 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1272358:1272436 [2] NCCL INFO Using network IB +gpua031:1272358:1272436 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua031:1272358:1272436 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua031:1272358:1272436 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua031:1272358:1272436 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua031:1272358:1272436 [2] NCCL INFO Connected all rings +gpua031:1272358:1272436 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua031:1272358:1272436 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua031:1272358:1272436 [2] NCCL INFO Connected all trees +gpua031:1272358:1272436 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1272358:1272436 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1272358:1272436 [2] NCCL INFO comm 0xde888f0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:1272359:1272359 [3] NCCL INFO cudaDriverVersion 12020 +gpua031:1272359:1272359 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1272359:1272359 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1272359:1272435 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1272359:1272435 [3] NCCL INFO Using network IB +gpua031:1272359:1272435 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua031:1272359:1272435 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua031:1272359:1272435 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua086:1201710:1201710 [1] NCCL INFO cudaDriverVersion 12020 +gpua086:1201710:1201710 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1201710:1201710 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1201710:1201782 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1201710:1201782 [1] NCCL INFO Using network IB +gpua086:1201710:1201782 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua086:1201710:1201782 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua086:1201710:1201782 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua086:1201710:1201782 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua086:1201710:1201782 [1] NCCL INFO Connected all rings +gpua086:1201710:1201782 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua086:1201710:1201782 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua031:1272359:1272435 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua031:1272359:1272435 [3] NCCL INFO Connected all rings +gpua031:1272359:1272435 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua031:1272359:1272435 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua031:1272359:1272435 [3] NCCL INFO Connected all trees +gpua031:1272359:1272435 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1272359:1272435 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1272359:1272435 [3] NCCL INFO comm 0x42c63430 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:1201710:1201782 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua086:1201710:1201782 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua086:1201710:1201782 [1] NCCL INFO Connected all trees +gpua086:1201710:1201782 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1201710:1201782 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1201710:1201782 [1] NCCL INFO comm 0xe2e04e60 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua054:811458:811458 [0] NCCL INFO cudaDriverVersion 12020 +gpua054:811458:811458 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:811458:811458 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:811458:811525 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:811458:811525 [0] NCCL INFO Using network IB +gpua054:811458:811525 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua054:811458:811525 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua054:811458:811525 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:811458:811525 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua054:811458:811525 [0] NCCL INFO Connected all rings +gpua054:811458:811525 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua054:811458:811525 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua054:811458:811525 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua054:811458:811525 [0] NCCL INFO Connected all trees +gpua054:811458:811525 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:811458:811525 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:811458:811525 [0] NCCL INFO comm 0x19fa01a0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua088:2258975:2258975 [1] NCCL INFO cudaDriverVersion 12020 +gpua088:2258975:2258975 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> +gpua088:2258975:2258975 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua088:2258975:2259050 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> +gpua088:2258975:2259050 [1] NCCL INFO Using network IB +gpua088:2258975:2259050 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua088:2258975:2259050 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua088:2258975:2259050 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua088:2258975:2259050 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua088:2258975:2259050 [1] NCCL INFO Connected all rings +gpua088:2258975:2259050 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua088:2258975:2259050 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua088:2258975:2259050 [1] NCCL INFO Connected all trees +gpua088:2258975:2259050 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua088:2258975:2259050 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua088:2258975:2259050 [1] NCCL INFO comm 0x22fcddd0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +[gpua010:0/64] 2023-12-15 16:42:55,369 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua010:0/64] 2023-12-15 16:46:08,219 (trainer:737) INFO: 35epoch:train:1-100batch: iter_time=3.988, forward_time=0.236, loss_ctc=53.489, loss_att=38.977, acc=0.747, loss=43.331, backward_time=0.330, grad_norm=68.971, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.860e-05, train_time=7.592 + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua010:0/64] 2023-12-15 16:50:20,095 (trainer:737) INFO: 35epoch:train:101-200batch: iter_time=9.670e-05, forward_time=0.143, loss_ctc=77.006, loss_att=58.117, acc=0.721, loss=63.784, backward_time=0.471, grad_norm=116.463, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.860e-05, train_time=2.519 +[gpua010:0/64] 2023-12-15 16:53:54,409 (trainer:737) INFO: 35epoch:train:201-300batch: iter_time=8.783e-05, forward_time=0.143, loss_ctc=81.648, loss_att=63.284, acc=0.705, loss=68.793, backward_time=0.403, grad_norm=97.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.859e-05, train_time=2.143 +[gpua010:0/64] 2023-12-15 16:57:25,924 (trainer:737) INFO: 35epoch:train:301-400batch: iter_time=9.192e-05, forward_time=0.143, loss_ctc=56.860, loss_att=40.509, acc=0.744, loss=45.414, backward_time=0.411, grad_norm=58.616, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.858e-05, train_time=2.115 +[gpua010:0/64] 2023-12-15 17:01:14,608 (trainer:737) INFO: 35epoch:train:401-500batch: iter_time=9.061e-05, forward_time=0.144, loss_ctc=65.712, loss_att=50.917, acc=0.736, loss=55.356, backward_time=0.387, grad_norm=99.658, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.858e-05, train_time=2.287 +[gpua010:0/64] 2023-12-15 17:03:54,843 (trainer:737) INFO: 35epoch:train:501-600batch: iter_time=8.487e-05, forward_time=0.142, loss_ctc=58.558, loss_att=44.350, acc=0.727, loss=48.613, backward_time=0.321, grad_norm=72.082, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.857e-05, train_time=1.602 +[gpua010:0/64] 2023-12-15 17:06:48,563 (trainer:737) INFO: 35epoch:train:601-700batch: iter_time=8.754e-05, forward_time=0.142, loss_ctc=62.885, loss_att=44.930, acc=0.732, loss=50.316, backward_time=0.310, grad_norm=69.850, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.856e-05, train_time=1.737 +[gpua010:0/64] 2023-12-15 17:09:46,315 (trainer:737) INFO: 35epoch:train:701-800batch: iter_time=8.390e-05, forward_time=0.142, loss_ctc=54.837, loss_att=44.866, acc=0.723, loss=47.857, backward_time=0.346, grad_norm=65.004, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.856e-05, train_time=1.777 +[gpua010:0/64] 2023-12-15 17:12:29,706 (trainer:737) INFO: 35epoch:train:801-900batch: iter_time=9.053e-05, forward_time=0.141, loss_ctc=56.403, loss_att=44.965, acc=0.720, loss=48.397, backward_time=0.313, grad_norm=70.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.855e-05, train_time=1.634 +[gpua010:0/64] 2023-12-15 17:15:14,165 (trainer:737) INFO: 35epoch:train:901-1000batch: iter_time=8.808e-05, forward_time=0.244, loss_ctc=67.229, loss_att=53.827, acc=0.721, loss=57.848, backward_time=0.365, grad_norm=68.155, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.854e-05, train_time=1.644 +[gpua010:0/64] 2023-12-15 17:16:15,109 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-15 17:17:55,007 (trainer:737) INFO: 35epoch:train:1001-1100batch: iter_time=8.199e-05, forward_time=0.143, loss_ctc=61.850, loss_att=53.095, acc=0.725, loss=55.722, backward_time=0.322, grad_norm=80.730, clip=100.000, loss_scale=1.373e+31, optim_step_time=0.131, optim0_lr0=6.854e-05, train_time=1.608 +[gpua010:0/64] 2023-12-15 17:20:26,992 (trainer:737) INFO: 35epoch:train:1101-1200batch: iter_time=8.258e-05, forward_time=0.143, loss_ctc=61.748, loss_att=49.072, acc=0.729, loss=52.875, backward_time=0.292, grad_norm=68.041, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.853e-05, train_time=1.520 +[gpua010:0/64] 2023-12-15 17:22:15,703 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua010:0/64] 2023-12-15 17:22:33,860 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 17:22:37,233 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 17:22:37,233 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua010:0/64] 2023-12-15 17:22:37,236 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 17:30:08,242 (trainer:737) INFO: 35epoch:train:1201-1300batch: iter_time=4.214, forward_time=0.190, loss_ctc=56.454, loss_att=43.651, acc=0.747, loss=47.492, backward_time=0.306, grad_norm=152.149, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.852e-05, train_time=5.812 +[gpua010:0/64] 2023-12-15 17:32:48,973 (trainer:737) INFO: 35epoch:train:1301-1400batch: iter_time=8.323e-05, forward_time=0.269, loss_ctc=60.870, loss_att=48.219, acc=0.732, loss=52.015, backward_time=0.340, grad_norm=113.964, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.852e-05, train_time=1.607 +[gpua010:0/64] 2023-12-15 17:35:56,444 (trainer:737) INFO: 35epoch:train:1401-1500batch: iter_time=8.059e-05, forward_time=0.162, loss_ctc=78.213, loss_att=60.883, acc=0.719, loss=66.082, backward_time=0.362, grad_norm=100.535, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.851e-05, train_time=1.875 +[gpua010:0/64] 2023-12-15 17:38:23,807 (trainer:737) INFO: 35epoch:train:1501-1600batch: iter_time=8.370e-05, forward_time=0.146, loss_ctc=74.709, loss_att=52.501, acc=0.732, loss=59.163, backward_time=0.287, grad_norm=81.061, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.850e-05, train_time=1.473 +[gpua010:0/64] 2023-12-15 17:40:48,057 (trainer:737) INFO: 35epoch:train:1601-1700batch: iter_time=7.937e-05, forward_time=0.146, loss_ctc=63.678, loss_att=50.872, acc=0.728, loss=54.714, backward_time=0.289, grad_norm=61.506, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=6.850e-05, train_time=1.442 +[gpua010:0/64] 2023-12-15 17:43:35,259 (trainer:737) INFO: 35epoch:train:1701-1800batch: iter_time=8.453e-05, forward_time=0.305, loss_ctc=59.335, loss_att=43.101, acc=0.743, loss=47.971, backward_time=0.333, grad_norm=60.267, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.849e-05, train_time=1.672 +[gpua010:0/64] 2023-12-15 17:46:33,937 (trainer:737) INFO: 35epoch:train:1801-1900batch: iter_time=8.632e-05, forward_time=0.146, loss_ctc=56.037, loss_att=45.079, acc=0.726, loss=48.366, backward_time=0.370, grad_norm=76.830, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.848e-05, train_time=1.786 +[gpua010:0/64] 2023-12-15 17:49:02,004 (trainer:737) INFO: 35epoch:train:1901-2000batch: iter_time=8.833e-05, forward_time=0.167, loss_ctc=61.861, loss_att=43.346, acc=0.738, loss=48.900, backward_time=0.286, grad_norm=111.452, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.848e-05, train_time=1.481 +[gpua010:0/64] 2023-12-15 17:51:15,312 (trainer:737) INFO: 35epoch:train:2001-2100batch: iter_time=8.263e-05, forward_time=0.146, loss_ctc=55.143, loss_att=42.798, acc=0.734, loss=46.502, backward_time=0.292, grad_norm=69.350, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.847e-05, train_time=1.333 +[gpua010:0/64] 2023-12-15 17:53:59,698 (trainer:737) INFO: 35epoch:train:2101-2200batch: iter_time=2.697e-04, forward_time=0.157, loss_ctc=64.205, loss_att=52.559, acc=0.716, loss=56.053, backward_time=0.311, grad_norm=71.122, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.846e-05, train_time=1.644 +[gpua010:0/64] 2023-12-15 17:56:48,894 (trainer:737) INFO: 35epoch:train:2201-2300batch: iter_time=2.139e-04, forward_time=0.285, loss_ctc=61.807, loss_att=49.025, acc=0.729, loss=52.860, backward_time=0.337, grad_norm=80.744, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.846e-05, train_time=1.691 +[gpua010:0/64] 2023-12-15 17:59:37,531 (trainer:737) INFO: 35epoch:train:2301-2400batch: iter_time=8.583e-05, forward_time=0.147, loss_ctc=63.004, loss_att=57.451, acc=0.723, loss=59.117, backward_time=0.323, grad_norm=90.024, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.845e-05, train_time=1.687 +[gpua010:0/64] 2023-12-15 18:02:00,580 (trainer:737) INFO: 35epoch:train:2401-2500batch: iter_time=8.331e-05, forward_time=0.147, loss_ctc=61.060, loss_att=47.725, acc=0.732, loss=51.725, backward_time=0.290, grad_norm=82.370, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.844e-05, train_time=1.431 +[gpua010:0/64] 2023-12-15 18:02:20,641 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua010:0/64] 2023-12-15 18:02:38,813 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 18:02:42,354 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 18:02:42,354 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua010:0/64] 2023-12-15 18:02:42,372 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 18:08:40,469 (trainer:737) INFO: 35epoch:train:2501-2600batch: iter_time=2.708, forward_time=0.187, loss_ctc=52.840, loss_att=39.163, acc=0.752, loss=43.266, backward_time=0.283, grad_norm=54.245, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.844e-05, train_time=3.999 +[gpua010:0/64] 2023-12-15 18:10:48,101 (trainer:737) INFO: 35epoch:train:2601-2700batch: iter_time=8.132e-05, forward_time=0.146, loss_ctc=72.686, loss_att=57.513, acc=0.725, loss=62.064, backward_time=0.280, grad_norm=80.514, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.843e-05, train_time=1.276 +[gpua010:0/64] 2023-12-15 18:12:53,210 (trainer:737) INFO: 35epoch:train:2701-2800batch: iter_time=8.230e-05, forward_time=0.145, loss_ctc=79.118, loss_att=62.468, acc=0.710, loss=67.463, backward_time=0.282, grad_norm=115.223, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.842e-05, train_time=1.251 +[gpua010:0/64] 2023-12-15 18:15:01,064 (trainer:737) INFO: 35epoch:train:2801-2900batch: iter_time=8.008e-05, forward_time=0.147, loss_ctc=56.508, loss_att=39.810, acc=0.750, loss=44.819, backward_time=0.278, grad_norm=72.808, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.842e-05, train_time=1.278 +[gpua010:0/64] 2023-12-15 18:17:10,785 (trainer:737) INFO: 35epoch:train:2901-3000batch: iter_time=8.479e-05, forward_time=0.146, loss_ctc=65.137, loss_att=50.095, acc=0.741, loss=54.608, backward_time=0.281, grad_norm=65.493, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.841e-05, train_time=1.297 +[gpua010:0/64] 2023-12-15 18:19:24,482 (trainer:737) INFO: 35epoch:train:3001-3100batch: iter_time=8.470e-05, forward_time=0.145, loss_ctc=56.636, loss_att=43.705, acc=0.732, loss=47.584, backward_time=0.294, grad_norm=66.890, clip=100.000, loss_scale=1.663e+31, optim_step_time=0.131, optim0_lr0=6.840e-05, train_time=1.337 +[gpua010:0/64] 2023-12-15 18:21:35,761 (trainer:737) INFO: 35epoch:train:3101-3200batch: iter_time=8.311e-05, forward_time=0.145, loss_ctc=61.481, loss_att=44.409, acc=0.739, loss=49.531, backward_time=0.275, grad_norm=97.678, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.840e-05, train_time=1.313 +[gpua010:0/64] 2023-12-15 18:24:03,883 (trainer:737) INFO: 35epoch:train:3201-3300batch: iter_time=8.459e-05, forward_time=0.146, loss_ctc=54.449, loss_att=44.540, acc=0.727, loss=47.513, backward_time=0.291, grad_norm=106.060, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.839e-05, train_time=1.481 +[gpua010:0/64] 2023-12-15 18:26:51,580 (trainer:737) INFO: 35epoch:train:3301-3400batch: iter_time=8.823e-05, forward_time=0.145, loss_ctc=55.588, loss_att=44.457, acc=0.724, loss=47.796, backward_time=0.337, grad_norm=70.244, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.838e-05, train_time=1.677 +[gpua010:0/64] 2023-12-15 18:29:24,374 (trainer:737) INFO: 35epoch:train:3401-3500batch: iter_time=8.067e-05, forward_time=0.250, loss_ctc=66.734, loss_att=53.020, acc=0.726, loss=57.134, backward_time=0.310, grad_norm=92.755, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.838e-05, train_time=1.527 +[gpua010:0/64] 2023-12-15 18:32:07,435 (trainer:737) INFO: 35epoch:train:3501-3600batch: iter_time=8.630e-05, forward_time=0.148, loss_ctc=61.639, loss_att=53.138, acc=0.726, loss=55.688, backward_time=0.319, grad_norm=92.102, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.837e-05, train_time=1.630 +[gpua010:0/64] 2023-12-15 18:34:22,552 (trainer:737) INFO: 35epoch:train:3601-3700batch: iter_time=8.760e-05, forward_time=0.146, loss_ctc=61.006, loss_att=48.438, acc=0.732, loss=52.209, backward_time=0.279, grad_norm=94.263, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.836e-05, train_time=1.352 +[gpua010:0/64] 2023-12-15 18:36:00,493 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua010:0/64] 2023-12-15 18:36:18,448 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 18:36:21,818 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 18:36:21,818 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua010:0/64] 2023-12-15 18:36:21,881 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 18:41:56,351 (trainer:737) INFO: 35epoch:train:3701-3800batch: iter_time=2.814, forward_time=0.260, loss_ctc=56.202, loss_att=43.079, acc=0.754, loss=47.016, backward_time=0.297, grad_norm=61.143, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.836e-05, train_time=4.538 +[gpua010:0/64] 2023-12-15 18:44:18,608 (trainer:737) INFO: 35epoch:train:3801-3900batch: iter_time=8.675e-05, forward_time=0.147, loss_ctc=60.453, loss_att=48.323, acc=0.744, loss=51.962, backward_time=0.312, grad_norm=67.297, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.835e-05, train_time=1.422 +[gpua010:0/64] 2023-12-15 18:46:34,681 (trainer:737) INFO: 35epoch:train:3901-4000batch: iter_time=8.037e-05, forward_time=0.147, loss_ctc=76.399, loss_att=62.301, acc=0.729, loss=66.530, backward_time=0.300, grad_norm=111.872, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.834e-05, train_time=1.360 +[gpua010:0/64] 2023-12-15 18:48:55,335 (trainer:737) INFO: 35epoch:train:4001-4100batch: iter_time=8.099e-05, forward_time=0.264, loss_ctc=67.158, loss_att=54.042, acc=0.731, loss=57.977, backward_time=0.318, grad_norm=110.069, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.834e-05, train_time=1.406 +[gpua010:0/64] 2023-12-15 18:51:14,207 (trainer:737) INFO: 35epoch:train:4101-4200batch: iter_time=8.688e-05, forward_time=0.146, loss_ctc=63.685, loss_att=51.738, acc=0.742, loss=55.322, backward_time=0.286, grad_norm=69.810, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.833e-05, train_time=1.388 +[gpua010:0/64] 2023-12-15 18:52:04,885 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-15 18:53:38,316 (trainer:737) INFO: 35epoch:train:4201-4300batch: iter_time=8.527e-05, forward_time=0.146, loss_ctc=58.686, loss_att=42.866, acc=0.751, loss=47.612, backward_time=0.286, grad_norm=99.696, clip=100.000, loss_scale=1.393e+31, optim_step_time=0.131, optim0_lr0=6.832e-05, train_time=1.441 +[gpua010:0/64] 2023-12-15 18:56:38,833 (trainer:737) INFO: 35epoch:train:4301-4400batch: iter_time=8.328e-05, forward_time=0.264, loss_ctc=55.779, loss_att=45.013, acc=0.733, loss=48.243, backward_time=0.346, grad_norm=65.819, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.832e-05, train_time=1.805 +[gpua010:0/64] 2023-12-15 18:59:19,504 (trainer:737) INFO: 35epoch:train:4401-4500batch: iter_time=8.229e-05, forward_time=0.147, loss_ctc=61.628, loss_att=42.860, acc=0.754, loss=48.491, backward_time=0.343, grad_norm=63.424, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.831e-05, train_time=1.606 +[gpua010:0/64] 2023-12-15 19:01:49,764 (trainer:737) INFO: 35epoch:train:4501-4600batch: iter_time=8.235e-05, forward_time=0.146, loss_ctc=54.278, loss_att=43.523, acc=0.742, loss=46.749, backward_time=0.328, grad_norm=198.975, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.830e-05, train_time=1.502 +[gpua010:0/64] 2023-12-15 19:04:08,181 (trainer:737) INFO: 35epoch:train:4601-4700batch: iter_time=8.219e-05, forward_time=0.146, loss_ctc=63.617, loss_att=53.370, acc=0.728, loss=56.444, backward_time=0.300, grad_norm=74.541, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.830e-05, train_time=1.384 +[gpua010:0/64] 2023-12-15 19:06:44,469 (trainer:737) INFO: 35epoch:train:4701-4800batch: iter_time=8.262e-05, forward_time=0.223, loss_ctc=61.729, loss_att=49.949, acc=0.734, loss=53.483, backward_time=0.355, grad_norm=64.160, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.829e-05, train_time=1.562 +[gpua010:0/64] 2023-12-15 19:08:53,948 (trainer:737) INFO: 35epoch:train:4801-4900batch: iter_time=8.420e-05, forward_time=0.146, loss_ctc=62.793, loss_att=57.562, acc=0.737, loss=59.131, backward_time=0.277, grad_norm=61.963, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.828e-05, train_time=1.295 +[gpua010:0/64] 2023-12-15 19:11:06,613 (trainer:737) INFO: 35epoch:train:4901-5000batch: iter_time=7.850e-05, forward_time=0.146, loss_ctc=60.990, loss_att=49.002, acc=0.744, loss=52.598, backward_time=0.286, grad_norm=59.983, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.828e-05, train_time=1.326 +[gpua010:0/64] 2023-12-15 19:11:26,841 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua010:0/64] 2023-12-15 19:11:44,692 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 19:11:48,087 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 19:11:48,088 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua010:0/64] 2023-12-15 19:11:48,093 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 19:22:24,162 (trainer:737) INFO: 35epoch:train:5001-5100batch: iter_time=2.463, forward_time=0.206, loss_ctc=52.791, loss_att=38.218, acc=0.762, loss=42.590, backward_time=0.284, grad_norm=229.577, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.827e-05, train_time=6.775 +[gpua010:0/64] 2023-12-15 19:25:09,992 (trainer:737) INFO: 35epoch:train:5101-5200batch: iter_time=8.053e-05, forward_time=0.213, loss_ctc=70.948, loss_att=57.358, acc=0.737, loss=61.435, backward_time=0.358, grad_norm=102.330, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.826e-05, train_time=1.658 +[gpua010:0/64] 2023-12-15 19:27:37,441 (trainer:737) INFO: 35epoch:train:5201-5300batch: iter_time=8.273e-05, forward_time=0.265, loss_ctc=77.385, loss_att=62.542, acc=0.723, loss=66.995, backward_time=0.307, grad_norm=98.415, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.826e-05, train_time=1.474 +[gpua010:0/64] 2023-12-15 19:30:21,600 (trainer:737) INFO: 35epoch:train:5301-5400batch: iter_time=8.162e-05, forward_time=0.200, loss_ctc=55.819, loss_att=40.325, acc=0.753, loss=44.973, backward_time=0.398, grad_norm=56.714, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.825e-05, train_time=1.642 +[gpua010:0/64] 2023-12-15 19:33:12,654 (trainer:737) INFO: 35epoch:train:5401-5500batch: iter_time=3.273e-04, forward_time=0.272, loss_ctc=64.932, loss_att=50.696, acc=0.751, loss=54.967, backward_time=0.332, grad_norm=68.426, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.824e-05, train_time=1.710 +[gpua010:0/64] 2023-12-15 19:36:03,098 (trainer:737) INFO: 35epoch:train:5501-5600batch: iter_time=4.645e-04, forward_time=0.312, loss_ctc=56.734, loss_att=42.914, acc=0.742, loss=47.060, backward_time=0.335, grad_norm=64.822, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.824e-05, train_time=1.702 +[gpua010:0/64] 2023-12-15 19:38:44,798 (trainer:737) INFO: 35epoch:train:5601-5700batch: iter_time=9.543e-05, forward_time=0.246, loss_ctc=61.018, loss_att=43.900, acc=0.750, loss=49.035, backward_time=0.379, grad_norm=108.382, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.823e-05, train_time=1.618 +[gpua010:0/64] 2023-12-15 19:41:00,177 (trainer:737) INFO: 35epoch:train:5701-5800batch: iter_time=8.474e-05, forward_time=0.148, loss_ctc=54.262, loss_att=45.346, acc=0.739, loss=48.021, backward_time=0.288, grad_norm=59.270, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.822e-05, train_time=1.353 +[gpua010:0/64] 2023-12-15 19:43:49,733 (trainer:737) INFO: 35epoch:train:5801-5900batch: iter_time=0.001, forward_time=0.267, loss_ctc=54.882, loss_att=44.607, acc=0.730, loss=47.689, backward_time=0.323, grad_norm=73.640, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.822e-05, train_time=1.695 +[gpua010:0/64] 2023-12-15 19:45:55,565 (trainer:737) INFO: 35epoch:train:5901-6000batch: iter_time=8.557e-05, forward_time=0.147, loss_ctc=66.456, loss_att=53.926, acc=0.736, loss=57.685, backward_time=0.276, grad_norm=77.714, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.821e-05, train_time=1.258 +[gpua010:0/64] 2023-12-15 19:48:28,394 (trainer:737) INFO: 35epoch:train:6001-6100batch: iter_time=2.925e-04, forward_time=0.274, loss_ctc=61.371, loss_att=53.977, acc=0.734, loss=56.195, backward_time=0.313, grad_norm=97.233, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.820e-05, train_time=1.529 +[gpua010:0/64] 2023-12-15 19:51:19,736 (trainer:737) INFO: 35epoch:train:6101-6200batch: iter_time=4.533e-04, forward_time=0.268, loss_ctc=60.784, loss_att=49.252, acc=0.746, loss=52.712, backward_time=0.336, grad_norm=178.099, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.820e-05, train_time=1.711 +[gpua010:0/64] 2023-12-15 19:53:04,914 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua010:0/64] 2023-12-15 19:53:23,074 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 19:53:26,593 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 19:53:26,593 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua010:0/64] 2023-12-15 19:53:26,598 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 19:59:04,693 (trainer:737) INFO: 35epoch:train:6201-6300batch: iter_time=3.029, forward_time=0.150, loss_ctc=55.495, loss_att=42.431, acc=0.760, loss=46.350, backward_time=0.297, grad_norm=57.106, clip=100.000, loss_scale=1.643e+31, optim_step_time=0.131, optim0_lr0=6.819e-05, train_time=4.651 +[gpua010:0/64] 2023-12-15 20:01:17,498 (trainer:737) INFO: 35epoch:train:6301-6400batch: iter_time=7.881e-05, forward_time=0.149, loss_ctc=60.838, loss_att=47.202, acc=0.748, loss=51.293, backward_time=0.277, grad_norm=54.642, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.818e-05, train_time=1.328 +[gpua010:0/64] 2023-12-15 20:03:43,073 (trainer:737) INFO: 35epoch:train:6401-6500batch: iter_time=7.863e-05, forward_time=0.277, loss_ctc=76.264, loss_att=60.796, acc=0.735, loss=65.436, backward_time=0.310, grad_norm=119.610, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.818e-05, train_time=1.455 +[gpua010:0/64] 2023-12-15 20:06:14,011 (trainer:737) INFO: 35epoch:train:6501-6600batch: iter_time=8.133e-05, forward_time=0.146, loss_ctc=67.496, loss_att=52.858, acc=0.736, loss=57.250, backward_time=0.293, grad_norm=128.428, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.817e-05, train_time=1.510 +[gpua010:0/64] 2023-12-15 20:08:35,646 (trainer:737) INFO: 35epoch:train:6601-6700batch: iter_time=8.362e-05, forward_time=0.147, loss_ctc=63.527, loss_att=50.731, acc=0.745, loss=54.570, backward_time=0.292, grad_norm=59.276, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.816e-05, train_time=1.416 +[gpua010:0/64] 2023-12-15 20:11:03,956 (trainer:737) INFO: 35epoch:train:6701-6800batch: iter_time=8.304e-05, forward_time=0.147, loss_ctc=58.089, loss_att=41.998, acc=0.756, loss=46.826, backward_time=0.288, grad_norm=80.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.816e-05, train_time=1.483 +[gpua010:0/64] 2023-12-15 20:13:29,894 (trainer:737) INFO: 35epoch:train:6801-6900batch: iter_time=8.460e-05, forward_time=0.146, loss_ctc=55.121, loss_att=44.103, acc=0.736, loss=47.408, backward_time=0.307, grad_norm=64.721, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.815e-05, train_time=1.459 +[gpua010:0/64] 2023-12-15 20:15:52,220 (trainer:737) INFO: 35epoch:train:6901-7000batch: iter_time=8.344e-05, forward_time=0.149, loss_ctc=60.443, loss_att=42.406, acc=0.755, loss=47.817, backward_time=0.302, grad_norm=61.086, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.814e-05, train_time=1.423 +[gpua010:0/64] 2023-12-15 20:18:09,579 (trainer:737) INFO: 35epoch:train:7001-7100batch: iter_time=2.117e-04, forward_time=0.208, loss_ctc=54.542, loss_att=43.289, acc=0.741, loss=46.665, backward_time=0.302, grad_norm=55.930, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.814e-05, train_time=1.373 +[gpua010:0/64] 2023-12-15 20:20:31,379 (trainer:737) INFO: 35epoch:train:7101-7200batch: iter_time=8.493e-05, forward_time=0.181, loss_ctc=63.973, loss_att=52.857, acc=0.730, loss=56.192, backward_time=0.302, grad_norm=67.728, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.813e-05, train_time=1.416 +[gpua010:0/64] 2023-12-15 20:21:54,842 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-15 20:23:02,626 (trainer:737) INFO: 35epoch:train:7201-7300batch: iter_time=8.488e-05, forward_time=0.147, loss_ctc=61.061, loss_att=49.397, acc=0.735, loss=52.896, backward_time=0.300, grad_norm=97.674, clip=100.000, loss_scale=1.618e+31, optim_step_time=0.131, optim0_lr0=6.813e-05, train_time=1.514 +[gpua010:0/64] 2023-12-15 20:25:57,875 (trainer:737) INFO: 35epoch:train:7301-7400batch: iter_time=8.542e-05, forward_time=0.147, loss_ctc=62.242, loss_att=56.967, acc=0.739, loss=58.550, backward_time=0.288, grad_norm=67.654, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.812e-05, train_time=1.752 +[gpua010:0/64] 2023-12-15 20:28:10,159 (trainer:737) INFO: 35epoch:train:7401-7500batch: iter_time=8.129e-05, forward_time=0.146, loss_ctc=60.147, loss_att=47.828, acc=0.748, loss=51.524, backward_time=0.276, grad_norm=79.083, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.811e-05, train_time=1.322 +[gpua010:0/64] 2023-12-15 20:28:30,262 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua010:0/64] 2023-12-15 20:28:48,554 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 20:28:51,990 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 20:28:51,990 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua010:0/64] 2023-12-15 20:28:51,993 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 20:37:28,663 (trainer:737) INFO: 35epoch:train:7501-7600batch: iter_time=2.933, forward_time=0.174, loss_ctc=52.768, loss_att=38.727, acc=0.757, loss=42.939, backward_time=0.286, grad_norm=67.927, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.811e-05, train_time=5.585 +[gpua010:0/64] 2023-12-15 20:39:45,111 (trainer:737) INFO: 35epoch:train:7601-7700batch: iter_time=8.239e-05, forward_time=0.146, loss_ctc=72.797, loss_att=59.496, acc=0.726, loss=63.487, backward_time=0.285, grad_norm=92.457, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.810e-05, train_time=1.365 +[gpua010:0/64] 2023-12-15 20:42:15,625 (trainer:737) INFO: 35epoch:train:7701-7800batch: iter_time=8.100e-05, forward_time=0.220, loss_ctc=76.472, loss_att=63.290, acc=0.712, loss=67.245, backward_time=0.344, grad_norm=110.831, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.809e-05, train_time=1.504 +[gpua010:0/64] 2023-12-15 20:44:59,938 (trainer:737) INFO: 35epoch:train:7801-7900batch: iter_time=8.236e-05, forward_time=0.146, loss_ctc=55.453, loss_att=40.439, acc=0.748, loss=44.943, backward_time=0.311, grad_norm=71.925, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.809e-05, train_time=1.643 +[gpua010:0/64] 2023-12-15 20:47:37,517 (trainer:737) INFO: 35epoch:train:7901-8000batch: iter_time=8.232e-05, forward_time=0.211, loss_ctc=64.363, loss_att=51.026, acc=0.740, loss=55.027, backward_time=0.343, grad_norm=72.856, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.808e-05, train_time=1.576 +[gpua010:0/64] 2023-12-15 20:49:57,809 (trainer:737) INFO: 35epoch:train:8001-8100batch: iter_time=7.953e-05, forward_time=0.186, loss_ctc=56.639, loss_att=43.605, acc=0.735, loss=47.515, backward_time=0.284, grad_norm=88.403, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.807e-05, train_time=1.402 +[gpua010:0/64] 2023-12-15 20:52:16,468 (trainer:737) INFO: 35epoch:train:8101-8200batch: iter_time=8.200e-05, forward_time=0.145, loss_ctc=60.589, loss_att=44.139, acc=0.739, loss=49.074, backward_time=0.301, grad_norm=71.137, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.807e-05, train_time=1.386 +[gpua010:0/64] 2023-12-15 20:54:52,516 (trainer:737) INFO: 35epoch:train:8201-8300batch: iter_time=8.157e-05, forward_time=0.209, loss_ctc=54.577, loss_att=44.834, acc=0.730, loss=47.757, backward_time=0.343, grad_norm=75.287, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.806e-05, train_time=1.561 +[gpua010:0/64] 2023-12-15 20:57:28,316 (trainer:737) INFO: 35epoch:train:8301-8400batch: iter_time=8.313e-05, forward_time=0.167, loss_ctc=54.813, loss_att=43.972, acc=0.729, loss=47.224, backward_time=0.299, grad_norm=63.703, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.805e-05, train_time=1.558 +[gpua010:0/64] 2023-12-15 21:00:17,115 (trainer:737) INFO: 35epoch:train:8401-8500batch: iter_time=1.818e-04, forward_time=0.170, loss_ctc=66.383, loss_att=53.248, acc=0.727, loss=57.188, backward_time=0.297, grad_norm=65.277, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.805e-05, train_time=1.688 +[gpua010:0/64] 2023-12-15 21:02:43,668 (trainer:737) INFO: 35epoch:train:8501-8600batch: iter_time=8.963e-05, forward_time=0.189, loss_ctc=60.926, loss_att=53.320, acc=0.729, loss=55.602, backward_time=0.314, grad_norm=70.162, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.804e-05, train_time=1.466 +[gpua010:0/64] 2023-12-15 21:04:58,687 (trainer:737) INFO: 35epoch:train:8601-8700batch: iter_time=8.892e-05, forward_time=0.147, loss_ctc=60.324, loss_att=48.128, acc=0.735, loss=51.786, backward_time=0.285, grad_norm=59.738, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.803e-05, train_time=1.350 +[gpua010:0/64] 2023-12-15 21:06:35,832 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua010:0/64] 2023-12-15 21:06:54,224 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 21:06:57,876 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 21:06:57,876 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua010:0/64] 2023-12-15 21:06:58,378 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 21:16:53,719 (trainer:737) INFO: 35epoch:train:8701-8800batch: iter_time=3.278, forward_time=0.240, loss_ctc=55.644, loss_att=42.468, acc=0.757, loss=46.421, backward_time=0.288, grad_norm=56.765, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.803e-05, train_time=7.150 +[gpua010:0/64] 2023-12-15 21:19:31,091 (trainer:737) INFO: 35epoch:train:8801-8900batch: iter_time=8.527e-05, forward_time=0.148, loss_ctc=60.528, loss_att=48.334, acc=0.746, loss=51.992, backward_time=0.277, grad_norm=68.753, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.802e-05, train_time=1.574 +[gpua010:0/64] 2023-12-15 21:22:47,366 (trainer:737) INFO: 35epoch:train:8901-9000batch: iter_time=8.598e-05, forward_time=0.147, loss_ctc=75.965, loss_att=61.637, acc=0.735, loss=65.935, backward_time=0.328, grad_norm=81.131, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.801e-05, train_time=1.961 +[gpua010:0/64] 2023-12-15 21:25:41,154 (trainer:737) INFO: 35epoch:train:9001-9100batch: iter_time=7.827e-05, forward_time=0.146, loss_ctc=66.262, loss_att=53.044, acc=0.734, loss=57.010, backward_time=0.310, grad_norm=81.713, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=6.801e-05, train_time=1.739 +[gpua010:0/64] 2023-12-15 21:28:02,166 (trainer:737) INFO: 35epoch:train:9101-9200batch: iter_time=8.034e-05, forward_time=0.148, loss_ctc=63.310, loss_att=50.563, acc=0.746, loss=54.387, backward_time=0.287, grad_norm=95.636, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=6.800e-05, train_time=1.410 +[gpua010:0/64] 2023-12-15 21:31:21,749 (trainer:737) INFO: 35epoch:train:9201-9300batch: iter_time=7.890e-05, forward_time=0.246, loss_ctc=58.070, loss_att=41.960, acc=0.756, loss=46.793, backward_time=0.358, grad_norm=87.095, clip=100.000, loss_scale=1.420e+31, optim_step_time=0.148, optim0_lr0=6.799e-05, train_time=1.995 +[gpua010:0/64] 2023-12-15 21:33:17,534 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-15 21:34:43,073 (trainer:737) INFO: 35epoch:train:9301-9400batch: iter_time=8.259e-05, forward_time=0.154, loss_ctc=54.899, loss_att=43.947, acc=0.737, loss=47.233, backward_time=0.376, grad_norm=81.510, clip=100.000, loss_scale=1.772e+31, optim_step_time=0.131, optim0_lr0=6.799e-05, train_time=2.013 +[gpua010:0/64] 2023-12-15 21:37:43,737 (trainer:737) INFO: 35epoch:train:9401-9500batch: iter_time=8.235e-05, forward_time=0.148, loss_ctc=60.443, loss_att=42.305, acc=0.755, loss=47.746, backward_time=0.304, grad_norm=114.416, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.798e-05, train_time=1.807 +[gpua010:0/64] 2023-12-15 21:40:58,419 (trainer:737) INFO: 35epoch:train:9501-9600batch: iter_time=8.345e-05, forward_time=0.146, loss_ctc=53.904, loss_att=42.855, acc=0.746, loss=46.170, backward_time=0.286, grad_norm=69.902, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.797e-05, train_time=1.946 +[gpua010:0/64] 2023-12-15 21:44:14,019 (trainer:737) INFO: 35epoch:train:9601-9700batch: iter_time=8.321e-05, forward_time=0.146, loss_ctc=63.495, loss_att=52.652, acc=0.730, loss=55.905, backward_time=0.337, grad_norm=66.311, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.797e-05, train_time=1.956 +[gpua010:0/64] 2023-12-15 21:46:48,521 (trainer:737) INFO: 35epoch:train:9701-9800batch: iter_time=3.884e-04, forward_time=0.174, loss_ctc=61.253, loss_att=49.613, acc=0.737, loss=53.105, backward_time=0.322, grad_norm=67.879, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.796e-05, train_time=1.544 +[gpua010:0/64] 2023-12-15 21:49:21,145 (trainer:737) INFO: 35epoch:train:9801-9900batch: iter_time=8.151e-05, forward_time=0.220, loss_ctc=62.444, loss_att=56.920, acc=0.738, loss=58.577, backward_time=0.303, grad_norm=87.970, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.795e-05, train_time=1.526 +[gpua010:0/64] 2023-12-15 21:51:51,236 (trainer:737) INFO: 35epoch:train:9901-10000batch: iter_time=8.230e-05, forward_time=0.146, loss_ctc=60.112, loss_att=48.081, acc=0.747, loss=51.691, backward_time=0.290, grad_norm=87.013, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.795e-05, train_time=1.501 +[gpua010:0/64] 2023-12-15 21:52:11,264 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua010:0/64] 2023-12-15 21:52:29,439 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 21:52:32,836 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 21:52:32,836 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua010:0/64] 2023-12-15 21:52:32,840 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 21:59:18,033 (trainer:737) INFO: 35epoch:train:10001-10100batch: iter_time=2.625, forward_time=0.184, loss_ctc=52.543, loss_att=38.668, acc=0.758, loss=42.830, backward_time=0.280, grad_norm=67.585, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.794e-05, train_time=4.468 +[gpua010:0/64] 2023-12-15 22:01:24,007 (trainer:737) INFO: 35epoch:train:10101-10200batch: iter_time=8.175e-05, forward_time=0.146, loss_ctc=71.361, loss_att=59.449, acc=0.730, loss=63.023, backward_time=0.277, grad_norm=93.699, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.793e-05, train_time=1.260 +[gpua010:0/64] 2023-12-15 22:03:33,092 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-15 22:03:58,952 (trainer:737) INFO: 35epoch:train:10201-10300batch: iter_time=8.212e-05, forward_time=0.146, loss_ctc=79.025, loss_att=62.884, acc=0.712, loss=67.726, backward_time=0.320, grad_norm=95.497, clip=100.000, loss_scale=9.066e+30, optim_step_time=0.131, optim0_lr0=6.793e-05, train_time=1.549 +[gpua010:0/64] 2023-12-15 22:06:42,754 (trainer:737) INFO: 35epoch:train:10301-10400batch: iter_time=7.993e-05, forward_time=0.146, loss_ctc=56.063, loss_att=39.979, acc=0.753, loss=44.804, backward_time=0.319, grad_norm=74.486, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.792e-05, train_time=1.638 +[gpua010:0/64] 2023-12-15 22:09:00,883 (trainer:737) INFO: 35epoch:train:10401-10500batch: iter_time=8.309e-05, forward_time=0.222, loss_ctc=64.551, loss_att=50.591, acc=0.741, loss=54.779, backward_time=0.295, grad_norm=74.759, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.792e-05, train_time=1.381 +[gpua010:0/64] 2023-12-15 22:11:22,543 (trainer:737) INFO: 35epoch:train:10501-10600batch: iter_time=8.615e-05, forward_time=0.161, loss_ctc=56.592, loss_att=43.642, acc=0.734, loss=47.527, backward_time=0.295, grad_norm=95.985, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.791e-05, train_time=1.417 +[gpua010:0/64] 2023-12-15 22:14:34,592 (trainer:737) INFO: 35epoch:train:10601-10700batch: iter_time=8.357e-05, forward_time=0.146, loss_ctc=60.136, loss_att=43.835, acc=0.741, loss=48.726, backward_time=0.326, grad_norm=92.106, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.790e-05, train_time=1.920 +[gpua010:0/64] 2023-12-15 22:17:18,521 (trainer:737) INFO: 35epoch:train:10701-10800batch: iter_time=8.532e-05, forward_time=0.146, loss_ctc=53.683, loss_att=44.047, acc=0.731, loss=46.938, backward_time=0.345, grad_norm=93.048, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.790e-05, train_time=1.639 +[gpua010:0/64] 2023-12-15 22:19:49,922 (trainer:737) INFO: 35epoch:train:10801-10900batch: iter_time=8.206e-05, forward_time=0.145, loss_ctc=55.175, loss_att=44.138, acc=0.728, loss=47.449, backward_time=0.334, grad_norm=61.117, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.789e-05, train_time=1.514 +[gpua010:0/64] 2023-12-15 22:22:02,262 (trainer:737) INFO: 35epoch:train:10901-11000batch: iter_time=8.036e-05, forward_time=0.148, loss_ctc=66.409, loss_att=53.288, acc=0.728, loss=57.224, backward_time=0.281, grad_norm=73.781, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.788e-05, train_time=1.323 +[gpua010:0/64] 2023-12-15 22:24:30,719 (trainer:737) INFO: 35epoch:train:11001-11100batch: iter_time=7.950e-05, forward_time=0.248, loss_ctc=61.070, loss_att=52.556, acc=0.732, loss=55.110, backward_time=0.297, grad_norm=103.447, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.788e-05, train_time=1.484 +[gpua010:0/64] 2023-12-15 22:26:54,168 (trainer:737) INFO: 35epoch:train:11101-11200batch: iter_time=8.270e-05, forward_time=0.163, loss_ctc=60.219, loss_att=48.107, acc=0.737, loss=51.741, backward_time=0.284, grad_norm=110.933, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.787e-05, train_time=1.435 +[gpua010:0/64] 2023-12-15 22:28:30,443 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua010:0/64] 2023-12-15 22:28:49,172 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 22:28:52,589 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 22:28:52,589 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua010:0/64] 2023-12-15 22:28:52,592 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 22:34:34,199 (trainer:737) INFO: 35epoch:train:11201-11300batch: iter_time=3.085, forward_time=0.147, loss_ctc=55.617, loss_att=42.731, acc=0.756, loss=46.597, backward_time=0.292, grad_norm=65.641, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.786e-05, train_time=4.600 +[gpua010:0/64] 2023-12-15 22:36:34,517 (trainer:737) INFO: 35epoch:train:11301-11400batch: iter_time=7.627e-05, forward_time=0.147, loss_ctc=59.894, loss_att=47.905, acc=0.738, loss=51.502, backward_time=0.278, grad_norm=71.523, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.786e-05, train_time=1.203 +[gpua010:0/64] 2023-12-15 22:39:02,985 (trainer:737) INFO: 35epoch:train:11401-11500batch: iter_time=8.021e-05, forward_time=0.150, loss_ctc=76.426, loss_att=60.544, acc=0.726, loss=65.309, backward_time=0.292, grad_norm=99.708, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.785e-05, train_time=1.484 +[gpua010:0/64] 2023-12-15 22:41:04,237 (trainer:737) INFO: 35epoch:train:11501-11600batch: iter_time=8.185e-05, forward_time=0.147, loss_ctc=67.731, loss_att=52.449, acc=0.737, loss=57.034, backward_time=0.277, grad_norm=96.149, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.784e-05, train_time=1.212 +[gpua010:0/64] 2023-12-15 22:43:41,194 (trainer:737) INFO: 35epoch:train:11601-11700batch: iter_time=8.345e-05, forward_time=0.212, loss_ctc=63.610, loss_att=50.919, acc=0.732, loss=54.726, backward_time=0.309, grad_norm=74.211, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.784e-05, train_time=1.569 +[gpua010:0/64] 2023-12-15 22:46:06,398 (trainer:737) INFO: 35epoch:train:11701-11800batch: iter_time=8.363e-05, forward_time=0.181, loss_ctc=57.582, loss_att=42.094, acc=0.750, loss=46.741, backward_time=0.286, grad_norm=66.674, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.783e-05, train_time=1.451 +[gpua010:0/64] 2023-12-15 22:48:54,111 (trainer:737) INFO: 35epoch:train:11801-11900batch: iter_time=8.169e-05, forward_time=0.147, loss_ctc=55.225, loss_att=44.639, acc=0.728, loss=47.815, backward_time=0.332, grad_norm=61.744, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.782e-05, train_time=1.677 +[gpua010:0/64] 2023-12-15 22:51:54,110 (trainer:737) INFO: 35epoch:train:11901-12000batch: iter_time=8.071e-05, forward_time=0.146, loss_ctc=60.933, loss_att=43.384, acc=0.742, loss=48.649, backward_time=0.334, grad_norm=68.508, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.782e-05, train_time=1.800 +[gpua010:0/64] 2023-12-15 22:54:27,434 (trainer:737) INFO: 35epoch:train:12001-12100batch: iter_time=8.194e-05, forward_time=0.146, loss_ctc=54.125, loss_att=41.982, acc=0.739, loss=45.625, backward_time=0.324, grad_norm=57.983, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.781e-05, train_time=1.533 +[gpua010:0/64] 2023-12-15 22:56:44,921 (trainer:737) INFO: 35epoch:train:12101-12200batch: iter_time=8.036e-05, forward_time=0.150, loss_ctc=63.011, loss_att=51.813, acc=0.721, loss=55.172, backward_time=0.284, grad_norm=65.728, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.780e-05, train_time=1.374 +[gpua010:0/64] 2023-12-15 22:59:25,418 (trainer:737) INFO: 35epoch:train:12201-12300batch: iter_time=7.914e-05, forward_time=0.146, loss_ctc=60.929, loss_att=48.458, acc=0.735, loss=52.199, backward_time=0.315, grad_norm=71.745, clip=100.000, loss_scale=6.135e+30, optim_step_time=0.131, optim0_lr0=6.780e-05, train_time=1.605 +[gpua010:0/64] 2023-12-15 23:01:50,476 (trainer:737) INFO: 35epoch:train:12301-12400batch: iter_time=7.933e-05, forward_time=0.146, loss_ctc=62.486, loss_att=57.078, acc=0.728, loss=58.700, backward_time=0.287, grad_norm=63.199, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.779e-05, train_time=1.450 +[gpua010:0/64] 2023-12-15 23:04:04,543 (trainer:737) INFO: 35epoch:train:12401-12500batch: iter_time=8.632e-05, forward_time=0.192, loss_ctc=60.454, loss_att=46.794, acc=0.740, loss=50.892, backward_time=0.302, grad_norm=89.805, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.779e-05, train_time=1.341 +[gpua010:0/64] 2023-12-15 23:04:24,571 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua010:0/64] 2023-12-15 23:04:42,626 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 23:04:46,064 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 23:04:46,064 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua010:0/64] 2023-12-15 23:04:46,117 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 23:11:31,189 (trainer:737) INFO: 35epoch:train:12501-12600batch: iter_time=3.164, forward_time=0.164, loss_ctc=52.503, loss_att=37.632, acc=0.765, loss=42.093, backward_time=0.278, grad_norm=54.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.778e-05, train_time=4.466 +[gpua010:0/64] 2023-12-15 23:13:56,068 (trainer:737) INFO: 35epoch:train:12601-12700batch: iter_time=8.259e-05, forward_time=0.146, loss_ctc=70.181, loss_att=57.731, acc=0.738, loss=61.466, backward_time=0.326, grad_norm=95.894, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.777e-05, train_time=1.448 +[gpua010:0/64] 2023-12-15 23:16:14,591 (trainer:737) INFO: 35epoch:train:12701-12800batch: iter_time=8.173e-05, forward_time=0.172, loss_ctc=76.327, loss_att=62.730, acc=0.723, loss=66.809, backward_time=0.301, grad_norm=90.305, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.777e-05, train_time=1.385 +[gpua010:0/64] 2023-12-15 23:19:09,980 (trainer:737) INFO: 35epoch:train:12801-12900batch: iter_time=7.942e-05, forward_time=0.224, loss_ctc=55.217, loss_att=40.056, acc=0.755, loss=44.604, backward_time=0.317, grad_norm=80.989, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.776e-05, train_time=1.754 +[gpua010:0/64] 2023-12-15 23:21:52,419 (trainer:737) INFO: 35epoch:train:12901-13000batch: iter_time=7.986e-05, forward_time=0.146, loss_ctc=63.277, loss_att=49.816, acc=0.754, loss=53.854, backward_time=0.304, grad_norm=64.803, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.775e-05, train_time=1.624 +[gpua010:0/64] 2023-12-15 23:24:21,968 (trainer:737) INFO: 35epoch:train:13001-13100batch: iter_time=9.251e-05, forward_time=0.161, loss_ctc=55.154, loss_att=42.249, acc=0.746, loss=46.120, backward_time=0.298, grad_norm=81.019, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.775e-05, train_time=1.495 +[gpua010:0/64] 2023-12-15 23:26:56,320 (trainer:737) INFO: 35epoch:train:13101-13200batch: iter_time=8.814e-05, forward_time=0.160, loss_ctc=60.105, loss_att=43.485, acc=0.751, loss=48.471, backward_time=0.295, grad_norm=65.492, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.774e-05, train_time=1.544 +[gpua010:0/64] 2023-12-15 23:29:23,175 (trainer:737) INFO: 35epoch:train:13201-13300batch: iter_time=9.305e-05, forward_time=0.160, loss_ctc=53.494, loss_att=45.165, acc=0.742, loss=47.664, backward_time=0.310, grad_norm=61.004, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.773e-05, train_time=1.468 +[gpua010:0/64] 2023-12-15 23:31:41,701 (trainer:737) INFO: 35epoch:train:13301-13400batch: iter_time=9.972e-05, forward_time=0.147, loss_ctc=54.587, loss_att=44.616, acc=0.732, loss=47.607, backward_time=0.295, grad_norm=60.016, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.773e-05, train_time=1.384 +[gpua010:0/64] 2023-12-15 23:34:32,942 (trainer:737) INFO: 35epoch:train:13401-13500batch: iter_time=9.584e-05, forward_time=0.152, loss_ctc=65.903, loss_att=53.420, acc=0.738, loss=57.165, backward_time=0.309, grad_norm=71.377, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.772e-05, train_time=1.713 +[gpua010:0/64] 2023-12-15 23:36:58,825 (trainer:737) INFO: 35epoch:train:13501-13600batch: iter_time=9.538e-05, forward_time=0.146, loss_ctc=60.936, loss_att=53.436, acc=0.735, loss=55.686, backward_time=0.314, grad_norm=79.909, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.771e-05, train_time=1.459 +[gpua010:0/64] 2023-12-15 23:39:10,285 (trainer:737) INFO: 35epoch:train:13601-13700batch: iter_time=8.981e-05, forward_time=0.149, loss_ctc=60.952, loss_att=49.428, acc=0.747, loss=52.886, backward_time=0.280, grad_norm=63.708, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.771e-05, train_time=1.314 +[gpua010:0/64] 2023-12-15 23:40:56,485 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua010:0/64] 2023-12-15 23:41:15,070 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-15 23:41:18,466 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-15 23:41:18,467 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua010:0/64] 2023-12-15 23:41:18,470 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-15 23:46:49,902 (trainer:737) INFO: 35epoch:train:13701-13800batch: iter_time=2.984, forward_time=0.213, loss_ctc=55.147, loss_att=41.929, acc=0.764, loss=45.895, backward_time=0.300, grad_norm=68.529, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.770e-05, train_time=4.596 +[gpua010:0/64] 2023-12-15 23:48:53,266 (trainer:737) INFO: 35epoch:train:13801-13900batch: iter_time=7.680e-05, forward_time=0.147, loss_ctc=59.870, loss_att=47.261, acc=0.748, loss=51.044, backward_time=0.276, grad_norm=60.711, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.769e-05, train_time=1.234 +[gpua010:0/64] 2023-12-15 23:51:35,069 (trainer:737) INFO: 35epoch:train:13901-14000batch: iter_time=7.895e-05, forward_time=0.153, loss_ctc=75.613, loss_att=62.145, acc=0.734, loss=66.185, backward_time=0.315, grad_norm=103.541, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.769e-05, train_time=1.618 +[gpua010:0/64] 2023-12-15 23:54:06,154 (trainer:737) INFO: 35epoch:train:14001-14100batch: iter_time=8.210e-05, forward_time=0.147, loss_ctc=66.235, loss_att=53.096, acc=0.737, loss=57.038, backward_time=0.290, grad_norm=95.949, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.768e-05, train_time=1.511 +[gpua010:0/64] 2023-12-15 23:56:33,752 (trainer:737) INFO: 35epoch:train:14101-14200batch: iter_time=8.060e-05, forward_time=0.152, loss_ctc=62.799, loss_att=50.204, acc=0.746, loss=53.983, backward_time=0.296, grad_norm=64.163, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.768e-05, train_time=1.476 +[gpua010:0/64] 2023-12-15 23:59:31,602 (trainer:737) INFO: 35epoch:train:14201-14300batch: iter_time=8.082e-05, forward_time=0.239, loss_ctc=57.666, loss_att=42.116, acc=0.757, loss=46.781, backward_time=0.322, grad_norm=88.131, clip=100.000, loss_scale=1.227e+31, optim_step_time=0.133, optim0_lr0=6.767e-05, train_time=1.778 +[gpua010:0/64] 2023-12-16 00:02:05,118 (trainer:737) INFO: 35epoch:train:14301-14400batch: iter_time=8.224e-05, forward_time=0.146, loss_ctc=54.476, loss_att=43.922, acc=0.738, loss=47.088, backward_time=0.298, grad_norm=73.361, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.766e-05, train_time=1.535 +[gpua010:0/64] 2023-12-16 00:05:30,663 (trainer:737) INFO: 35epoch:train:14401-14500batch: iter_time=8.216e-05, forward_time=0.148, loss_ctc=60.534, loss_att=42.550, acc=0.754, loss=47.945, backward_time=0.351, grad_norm=121.584, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.766e-05, train_time=2.055 +[gpua010:0/64] 2023-12-16 00:07:56,437 (trainer:737) INFO: 35epoch:train:14501-14600batch: iter_time=8.218e-05, forward_time=0.146, loss_ctc=54.161, loss_att=43.167, acc=0.745, loss=46.465, backward_time=0.294, grad_norm=70.449, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.765e-05, train_time=1.458 +[gpua010:0/64] 2023-12-16 00:11:16,026 (trainer:737) INFO: 35epoch:train:14601-14700batch: iter_time=8.090e-04, forward_time=0.243, loss_ctc=63.271, loss_att=52.482, acc=0.733, loss=55.718, backward_time=0.336, grad_norm=61.041, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.764e-05, train_time=1.995 +[gpua010:0/64] 2023-12-16 00:13:29,106 (trainer:737) INFO: 35epoch:train:14701-14800batch: iter_time=7.983e-05, forward_time=0.147, loss_ctc=61.227, loss_att=49.314, acc=0.735, loss=52.888, backward_time=0.278, grad_norm=71.546, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.764e-05, train_time=1.331 +[gpua010:0/64] 2023-12-16 00:15:43,172 (trainer:737) INFO: 35epoch:train:14801-14900batch: iter_time=8.075e-05, forward_time=0.156, loss_ctc=61.963, loss_att=56.983, acc=0.736, loss=58.477, backward_time=0.306, grad_norm=66.572, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.763e-05, train_time=1.340 +[gpua010:0/64] 2023-12-16 00:18:28,226 (trainer:737) INFO: 35epoch:train:14901-15000batch: iter_time=8.047e-05, forward_time=0.147, loss_ctc=59.735, loss_att=48.192, acc=0.747, loss=51.655, backward_time=0.316, grad_norm=60.036, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.762e-05, train_time=1.650 +[gpua010:0/64] 2023-12-16 00:43:27,408 (trainer:343) INFO: 35epoch results: [train] iter_time=0.249, forward_time=0.173, loss_ctc=61.647, loss_att=48.721, acc=0.738, loss=52.599, backward_time=0.311, grad_norm=81.548, clip=100.000, loss_scale=1.223e+31, optim_step_time=0.132, optim0_lr0=6.811e-05, train_time=1.860, time=7 hours, 45 minutes and 23.91 seconds, total_count=525000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=33.568, cer_ctc=0.174, loss_att=34.855, acc=0.735, cer=0.248, wer=0.959, loss=34.469, time=24 minutes and 34.36 seconds, total_count=163485, gpu_max_cached_mem_GB=36.826 +[gpua010:0/64] 2023-12-16 00:43:53,364 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua010:0/64] 2023-12-16 00:43:53,398 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.till35epoch.pth +[gpua010:0/64] 2023-12-16 00:44:37,384 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till35epoch.pth +[gpua010:0/64] 2023-12-16 00:45:04,891 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/26epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/30epoch.pth +[gpua010:0/64] 2023-12-16 00:45:04,990 (trainer:272) INFO: 36/40epoch started. Estimated time to finish: 1 day, 16 hours and 58 minutes +[gpua010:0/64] 2023-12-16 00:45:05,507 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua010:0/64] 2023-12-16 00:45:23,695 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 00:45:27,407 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 00:45:27,407 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua010:0/64] 2023-12-16 00:45:27,475 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 00:53:31,503 (trainer:737) INFO: 36epoch:train:1-100batch: iter_time=3.701, forward_time=0.198, loss_ctc=68.071, loss_att=57.044, acc=0.722, loss=60.352, backward_time=0.284, grad_norm=80.225, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.762e-05, train_time=5.060 +[gpua010:0/64] 2023-12-16 00:55:49,505 (trainer:737) INFO: 36epoch:train:101-200batch: iter_time=8.598e-05, forward_time=0.148, loss_ctc=76.404, loss_att=65.677, acc=0.716, loss=68.895, backward_time=0.294, grad_norm=80.346, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.761e-05, train_time=1.380 +[gpua010:0/64] 2023-12-16 00:58:15,812 (trainer:737) INFO: 36epoch:train:201-300batch: iter_time=8.124e-05, forward_time=0.150, loss_ctc=67.830, loss_att=54.235, acc=0.736, loss=58.313, backward_time=0.305, grad_norm=71.950, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.760e-05, train_time=1.463 +[gpua010:0/64] 2023-12-16 01:01:03,610 (trainer:737) INFO: 36epoch:train:301-400batch: iter_time=8.666e-05, forward_time=0.243, loss_ctc=63.553, loss_att=48.559, acc=0.732, loss=53.057, backward_time=0.350, grad_norm=81.961, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.760e-05, train_time=1.678 +[gpua010:0/64] 2023-12-16 01:03:36,477 (trainer:737) INFO: 36epoch:train:401-500batch: iter_time=9.019e-05, forward_time=0.148, loss_ctc=67.359, loss_att=55.114, acc=0.714, loss=58.788, backward_time=0.291, grad_norm=72.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.759e-05, train_time=1.529 +[gpua010:0/64] 2023-12-16 01:06:15,571 (trainer:737) INFO: 36epoch:train:501-600batch: iter_time=8.575e-05, forward_time=0.148, loss_ctc=74.637, loss_att=61.216, acc=0.738, loss=65.242, backward_time=0.313, grad_norm=68.175, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.759e-05, train_time=1.591 +[gpua010:0/64] 2023-12-16 01:09:11,742 (trainer:737) INFO: 36epoch:train:601-700batch: iter_time=2.459e-04, forward_time=0.233, loss_ctc=70.973, loss_att=54.377, acc=0.730, loss=59.356, backward_time=0.326, grad_norm=76.274, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.758e-05, train_time=1.761 +[gpua010:0/64] 2023-12-16 01:11:45,993 (trainer:737) INFO: 36epoch:train:701-800batch: iter_time=9.169e-05, forward_time=0.148, loss_ctc=51.193, loss_att=43.712, acc=0.736, loss=45.956, backward_time=0.317, grad_norm=92.927, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.757e-05, train_time=1.542 +[gpua010:0/64] 2023-12-16 01:14:21,880 (trainer:737) INFO: 36epoch:train:801-900batch: iter_time=8.991e-05, forward_time=0.150, loss_ctc=70.905, loss_att=57.747, acc=0.721, loss=61.694, backward_time=0.310, grad_norm=88.870, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.757e-05, train_time=1.559 +[gpua010:0/64] 2023-12-16 01:16:51,732 (trainer:737) INFO: 36epoch:train:901-1000batch: iter_time=9.679e-05, forward_time=0.147, loss_ctc=64.156, loss_att=49.268, acc=0.735, loss=53.734, backward_time=0.317, grad_norm=65.181, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.756e-05, train_time=1.498 +[gpua010:0/64] 2023-12-16 01:19:20,432 (trainer:737) INFO: 36epoch:train:1001-1100batch: iter_time=4.107e-04, forward_time=0.191, loss_ctc=68.285, loss_att=61.519, acc=0.729, loss=63.549, backward_time=0.300, grad_norm=67.939, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.755e-05, train_time=1.485 +[gpua010:0/64] 2023-12-16 01:22:00,386 (trainer:737) INFO: 36epoch:train:1101-1200batch: iter_time=9.119e-05, forward_time=0.189, loss_ctc=74.128, loss_att=60.714, acc=0.714, loss=64.738, backward_time=0.329, grad_norm=72.495, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.755e-05, train_time=1.601 +[gpua010:0/64] 2023-12-16 01:23:45,454 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua010:0/64] 2023-12-16 01:24:04,314 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 01:24:07,725 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 01:24:07,725 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua010:0/64] 2023-12-16 01:24:07,800 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 01:31:29,822 (trainer:737) INFO: 36epoch:train:1201-1300batch: iter_time=3.087, forward_time=0.150, loss_ctc=72.843, loss_att=57.908, acc=0.717, loss=62.388, backward_time=0.298, grad_norm=81.540, clip=100.000, loss_scale=2.454e+31, optim_step_time=0.133, optim0_lr0=6.754e-05, train_time=5.694 +[gpua010:0/64] 2023-12-16 01:33:40,392 (trainer:737) INFO: 36epoch:train:1301-1400batch: iter_time=9.103e-05, forward_time=0.149, loss_ctc=67.219, loss_att=54.789, acc=0.726, loss=58.518, backward_time=0.285, grad_norm=94.588, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.753e-05, train_time=1.306 +[gpua010:0/64] 2023-12-16 01:36:04,668 (trainer:737) INFO: 36epoch:train:1401-1500batch: iter_time=8.339e-05, forward_time=0.249, loss_ctc=72.357, loss_att=61.964, acc=0.720, loss=65.082, backward_time=0.321, grad_norm=74.278, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.753e-05, train_time=1.442 +[gpua010:0/64] 2023-12-16 01:38:39,997 (trainer:737) INFO: 36epoch:train:1501-1600batch: iter_time=9.013e-05, forward_time=0.148, loss_ctc=63.783, loss_att=48.370, acc=0.726, loss=52.994, backward_time=0.292, grad_norm=67.643, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.752e-05, train_time=1.553 +[gpua010:0/64] 2023-12-16 01:41:07,583 (trainer:737) INFO: 36epoch:train:1601-1700batch: iter_time=9.219e-05, forward_time=0.147, loss_ctc=69.149, loss_att=52.591, acc=0.717, loss=57.558, backward_time=0.301, grad_norm=76.165, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.751e-05, train_time=1.476 +[gpua010:0/64] 2023-12-16 01:43:30,740 (trainer:737) INFO: 36epoch:train:1701-1800batch: iter_time=8.506e-05, forward_time=0.147, loss_ctc=69.630, loss_att=60.128, acc=0.720, loss=62.979, backward_time=0.305, grad_norm=69.592, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.751e-05, train_time=1.431 +[gpua010:0/64] 2023-12-16 01:46:13,862 (trainer:737) INFO: 36epoch:train:1801-1900batch: iter_time=7.966e-05, forward_time=0.148, loss_ctc=69.032, loss_att=53.463, acc=0.737, loss=58.133, backward_time=0.297, grad_norm=70.802, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.750e-05, train_time=1.631 +[gpua010:0/64] 2023-12-16 01:48:41,845 (trainer:737) INFO: 36epoch:train:1901-2000batch: iter_time=8.297e-05, forward_time=0.239, loss_ctc=59.879, loss_att=51.067, acc=0.728, loss=53.711, backward_time=0.318, grad_norm=57.472, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.750e-05, train_time=1.479 +[gpua010:0/64] 2023-12-16 01:51:07,542 (trainer:737) INFO: 36epoch:train:2001-2100batch: iter_time=8.191e-05, forward_time=0.157, loss_ctc=61.472, loss_att=50.662, acc=0.717, loss=53.905, backward_time=0.287, grad_norm=65.964, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.749e-05, train_time=1.457 +[gpua010:0/64] 2023-12-16 01:53:20,467 (trainer:737) INFO: 36epoch:train:2101-2200batch: iter_time=8.124e-05, forward_time=0.148, loss_ctc=66.531, loss_att=51.699, acc=0.716, loss=56.149, backward_time=0.285, grad_norm=64.687, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.748e-05, train_time=1.329 +[gpua010:0/64] 2023-12-16 01:55:35,181 (trainer:737) INFO: 36epoch:train:2201-2300batch: iter_time=8.293e-05, forward_time=0.152, loss_ctc=64.113, loss_att=53.883, acc=0.739, loss=56.952, backward_time=0.286, grad_norm=68.620, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.748e-05, train_time=1.347 +[gpua010:0/64] 2023-12-16 01:57:57,998 (trainer:737) INFO: 36epoch:train:2301-2400batch: iter_time=8.249e-05, forward_time=0.148, loss_ctc=69.402, loss_att=57.608, acc=0.725, loss=61.146, backward_time=0.312, grad_norm=78.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.747e-05, train_time=1.428 +[gpua010:0/64] 2023-12-16 02:00:32,655 (trainer:737) INFO: 36epoch:train:2401-2500batch: iter_time=7.758e-05, forward_time=0.233, loss_ctc=72.172, loss_att=55.888, acc=0.717, loss=60.773, backward_time=0.302, grad_norm=95.021, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.746e-05, train_time=1.546 +[gpua010:0/64] 2023-12-16 02:00:52,791 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua010:0/64] 2023-12-16 02:01:10,834 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 02:01:14,253 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 02:01:14,253 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua010:0/64] 2023-12-16 02:01:14,317 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 02:10:46,301 (trainer:737) INFO: 36epoch:train:2501-2600batch: iter_time=4.876, forward_time=0.185, loss_ctc=66.257, loss_att=54.707, acc=0.732, loss=58.172, backward_time=0.284, grad_norm=75.082, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.746e-05, train_time=6.137 +[gpua010:0/64] 2023-12-16 02:12:48,050 (trainer:737) INFO: 36epoch:train:2601-2700batch: iter_time=8.508e-05, forward_time=0.148, loss_ctc=75.348, loss_att=63.709, acc=0.724, loss=67.201, backward_time=0.279, grad_norm=85.241, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.745e-05, train_time=1.217 +[gpua010:0/64] 2023-12-16 02:15:35,985 (trainer:737) INFO: 36epoch:train:2701-2800batch: iter_time=6.293e-04, forward_time=0.354, loss_ctc=66.767, loss_att=54.023, acc=0.739, loss=57.846, backward_time=0.349, grad_norm=68.618, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.144, optim0_lr0=6.744e-05, train_time=1.678 +[gpua010:0/64] 2023-12-16 02:17:53,922 (trainer:737) INFO: 36epoch:train:2801-2900batch: iter_time=7.942e-05, forward_time=0.169, loss_ctc=61.673, loss_att=47.032, acc=0.741, loss=51.425, backward_time=0.288, grad_norm=93.391, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.744e-05, train_time=1.380 +[gpua010:0/64] 2023-12-16 02:20:13,904 (trainer:737) INFO: 36epoch:train:2901-3000batch: iter_time=9.570e-05, forward_time=0.209, loss_ctc=65.745, loss_att=53.013, acc=0.725, loss=56.833, backward_time=0.311, grad_norm=110.797, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.743e-05, train_time=1.400 +[gpua010:0/64] 2023-12-16 02:21:32,619 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 02:23:08,116 (trainer:737) INFO: 36epoch:train:3001-3100batch: iter_time=1.008e-04, forward_time=0.149, loss_ctc=74.106, loss_att=60.453, acc=0.744, loss=64.549, backward_time=0.373, grad_norm=115.810, clip=100.000, loss_scale=2.971e+31, optim_step_time=0.133, optim0_lr0=6.742e-05, train_time=1.741 +[gpua010:0/64] 2023-12-16 02:25:36,603 (trainer:737) INFO: 36epoch:train:3101-3200batch: iter_time=9.494e-05, forward_time=0.148, loss_ctc=68.375, loss_att=53.132, acc=0.737, loss=57.705, backward_time=0.310, grad_norm=107.384, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.742e-05, train_time=1.485 +[gpua010:0/64] 2023-12-16 02:28:22,649 (trainer:737) INFO: 36epoch:train:3201-3300batch: iter_time=8.811e-05, forward_time=0.218, loss_ctc=50.769, loss_att=43.372, acc=0.741, loss=45.592, backward_time=0.307, grad_norm=132.578, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.741e-05, train_time=1.660 +[gpua010:0/64] 2023-12-16 02:30:49,456 (trainer:737) INFO: 36epoch:train:3301-3400batch: iter_time=8.892e-05, forward_time=0.149, loss_ctc=70.503, loss_att=56.871, acc=0.726, loss=60.961, backward_time=0.295, grad_norm=74.334, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.741e-05, train_time=1.466 +[gpua010:0/64] 2023-12-16 02:33:27,158 (trainer:737) INFO: 36epoch:train:3401-3500batch: iter_time=7.975e-04, forward_time=0.231, loss_ctc=63.031, loss_att=47.836, acc=0.742, loss=52.395, backward_time=0.338, grad_norm=81.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.740e-05, train_time=1.578 +[gpua010:0/64] 2023-12-16 02:36:12,360 (trainer:737) INFO: 36epoch:train:3501-3600batch: iter_time=8.658e-05, forward_time=0.150, loss_ctc=67.897, loss_att=61.010, acc=0.730, loss=63.076, backward_time=0.294, grad_norm=66.690, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.739e-05, train_time=1.653 +[gpua010:0/64] 2023-12-16 02:38:33,870 (trainer:737) INFO: 36epoch:train:3601-3700batch: iter_time=8.848e-05, forward_time=0.148, loss_ctc=72.250, loss_att=59.183, acc=0.722, loss=63.103, backward_time=0.287, grad_norm=83.905, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.739e-05, train_time=1.414 +[gpua010:0/64] 2023-12-16 02:40:03,345 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua010:0/64] 2023-12-16 02:40:22,219 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 02:40:25,925 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 02:40:25,925 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua010:0/64] 2023-12-16 02:40:26,247 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 02:45:42,887 (trainer:737) INFO: 36epoch:train:3701-3800batch: iter_time=2.787, forward_time=0.207, loss_ctc=71.482, loss_att=56.315, acc=0.725, loss=60.865, backward_time=0.291, grad_norm=86.856, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.738e-05, train_time=4.291 +[gpua010:0/64] 2023-12-16 02:47:46,349 (trainer:737) INFO: 36epoch:train:3801-3900batch: iter_time=8.764e-05, forward_time=0.160, loss_ctc=66.287, loss_att=53.609, acc=0.731, loss=57.412, backward_time=0.281, grad_norm=95.668, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.737e-05, train_time=1.235 +[gpua010:0/64] 2023-12-16 02:50:05,024 (trainer:737) INFO: 36epoch:train:3901-4000batch: iter_time=9.151e-05, forward_time=0.286, loss_ctc=71.212, loss_att=61.031, acc=0.725, loss=64.085, backward_time=0.320, grad_norm=88.383, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.737e-05, train_time=1.387 +[gpua010:0/64] 2023-12-16 02:52:08,106 (trainer:737) INFO: 36epoch:train:4001-4100batch: iter_time=5.484e-04, forward_time=0.167, loss_ctc=63.858, loss_att=47.734, acc=0.730, loss=52.571, backward_time=0.289, grad_norm=68.235, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.736e-05, train_time=1.229 +[gpua010:0/64] 2023-12-16 02:54:32,719 (trainer:737) INFO: 36epoch:train:4101-4200batch: iter_time=8.941e-05, forward_time=0.149, loss_ctc=68.160, loss_att=51.890, acc=0.721, loss=56.771, backward_time=0.296, grad_norm=69.255, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.735e-05, train_time=1.447 +[gpua010:0/64] 2023-12-16 02:57:02,618 (trainer:737) INFO: 36epoch:train:4201-4300batch: iter_time=8.361e-05, forward_time=0.255, loss_ctc=69.059, loss_att=61.081, acc=0.717, loss=63.475, backward_time=0.332, grad_norm=67.625, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.735e-05, train_time=1.499 +[gpua010:0/64] 2023-12-16 02:59:34,013 (trainer:737) INFO: 36epoch:train:4301-4400batch: iter_time=8.583e-05, forward_time=0.148, loss_ctc=67.598, loss_att=52.852, acc=0.740, loss=57.275, backward_time=0.295, grad_norm=72.006, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.734e-05, train_time=1.512 +[gpua010:0/64] 2023-12-16 03:02:06,315 (trainer:737) INFO: 36epoch:train:4401-4500batch: iter_time=8.516e-05, forward_time=0.285, loss_ctc=59.373, loss_att=50.672, acc=0.731, loss=53.282, backward_time=0.335, grad_norm=60.938, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.734e-05, train_time=1.525 +[gpua010:0/64] 2023-12-16 03:04:36,326 (trainer:737) INFO: 36epoch:train:4501-4600batch: iter_time=8.223e-05, forward_time=0.153, loss_ctc=61.055, loss_att=49.711, acc=0.722, loss=53.114, backward_time=0.300, grad_norm=66.739, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.733e-05, train_time=1.500 +[gpua010:0/64] 2023-12-16 03:07:29,421 (trainer:737) INFO: 36epoch:train:4601-4700batch: iter_time=8.241e-05, forward_time=0.148, loss_ctc=66.913, loss_att=51.786, acc=0.721, loss=56.324, backward_time=0.316, grad_norm=65.489, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.732e-05, train_time=1.729 +[gpua010:0/64] 2023-12-16 03:10:15,172 (trainer:737) INFO: 36epoch:train:4701-4800batch: iter_time=8.278e-05, forward_time=0.269, loss_ctc=64.214, loss_att=53.720, acc=0.742, loss=56.868, backward_time=0.309, grad_norm=77.379, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.732e-05, train_time=1.660 +[gpua010:0/64] 2023-12-16 03:12:42,509 (trainer:737) INFO: 36epoch:train:4801-4900batch: iter_time=8.368e-05, forward_time=0.149, loss_ctc=68.934, loss_att=57.091, acc=0.727, loss=60.644, backward_time=0.309, grad_norm=64.276, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.731e-05, train_time=1.473 +[gpua010:0/64] 2023-12-16 03:15:09,793 (trainer:737) INFO: 36epoch:train:4901-5000batch: iter_time=3.773e-04, forward_time=0.158, loss_ctc=70.955, loss_att=55.451, acc=0.719, loss=60.102, backward_time=0.293, grad_norm=73.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.730e-05, train_time=1.473 +[gpua010:0/64] 2023-12-16 03:15:29,848 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua010:0/64] 2023-12-16 03:15:48,431 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 03:15:51,809 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 03:15:51,809 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua010:0/64] 2023-12-16 03:15:51,813 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 03:25:37,852 (trainer:737) INFO: 36epoch:train:5001-5100batch: iter_time=4.893, forward_time=0.218, loss_ctc=65.979, loss_att=53.559, acc=0.727, loss=57.285, backward_time=0.340, grad_norm=69.981, clip=100.000, loss_scale=3.103e+31, optim_step_time=0.138, optim0_lr0=6.730e-05, train_time=6.278 +[gpua010:0/64] 2023-12-16 03:27:50,704 (trainer:737) INFO: 36epoch:train:5101-5200batch: iter_time=8.073e-05, forward_time=0.149, loss_ctc=73.701, loss_att=60.532, acc=0.720, loss=64.483, backward_time=0.281, grad_norm=76.178, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.729e-05, train_time=1.330 +[gpua010:0/64] 2023-12-16 03:30:18,973 (trainer:737) INFO: 36epoch:train:5201-5300batch: iter_time=5.546e-04, forward_time=0.197, loss_ctc=66.090, loss_att=53.484, acc=0.734, loss=57.266, backward_time=0.375, grad_norm=63.659, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.728e-05, train_time=1.482 +[gpua010:0/64] 2023-12-16 03:32:47,252 (trainer:737) INFO: 36epoch:train:5301-5400batch: iter_time=5.301e-04, forward_time=0.300, loss_ctc=61.568, loss_att=46.896, acc=0.732, loss=51.298, backward_time=0.298, grad_norm=66.982, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.728e-05, train_time=1.483 +[gpua010:0/64] 2023-12-16 03:35:30,447 (trainer:737) INFO: 36epoch:train:5401-5500batch: iter_time=8.692e-05, forward_time=0.147, loss_ctc=65.087, loss_att=52.404, acc=0.721, loss=56.209, backward_time=0.310, grad_norm=68.803, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.727e-05, train_time=1.631 +[gpua010:0/64] 2023-12-16 03:38:18,321 (trainer:737) INFO: 36epoch:train:5501-5600batch: iter_time=3.825e-04, forward_time=0.193, loss_ctc=73.836, loss_att=60.331, acc=0.736, loss=64.383, backward_time=0.333, grad_norm=67.207, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.727e-05, train_time=1.679 +[gpua010:0/64] 2023-12-16 03:40:58,438 (trainer:737) INFO: 36epoch:train:5601-5700batch: iter_time=9.041e-05, forward_time=0.242, loss_ctc=67.756, loss_att=52.706, acc=0.732, loss=57.221, backward_time=0.325, grad_norm=68.654, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.726e-05, train_time=1.601 +[gpua010:0/64] 2023-12-16 03:43:23,539 (trainer:737) INFO: 36epoch:train:5701-5800batch: iter_time=9.202e-05, forward_time=0.194, loss_ctc=50.313, loss_att=43.825, acc=0.732, loss=45.771, backward_time=0.325, grad_norm=63.993, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.725e-05, train_time=1.451 +[gpua010:0/64] 2023-12-16 03:45:51,780 (trainer:737) INFO: 36epoch:train:5801-5900batch: iter_time=4.257e-04, forward_time=0.211, loss_ctc=69.739, loss_att=56.488, acc=0.715, loss=60.463, backward_time=0.296, grad_norm=82.612, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.725e-05, train_time=1.481 +[gpua010:0/64] 2023-12-16 03:48:41,799 (trainer:737) INFO: 36epoch:train:5901-6000batch: iter_time=6.530e-04, forward_time=0.190, loss_ctc=62.408, loss_att=46.597, acc=0.732, loss=51.341, backward_time=0.370, grad_norm=76.859, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.724e-05, train_time=1.701 +[gpua010:0/64] 2023-12-16 03:51:08,356 (trainer:737) INFO: 36epoch:train:6001-6100batch: iter_time=9.663e-05, forward_time=0.256, loss_ctc=67.240, loss_att=59.363, acc=0.737, loss=61.726, backward_time=0.301, grad_norm=60.143, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.723e-05, train_time=1.465 +[gpua010:0/64] 2023-12-16 03:53:15,380 (trainer:737) INFO: 36epoch:train:6101-6200batch: iter_time=9.052e-05, forward_time=0.181, loss_ctc=71.260, loss_att=59.039, acc=0.713, loss=62.705, backward_time=0.285, grad_norm=86.877, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.723e-05, train_time=1.271 +[gpua010:0/64] 2023-12-16 03:54:44,818 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua010:0/64] 2023-12-16 03:55:03,584 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 03:55:07,542 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 03:55:07,542 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua010:0/64] 2023-12-16 03:55:07,545 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 04:00:30,246 (trainer:737) INFO: 36epoch:train:6201-6300batch: iter_time=2.996, forward_time=0.243, loss_ctc=71.057, loss_att=55.188, acc=0.726, loss=59.948, backward_time=0.313, grad_norm=75.473, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.722e-05, train_time=4.348 +[gpua010:0/64] 2023-12-16 04:02:44,948 (trainer:737) INFO: 36epoch:train:6301-6400batch: iter_time=8.323e-05, forward_time=0.150, loss_ctc=65.999, loss_att=52.253, acc=0.734, loss=56.377, backward_time=0.289, grad_norm=65.229, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.722e-05, train_time=1.347 +[gpua010:0/64] 2023-12-16 04:05:14,447 (trainer:737) INFO: 36epoch:train:6401-6500batch: iter_time=9.985e-05, forward_time=0.231, loss_ctc=70.682, loss_att=59.875, acc=0.728, loss=63.117, backward_time=0.317, grad_norm=69.421, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.721e-05, train_time=1.495 +[gpua010:0/64] 2023-12-16 04:07:24,389 (trainer:737) INFO: 36epoch:train:6501-6600batch: iter_time=8.375e-05, forward_time=0.148, loss_ctc=63.634, loss_att=47.129, acc=0.732, loss=52.081, backward_time=0.287, grad_norm=63.984, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.720e-05, train_time=1.299 +[gpua010:0/64] 2023-12-16 04:10:02,834 (trainer:737) INFO: 36epoch:train:6601-6700batch: iter_time=4.279e-04, forward_time=0.222, loss_ctc=67.929, loss_att=51.129, acc=0.725, loss=56.169, backward_time=0.335, grad_norm=67.181, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.720e-05, train_time=1.582 +[gpua010:0/64] 2023-12-16 04:12:14,585 (trainer:737) INFO: 36epoch:train:6701-6800batch: iter_time=7.946e-05, forward_time=0.148, loss_ctc=68.542, loss_att=59.463, acc=0.724, loss=62.187, backward_time=0.280, grad_norm=63.815, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.719e-05, train_time=1.319 +[gpua010:0/64] 2023-12-16 04:14:26,000 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 04:14:39,245 (trainer:737) INFO: 36epoch:train:6801-6900batch: iter_time=3.014e-04, forward_time=0.290, loss_ctc=67.845, loss_att=52.785, acc=0.741, loss=57.303, backward_time=0.305, grad_norm=85.541, clip=100.000, loss_scale=3.852e+31, optim_step_time=0.137, optim0_lr0=6.718e-05, train_time=1.447 +[gpua010:0/64] 2023-12-16 04:17:19,566 (trainer:737) INFO: 36epoch:train:6901-7000batch: iter_time=8.341e-05, forward_time=0.147, loss_ctc=59.122, loss_att=49.968, acc=0.735, loss=52.714, backward_time=0.294, grad_norm=54.234, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.718e-05, train_time=1.601 +[gpua010:0/64] 2023-12-16 04:20:10,041 (trainer:737) INFO: 36epoch:train:7001-7100batch: iter_time=9.112e-05, forward_time=0.260, loss_ctc=61.048, loss_att=49.756, acc=0.725, loss=53.143, backward_time=0.323, grad_norm=58.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.717e-05, train_time=1.706 +[gpua010:0/64] 2023-12-16 04:22:40,484 (trainer:737) INFO: 36epoch:train:7101-7200batch: iter_time=8.794e-05, forward_time=0.148, loss_ctc=66.231, loss_att=51.071, acc=0.723, loss=55.619, backward_time=0.304, grad_norm=67.585, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.716e-05, train_time=1.504 +[gpua010:0/64] 2023-12-16 04:25:15,723 (trainer:737) INFO: 36epoch:train:7201-7300batch: iter_time=7.884e-04, forward_time=0.168, loss_ctc=63.825, loss_att=53.553, acc=0.744, loss=56.635, backward_time=0.324, grad_norm=65.741, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.716e-05, train_time=1.550 +[gpua010:0/64] 2023-12-16 04:27:47,546 (trainer:737) INFO: 36epoch:train:7301-7400batch: iter_time=8.138e-05, forward_time=0.189, loss_ctc=68.279, loss_att=57.011, acc=0.728, loss=60.392, backward_time=0.308, grad_norm=106.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.715e-05, train_time=1.520 +[gpua010:0/64] 2023-12-16 04:30:34,520 (trainer:737) INFO: 36epoch:train:7401-7500batch: iter_time=8.625e-05, forward_time=0.156, loss_ctc=70.224, loss_att=54.367, acc=0.724, loss=59.124, backward_time=0.311, grad_norm=86.381, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.715e-05, train_time=1.670 +[gpua010:0/64] 2023-12-16 04:30:54,567 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua010:0/64] 2023-12-16 04:31:12,872 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 04:31:16,349 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 04:31:16,349 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua010:0/64] 2023-12-16 04:31:16,373 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 04:37:36,250 (trainer:737) INFO: 36epoch:train:7501-7600batch: iter_time=2.942, forward_time=0.179, loss_ctc=66.034, loss_att=54.759, acc=0.734, loss=58.141, backward_time=0.285, grad_norm=74.927, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.714e-05, train_time=4.217 +[gpua010:0/64] 2023-12-16 04:39:46,387 (trainer:737) INFO: 36epoch:train:7601-7700batch: iter_time=8.375e-05, forward_time=0.150, loss_ctc=73.659, loss_att=64.065, acc=0.727, loss=66.943, backward_time=0.284, grad_norm=83.745, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.713e-05, train_time=1.301 +[gpua010:0/64] 2023-12-16 04:41:57,456 (trainer:737) INFO: 36epoch:train:7701-7800batch: iter_time=8.400e-05, forward_time=0.181, loss_ctc=65.938, loss_att=53.423, acc=0.742, loss=57.177, backward_time=0.293, grad_norm=70.429, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.713e-05, train_time=1.310 +[gpua010:0/64] 2023-12-16 04:44:23,793 (trainer:737) INFO: 36epoch:train:7801-7900batch: iter_time=8.567e-05, forward_time=0.191, loss_ctc=60.946, loss_att=46.872, acc=0.742, loss=51.094, backward_time=0.312, grad_norm=84.151, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.712e-05, train_time=1.464 +[gpua010:0/64] 2023-12-16 04:46:58,972 (trainer:737) INFO: 36epoch:train:7901-8000batch: iter_time=8.060e-05, forward_time=0.177, loss_ctc=65.110, loss_att=53.010, acc=0.728, loss=56.640, backward_time=0.332, grad_norm=101.412, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.711e-05, train_time=1.552 +[gpua010:0/64] 2023-12-16 04:49:44,604 (trainer:737) INFO: 36epoch:train:8001-8100batch: iter_time=9.424e-05, forward_time=0.220, loss_ctc=73.481, loss_att=59.730, acc=0.745, loss=63.855, backward_time=0.307, grad_norm=162.537, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.711e-05, train_time=1.656 +[gpua010:0/64] 2023-12-16 04:51:58,743 (trainer:737) INFO: 36epoch:train:8101-8200batch: iter_time=8.784e-05, forward_time=0.155, loss_ctc=67.387, loss_att=52.763, acc=0.739, loss=57.150, backward_time=0.288, grad_norm=88.946, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.710e-05, train_time=1.341 +[gpua010:0/64] 2023-12-16 04:54:18,734 (trainer:737) INFO: 36epoch:train:8201-8300batch: iter_time=8.684e-05, forward_time=0.165, loss_ctc=50.356, loss_att=43.017, acc=0.746, loss=45.219, backward_time=0.300, grad_norm=68.157, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.710e-05, train_time=1.400 +[gpua010:0/64] 2023-12-16 04:56:51,842 (trainer:737) INFO: 36epoch:train:8301-8400batch: iter_time=9.108e-05, forward_time=0.214, loss_ctc=69.351, loss_att=56.841, acc=0.728, loss=60.594, backward_time=0.318, grad_norm=69.615, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.709e-05, train_time=1.530 +[gpua010:0/64] 2023-12-16 04:59:29,103 (trainer:737) INFO: 36epoch:train:8401-8500batch: iter_time=8.539e-05, forward_time=0.153, loss_ctc=62.361, loss_att=47.833, acc=0.743, loss=52.191, backward_time=0.296, grad_norm=96.476, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.708e-05, train_time=1.573 +[gpua010:0/64] 2023-12-16 05:01:56,589 (trainer:737) INFO: 36epoch:train:8501-8600batch: iter_time=2.313e-04, forward_time=0.188, loss_ctc=66.789, loss_att=60.518, acc=0.735, loss=62.399, backward_time=0.301, grad_norm=99.660, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.708e-05, train_time=1.473 +[gpua010:0/64] 2023-12-16 05:04:40,172 (trainer:737) INFO: 36epoch:train:8601-8700batch: iter_time=8.173e-05, forward_time=0.167, loss_ctc=70.738, loss_att=58.664, acc=0.726, loss=62.286, backward_time=0.312, grad_norm=74.550, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.707e-05, train_time=1.636 +[gpua010:0/64] 2023-12-16 05:06:12,446 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua010:0/64] 2023-12-16 05:06:30,666 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 05:06:34,057 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 05:06:34,057 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua010:0/64] 2023-12-16 05:06:34,060 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 05:13:08,322 (trainer:737) INFO: 36epoch:train:8701-8800batch: iter_time=3.710, forward_time=0.178, loss_ctc=70.480, loss_att=55.502, acc=0.733, loss=59.995, backward_time=0.284, grad_norm=134.403, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.706e-05, train_time=5.082 +[gpua010:0/64] 2023-12-16 05:15:19,158 (trainer:737) INFO: 36epoch:train:8801-8900batch: iter_time=3.007e-04, forward_time=0.228, loss_ctc=66.423, loss_att=54.192, acc=0.742, loss=57.861, backward_time=0.299, grad_norm=91.376, clip=100.000, loss_scale=2.231e+31, optim_step_time=0.137, optim0_lr0=6.706e-05, train_time=1.307 +[gpua010:0/64] 2023-12-16 05:17:49,467 (trainer:737) INFO: 36epoch:train:8901-9000batch: iter_time=4.041e-04, forward_time=0.279, loss_ctc=70.315, loss_att=60.323, acc=0.735, loss=63.320, backward_time=0.327, grad_norm=71.484, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.705e-05, train_time=1.503 +[gpua010:0/64] 2023-12-16 05:20:29,323 (trainer:737) INFO: 36epoch:train:9001-9100batch: iter_time=2.447e-04, forward_time=0.240, loss_ctc=62.712, loss_att=47.065, acc=0.744, loss=51.759, backward_time=0.313, grad_norm=67.474, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.705e-05, train_time=1.597 +[gpua010:0/64] 2023-12-16 05:22:57,763 (trainer:737) INFO: 36epoch:train:9101-9200batch: iter_time=2.830e-04, forward_time=0.237, loss_ctc=67.392, loss_att=51.589, acc=0.733, loss=56.330, backward_time=0.309, grad_norm=65.498, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.704e-05, train_time=1.484 +[gpua010:0/64] 2023-12-16 05:25:24,952 (trainer:737) INFO: 36epoch:train:9201-9300batch: iter_time=2.015e-04, forward_time=0.220, loss_ctc=68.180, loss_att=59.922, acc=0.731, loss=62.399, backward_time=0.326, grad_norm=63.065, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.703e-05, train_time=1.473 +[gpua010:0/64] 2023-12-16 05:28:22,463 (trainer:737) INFO: 36epoch:train:9301-9400batch: iter_time=3.038e-04, forward_time=0.233, loss_ctc=67.156, loss_att=52.798, acc=0.746, loss=57.106, backward_time=0.352, grad_norm=68.195, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.703e-05, train_time=1.775 +[gpua010:0/64] 2023-12-16 05:31:18,607 (trainer:737) INFO: 36epoch:train:9401-9500batch: iter_time=4.017e-04, forward_time=0.284, loss_ctc=58.930, loss_att=49.834, acc=0.743, loss=52.563, backward_time=0.362, grad_norm=72.431, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.702e-05, train_time=1.760 +[gpua010:0/64] 2023-12-16 05:34:30,812 (trainer:737) INFO: 36epoch:train:9501-9600batch: iter_time=8.813e-05, forward_time=0.276, loss_ctc=60.551, loss_att=49.088, acc=0.738, loss=52.527, backward_time=0.343, grad_norm=62.671, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.701e-05, train_time=1.923 +[gpua010:0/64] 2023-12-16 05:37:23,405 (trainer:737) INFO: 36epoch:train:9601-9700batch: iter_time=1.117e-04, forward_time=0.242, loss_ctc=65.668, loss_att=52.575, acc=0.729, loss=56.503, backward_time=0.425, grad_norm=67.788, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.145, optim0_lr0=6.701e-05, train_time=1.727 +[gpua010:0/64] 2023-12-16 05:39:57,681 (trainer:737) INFO: 36epoch:train:9701-9800batch: iter_time=8.552e-05, forward_time=0.278, loss_ctc=63.697, loss_att=53.385, acc=0.745, loss=56.479, backward_time=0.342, grad_norm=65.743, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.700e-05, train_time=1.541 +[gpua010:0/64] 2023-12-16 05:42:21,433 (trainer:737) INFO: 36epoch:train:9801-9900batch: iter_time=9.376e-05, forward_time=0.261, loss_ctc=67.838, loss_att=58.661, acc=0.729, loss=61.414, backward_time=0.331, grad_norm=70.489, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.699e-05, train_time=1.438 +[gpua010:0/64] 2023-12-16 05:44:53,493 (trainer:737) INFO: 36epoch:train:9901-10000batch: iter_time=1.037e-04, forward_time=0.276, loss_ctc=69.957, loss_att=54.495, acc=0.732, loss=59.133, backward_time=0.332, grad_norm=76.080, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.699e-05, train_time=1.521 +[gpua010:0/64] 2023-12-16 05:45:13,545 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua010:0/64] 2023-12-16 05:45:32,117 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 05:45:35,561 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 05:45:35,561 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua010:0/64] 2023-12-16 05:45:35,579 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 05:57:00,838 (trainer:737) INFO: 36epoch:train:10001-10100batch: iter_time=5.746, forward_time=0.322, loss_ctc=66.060, loss_att=53.765, acc=0.734, loss=57.453, backward_time=0.313, grad_norm=64.663, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=6.698e-05, train_time=7.272 +[gpua010:0/64] 2023-12-16 05:59:08,141 (trainer:737) INFO: 36epoch:train:10101-10200batch: iter_time=8.734e-05, forward_time=0.149, loss_ctc=73.638, loss_att=62.891, acc=0.727, loss=66.115, backward_time=0.279, grad_norm=76.108, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.698e-05, train_time=1.274 +[gpua010:0/64] 2023-12-16 06:01:38,133 (trainer:737) INFO: 36epoch:train:10201-10300batch: iter_time=4.145e-04, forward_time=0.201, loss_ctc=65.665, loss_att=52.413, acc=0.747, loss=56.388, backward_time=0.385, grad_norm=59.543, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.697e-05, train_time=1.498 +[gpua010:0/64] 2023-12-16 06:04:12,258 (trainer:737) INFO: 36epoch:train:10301-10400batch: iter_time=4.113e-04, forward_time=0.272, loss_ctc=60.661, loss_att=46.681, acc=0.741, loss=50.875, backward_time=0.300, grad_norm=67.378, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.696e-05, train_time=1.543 +[gpua010:0/64] 2023-12-16 06:06:49,046 (trainer:737) INFO: 36epoch:train:10401-10500batch: iter_time=8.831e-05, forward_time=0.148, loss_ctc=64.959, loss_att=53.153, acc=0.725, loss=56.695, backward_time=0.312, grad_norm=81.954, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.696e-05, train_time=1.565 +[gpua010:0/64] 2023-12-16 06:09:41,764 (trainer:737) INFO: 36epoch:train:10501-10600batch: iter_time=6.118e-04, forward_time=0.264, loss_ctc=73.545, loss_att=60.072, acc=0.745, loss=64.114, backward_time=0.307, grad_norm=63.971, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.695e-05, train_time=1.729 +[gpua010:0/64] 2023-12-16 06:12:43,585 (trainer:737) INFO: 36epoch:train:10601-10700batch: iter_time=6.237e-04, forward_time=0.308, loss_ctc=66.538, loss_att=52.188, acc=0.742, loss=56.493, backward_time=0.324, grad_norm=71.870, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.694e-05, train_time=1.816 +[gpua010:0/64] 2023-12-16 06:15:11,363 (trainer:737) INFO: 36epoch:train:10701-10800batch: iter_time=9.592e-05, forward_time=0.149, loss_ctc=50.062, loss_att=42.626, acc=0.747, loss=44.857, backward_time=0.330, grad_norm=66.669, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.694e-05, train_time=1.480 +[gpua010:0/64] 2023-12-16 06:17:35,956 (trainer:737) INFO: 36epoch:train:10801-10900batch: iter_time=8.787e-05, forward_time=0.156, loss_ctc=68.958, loss_att=56.077, acc=0.731, loss=59.941, backward_time=0.283, grad_norm=71.714, clip=100.000, loss_scale=4.462e+31, optim_step_time=0.133, optim0_lr0=6.693e-05, train_time=1.446 +[gpua010:0/64] 2023-12-16 06:20:37,100 (trainer:737) INFO: 36epoch:train:10901-11000batch: iter_time=3.979e-04, forward_time=0.261, loss_ctc=62.371, loss_att=47.889, acc=0.743, loss=52.233, backward_time=0.323, grad_norm=72.002, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.693e-05, train_time=1.810 +[gpua010:0/64] 2023-12-16 06:23:07,989 (trainer:737) INFO: 36epoch:train:11001-11100batch: iter_time=3.922e-04, forward_time=0.287, loss_ctc=66.317, loss_att=59.569, acc=0.736, loss=61.593, backward_time=0.320, grad_norm=62.828, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=6.692e-05, train_time=1.510 +[gpua010:0/64] 2023-12-16 06:25:32,763 (trainer:737) INFO: 36epoch:train:11101-11200batch: iter_time=5.429e-04, forward_time=0.250, loss_ctc=70.799, loss_att=59.016, acc=0.725, loss=62.551, backward_time=0.312, grad_norm=69.638, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.691e-05, train_time=1.445 +[gpua010:0/64] 2023-12-16 06:27:11,500 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua010:0/64] 2023-12-16 06:27:30,030 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 06:27:33,495 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 06:27:33,495 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua010:0/64] 2023-12-16 06:27:33,500 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 06:39:53,490 (trainer:737) INFO: 36epoch:train:11201-11300batch: iter_time=7.154, forward_time=0.181, loss_ctc=69.991, loss_att=56.198, acc=0.726, loss=60.336, backward_time=0.288, grad_norm=81.451, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.691e-05, train_time=8.609 +[gpua010:0/64] 2023-12-16 06:42:48,343 (trainer:737) INFO: 36epoch:train:11301-11400batch: iter_time=7.499e-04, forward_time=0.439, loss_ctc=65.893, loss_att=53.795, acc=0.732, loss=57.424, backward_time=0.373, grad_norm=62.855, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.143, optim0_lr0=6.690e-05, train_time=1.748 +[gpua010:0/64] 2023-12-16 06:46:04,311 (trainer:737) INFO: 36epoch:train:11401-11500batch: iter_time=5.724e-04, forward_time=0.559, loss_ctc=70.492, loss_att=60.649, acc=0.727, loss=63.602, backward_time=0.366, grad_norm=68.316, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.147, optim0_lr0=6.689e-05, train_time=1.959 +[gpua010:0/64] 2023-12-16 06:48:51,014 (trainer:737) INFO: 36epoch:train:11501-11600batch: iter_time=1.039e-04, forward_time=0.307, loss_ctc=62.686, loss_att=46.811, acc=0.735, loss=51.573, backward_time=0.322, grad_norm=68.752, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.144, optim0_lr0=6.689e-05, train_time=1.667 +[gpua010:0/64] 2023-12-16 06:51:58,052 (trainer:737) INFO: 36epoch:train:11601-11700batch: iter_time=8.848e-04, forward_time=0.320, loss_ctc=66.971, loss_att=51.285, acc=0.725, loss=55.991, backward_time=0.398, grad_norm=66.405, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.150, optim0_lr0=6.688e-05, train_time=1.869 +[gpua010:0/64] 2023-12-16 06:54:59,254 (trainer:737) INFO: 36epoch:train:11701-11800batch: iter_time=7.947e-04, forward_time=0.393, loss_ctc=68.105, loss_att=60.046, acc=0.723, loss=62.464, backward_time=0.387, grad_norm=66.459, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.180, optim0_lr0=6.688e-05, train_time=1.812 +[gpua010:0/64] 2023-12-16 06:57:58,432 (trainer:737) INFO: 36epoch:train:11801-11900batch: iter_time=0.001, forward_time=0.464, loss_ctc=66.529, loss_att=52.352, acc=0.744, loss=56.605, backward_time=0.397, grad_norm=66.715, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.158, optim0_lr0=6.687e-05, train_time=1.791 +[gpua010:0/64] 2023-12-16 07:00:56,085 (trainer:737) INFO: 36epoch:train:11901-12000batch: iter_time=0.001, forward_time=0.294, loss_ctc=58.827, loss_att=50.392, acc=0.735, loss=52.922, backward_time=0.388, grad_norm=56.371, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.158, optim0_lr0=6.686e-05, train_time=1.777 +[gpua010:0/64] 2023-12-16 07:04:14,121 (trainer:737) INFO: 36epoch:train:12001-12100batch: iter_time=0.001, forward_time=0.528, loss_ctc=60.258, loss_att=49.172, acc=0.727, loss=52.498, backward_time=0.466, grad_norm=61.705, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=6.686e-05, train_time=1.980 +[gpua010:0/64] 2023-12-16 07:08:49,042 (trainer:737) INFO: 36epoch:train:12101-12200batch: iter_time=0.007, forward_time=0.921, loss_ctc=66.083, loss_att=51.047, acc=0.722, loss=55.558, backward_time=0.646, grad_norm=63.110, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.181, optim0_lr0=6.685e-05, train_time=2.748 +[gpua010:0/64] 2023-12-16 07:12:43,695 (trainer:737) INFO: 36epoch:train:12201-12300batch: iter_time=0.001, forward_time=0.678, loss_ctc=62.969, loss_att=52.714, acc=0.746, loss=55.791, backward_time=0.533, grad_norm=74.077, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.158, optim0_lr0=6.685e-05, train_time=2.346 +[gpua010:0/64] 2023-12-16 07:15:52,473 (trainer:737) INFO: 36epoch:train:12301-12400batch: iter_time=0.008, forward_time=0.556, loss_ctc=68.127, loss_att=56.927, acc=0.730, loss=60.287, backward_time=0.480, grad_norm=67.484, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.154, optim0_lr0=6.684e-05, train_time=1.887 +[gpua010:0/64] 2023-12-16 07:19:14,485 (trainer:737) INFO: 36epoch:train:12401-12500batch: iter_time=0.003, forward_time=0.515, loss_ctc=69.880, loss_att=54.581, acc=0.723, loss=59.171, backward_time=0.498, grad_norm=86.367, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.176, optim0_lr0=6.683e-05, train_time=2.021 +[gpua010:0/64] 2023-12-16 07:19:34,753 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua010:0/64] 2023-12-16 07:19:53,255 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 07:19:56,685 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 07:19:56,685 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua010:0/64] 2023-12-16 07:19:56,688 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 07:31:28,459 (trainer:737) INFO: 36epoch:train:12501-12600batch: iter_time=6.036, forward_time=0.183, loss_ctc=65.491, loss_att=53.760, acc=0.737, loss=57.279, backward_time=0.283, grad_norm=64.732, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.683e-05, train_time=7.340 +[gpua010:0/64] 2023-12-16 07:34:18,289 (trainer:737) INFO: 36epoch:train:12601-12700batch: iter_time=1.021e-04, forward_time=0.273, loss_ctc=73.492, loss_att=62.857, acc=0.730, loss=66.048, backward_time=0.305, grad_norm=73.112, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.682e-05, train_time=1.698 +[gpua010:0/64] 2023-12-16 07:36:40,850 (trainer:737) INFO: 36epoch:train:12701-12800batch: iter_time=4.501e-04, forward_time=0.310, loss_ctc=65.471, loss_att=52.771, acc=0.745, loss=56.581, backward_time=0.300, grad_norm=64.988, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.681e-05, train_time=1.423 +[gpua010:0/64] 2023-12-16 07:39:01,883 (trainer:737) INFO: 36epoch:train:12801-12900batch: iter_time=3.855e-04, forward_time=0.283, loss_ctc=60.799, loss_att=46.293, acc=0.744, loss=50.645, backward_time=0.321, grad_norm=60.216, clip=100.000, loss_scale=8.924e+31, optim_step_time=0.136, optim0_lr0=6.681e-05, train_time=1.412 +[gpua010:0/64] 2023-12-16 07:41:28,806 (trainer:737) INFO: 36epoch:train:12901-13000batch: iter_time=6.557e-04, forward_time=0.263, loss_ctc=64.390, loss_att=52.300, acc=0.730, loss=55.927, backward_time=0.312, grad_norm=63.188, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.143, optim0_lr0=6.680e-05, train_time=1.467 +[gpua010:0/64] 2023-12-16 07:44:14,295 (trainer:737) INFO: 36epoch:train:13001-13100batch: iter_time=5.652e-04, forward_time=0.207, loss_ctc=73.166, loss_att=59.844, acc=0.747, loss=63.841, backward_time=0.332, grad_norm=64.288, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=6.680e-05, train_time=1.656 +[gpua010:0/64] 2023-12-16 07:46:57,303 (trainer:737) INFO: 36epoch:train:13101-13200batch: iter_time=2.969e-04, forward_time=0.236, loss_ctc=66.781, loss_att=51.995, acc=0.743, loss=56.431, backward_time=0.305, grad_norm=66.825, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=6.679e-05, train_time=1.629 +[gpua010:0/64] 2023-12-16 07:49:42,921 (trainer:737) INFO: 36epoch:train:13201-13300batch: iter_time=9.149e-05, forward_time=0.155, loss_ctc=49.304, loss_att=42.499, acc=0.749, loss=44.541, backward_time=0.300, grad_norm=57.559, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.678e-05, train_time=1.656 +[gpua010:0/64] 2023-12-16 07:52:25,824 (trainer:737) INFO: 36epoch:train:13301-13400batch: iter_time=2.640e-04, forward_time=0.227, loss_ctc=68.947, loss_att=55.881, acc=0.731, loss=59.801, backward_time=0.339, grad_norm=66.035, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=6.678e-05, train_time=1.628 +[gpua010:0/64] 2023-12-16 07:55:04,182 (trainer:737) INFO: 36epoch:train:13401-13500batch: iter_time=8.056e-05, forward_time=0.167, loss_ctc=61.763, loss_att=47.170, acc=0.744, loss=51.548, backward_time=0.300, grad_norm=63.578, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.677e-05, train_time=1.584 +[gpua010:0/64] 2023-12-16 07:57:40,868 (trainer:737) INFO: 36epoch:train:13501-13600batch: iter_time=0.006, forward_time=0.231, loss_ctc=66.350, loss_att=60.235, acc=0.736, loss=62.069, backward_time=0.321, grad_norm=61.699, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=6.676e-05, train_time=1.566 +[gpua010:0/64] 2023-12-16 08:00:09,349 (trainer:737) INFO: 36epoch:train:13601-13700batch: iter_time=2.718e-04, forward_time=0.269, loss_ctc=70.582, loss_att=57.776, acc=0.729, loss=61.618, backward_time=0.310, grad_norm=70.199, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=6.676e-05, train_time=1.485 +[gpua010:0/64] 2023-12-16 08:01:50,109 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua010:0/64] 2023-12-16 08:02:09,040 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 08:02:12,654 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 08:02:12,654 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua010:0/64] 2023-12-16 08:02:12,923 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 08:13:31,013 (trainer:737) INFO: 36epoch:train:13701-13800batch: iter_time=6.388, forward_time=0.209, loss_ctc=69.581, loss_att=55.047, acc=0.730, loss=59.407, backward_time=0.309, grad_norm=78.963, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.675e-05, train_time=8.016 +[gpua010:0/64] 2023-12-16 08:16:01,790 (trainer:737) INFO: 36epoch:train:13801-13900batch: iter_time=8.368e-05, forward_time=0.149, loss_ctc=65.592, loss_att=52.970, acc=0.735, loss=56.757, backward_time=0.319, grad_norm=75.156, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.675e-05, train_time=1.508 +[gpua010:0/64] 2023-12-16 08:18:57,983 (trainer:737) INFO: 36epoch:train:13901-14000batch: iter_time=8.155e-05, forward_time=0.227, loss_ctc=70.391, loss_att=60.480, acc=0.728, loss=63.453, backward_time=0.379, grad_norm=73.015, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=6.674e-05, train_time=1.762 +[gpua010:0/64] 2023-12-16 08:21:42,222 (trainer:737) INFO: 36epoch:train:14001-14100batch: iter_time=3.325e-04, forward_time=0.199, loss_ctc=63.075, loss_att=46.974, acc=0.735, loss=51.805, backward_time=0.370, grad_norm=66.261, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=6.673e-05, train_time=1.641 +[gpua010:0/64] 2023-12-16 08:24:01,585 (trainer:737) INFO: 36epoch:train:14101-14200batch: iter_time=1.628e-04, forward_time=0.244, loss_ctc=66.528, loss_att=50.715, acc=0.726, loss=55.459, backward_time=0.287, grad_norm=64.706, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.673e-05, train_time=1.394 +[gpua010:0/64] 2023-12-16 08:26:33,301 (trainer:737) INFO: 36epoch:train:14201-14300batch: iter_time=8.240e-05, forward_time=0.155, loss_ctc=67.800, loss_att=59.965, acc=0.723, loss=62.316, backward_time=0.322, grad_norm=58.887, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.672e-05, train_time=1.517 +[gpua010:0/64] 2023-12-16 08:29:09,268 (trainer:737) INFO: 36epoch:train:14301-14400batch: iter_time=4.116e-04, forward_time=0.245, loss_ctc=66.301, loss_att=52.361, acc=0.744, loss=56.543, backward_time=0.318, grad_norm=65.130, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=6.671e-05, train_time=1.559 +[gpua010:0/64] 2023-12-16 08:32:06,076 (trainer:737) INFO: 36epoch:train:14401-14500batch: iter_time=9.562e-05, forward_time=0.232, loss_ctc=58.630, loss_att=49.769, acc=0.736, loss=52.427, backward_time=0.330, grad_norm=54.848, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=6.671e-05, train_time=1.768 +[gpua010:0/64] 2023-12-16 08:34:52,670 (trainer:737) INFO: 36epoch:train:14501-14600batch: iter_time=8.229e-05, forward_time=0.148, loss_ctc=60.267, loss_att=48.843, acc=0.728, loss=52.270, backward_time=0.303, grad_norm=57.785, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.670e-05, train_time=1.665 +[gpua010:0/64] 2023-12-16 08:37:35,794 (trainer:737) INFO: 36epoch:train:14601-14700batch: iter_time=8.999e-05, forward_time=0.207, loss_ctc=65.763, loss_att=50.896, acc=0.724, loss=55.356, backward_time=0.328, grad_norm=70.665, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=6.670e-05, train_time=1.630 +[gpua010:0/64] 2023-12-16 08:39:55,570 (trainer:737) INFO: 36epoch:train:14701-14800batch: iter_time=8.436e-05, forward_time=0.238, loss_ctc=63.238, loss_att=52.959, acc=0.746, loss=56.043, backward_time=0.298, grad_norm=65.261, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=6.669e-05, train_time=1.399 +[gpua010:0/64] 2023-12-16 08:42:17,023 (trainer:737) INFO: 36epoch:train:14801-14900batch: iter_time=8.049e-05, forward_time=0.185, loss_ctc=67.481, loss_att=56.211, acc=0.733, loss=59.592, backward_time=0.314, grad_norm=65.783, clip=100.000, loss_scale=1.785e+32, optim_step_time=0.134, optim0_lr0=6.668e-05, train_time=1.413 +[gpua010:0/64] 2023-12-16 08:42:38,936 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 08:44:46,542 (trainer:737) INFO: 36epoch:train:14901-15000batch: iter_time=4.148e-04, forward_time=0.243, loss_ctc=69.535, loss_att=54.372, acc=0.725, loss=58.921, backward_time=0.331, grad_norm=71.088, clip=100.000, loss_scale=1.901e+32, optim_step_time=0.138, optim0_lr0=6.668e-05, train_time=1.497 +[gpua010:0/64] 2023-12-16 09:10:43,654 (trainer:343) INFO: 36epoch results: [train] iter_time=0.362, forward_time=0.226, loss_ctc=66.432, loss_att=54.023, acc=0.732, loss=57.746, backward_time=0.322, grad_norm=74.203, clip=100.000, loss_scale=5.624e+31, optim_step_time=0.137, optim0_lr0=6.714e-05, train_time=1.919, time=8 hours and 5.32 seconds, total_count=540000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=33.428, cer_ctc=0.175, loss_att=33.009, acc=0.732, cer=0.251, wer=0.962, loss=33.135, time=25 minutes and 32.88 seconds, total_count=168156, gpu_max_cached_mem_GB=36.826 +[gpua010:0/64] 2023-12-16 09:11:03,394 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua010:0/64] 2023-12-16 09:11:03,610 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/27epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/31epoch.pth +[gpua010:0/64] 2023-12-16 09:11:03,663 (trainer:272) INFO: 37/40epoch started. Estimated time to finish: 1 day, 9 hours and 15 minutes +[gpua010:0/64] 2023-12-16 09:11:03,758 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua010:0/64] 2023-12-16 09:11:21,290 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 09:11:24,666 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 09:11:24,666 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua010:0/64] 2023-12-16 09:11:24,670 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 09:17:31,174 (trainer:737) INFO: 37epoch:train:1-100batch: iter_time=2.593, forward_time=0.180, loss_ctc=64.980, loss_att=54.374, acc=0.735, loss=57.556, backward_time=0.283, grad_norm=70.311, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.667e-05, train_time=3.874 +[gpua010:0/64] 2023-12-16 09:20:05,707 (trainer:737) INFO: 37epoch:train:101-200batch: iter_time=8.500e-05, forward_time=0.147, loss_ctc=59.658, loss_att=46.580, acc=0.741, loss=50.503, backward_time=0.288, grad_norm=61.741, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.667e-05, train_time=1.545 +[gpua010:0/64] 2023-12-16 09:22:47,376 (trainer:737) INFO: 37epoch:train:201-300batch: iter_time=6.209e-04, forward_time=0.270, loss_ctc=68.577, loss_att=50.978, acc=0.719, loss=56.258, backward_time=0.308, grad_norm=84.022, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.145, optim0_lr0=6.666e-05, train_time=1.615 +[gpua010:0/64] 2023-12-16 09:25:03,763 (trainer:737) INFO: 37epoch:train:301-400batch: iter_time=8.634e-05, forward_time=0.149, loss_ctc=67.689, loss_att=55.483, acc=0.736, loss=59.145, backward_time=0.288, grad_norm=81.369, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=6.665e-05, train_time=1.365 +[gpua010:0/64] 2023-12-16 09:28:00,521 (trainer:737) INFO: 37epoch:train:401-500batch: iter_time=8.745e-05, forward_time=0.148, loss_ctc=72.225, loss_att=56.469, acc=0.731, loss=61.196, backward_time=0.325, grad_norm=81.011, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=6.665e-05, train_time=1.767 +[gpua010:0/64] 2023-12-16 09:29:50,011 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 09:30:33,926 (trainer:737) INFO: 37epoch:train:501-600batch: iter_time=5.191e-04, forward_time=0.242, loss_ctc=56.149, loss_att=43.084, acc=0.738, loss=47.004, backward_time=0.302, grad_norm=74.448, clip=100.000, loss_scale=1.377e+32, optim_step_time=0.145, optim0_lr0=6.664e-05, train_time=1.533 +[gpua010:0/64] 2023-12-16 09:33:27,035 (trainer:737) INFO: 37epoch:train:601-700batch: iter_time=6.453e-04, forward_time=0.222, loss_ctc=75.400, loss_att=64.150, acc=0.719, loss=67.525, backward_time=0.351, grad_norm=74.377, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=6.663e-05, train_time=1.731 +[gpua010:0/64] 2023-12-16 09:35:55,664 (trainer:737) INFO: 37epoch:train:701-800batch: iter_time=8.750e-05, forward_time=0.148, loss_ctc=73.775, loss_att=57.611, acc=0.720, loss=62.460, backward_time=0.308, grad_norm=89.132, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.663e-05, train_time=1.487 +[gpua010:0/64] 2023-12-16 09:36:07,222 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 09:38:52,373 (trainer:737) INFO: 37epoch:train:801-900batch: iter_time=0.001, forward_time=0.196, loss_ctc=64.292, loss_att=56.811, acc=0.708, loss=59.055, backward_time=0.379, grad_norm=72.157, clip=100.000, loss_scale=4.384e+31, optim_step_time=0.139, optim0_lr0=6.662e-05, train_time=1.767 +[gpua010:0/64] 2023-12-16 09:41:24,144 (trainer:737) INFO: 37epoch:train:901-1000batch: iter_time=8.668e-05, forward_time=0.148, loss_ctc=70.965, loss_att=51.816, acc=0.737, loss=57.560, backward_time=0.288, grad_norm=71.564, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.662e-05, train_time=1.517 +[gpua010:0/64] 2023-12-16 09:44:11,731 (trainer:737) INFO: 37epoch:train:1001-1100batch: iter_time=3.758e-04, forward_time=0.257, loss_ctc=58.650, loss_att=50.168, acc=0.727, loss=52.713, backward_time=0.347, grad_norm=62.409, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.661e-05, train_time=1.676 +[gpua010:0/64] 2023-12-16 09:46:48,422 (trainer:737) INFO: 37epoch:train:1101-1200batch: iter_time=8.446e-05, forward_time=0.149, loss_ctc=64.413, loss_att=52.569, acc=0.731, loss=56.122, backward_time=0.325, grad_norm=63.815, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.660e-05, train_time=1.566 +[gpua010:0/64] 2023-12-16 09:48:15,399 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua010:0/64] 2023-12-16 09:48:33,788 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 09:48:37,181 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 09:48:37,181 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua010:0/64] 2023-12-16 09:48:37,185 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 09:56:12,571 (trainer:737) INFO: 37epoch:train:1201-1300batch: iter_time=4.082, forward_time=0.335, loss_ctc=62.501, loss_att=47.452, acc=0.730, loss=51.967, backward_time=0.332, grad_norm=76.902, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.660e-05, train_time=5.640 +[gpua010:0/64] 2023-12-16 10:00:22,784 (trainer:737) INFO: 37epoch:train:1301-1400batch: iter_time=0.002, forward_time=0.936, loss_ctc=62.561, loss_att=47.038, acc=0.756, loss=51.695, backward_time=0.573, grad_norm=64.571, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.187, optim0_lr0=6.659e-05, train_time=2.502 +[gpua010:0/64] 2023-12-16 10:06:23,020 (trainer:737) INFO: 37epoch:train:1401-1500batch: iter_time=0.005, forward_time=1.330, loss_ctc=64.037, loss_att=53.243, acc=0.724, loss=56.481, backward_time=0.878, grad_norm=89.905, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.211, optim0_lr0=6.659e-05, train_time=3.603 +[gpua010:0/64] 2023-12-16 10:11:07,173 (trainer:737) INFO: 37epoch:train:1501-1600batch: iter_time=0.005, forward_time=1.076, loss_ctc=64.978, loss_att=46.462, acc=0.748, loss=52.017, backward_time=0.632, grad_norm=65.359, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.177, optim0_lr0=6.658e-05, train_time=2.843 +[gpua010:0/64] 2023-12-16 10:15:12,914 (trainer:737) INFO: 37epoch:train:1601-1700batch: iter_time=0.002, forward_time=0.890, loss_ctc=66.603, loss_att=55.789, acc=0.721, loss=59.033, backward_time=0.531, grad_norm=73.326, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.159, optim0_lr0=6.657e-05, train_time=2.457 +[gpua010:0/64] 2023-12-16 10:19:24,020 (trainer:737) INFO: 37epoch:train:1701-1800batch: iter_time=0.004, forward_time=0.735, loss_ctc=65.937, loss_att=54.276, acc=0.744, loss=57.774, backward_time=0.680, grad_norm=62.013, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.163, optim0_lr0=6.657e-05, train_time=2.510 +[gpua010:0/64] 2023-12-16 10:22:29,178 (trainer:737) INFO: 37epoch:train:1801-1900batch: iter_time=0.001, forward_time=0.558, loss_ctc=65.357, loss_att=57.253, acc=0.717, loss=59.684, backward_time=0.455, grad_norm=76.002, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.155, optim0_lr0=6.656e-05, train_time=1.852 +[gpua010:0/64] 2023-12-16 10:25:46,848 (trainer:737) INFO: 37epoch:train:1901-2000batch: iter_time=0.002, forward_time=0.574, loss_ctc=60.589, loss_att=46.773, acc=0.745, loss=50.918, backward_time=0.410, grad_norm=63.202, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.149, optim0_lr0=6.655e-05, train_time=1.975 +[gpua010:0/64] 2023-12-16 10:30:30,721 (trainer:737) INFO: 37epoch:train:2001-2100batch: iter_time=0.002, forward_time=0.984, loss_ctc=77.992, loss_att=62.969, acc=0.709, loss=67.476, backward_time=0.615, grad_norm=96.362, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.167, optim0_lr0=6.655e-05, train_time=2.839 +[gpua010:0/64] 2023-12-16 10:39:55,918 (trainer:737) INFO: 37epoch:train:2101-2200batch: iter_time=0.011, forward_time=2.788, loss_ctc=62.464, loss_att=50.121, acc=0.735, loss=53.824, backward_time=1.190, grad_norm=62.742, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.266, optim0_lr0=6.654e-05, train_time=5.651 +[gpua010:0/64] 2023-12-16 10:44:11,498 (trainer:737) INFO: 37epoch:train:2201-2300batch: iter_time=0.007, forward_time=0.965, loss_ctc=68.371, loss_att=55.753, acc=0.726, loss=59.539, backward_time=0.461, grad_norm=64.374, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.181, optim0_lr0=6.654e-05, train_time=2.555 +[gpua010:0/64] 2023-12-16 10:49:28,111 (trainer:737) INFO: 37epoch:train:2301-2400batch: iter_time=0.004, forward_time=1.224, loss_ctc=60.327, loss_att=51.557, acc=0.732, loss=54.188, backward_time=0.792, grad_norm=67.425, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.209, optim0_lr0=6.653e-05, train_time=3.166 +[gpua010:0/64] 2023-12-16 10:53:25,264 (trainer:737) INFO: 37epoch:train:2401-2500batch: iter_time=0.002, forward_time=0.743, loss_ctc=63.607, loss_att=47.561, acc=0.728, loss=52.375, backward_time=0.638, grad_norm=64.197, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.173, optim0_lr0=6.652e-05, train_time=2.372 +[gpua010:0/64] 2023-12-16 10:53:45,554 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua010:0/64] 2023-12-16 10:54:03,529 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 10:54:07,209 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 10:54:07,209 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua010:0/64] 2023-12-16 10:54:07,213 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 11:04:21,474 (trainer:737) INFO: 37epoch:train:2501-2600batch: iter_time=5.298, forward_time=0.174, loss_ctc=64.087, loss_att=53.149, acc=0.739, loss=56.430, backward_time=0.285, grad_norm=59.882, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.652e-05, train_time=6.563 +[gpua010:0/64] 2023-12-16 11:06:22,826 (trainer:737) INFO: 37epoch:train:2601-2700batch: iter_time=8.205e-05, forward_time=0.148, loss_ctc=59.118, loss_att=45.950, acc=0.745, loss=49.900, backward_time=0.278, grad_norm=63.653, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.651e-05, train_time=1.213 +[gpua010:0/64] 2023-12-16 11:08:30,055 (trainer:737) INFO: 37epoch:train:2701-2800batch: iter_time=8.220e-05, forward_time=0.149, loss_ctc=64.549, loss_att=49.956, acc=0.726, loss=54.334, backward_time=0.282, grad_norm=78.272, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.651e-05, train_time=1.272 +[gpua010:0/64] 2023-12-16 11:11:02,628 (trainer:737) INFO: 37epoch:train:2801-2900batch: iter_time=8.000e-05, forward_time=0.148, loss_ctc=66.476, loss_att=55.006, acc=0.742, loss=58.447, backward_time=0.292, grad_norm=71.179, clip=100.000, loss_scale=7.748e+31, optim_step_time=0.133, optim0_lr0=6.650e-05, train_time=1.526 +[gpua010:0/64] 2023-12-16 11:13:51,209 (trainer:737) INFO: 37epoch:train:2901-3000batch: iter_time=7.967e-05, forward_time=0.150, loss_ctc=69.983, loss_att=55.793, acc=0.737, loss=60.050, backward_time=0.302, grad_norm=61.235, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.649e-05, train_time=1.686 +[gpua010:0/64] 2023-12-16 11:16:39,831 (trainer:737) INFO: 37epoch:train:3001-3100batch: iter_time=8.291e-05, forward_time=0.148, loss_ctc=55.918, loss_att=42.671, acc=0.742, loss=46.645, backward_time=0.299, grad_norm=53.485, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.649e-05, train_time=1.686 +[gpua010:0/64] 2023-12-16 11:18:50,001 (trainer:737) INFO: 37epoch:train:3101-3200batch: iter_time=8.345e-05, forward_time=0.148, loss_ctc=73.904, loss_att=62.095, acc=0.727, loss=65.638, backward_time=0.284, grad_norm=71.843, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.648e-05, train_time=1.301 +[gpua010:0/64] 2023-12-16 11:21:27,129 (trainer:737) INFO: 37epoch:train:3201-3300batch: iter_time=8.528e-05, forward_time=0.273, loss_ctc=69.313, loss_att=56.465, acc=0.724, loss=60.320, backward_time=0.316, grad_norm=86.820, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.647e-05, train_time=1.571 +[gpua010:0/64] 2023-12-16 11:23:40,116 (trainer:737) INFO: 37epoch:train:3301-3400batch: iter_time=8.453e-05, forward_time=0.147, loss_ctc=63.107, loss_att=55.642, acc=0.714, loss=57.881, backward_time=0.285, grad_norm=72.135, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.647e-05, train_time=1.330 +[gpua010:0/64] 2023-12-16 11:26:12,730 (trainer:737) INFO: 37epoch:train:3401-3500batch: iter_time=8.120e-05, forward_time=0.148, loss_ctc=69.927, loss_att=51.217, acc=0.740, loss=56.830, backward_time=0.307, grad_norm=65.346, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.646e-05, train_time=1.526 +[gpua010:0/64] 2023-12-16 11:29:22,538 (trainer:737) INFO: 37epoch:train:3501-3600batch: iter_time=7.970e-05, forward_time=0.150, loss_ctc=57.301, loss_att=49.587, acc=0.730, loss=51.901, backward_time=0.347, grad_norm=69.928, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.646e-05, train_time=1.898 +[gpua010:0/64] 2023-12-16 11:30:51,206 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 11:31:53,079 (trainer:737) INFO: 37epoch:train:3601-3700batch: iter_time=8.149e-05, forward_time=0.148, loss_ctc=63.557, loss_att=51.464, acc=0.736, loss=55.092, backward_time=0.294, grad_norm=77.411, clip=100.000, loss_scale=6.433e+31, optim_step_time=0.132, optim0_lr0=6.645e-05, train_time=1.505 +[gpua010:0/64] 2023-12-16 11:33:19,140 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua010:0/64] 2023-12-16 11:33:37,347 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 11:33:40,743 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 11:33:40,744 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua010:0/64] 2023-12-16 11:33:40,749 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 11:48:11,945 (trainer:737) INFO: 37epoch:train:3701-3800batch: iter_time=3.281, forward_time=0.178, loss_ctc=61.188, loss_att=46.945, acc=0.735, loss=51.218, backward_time=0.310, grad_norm=64.720, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.644e-05, train_time=9.788 +[gpua010:0/64] 2023-12-16 11:51:26,659 (trainer:737) INFO: 37epoch:train:3801-3900batch: iter_time=8.455e-05, forward_time=0.149, loss_ctc=62.158, loss_att=46.617, acc=0.761, loss=51.279, backward_time=0.411, grad_norm=60.135, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.644e-05, train_time=1.947 +[gpua010:0/64] 2023-12-16 11:53:58,820 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 11:54:27,709 (trainer:737) INFO: 37epoch:train:3901-4000batch: iter_time=7.975e-05, forward_time=0.148, loss_ctc=63.989, loss_att=52.258, acc=0.728, loss=55.777, backward_time=0.317, grad_norm=85.688, clip=100.000, loss_scale=3.606e+31, optim_step_time=0.134, optim0_lr0=6.643e-05, train_time=1.810 +[gpua010:0/64] 2023-12-16 11:57:41,826 (trainer:737) INFO: 37epoch:train:4001-4100batch: iter_time=8.930e-05, forward_time=0.148, loss_ctc=64.606, loss_att=46.352, acc=0.751, loss=51.828, backward_time=0.352, grad_norm=61.351, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.643e-05, train_time=1.941 +[gpua010:0/64] 2023-12-16 12:00:45,164 (trainer:737) INFO: 37epoch:train:4101-4200batch: iter_time=8.883e-05, forward_time=0.148, loss_ctc=65.547, loss_att=55.842, acc=0.725, loss=58.754, backward_time=0.339, grad_norm=72.252, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.642e-05, train_time=1.833 +[gpua010:0/64] 2023-12-16 12:04:00,348 (trainer:737) INFO: 37epoch:train:4201-4300batch: iter_time=8.458e-05, forward_time=0.149, loss_ctc=65.684, loss_att=53.847, acc=0.748, loss=57.398, backward_time=0.365, grad_norm=81.100, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.641e-05, train_time=1.952 +[gpua010:0/64] 2023-12-16 12:06:56,356 (trainer:737) INFO: 37epoch:train:4301-4400batch: iter_time=9.445e-05, forward_time=0.148, loss_ctc=65.222, loss_att=57.446, acc=0.719, loss=59.779, backward_time=0.312, grad_norm=76.484, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.641e-05, train_time=1.760 +[gpua010:0/64] 2023-12-16 12:10:06,902 (trainer:737) INFO: 37epoch:train:4401-4500batch: iter_time=4.262e-04, forward_time=0.250, loss_ctc=60.581, loss_att=46.264, acc=0.748, loss=50.559, backward_time=0.349, grad_norm=71.702, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.640e-05, train_time=1.905 +[gpua010:0/64] 2023-12-16 12:13:16,493 (trainer:737) INFO: 37epoch:train:4501-4600batch: iter_time=9.623e-05, forward_time=0.149, loss_ctc=75.467, loss_att=62.488, acc=0.711, loss=66.382, backward_time=0.381, grad_norm=132.325, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.640e-05, train_time=1.896 +[gpua010:0/64] 2023-12-16 12:16:17,230 (trainer:737) INFO: 37epoch:train:4601-4700batch: iter_time=8.728e-05, forward_time=0.148, loss_ctc=62.071, loss_att=50.314, acc=0.735, loss=53.841, backward_time=0.345, grad_norm=90.715, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.639e-05, train_time=1.807 +[gpua010:0/64] 2023-12-16 12:18:50,847 (trainer:737) INFO: 37epoch:train:4701-4800batch: iter_time=8.085e-05, forward_time=0.148, loss_ctc=67.811, loss_att=55.002, acc=0.726, loss=58.844, backward_time=0.296, grad_norm=81.524, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.638e-05, train_time=1.536 +[gpua010:0/64] 2023-12-16 12:22:06,275 (trainer:737) INFO: 37epoch:train:4801-4900batch: iter_time=9.171e-05, forward_time=0.148, loss_ctc=59.407, loss_att=51.046, acc=0.735, loss=53.554, backward_time=0.338, grad_norm=82.342, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.638e-05, train_time=1.954 +[gpua010:0/64] 2023-12-16 12:25:40,931 (trainer:737) INFO: 37epoch:train:4901-5000batch: iter_time=8.001e-05, forward_time=0.148, loss_ctc=62.600, loss_att=46.353, acc=0.733, loss=51.227, backward_time=0.339, grad_norm=69.385, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.637e-05, train_time=2.146 +[gpua010:0/64] 2023-12-16 12:26:00,960 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua010:0/64] 2023-12-16 12:26:19,142 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 12:26:22,630 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 12:26:22,630 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua010:0/64] 2023-12-16 12:26:22,683 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 12:34:00,460 (trainer:737) INFO: 37epoch:train:5001-5100batch: iter_time=3.251, forward_time=0.174, loss_ctc=64.281, loss_att=52.292, acc=0.745, loss=55.888, backward_time=0.286, grad_norm=67.280, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.637e-05, train_time=4.995 +[gpua010:0/64] 2023-12-16 12:36:22,218 (trainer:737) INFO: 37epoch:train:5101-5200batch: iter_time=8.382e-05, forward_time=0.151, loss_ctc=59.367, loss_att=45.953, acc=0.748, loss=49.977, backward_time=0.296, grad_norm=67.455, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.636e-05, train_time=1.417 +[gpua010:0/64] 2023-12-16 12:38:54,086 (trainer:737) INFO: 37epoch:train:5201-5300batch: iter_time=8.284e-05, forward_time=0.151, loss_ctc=64.177, loss_att=51.144, acc=0.727, loss=55.054, backward_time=0.302, grad_norm=104.261, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.635e-05, train_time=1.518 +[gpua010:0/64] 2023-12-16 12:41:21,228 (trainer:737) INFO: 37epoch:train:5301-5400batch: iter_time=8.271e-05, forward_time=0.151, loss_ctc=66.496, loss_att=54.647, acc=0.744, loss=58.202, backward_time=0.286, grad_norm=75.639, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.635e-05, train_time=1.471 +[gpua010:0/64] 2023-12-16 12:43:42,207 (trainer:737) INFO: 37epoch:train:5401-5500batch: iter_time=8.508e-05, forward_time=0.151, loss_ctc=69.317, loss_att=55.374, acc=0.739, loss=59.557, backward_time=0.292, grad_norm=75.740, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.634e-05, train_time=1.410 +[gpua010:0/64] 2023-12-16 12:46:16,690 (trainer:737) INFO: 37epoch:train:5501-5600batch: iter_time=4.437e-04, forward_time=0.270, loss_ctc=55.816, loss_att=42.221, acc=0.745, loss=46.300, backward_time=0.306, grad_norm=138.635, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.633e-05, train_time=1.539 + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua010:0/64] 2023-12-16 12:48:42,044 (trainer:737) INFO: 37epoch:train:5601-5700batch: iter_time=1.077e-04, forward_time=0.150, loss_ctc=73.774, loss_att=62.285, acc=0.727, loss=65.732, backward_time=0.291, grad_norm=116.751, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.633e-05, train_time=1.456 +[gpua010:0/64] 2023-12-16 12:51:06,163 (trainer:737) INFO: 37epoch:train:5701-5800batch: iter_time=8.050e-05, forward_time=0.148, loss_ctc=69.224, loss_att=55.496, acc=0.728, loss=59.615, backward_time=0.287, grad_norm=100.044, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.632e-05, train_time=1.441 +[gpua010:0/64] 2023-12-16 12:53:49,710 (trainer:737) INFO: 37epoch:train:5801-5900batch: iter_time=8.695e-05, forward_time=0.148, loss_ctc=62.717, loss_att=55.438, acc=0.717, loss=57.622, backward_time=0.309, grad_norm=77.495, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.632e-05, train_time=1.635 +[gpua010:0/64] 2023-12-16 12:56:30,483 (trainer:737) INFO: 37epoch:train:5901-6000batch: iter_time=9.673e-05, forward_time=0.149, loss_ctc=68.653, loss_att=51.096, acc=0.742, loss=56.363, backward_time=0.320, grad_norm=72.039, clip=100.000, loss_scale=2.474e+31, optim_step_time=0.133, optim0_lr0=6.631e-05, train_time=1.608 +[gpua010:0/64] 2023-12-16 12:58:51,172 (trainer:737) INFO: 37epoch:train:6001-6100batch: iter_time=8.773e-05, forward_time=0.149, loss_ctc=57.729, loss_att=49.345, acc=0.730, loss=51.860, backward_time=0.285, grad_norm=129.133, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.630e-05, train_time=1.407 +[gpua010:0/64] 2023-12-16 13:01:08,093 (trainer:737) INFO: 37epoch:train:6101-6200batch: iter_time=9.282e-05, forward_time=0.149, loss_ctc=64.026, loss_att=51.733, acc=0.735, loss=55.421, backward_time=0.279, grad_norm=121.750, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.630e-05, train_time=1.369 +[gpua010:0/64] 2023-12-16 13:02:52,223 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua010:0/64] 2023-12-16 13:03:10,696 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 13:03:14,369 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 13:03:14,369 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua010:0/64] 2023-12-16 13:03:14,372 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 13:11:00,730 (trainer:737) INFO: 37epoch:train:6201-6300batch: iter_time=3.043, forward_time=0.263, loss_ctc=60.707, loss_att=47.762, acc=0.730, loss=51.645, backward_time=0.330, grad_norm=92.301, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.629e-05, train_time=5.926 +[gpua010:0/64] 2023-12-16 13:13:05,005 (trainer:737) INFO: 37epoch:train:6301-6400batch: iter_time=7.740e-05, forward_time=0.148, loss_ctc=62.001, loss_att=48.048, acc=0.752, loss=52.234, backward_time=0.278, grad_norm=64.300, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.629e-05, train_time=1.243 +[gpua010:0/64] 2023-12-16 13:15:08,757 (trainer:737) INFO: 37epoch:train:6401-6500batch: iter_time=7.364e-05, forward_time=0.147, loss_ctc=63.190, loss_att=51.855, acc=0.725, loss=55.255, backward_time=0.279, grad_norm=88.506, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.628e-05, train_time=1.237 +[gpua010:0/64] 2023-12-16 13:18:07,166 (trainer:737) INFO: 37epoch:train:6501-6600batch: iter_time=7.805e-05, forward_time=0.147, loss_ctc=64.759, loss_att=46.739, acc=0.747, loss=52.145, backward_time=0.294, grad_norm=70.987, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.627e-05, train_time=1.784 +[gpua010:0/64] 2023-12-16 13:20:46,946 (trainer:737) INFO: 37epoch:train:6601-6700batch: iter_time=7.956e-05, forward_time=0.147, loss_ctc=64.884, loss_att=55.252, acc=0.722, loss=58.142, backward_time=0.280, grad_norm=80.215, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.627e-05, train_time=1.598 +[gpua010:0/64] 2023-12-16 13:23:09,544 (trainer:737) INFO: 37epoch:train:6701-6800batch: iter_time=8.251e-05, forward_time=0.249, loss_ctc=65.766, loss_att=54.205, acc=0.736, loss=57.673, backward_time=0.314, grad_norm=63.775, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.626e-05, train_time=1.426 +[gpua010:0/64] 2023-12-16 13:26:59,075 (trainer:737) INFO: 37epoch:train:6801-6900batch: iter_time=8.010e-05, forward_time=0.149, loss_ctc=64.393, loss_att=57.489, acc=0.710, loss=59.560, backward_time=0.441, grad_norm=78.857, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.626e-05, train_time=2.294 +[gpua010:0/64] 2023-12-16 13:29:48,908 (trainer:737) INFO: 37epoch:train:6901-7000batch: iter_time=8.051e-05, forward_time=0.160, loss_ctc=59.684, loss_att=44.972, acc=0.750, loss=49.386, backward_time=0.304, grad_norm=103.808, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.625e-05, train_time=1.699 +[gpua010:0/64] 2023-12-16 13:32:55,650 (trainer:737) INFO: 37epoch:train:7001-7100batch: iter_time=8.283e-05, forward_time=0.148, loss_ctc=73.881, loss_att=62.763, acc=0.705, loss=66.098, backward_time=0.312, grad_norm=93.886, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.624e-05, train_time=1.868 +[gpua010:0/64] 2023-12-16 13:35:40,953 (trainer:737) INFO: 37epoch:train:7101-7200batch: iter_time=8.121e-05, forward_time=0.149, loss_ctc=61.428, loss_att=49.355, acc=0.739, loss=52.977, backward_time=0.317, grad_norm=67.464, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.624e-05, train_time=1.653 +[gpua010:0/64] 2023-12-16 13:38:25,279 (trainer:737) INFO: 37epoch:train:7201-7300batch: iter_time=8.083e-05, forward_time=0.147, loss_ctc=67.002, loss_att=54.825, acc=0.726, loss=58.478, backward_time=0.311, grad_norm=68.973, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.623e-05, train_time=1.643 +[gpua010:0/64] 2023-12-16 13:41:07,455 (trainer:737) INFO: 37epoch:train:7301-7400batch: iter_time=1.968e-04, forward_time=0.177, loss_ctc=59.162, loss_att=49.608, acc=0.733, loss=52.474, backward_time=0.289, grad_norm=83.071, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.623e-05, train_time=1.622 +[gpua010:0/64] 2023-12-16 13:43:29,547 (trainer:737) INFO: 37epoch:train:7401-7500batch: iter_time=1.327e-04, forward_time=0.204, loss_ctc=61.448, loss_att=46.484, acc=0.726, loss=50.973, backward_time=0.306, grad_norm=67.047, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.622e-05, train_time=1.421 +[gpua010:0/64] 2023-12-16 13:43:49,576 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua010:0/64] 2023-12-16 13:44:08,166 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 13:44:11,832 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 13:44:11,832 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua010:0/64] 2023-12-16 13:44:11,836 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 13:50:53,525 (trainer:737) INFO: 37epoch:train:7501-7600batch: iter_time=3.124, forward_time=0.161, loss_ctc=63.750, loss_att=52.653, acc=0.740, loss=55.982, backward_time=0.284, grad_norm=67.124, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.621e-05, train_time=4.439 +[gpua010:0/64] 2023-12-16 13:53:13,300 (trainer:737) INFO: 37epoch:train:7601-7700batch: iter_time=8.614e-05, forward_time=0.147, loss_ctc=59.334, loss_att=44.866, acc=0.745, loss=49.207, backward_time=0.284, grad_norm=69.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.621e-05, train_time=1.398 +[gpua010:0/64] 2023-12-16 13:55:16,576 (trainer:737) INFO: 37epoch:train:7701-7800batch: iter_time=8.907e-05, forward_time=0.148, loss_ctc=62.877, loss_att=49.217, acc=0.727, loss=53.315, backward_time=0.277, grad_norm=83.849, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.620e-05, train_time=1.233 +[gpua010:0/64] 2023-12-16 13:57:46,782 (trainer:737) INFO: 37epoch:train:7801-7900batch: iter_time=8.550e-05, forward_time=0.147, loss_ctc=66.221, loss_att=54.379, acc=0.742, loss=57.932, backward_time=0.298, grad_norm=68.277, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.620e-05, train_time=1.502 +[gpua010:0/64] 2023-12-16 14:00:18,651 (trainer:737) INFO: 37epoch:train:7901-8000batch: iter_time=9.136e-05, forward_time=0.255, loss_ctc=69.203, loss_att=55.277, acc=0.735, loss=59.455, backward_time=0.319, grad_norm=66.539, clip=100.000, loss_scale=4.949e+31, optim_step_time=0.135, optim0_lr0=6.619e-05, train_time=1.518 +[gpua010:0/64] 2023-12-16 14:03:05,830 (trainer:737) INFO: 37epoch:train:8001-8100batch: iter_time=8.754e-05, forward_time=0.148, loss_ctc=55.606, loss_att=42.363, acc=0.740, loss=46.336, backward_time=0.300, grad_norm=56.052, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.618e-05, train_time=1.672 +[gpua010:0/64] 2023-12-16 14:06:28,352 (trainer:737) INFO: 37epoch:train:8101-8200batch: iter_time=8.994e-05, forward_time=0.192, loss_ctc=73.817, loss_att=61.953, acc=0.717, loss=65.512, backward_time=0.319, grad_norm=76.305, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.618e-05, train_time=2.024 +[gpua010:0/64] 2023-12-16 14:09:02,857 (trainer:737) INFO: 37epoch:train:8201-8300batch: iter_time=9.160e-05, forward_time=0.147, loss_ctc=67.442, loss_att=53.413, acc=0.730, loss=57.622, backward_time=0.292, grad_norm=84.990, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.617e-05, train_time=1.546 +[gpua010:0/64] 2023-12-16 14:11:30,023 (trainer:737) INFO: 37epoch:train:8301-8400batch: iter_time=8.866e-05, forward_time=0.146, loss_ctc=62.208, loss_att=55.143, acc=0.714, loss=57.262, backward_time=0.322, grad_norm=64.996, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.617e-05, train_time=1.471 +[gpua010:0/64] 2023-12-16 14:13:58,975 (trainer:737) INFO: 37epoch:train:8401-8500batch: iter_time=8.658e-05, forward_time=0.146, loss_ctc=68.137, loss_att=50.450, acc=0.736, loss=55.756, backward_time=0.320, grad_norm=70.024, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.616e-05, train_time=1.489 +[gpua010:0/64] 2023-12-16 14:16:24,930 (trainer:737) INFO: 37epoch:train:8501-8600batch: iter_time=9.267e-05, forward_time=0.175, loss_ctc=56.946, loss_att=49.494, acc=0.727, loss=51.729, backward_time=0.298, grad_norm=70.595, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=6.615e-05, train_time=1.459 +[gpua010:0/64] 2023-12-16 14:18:54,997 (trainer:737) INFO: 37epoch:train:8601-8700batch: iter_time=9.406e-05, forward_time=0.279, loss_ctc=62.613, loss_att=50.382, acc=0.731, loss=54.051, backward_time=0.307, grad_norm=66.135, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.615e-05, train_time=1.500 +[gpua010:0/64] 2023-12-16 14:20:44,386 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua010:0/64] 2023-12-16 14:21:02,902 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 14:21:06,404 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 14:21:06,404 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua010:0/64] 2023-12-16 14:21:06,409 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 14:28:46,645 (trainer:737) INFO: 37epoch:train:8701-8800batch: iter_time=3.453, forward_time=0.157, loss_ctc=60.537, loss_att=46.473, acc=0.736, loss=50.692, backward_time=0.288, grad_norm=61.205, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.614e-05, train_time=5.916 +[gpua010:0/64] 2023-12-16 14:31:02,781 (trainer:737) INFO: 37epoch:train:8801-8900batch: iter_time=7.986e-05, forward_time=0.148, loss_ctc=62.245, loss_att=46.102, acc=0.758, loss=50.945, backward_time=0.316, grad_norm=57.209, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.613e-05, train_time=1.362 +[gpua010:0/64] 2023-12-16 14:33:27,866 (trainer:737) INFO: 37epoch:train:8901-9000batch: iter_time=7.913e-05, forward_time=0.147, loss_ctc=63.125, loss_att=50.026, acc=0.730, loss=53.956, backward_time=0.286, grad_norm=75.464, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.613e-05, train_time=1.451 +[gpua010:0/64] 2023-12-16 14:35:44,101 (trainer:737) INFO: 37epoch:train:9001-9100batch: iter_time=8.403e-05, forward_time=0.166, loss_ctc=64.349, loss_att=45.574, acc=0.750, loss=51.206, backward_time=0.287, grad_norm=62.808, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.141, optim0_lr0=6.612e-05, train_time=1.362 +[gpua010:0/64] 2023-12-16 14:36:57,734 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 14:38:05,973 (trainer:737) INFO: 37epoch:train:9101-9200batch: iter_time=8.482e-05, forward_time=0.233, loss_ctc=64.679, loss_att=54.289, acc=0.726, loss=57.406, backward_time=0.307, grad_norm=86.875, clip=100.000, loss_scale=6.023e+31, optim_step_time=0.137, optim0_lr0=6.612e-05, train_time=1.419 +[gpua010:0/64] 2023-12-16 14:40:20,286 (trainer:737) INFO: 37epoch:train:9201-9300batch: iter_time=8.609e-05, forward_time=0.150, loss_ctc=65.174, loss_att=53.163, acc=0.740, loss=56.767, backward_time=0.284, grad_norm=57.523, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.611e-05, train_time=1.343 +[gpua010:0/64] 2023-12-16 14:43:04,135 (trainer:737) INFO: 37epoch:train:9301-9400batch: iter_time=9.957e-05, forward_time=0.157, loss_ctc=64.097, loss_att=56.068, acc=0.717, loss=58.477, backward_time=0.312, grad_norm=64.630, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.610e-05, train_time=1.638 +[gpua010:0/64] 2023-12-16 14:45:55,512 (trainer:737) INFO: 37epoch:train:9401-9500batch: iter_time=8.716e-05, forward_time=0.148, loss_ctc=59.899, loss_att=44.232, acc=0.751, loss=48.932, backward_time=0.317, grad_norm=62.094, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.610e-05, train_time=1.714 +[gpua010:0/64] 2023-12-16 14:48:31,991 (trainer:737) INFO: 37epoch:train:9501-9600batch: iter_time=8.491e-05, forward_time=0.147, loss_ctc=73.922, loss_att=62.217, acc=0.709, loss=65.729, backward_time=0.289, grad_norm=93.325, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.609e-05, train_time=1.565 +[gpua010:0/64] 2023-12-16 14:51:01,779 (trainer:737) INFO: 37epoch:train:9601-9700batch: iter_time=8.311e-05, forward_time=0.188, loss_ctc=61.153, loss_att=49.284, acc=0.740, loss=52.845, backward_time=0.312, grad_norm=63.373, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.609e-05, train_time=1.498 +[gpua010:0/64] 2023-12-16 14:53:39,837 (trainer:737) INFO: 37epoch:train:9701-9800batch: iter_time=9.136e-05, forward_time=0.172, loss_ctc=66.906, loss_att=54.605, acc=0.725, loss=58.295, backward_time=0.303, grad_norm=76.348, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.608e-05, train_time=1.580 +[gpua010:0/64] 2023-12-16 14:55:49,238 (trainer:737) INFO: 37epoch:train:9801-9900batch: iter_time=8.577e-05, forward_time=0.147, loss_ctc=59.309, loss_att=48.593, acc=0.735, loss=51.808, backward_time=0.278, grad_norm=63.921, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.607e-05, train_time=1.294 +[gpua010:0/64] 2023-12-16 14:57:56,219 (trainer:737) INFO: 37epoch:train:9901-10000batch: iter_time=7.961e-05, forward_time=0.158, loss_ctc=61.291, loss_att=46.266, acc=0.729, loss=50.773, backward_time=0.283, grad_norm=64.749, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.607e-05, train_time=1.270 +[gpua010:0/64] 2023-12-16 14:58:16,248 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua010:0/64] 2023-12-16 14:58:34,690 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 14:58:38,119 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 14:58:38,119 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua010:0/64] 2023-12-16 14:58:38,124 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 15:04:54,036 (trainer:737) INFO: 37epoch:train:10001-10100batch: iter_time=2.909, forward_time=0.182, loss_ctc=63.335, loss_att=51.752, acc=0.741, loss=55.227, backward_time=0.285, grad_norm=60.440, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.606e-05, train_time=4.178 +[gpua010:0/64] 2023-12-16 15:07:14,086 (trainer:737) INFO: 37epoch:train:10101-10200batch: iter_time=8.418e-05, forward_time=0.147, loss_ctc=58.487, loss_att=44.177, acc=0.748, loss=48.470, backward_time=0.283, grad_norm=58.392, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.606e-05, train_time=1.400 +[gpua010:0/64] 2023-12-16 15:09:51,515 (trainer:737) INFO: 37epoch:train:10201-10300batch: iter_time=8.589e-05, forward_time=0.147, loss_ctc=63.775, loss_att=49.710, acc=0.728, loss=53.930, backward_time=0.286, grad_norm=73.140, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.605e-05, train_time=1.574 +[gpua010:0/64] 2023-12-16 15:12:23,576 (trainer:737) INFO: 37epoch:train:10301-10400batch: iter_time=8.467e-05, forward_time=0.158, loss_ctc=65.929, loss_att=53.823, acc=0.743, loss=57.455, backward_time=0.303, grad_norm=65.757, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.604e-05, train_time=1.520 +[gpua010:0/64] 2023-12-16 15:15:19,226 (trainer:737) INFO: 37epoch:train:10401-10500batch: iter_time=8.836e-05, forward_time=0.148, loss_ctc=68.508, loss_att=54.678, acc=0.736, loss=58.827, backward_time=0.316, grad_norm=66.886, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.604e-05, train_time=1.756 +[gpua010:0/64] 2023-12-16 15:17:40,420 (trainer:737) INFO: 37epoch:train:10501-10600batch: iter_time=9.208e-05, forward_time=0.208, loss_ctc=55.361, loss_att=41.887, acc=0.741, loss=45.929, backward_time=0.309, grad_norm=56.525, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.603e-05, train_time=1.411 +[gpua010:0/64] 2023-12-16 15:20:16,087 (trainer:737) INFO: 37epoch:train:10601-10700batch: iter_time=8.903e-05, forward_time=0.183, loss_ctc=73.239, loss_att=61.358, acc=0.721, loss=64.922, backward_time=0.309, grad_norm=68.631, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.603e-05, train_time=1.557 +[gpua010:0/64] 2023-12-16 15:22:57,985 (trainer:737) INFO: 37epoch:train:10701-10800batch: iter_time=8.463e-05, forward_time=0.148, loss_ctc=66.683, loss_att=53.607, acc=0.730, loss=57.530, backward_time=0.299, grad_norm=81.636, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.602e-05, train_time=1.619 +[gpua010:0/64] 2023-12-16 15:25:33,868 (trainer:737) INFO: 37epoch:train:10801-10900batch: iter_time=8.638e-05, forward_time=0.148, loss_ctc=62.839, loss_att=55.394, acc=0.714, loss=57.627, backward_time=0.330, grad_norm=68.837, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.601e-05, train_time=1.559 +[gpua010:0/64] 2023-12-16 15:28:04,589 (trainer:737) INFO: 37epoch:train:10901-11000batch: iter_time=9.322e-05, forward_time=0.154, loss_ctc=67.833, loss_att=50.242, acc=0.738, loss=55.519, backward_time=0.281, grad_norm=66.177, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.601e-05, train_time=1.507 +[gpua010:0/64] 2023-12-16 15:31:26,552 (trainer:737) INFO: 37epoch:train:11001-11100batch: iter_time=9.402e-05, forward_time=0.148, loss_ctc=56.528, loss_att=49.062, acc=0.729, loss=51.302, backward_time=0.399, grad_norm=67.263, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.600e-05, train_time=2.019 +[gpua010:0/64] 2023-12-16 15:34:04,696 (trainer:737) INFO: 37epoch:train:11101-11200batch: iter_time=9.001e-05, forward_time=0.209, loss_ctc=63.572, loss_att=50.391, acc=0.730, loss=54.346, backward_time=0.339, grad_norm=66.193, clip=100.000, loss_scale=6.125e+31, optim_step_time=0.137, optim0_lr0=6.600e-05, train_time=1.581 +[gpua010:0/64] 2023-12-16 15:35:55,792 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua010:0/64] 2023-12-16 15:36:14,177 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 15:36:17,570 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 15:36:17,570 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua010:0/64] 2023-12-16 15:36:17,577 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 15:42:34,207 (trainer:737) INFO: 37epoch:train:11201-11300batch: iter_time=3.429, forward_time=0.169, loss_ctc=59.870, loss_att=46.384, acc=0.737, loss=50.430, backward_time=0.293, grad_norm=62.996, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.599e-05, train_time=5.095 +[gpua010:0/64] 2023-12-16 15:45:04,657 (trainer:737) INFO: 37epoch:train:11301-11400batch: iter_time=8.285e-05, forward_time=0.148, loss_ctc=61.895, loss_att=47.587, acc=0.761, loss=51.879, backward_time=0.280, grad_norm=60.339, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.598e-05, train_time=1.504 +[gpua010:0/64] 2023-12-16 15:48:49,718 (trainer:737) INFO: 37epoch:train:11401-11500batch: iter_time=8.376e-05, forward_time=0.147, loss_ctc=63.210, loss_att=52.715, acc=0.731, loss=55.863, backward_time=0.349, grad_norm=75.500, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.598e-05, train_time=2.250 +[gpua010:0/64] 2023-12-16 15:53:47,743 (trainer:737) INFO: 37epoch:train:11501-11600batch: iter_time=8.762e-05, forward_time=0.313, loss_ctc=64.926, loss_att=46.214, acc=0.753, loss=51.828, backward_time=0.444, grad_norm=74.178, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.597e-05, train_time=2.979 +[gpua010:0/64] 2023-12-16 15:56:50,285 (trainer:737) INFO: 37epoch:train:11601-11700batch: iter_time=8.418e-05, forward_time=0.174, loss_ctc=64.588, loss_att=55.243, acc=0.726, loss=58.046, backward_time=0.319, grad_norm=70.774, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.597e-05, train_time=1.827 +[gpua010:0/64] 2023-12-16 15:59:44,112 (trainer:737) INFO: 37epoch:train:11701-11800batch: iter_time=8.043e-05, forward_time=0.161, loss_ctc=65.222, loss_att=53.785, acc=0.749, loss=57.216, backward_time=0.301, grad_norm=67.815, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.596e-05, train_time=1.738 +[gpua010:0/64] 2023-12-16 16:02:50,893 (trainer:737) INFO: 37epoch:train:11801-11900batch: iter_time=9.102e-05, forward_time=0.147, loss_ctc=64.234, loss_att=56.964, acc=0.722, loss=59.145, backward_time=0.358, grad_norm=72.165, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.595e-05, train_time=1.868 +[gpua010:0/64] 2023-12-16 16:05:10,731 (trainer:737) INFO: 37epoch:train:11901-12000batch: iter_time=8.908e-05, forward_time=0.148, loss_ctc=59.513, loss_att=46.283, acc=0.748, loss=50.252, backward_time=0.311, grad_norm=79.893, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.595e-05, train_time=1.398 +[gpua010:0/64] 2023-12-16 16:07:56,236 (trainer:737) INFO: 37epoch:train:12001-12100batch: iter_time=7.176e-04, forward_time=0.207, loss_ctc=74.241, loss_att=61.237, acc=0.718, loss=65.138, backward_time=0.356, grad_norm=93.624, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.594e-05, train_time=1.652 +[gpua010:0/64] 2023-12-16 16:10:55,646 (trainer:737) INFO: 37epoch:train:12101-12200batch: iter_time=9.117e-05, forward_time=0.179, loss_ctc=61.087, loss_att=49.414, acc=0.744, loss=52.916, backward_time=0.322, grad_norm=73.168, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.594e-05, train_time=1.797 +[gpua010:0/64] 2023-12-16 16:13:10,442 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 16:13:35,594 (trainer:737) INFO: 37epoch:train:12201-12300batch: iter_time=7.979e-05, forward_time=0.154, loss_ctc=66.826, loss_att=54.338, acc=0.731, loss=58.085, backward_time=0.303, grad_norm=73.364, clip=100.000, loss_scale=7.334e+31, optim_step_time=0.133, optim0_lr0=6.593e-05, train_time=1.599 +[gpua010:0/64] 2023-12-16 16:16:05,346 (trainer:737) INFO: 37epoch:train:12301-12400batch: iter_time=8.173e-05, forward_time=0.148, loss_ctc=59.303, loss_att=50.855, acc=0.735, loss=53.389, backward_time=0.293, grad_norm=74.859, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.593e-05, train_time=1.497 +[gpua010:0/64] 2023-12-16 16:19:04,581 (trainer:737) INFO: 37epoch:train:12401-12500batch: iter_time=8.033e-05, forward_time=0.148, loss_ctc=60.938, loss_att=46.518, acc=0.733, loss=50.844, backward_time=0.377, grad_norm=70.924, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.592e-05, train_time=1.792 +[gpua010:0/64] 2023-12-16 16:19:24,610 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua010:0/64] 2023-12-16 16:19:43,257 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 16:19:46,744 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 16:19:46,744 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua010:0/64] 2023-12-16 16:19:46,761 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 16:25:47,809 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 16:26:52,250 (trainer:737) INFO: 37epoch:train:12501-12600batch: iter_time=3.402, forward_time=0.182, loss_ctc=63.683, loss_att=53.070, acc=0.738, loss=56.254, backward_time=0.283, grad_norm=100.544, clip=100.000, loss_scale=2.971e+31, optim_step_time=0.134, optim0_lr0=6.591e-05, train_time=4.675 +[gpua010:0/64] 2023-12-16 16:29:23,400 (trainer:737) INFO: 37epoch:train:12601-12700batch: iter_time=8.106e-05, forward_time=0.147, loss_ctc=59.038, loss_att=44.388, acc=0.747, loss=48.783, backward_time=0.296, grad_norm=117.772, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.591e-05, train_time=1.512 +[gpua010:0/64] 2023-12-16 16:31:42,036 (trainer:737) INFO: 37epoch:train:12701-12800batch: iter_time=8.476e-05, forward_time=0.148, loss_ctc=63.700, loss_att=49.620, acc=0.729, loss=53.844, backward_time=0.285, grad_norm=96.733, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.590e-05, train_time=1.386 +[gpua010:0/64] 2023-12-16 16:34:32,493 (trainer:737) INFO: 37epoch:train:12801-12900batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=65.263, loss_att=53.548, acc=0.744, loss=57.063, backward_time=0.342, grad_norm=79.503, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.590e-05, train_time=1.704 +[gpua010:0/64] 2023-12-16 16:37:22,961 (trainer:737) INFO: 37epoch:train:12901-13000batch: iter_time=8.709e-05, forward_time=0.248, loss_ctc=68.908, loss_att=55.308, acc=0.733, loss=59.388, backward_time=0.333, grad_norm=83.919, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.589e-05, train_time=1.704 +[gpua010:0/64] 2023-12-16 16:39:58,017 (trainer:737) INFO: 37epoch:train:13001-13100batch: iter_time=8.592e-05, forward_time=0.161, loss_ctc=55.609, loss_att=41.911, acc=0.740, loss=46.020, backward_time=0.292, grad_norm=61.386, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.588e-05, train_time=1.550 +[gpua010:0/64] 2023-12-16 16:41:58,211 (trainer:737) INFO: 37epoch:train:13101-13200batch: iter_time=8.236e-05, forward_time=0.147, loss_ctc=73.681, loss_att=61.784, acc=0.720, loss=65.353, backward_time=0.278, grad_norm=83.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.588e-05, train_time=1.202 +[gpua010:0/64] 2023-12-16 16:44:29,031 (trainer:737) INFO: 37epoch:train:13201-13300batch: iter_time=8.978e-05, forward_time=0.147, loss_ctc=66.411, loss_att=53.087, acc=0.734, loss=57.084, backward_time=0.302, grad_norm=142.971, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.587e-05, train_time=1.508 +[gpua010:0/64] 2023-12-16 16:47:54,637 (trainer:737) INFO: 37epoch:train:13301-13400batch: iter_time=8.955e-05, forward_time=0.191, loss_ctc=62.050, loss_att=55.415, acc=0.713, loss=57.406, backward_time=0.356, grad_norm=99.447, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.587e-05, train_time=2.056 +[gpua010:0/64] 2023-12-16 16:50:50,474 (trainer:737) INFO: 37epoch:train:13401-13500batch: iter_time=8.700e-05, forward_time=0.188, loss_ctc=68.040, loss_att=50.719, acc=0.735, loss=55.916, backward_time=0.346, grad_norm=93.850, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.586e-05, train_time=1.758 +[gpua010:0/64] 2023-12-16 16:53:20,275 (trainer:737) INFO: 37epoch:train:13501-13600batch: iter_time=9.325e-05, forward_time=0.148, loss_ctc=56.331, loss_att=48.717, acc=0.728, loss=51.001, backward_time=0.295, grad_norm=81.192, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.585e-05, train_time=1.497 +[gpua010:0/64] 2023-12-16 16:56:08,413 (trainer:737) INFO: 37epoch:train:13601-13700batch: iter_time=9.111e-05, forward_time=0.148, loss_ctc=62.394, loss_att=49.711, acc=0.732, loss=53.516, backward_time=0.303, grad_norm=95.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.585e-05, train_time=1.682 +[gpua010:0/64] 2023-12-16 16:57:29,659 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua010:0/64] 2023-12-16 16:57:48,346 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 16:57:51,823 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 16:57:51,824 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua010:0/64] 2023-12-16 16:57:51,827 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 17:03:27,365 (trainer:737) INFO: 37epoch:train:13701-13800batch: iter_time=3.079, forward_time=0.191, loss_ctc=59.891, loss_att=45.912, acc=0.736, loss=50.106, backward_time=0.285, grad_norm=79.485, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.584e-05, train_time=4.389 +[gpua010:0/64] 2023-12-16 17:05:04,561 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 17:05:59,885 (trainer:737) INFO: 37epoch:train:13801-13900batch: iter_time=8.013e-05, forward_time=0.147, loss_ctc=61.763, loss_att=45.592, acc=0.759, loss=50.444, backward_time=0.338, grad_norm=72.843, clip=100.000, loss_scale=1.690e+31, optim_step_time=0.133, optim0_lr0=6.584e-05, train_time=1.525 +[gpua010:0/64] 2023-12-16 17:08:20,664 (trainer:737) INFO: 37epoch:train:13901-14000batch: iter_time=8.069e-05, forward_time=0.147, loss_ctc=62.355, loss_att=50.121, acc=0.730, loss=53.791, backward_time=0.284, grad_norm=168.153, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.583e-05, train_time=1.408 +[gpua010:0/64] 2023-12-16 17:10:51,009 (trainer:737) INFO: 37epoch:train:14001-14100batch: iter_time=8.192e-05, forward_time=0.147, loss_ctc=64.092, loss_att=45.471, acc=0.752, loss=51.058, backward_time=0.286, grad_norm=76.624, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.582e-05, train_time=1.503 +[gpua010:0/64] 2023-12-16 17:13:45,565 (trainer:737) INFO: 37epoch:train:14101-14200batch: iter_time=8.052e-05, forward_time=0.205, loss_ctc=64.523, loss_att=54.325, acc=0.727, loss=57.385, backward_time=0.316, grad_norm=105.903, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.582e-05, train_time=1.745 +[gpua010:0/64] 2023-12-16 17:16:32,965 (trainer:737) INFO: 37epoch:train:14201-14300batch: iter_time=8.021e-05, forward_time=0.148, loss_ctc=64.878, loss_att=53.118, acc=0.742, loss=56.646, backward_time=0.367, grad_norm=111.914, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.581e-05, train_time=1.673 +[gpua010:0/64] 2023-12-16 17:19:21,841 (trainer:737) INFO: 37epoch:train:14301-14400batch: iter_time=8.272e-05, forward_time=0.147, loss_ctc=64.470, loss_att=55.785, acc=0.717, loss=58.390, backward_time=0.306, grad_norm=83.368, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.581e-05, train_time=1.689 +[gpua010:0/64] 2023-12-16 17:21:52,979 (trainer:737) INFO: 37epoch:train:14401-14500batch: iter_time=8.003e-05, forward_time=0.147, loss_ctc=59.648, loss_att=44.250, acc=0.751, loss=48.869, backward_time=0.284, grad_norm=108.390, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.580e-05, train_time=1.511 +[gpua010:0/64] 2023-12-16 17:24:40,370 (trainer:737) INFO: 37epoch:train:14501-14600batch: iter_time=7.955e-05, forward_time=0.227, loss_ctc=73.531, loss_att=62.204, acc=0.708, loss=65.602, backward_time=0.318, grad_norm=132.137, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.579e-05, train_time=1.673 +[gpua010:0/64] 2023-12-16 17:27:07,986 (trainer:737) INFO: 37epoch:train:14601-14700batch: iter_time=8.314e-05, forward_time=0.168, loss_ctc=61.454, loss_att=49.354, acc=0.739, loss=52.984, backward_time=0.319, grad_norm=70.468, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.579e-05, train_time=1.476 +[gpua010:0/64] 2023-12-16 17:29:48,214 (trainer:737) INFO: 37epoch:train:14701-14800batch: iter_time=8.349e-05, forward_time=0.147, loss_ctc=66.865, loss_att=54.134, acc=0.725, loss=57.953, backward_time=0.297, grad_norm=89.576, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.578e-05, train_time=1.602 +[gpua010:0/64] 2023-12-16 17:32:19,052 (trainer:737) INFO: 37epoch:train:14801-14900batch: iter_time=8.445e-05, forward_time=0.147, loss_ctc=58.842, loss_att=48.517, acc=0.736, loss=51.614, backward_time=0.278, grad_norm=96.915, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.578e-05, train_time=1.509 +[gpua010:0/64] 2023-12-16 17:35:12,085 (trainer:737) INFO: 37epoch:train:14901-15000batch: iter_time=7.938e-05, forward_time=0.147, loss_ctc=61.078, loss_att=45.953, acc=0.729, loss=50.491, backward_time=0.300, grad_norm=99.373, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.577e-05, train_time=1.730 +[gpua010:0/64] 2023-12-16 18:01:48,122 (trainer:343) INFO: 37epoch results: [train] iter_time=0.273, forward_time=0.241, loss_ctc=64.232, loss_att=51.631, acc=0.733, loss=55.411, backward_time=0.339, grad_norm=78.385, clip=100.000, loss_scale=4.756e+31, optim_step_time=0.138, optim0_lr0=6.622e-05, train_time=2.016, time=8 hours, 24 minutes and 32.47 seconds, total_count=555000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=34.677, cer_ctc=0.180, loss_att=34.579, acc=0.742, cer=0.243, wer=0.935, loss=34.609, time=26 minutes and 11.81 seconds, total_count=172827, gpu_max_cached_mem_GB=36.826 +[gpua010:0/64] 2023-12-16 18:02:07,799 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua010:0/64] 2023-12-16 18:02:07,859 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/19epoch.pth +[gpua010:0/64] 2023-12-16 18:02:07,859 (trainer:272) INFO: 38/40epoch started. Estimated time to finish: 1 day, 1 hour and 28 minutes +[gpua010:0/64] 2023-12-16 18:02:07,872 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua010:0/64] 2023-12-16 18:02:25,920 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 18:02:29,349 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 18:02:29,349 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua010:0/64] 2023-12-16 18:02:29,352 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 18:08:55,691 (trainer:737) INFO: 38epoch:train:1-100batch: iter_time=2.670, forward_time=0.180, loss_ctc=68.913, loss_att=55.807, acc=0.726, loss=59.739, backward_time=0.285, grad_norm=93.973, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.576e-05, train_time=4.077 +[gpua010:0/64] 2023-12-16 18:10:58,067 (trainer:737) INFO: 38epoch:train:101-200batch: iter_time=8.381e-05, forward_time=0.148, loss_ctc=63.506, loss_att=46.578, acc=0.739, loss=51.656, backward_time=0.280, grad_norm=173.922, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.576e-05, train_time=1.224 +[gpua010:0/64] 2023-12-16 18:13:05,859 (trainer:737) INFO: 38epoch:train:201-300batch: iter_time=8.563e-05, forward_time=0.149, loss_ctc=71.548, loss_att=53.892, acc=0.717, loss=59.189, backward_time=0.282, grad_norm=124.857, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.575e-05, train_time=1.278 +[gpua010:0/64] 2023-12-16 18:15:18,473 (trainer:737) INFO: 38epoch:train:301-400batch: iter_time=8.751e-05, forward_time=0.148, loss_ctc=61.795, loss_att=47.457, acc=0.714, loss=51.758, backward_time=0.286, grad_norm=264.878, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.575e-05, train_time=1.326 +[gpua010:0/64] 2023-12-16 18:17:45,326 (trainer:737) INFO: 38epoch:train:401-500batch: iter_time=9.015e-05, forward_time=0.148, loss_ctc=65.372, loss_att=46.977, acc=0.759, loss=52.495, backward_time=0.313, grad_norm=88.065, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.574e-05, train_time=1.468 +[gpua010:0/64] 2023-12-16 18:19:58,362 (trainer:737) INFO: 38epoch:train:501-600batch: iter_time=8.745e-05, forward_time=0.148, loss_ctc=64.178, loss_att=49.280, acc=0.733, loss=53.749, backward_time=0.287, grad_norm=111.735, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.574e-05, train_time=1.330 +[gpua010:0/64] 2023-12-16 18:22:28,058 (trainer:737) INFO: 38epoch:train:601-700batch: iter_time=9.038e-05, forward_time=0.167, loss_ctc=61.133, loss_att=48.378, acc=0.728, loss=52.205, backward_time=0.322, grad_norm=99.774, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.573e-05, train_time=1.496 +[gpua010:0/64] 2023-12-16 18:25:14,913 (trainer:737) INFO: 38epoch:train:701-800batch: iter_time=8.810e-05, forward_time=0.221, loss_ctc=65.916, loss_att=54.187, acc=0.720, loss=57.706, backward_time=0.331, grad_norm=74.609, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.572e-05, train_time=1.669 +[gpua010:0/64] 2023-12-16 18:28:02,274 (trainer:737) INFO: 38epoch:train:801-900batch: iter_time=9.144e-05, forward_time=0.149, loss_ctc=63.425, loss_att=46.546, acc=0.745, loss=51.610, backward_time=0.335, grad_norm=117.303, clip=100.000, loss_scale=1.349e+31, optim_step_time=0.134, optim0_lr0=6.572e-05, train_time=1.673 +[gpua010:0/64] 2023-12-16 18:30:41,915 (trainer:737) INFO: 38epoch:train:901-1000batch: iter_time=9.742e-05, forward_time=0.150, loss_ctc=64.964, loss_att=53.944, acc=0.707, loss=57.250, backward_time=0.299, grad_norm=103.207, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.571e-05, train_time=1.596 +[gpua010:0/64] 2023-12-16 18:33:04,392 (trainer:737) INFO: 38epoch:train:1001-1100batch: iter_time=9.442e-05, forward_time=0.149, loss_ctc=68.222, loss_att=55.562, acc=0.727, loss=59.360, backward_time=0.300, grad_norm=72.308, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.571e-05, train_time=1.425 +[gpua010:0/64] 2023-12-16 18:35:18,203 (trainer:737) INFO: 38epoch:train:1101-1200batch: iter_time=8.835e-05, forward_time=0.148, loss_ctc=69.467, loss_att=55.171, acc=0.712, loss=59.460, backward_time=0.279, grad_norm=122.676, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.570e-05, train_time=1.338 +[gpua010:0/64] 2023-12-16 18:37:03,544 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua010:0/64] 2023-12-16 18:37:22,171 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 18:37:25,596 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 18:37:25,596 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua010:0/64] 2023-12-16 18:37:25,599 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 18:43:58,811 (trainer:737) INFO: 38epoch:train:1201-1300batch: iter_time=2.455, forward_time=0.184, loss_ctc=78.447, loss_att=59.259, acc=0.719, loss=65.016, backward_time=0.296, grad_norm=99.303, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.569e-05, train_time=5.205 +[gpua010:0/64] 2023-12-16 18:46:05,196 (trainer:737) INFO: 38epoch:train:1301-1400batch: iter_time=7.787e-05, forward_time=0.149, loss_ctc=61.172, loss_att=46.563, acc=0.747, loss=50.946, backward_time=0.282, grad_norm=90.791, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.569e-05, train_time=1.264 +[gpua010:0/64] 2023-12-16 18:48:19,933 (trainer:737) INFO: 38epoch:train:1401-1500batch: iter_time=7.911e-05, forward_time=0.147, loss_ctc=64.679, loss_att=50.235, acc=0.724, loss=54.568, backward_time=0.288, grad_norm=91.366, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.568e-05, train_time=1.347 +[gpua010:0/64] 2023-12-16 18:50:30,746 (trainer:737) INFO: 38epoch:train:1501-1600batch: iter_time=8.154e-05, forward_time=0.150, loss_ctc=69.759, loss_att=52.246, acc=0.717, loss=57.500, backward_time=0.279, grad_norm=106.057, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.568e-05, train_time=1.308 +[gpua010:0/64] 2023-12-16 18:53:09,777 (trainer:737) INFO: 38epoch:train:1601-1700batch: iter_time=8.566e-05, forward_time=0.147, loss_ctc=60.150, loss_att=41.875, acc=0.750, loss=47.358, backward_time=0.294, grad_norm=107.004, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.567e-05, train_time=1.590 +[gpua010:0/64] 2023-12-16 18:55:27,305 (trainer:737) INFO: 38epoch:train:1701-1800batch: iter_time=8.594e-05, forward_time=0.147, loss_ctc=62.698, loss_att=49.457, acc=0.745, loss=53.430, backward_time=0.284, grad_norm=146.231, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.566e-05, train_time=1.375 +[gpua010:0/64] 2023-12-16 18:58:18,728 (trainer:737) INFO: 38epoch:train:1801-1900batch: iter_time=8.680e-05, forward_time=0.147, loss_ctc=65.123, loss_att=49.981, acc=0.734, loss=54.524, backward_time=0.288, grad_norm=86.988, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.566e-05, train_time=1.714 +[gpua010:0/64] 2023-12-16 19:00:46,046 (trainer:737) INFO: 38epoch:train:1901-2000batch: iter_time=4.189e-04, forward_time=0.234, loss_ctc=60.030, loss_att=48.108, acc=0.736, loss=51.685, backward_time=0.313, grad_norm=108.713, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.565e-05, train_time=1.472 +[gpua010:0/64] 2023-12-16 19:02:59,969 (trainer:737) INFO: 38epoch:train:2001-2100batch: iter_time=8.126e-05, forward_time=0.148, loss_ctc=63.933, loss_att=47.520, acc=0.738, loss=52.444, backward_time=0.279, grad_norm=123.138, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.565e-05, train_time=1.340 +[gpua010:0/64] 2023-12-16 19:05:47,119 (trainer:737) INFO: 38epoch:train:2101-2200batch: iter_time=8.833e-05, forward_time=0.170, loss_ctc=65.863, loss_att=53.594, acc=0.723, loss=57.274, backward_time=0.301, grad_norm=94.384, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.564e-05, train_time=1.671 +[gpua010:0/64] 2023-12-16 19:08:46,053 (trainer:737) INFO: 38epoch:train:2201-2300batch: iter_time=4.593e-04, forward_time=0.264, loss_ctc=65.159, loss_att=54.498, acc=0.723, loss=57.696, backward_time=0.324, grad_norm=87.106, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.563e-05, train_time=1.788 +[gpua010:0/64] 2023-12-16 19:10:56,714 (trainer:737) INFO: 38epoch:train:2301-2400batch: iter_time=7.982e-05, forward_time=0.148, loss_ctc=62.037, loss_att=46.821, acc=0.735, loss=51.386, backward_time=0.279, grad_norm=92.169, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.563e-05, train_time=1.308 +[gpua010:0/64] 2023-12-16 19:13:01,024 (trainer:737) INFO: 38epoch:train:2401-2500batch: iter_time=7.859e-05, forward_time=0.148, loss_ctc=78.180, loss_att=61.482, acc=0.714, loss=66.491, backward_time=0.280, grad_norm=102.786, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.562e-05, train_time=1.243 +[gpua010:0/64] 2023-12-16 19:13:21,052 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua010:0/64] 2023-12-16 19:13:39,253 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 19:13:42,630 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 19:13:42,630 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua010:0/64] 2023-12-16 19:13:42,690 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 19:19:20,745 (trainer:737) INFO: 38epoch:train:2501-2600batch: iter_time=2.365, forward_time=0.181, loss_ctc=67.762, loss_att=57.623, acc=0.733, loss=60.664, backward_time=0.288, grad_norm=75.952, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.562e-05, train_time=3.797 +[gpua010:0/64] 2023-12-16 19:21:24,757 (trainer:737) INFO: 38epoch:train:2601-2700batch: iter_time=8.136e-05, forward_time=0.148, loss_ctc=62.856, loss_att=47.390, acc=0.748, loss=52.030, backward_time=0.280, grad_norm=64.116, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.561e-05, train_time=1.240 +[gpua010:0/64] 2023-12-16 19:23:58,916 (trainer:737) INFO: 38epoch:train:2701-2800batch: iter_time=8.027e-05, forward_time=0.148, loss_ctc=70.562, loss_att=55.265, acc=0.734, loss=59.854, backward_time=0.330, grad_norm=65.112, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.561e-05, train_time=1.541 +[gpua010:0/64] 2023-12-16 19:26:05,856 (trainer:737) INFO: 38epoch:train:2801-2900batch: iter_time=8.777e-05, forward_time=0.148, loss_ctc=60.744, loss_att=47.818, acc=0.720, loss=51.696, backward_time=0.283, grad_norm=71.747, clip=100.000, loss_scale=2.698e+31, optim_step_time=0.133, optim0_lr0=6.560e-05, train_time=1.269 +[gpua010:0/64] 2023-12-16 19:28:38,498 (trainer:737) INFO: 38epoch:train:2901-3000batch: iter_time=8.913e-05, forward_time=0.147, loss_ctc=63.463, loss_att=45.839, acc=0.769, loss=51.126, backward_time=0.310, grad_norm=58.317, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.559e-05, train_time=1.526 +[gpua010:0/64] 2023-12-16 19:31:05,574 (trainer:737) INFO: 38epoch:train:3001-3100batch: iter_time=9.013e-05, forward_time=0.148, loss_ctc=63.029, loss_att=47.568, acc=0.745, loss=52.206, backward_time=0.293, grad_norm=64.990, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.559e-05, train_time=1.471 +[gpua010:0/64] 2023-12-16 19:33:50,237 (trainer:737) INFO: 38epoch:train:3101-3200batch: iter_time=8.518e-05, forward_time=0.155, loss_ctc=59.260, loss_att=48.641, acc=0.740, loss=51.827, backward_time=0.295, grad_norm=81.353, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.558e-05, train_time=1.646 +[gpua010:0/64] 2023-12-16 19:36:33,369 (trainer:737) INFO: 38epoch:train:3201-3300batch: iter_time=8.614e-05, forward_time=0.209, loss_ctc=65.052, loss_att=54.322, acc=0.730, loss=57.541, backward_time=0.297, grad_norm=64.888, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.146, optim0_lr0=6.558e-05, train_time=1.631 +[gpua010:0/64] 2023-12-16 19:38:50,985 (trainer:737) INFO: 38epoch:train:3301-3400batch: iter_time=8.741e-05, forward_time=0.147, loss_ctc=61.719, loss_att=46.250, acc=0.757, loss=50.890, backward_time=0.290, grad_norm=65.924, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.557e-05, train_time=1.376 +[gpua010:0/64] 2023-12-16 19:41:45,439 (trainer:737) INFO: 38epoch:train:3401-3500batch: iter_time=8.588e-05, forward_time=0.148, loss_ctc=64.105, loss_att=53.937, acc=0.720, loss=56.987, backward_time=0.322, grad_norm=74.758, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.556e-05, train_time=1.744 +[gpua010:0/64] 2023-12-16 19:44:25,026 (trainer:737) INFO: 38epoch:train:3501-3600batch: iter_time=8.912e-05, forward_time=0.149, loss_ctc=66.440, loss_att=55.681, acc=0.740, loss=58.908, backward_time=0.286, grad_norm=62.509, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.556e-05, train_time=1.596 +[gpua010:0/64] 2023-12-16 19:47:00,873 (trainer:737) INFO: 38epoch:train:3601-3700batch: iter_time=9.044e-05, forward_time=0.148, loss_ctc=68.235, loss_att=55.267, acc=0.724, loss=59.157, backward_time=0.286, grad_norm=73.389, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.555e-05, train_time=1.558 +[gpua010:0/64] 2023-12-16 19:48:38,857 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua010:0/64] 2023-12-16 19:48:57,297 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 19:49:00,741 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 19:49:00,741 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua010:0/64] 2023-12-16 19:49:00,753 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 19:58:08,941 (trainer:737) INFO: 38epoch:train:3701-3800batch: iter_time=5.259, forward_time=0.180, loss_ctc=76.781, loss_att=58.598, acc=0.732, loss=64.053, backward_time=0.288, grad_norm=73.410, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.555e-05, train_time=6.680 +[gpua010:0/64] 2023-12-16 20:00:24,201 (trainer:737) INFO: 38epoch:train:3801-3900batch: iter_time=8.351e-05, forward_time=0.148, loss_ctc=61.042, loss_att=47.138, acc=0.752, loss=51.309, backward_time=0.281, grad_norm=63.097, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.554e-05, train_time=1.352 +[gpua010:0/64] 2023-12-16 20:02:46,862 (trainer:737) INFO: 38epoch:train:3901-4000batch: iter_time=8.179e-05, forward_time=0.269, loss_ctc=64.247, loss_att=52.866, acc=0.736, loss=56.280, backward_time=0.315, grad_norm=61.441, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=6.553e-05, train_time=1.426 +[gpua010:0/64] 2023-12-16 20:05:09,175 (trainer:737) INFO: 38epoch:train:4001-4100batch: iter_time=8.516e-05, forward_time=0.159, loss_ctc=69.262, loss_att=52.001, acc=0.730, loss=57.179, backward_time=0.283, grad_norm=83.466, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.553e-05, train_time=1.423 +[gpua010:0/64] 2023-12-16 20:08:04,565 (trainer:737) INFO: 38epoch:train:4101-4200batch: iter_time=0.003, forward_time=0.257, loss_ctc=59.364, loss_att=41.585, acc=0.754, loss=46.919, backward_time=0.317, grad_norm=62.346, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.552e-05, train_time=1.754 +[gpua010:0/64] 2023-12-16 20:11:15,139 (trainer:737) INFO: 38epoch:train:4201-4300batch: iter_time=8.629e-05, forward_time=0.256, loss_ctc=62.178, loss_att=47.985, acc=0.757, loss=52.242, backward_time=0.351, grad_norm=57.952, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.552e-05, train_time=1.905 +[gpua010:0/64] 2023-12-16 20:13:41,169 (trainer:737) INFO: 38epoch:train:4301-4400batch: iter_time=8.475e-05, forward_time=0.149, loss_ctc=63.382, loss_att=48.659, acc=0.746, loss=53.076, backward_time=0.291, grad_norm=82.892, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.551e-05, train_time=1.460 +[gpua010:0/64] 2023-12-16 20:16:19,990 (trainer:737) INFO: 38epoch:train:4401-4500batch: iter_time=8.359e-05, forward_time=0.245, loss_ctc=58.790, loss_att=49.396, acc=0.738, loss=52.214, backward_time=0.300, grad_norm=58.653, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.551e-05, train_time=1.588 +[gpua010:0/64] 2023-12-16 20:18:55,068 (trainer:737) INFO: 38epoch:train:4501-4600batch: iter_time=8.937e-05, forward_time=0.254, loss_ctc=63.405, loss_att=47.373, acc=0.750, loss=52.183, backward_time=0.316, grad_norm=77.329, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.550e-05, train_time=1.551 +[gpua010:0/64] 2023-12-16 20:21:13,060 (trainer:737) INFO: 38epoch:train:4601-4700batch: iter_time=8.251e-05, forward_time=0.162, loss_ctc=64.463, loss_att=53.984, acc=0.735, loss=57.128, backward_time=0.310, grad_norm=66.710, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.549e-05, train_time=1.380 +[gpua010:0/64] 2023-12-16 20:24:16,330 (trainer:737) INFO: 38epoch:train:4701-4800batch: iter_time=8.301e-05, forward_time=0.262, loss_ctc=64.972, loss_att=54.855, acc=0.731, loss=57.890, backward_time=0.316, grad_norm=64.570, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.549e-05, train_time=1.833 +[gpua010:0/64] 2023-12-16 20:26:49,112 (trainer:737) INFO: 38epoch:train:4801-4900batch: iter_time=8.960e-05, forward_time=0.247, loss_ctc=61.661, loss_att=47.024, acc=0.749, loss=51.415, backward_time=0.329, grad_norm=58.275, clip=100.000, loss_scale=5.395e+31, optim_step_time=0.141, optim0_lr0=6.548e-05, train_time=1.528 +[gpua010:0/64] 2023-12-16 20:29:03,005 (trainer:737) INFO: 38epoch:train:4901-5000batch: iter_time=8.656e-05, forward_time=0.154, loss_ctc=76.752, loss_att=61.203, acc=0.718, loss=65.868, backward_time=0.280, grad_norm=88.113, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.548e-05, train_time=1.339 +[gpua010:0/64] 2023-12-16 20:29:23,191 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua010:0/64] 2023-12-16 20:29:41,524 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 20:29:44,956 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 20:29:44,956 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua010:0/64] 2023-12-16 20:29:44,962 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua010:0/64] 2023-12-16 20:41:04,968 (trainer:737) INFO: 38epoch:train:5001-5100batch: iter_time=5.694, forward_time=0.200, loss_ctc=67.217, loss_att=55.339, acc=0.734, loss=58.903, backward_time=0.290, grad_norm=68.699, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.547e-05, train_time=7.218 +[gpua010:0/64] 2023-12-16 20:43:35,294 (trainer:737) INFO: 38epoch:train:5101-5200batch: iter_time=8.145e-04, forward_time=0.277, loss_ctc=62.175, loss_att=45.602, acc=0.750, loss=50.574, backward_time=0.327, grad_norm=61.179, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.149, optim0_lr0=6.546e-05, train_time=1.504 +[gpua010:0/64] 2023-12-16 20:46:12,885 (trainer:737) INFO: 38epoch:train:5201-5300batch: iter_time=8.382e-05, forward_time=0.187, loss_ctc=70.764, loss_att=53.344, acc=0.724, loss=58.570, backward_time=0.298, grad_norm=65.758, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.546e-05, train_time=1.575 +[gpua010:0/64] 2023-12-16 20:49:01,108 (trainer:737) INFO: 38epoch:train:5301-5400batch: iter_time=9.143e-05, forward_time=0.305, loss_ctc=60.269, loss_att=46.131, acc=0.723, loss=50.372, backward_time=0.337, grad_norm=66.140, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.545e-05, train_time=1.683 +[gpua010:0/64] 2023-12-16 20:51:40,952 (trainer:737) INFO: 38epoch:train:5401-5500batch: iter_time=4.012e-04, forward_time=0.281, loss_ctc=63.214, loss_att=45.357, acc=0.768, loss=50.714, backward_time=0.341, grad_norm=61.642, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=6.545e-05, train_time=1.598 +[gpua010:0/64] 2023-12-16 20:54:06,269 (trainer:737) INFO: 38epoch:train:5501-5600batch: iter_time=8.825e-05, forward_time=0.148, loss_ctc=62.646, loss_att=47.624, acc=0.743, loss=52.131, backward_time=0.280, grad_norm=68.672, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.544e-05, train_time=1.454 +[gpua010:0/64] 2023-12-16 20:57:37,849 (trainer:737) INFO: 38epoch:train:5601-5700batch: iter_time=7.971e-04, forward_time=0.284, loss_ctc=58.576, loss_att=46.464, acc=0.738, loss=50.098, backward_time=0.356, grad_norm=81.847, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.153, optim0_lr0=6.544e-05, train_time=2.115 +[gpua010:0/64] 2023-12-16 21:00:13,661 (trainer:737) INFO: 38epoch:train:5701-5800batch: iter_time=8.258e-05, forward_time=0.148, loss_ctc=64.947, loss_att=53.246, acc=0.728, loss=56.756, backward_time=0.281, grad_norm=69.736, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.543e-05, train_time=1.558 +[gpua010:0/64] 2023-12-16 21:03:23,104 (trainer:737) INFO: 38epoch:train:5801-5900batch: iter_time=8.835e-04, forward_time=0.272, loss_ctc=61.741, loss_att=45.785, acc=0.752, loss=50.572, backward_time=0.365, grad_norm=61.222, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.542e-05, train_time=1.893 +[gpua010:0/64] 2023-12-16 21:06:08,016 (trainer:737) INFO: 38epoch:train:5901-6000batch: iter_time=1.735e-04, forward_time=0.272, loss_ctc=63.287, loss_att=52.940, acc=0.716, loss=56.044, backward_time=0.339, grad_norm=70.615, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.542e-05, train_time=1.650 +[gpua010:0/64] 2023-12-16 21:08:47,026 (trainer:737) INFO: 38epoch:train:6001-6100batch: iter_time=8.385e-05, forward_time=0.149, loss_ctc=65.405, loss_att=53.968, acc=0.735, loss=57.399, backward_time=0.303, grad_norm=69.175, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.541e-05, train_time=1.589 +[gpua010:0/64] 2023-12-16 21:12:00,236 (trainer:737) INFO: 38epoch:train:6101-6200batch: iter_time=5.077e-04, forward_time=0.250, loss_ctc=67.458, loss_att=53.886, acc=0.719, loss=57.958, backward_time=0.389, grad_norm=80.032, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.541e-05, train_time=1.933 +[gpua010:0/64] 2023-12-16 21:13:23,343 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua010:0/64] 2023-12-16 21:13:41,851 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 21:13:45,332 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 21:13:45,332 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua010:0/64] 2023-12-16 21:13:45,429 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 21:19:30,866 (trainer:737) INFO: 38epoch:train:6201-6300batch: iter_time=3.086, forward_time=0.185, loss_ctc=76.919, loss_att=58.793, acc=0.732, loss=64.231, backward_time=0.287, grad_norm=73.762, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.540e-05, train_time=4.506 +[gpua010:0/64] 2023-12-16 21:21:58,463 (trainer:737) INFO: 38epoch:train:6301-6400batch: iter_time=7.723e-05, forward_time=0.151, loss_ctc=60.416, loss_att=47.047, acc=0.754, loss=51.058, backward_time=0.284, grad_norm=62.816, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.539e-05, train_time=1.476 +[gpua010:0/64] 2023-12-16 21:24:03,732 (trainer:737) INFO: 38epoch:train:6401-6500batch: iter_time=7.686e-05, forward_time=0.173, loss_ctc=63.596, loss_att=52.611, acc=0.737, loss=55.907, backward_time=0.291, grad_norm=62.851, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.539e-05, train_time=1.252 +[gpua010:0/64] 2023-12-16 21:26:28,407 (trainer:737) INFO: 38epoch:train:6501-6600batch: iter_time=7.718e-05, forward_time=0.220, loss_ctc=68.582, loss_att=51.728, acc=0.731, loss=56.784, backward_time=0.307, grad_norm=67.901, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.538e-05, train_time=1.447 +[gpua010:0/64] 2023-12-16 21:29:05,435 (trainer:737) INFO: 38epoch:train:6601-6700batch: iter_time=8.013e-05, forward_time=0.158, loss_ctc=58.922, loss_att=41.337, acc=0.755, loss=46.612, backward_time=0.310, grad_norm=65.900, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.538e-05, train_time=1.570 +[gpua010:0/64] 2023-12-16 21:31:31,068 (trainer:737) INFO: 38epoch:train:6701-6800batch: iter_time=8.268e-05, forward_time=0.254, loss_ctc=61.950, loss_att=47.924, acc=0.759, loss=52.132, backward_time=0.303, grad_norm=60.623, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=6.537e-05, train_time=1.456 +[gpua010:0/64] 2023-12-16 21:32:57,473 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 21:34:21,978 (trainer:737) INFO: 38epoch:train:6801-6900batch: iter_time=8.627e-05, forward_time=0.150, loss_ctc=63.044, loss_att=48.343, acc=0.748, loss=52.753, backward_time=0.289, grad_norm=78.246, clip=100.000, loss_scale=5.777e+31, optim_step_time=0.133, optim0_lr0=6.537e-05, train_time=1.709 +[gpua010:0/64] 2023-12-16 21:36:51,597 (trainer:737) INFO: 38epoch:train:6901-7000batch: iter_time=8.182e-05, forward_time=0.166, loss_ctc=59.151, loss_att=49.474, acc=0.739, loss=52.377, backward_time=0.305, grad_norm=68.683, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.536e-05, train_time=1.496 +[gpua010:0/64] 2023-12-16 21:39:37,085 (trainer:737) INFO: 38epoch:train:7001-7100batch: iter_time=8.279e-05, forward_time=0.234, loss_ctc=63.082, loss_att=47.182, acc=0.751, loss=51.952, backward_time=0.329, grad_norm=66.147, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.535e-05, train_time=1.655 +[gpua010:0/64] 2023-12-16 21:42:01,888 (trainer:737) INFO: 38epoch:train:7101-7200batch: iter_time=8.267e-05, forward_time=0.149, loss_ctc=64.507, loss_att=53.908, acc=0.736, loss=57.088, backward_time=0.317, grad_norm=70.118, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.535e-05, train_time=1.448 +[gpua010:0/64] 2023-12-16 21:45:03,616 (trainer:737) INFO: 38epoch:train:7201-7300batch: iter_time=5.433e-04, forward_time=0.238, loss_ctc=65.021, loss_att=55.055, acc=0.732, loss=58.045, backward_time=0.315, grad_norm=65.689, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.534e-05, train_time=1.815 +[gpua010:0/64] 2023-12-16 21:47:34,691 (trainer:737) INFO: 38epoch:train:7301-7400batch: iter_time=8.204e-05, forward_time=0.156, loss_ctc=60.991, loss_att=46.400, acc=0.751, loss=50.777, backward_time=0.298, grad_norm=60.509, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.534e-05, train_time=1.512 +[gpua010:0/64] 2023-12-16 21:49:56,608 (trainer:737) INFO: 38epoch:train:7401-7500batch: iter_time=7.933e-05, forward_time=0.164, loss_ctc=77.381, loss_att=61.945, acc=0.719, loss=66.576, backward_time=0.309, grad_norm=82.038, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.533e-05, train_time=1.420 +[gpua010:0/64] 2023-12-16 21:50:16,846 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua010:0/64] 2023-12-16 21:50:34,956 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 21:50:38,427 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 21:50:38,427 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua010:0/64] 2023-12-16 21:50:38,430 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 21:57:30,339 (trainer:737) INFO: 38epoch:train:7501-7600batch: iter_time=3.119, forward_time=0.179, loss_ctc=66.068, loss_att=54.139, acc=0.744, loss=57.717, backward_time=0.300, grad_norm=81.034, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.532e-05, train_time=4.537 +[gpua010:0/64] 2023-12-16 21:59:36,879 (trainer:737) INFO: 38epoch:train:7601-7700batch: iter_time=7.899e-05, forward_time=0.160, loss_ctc=61.776, loss_att=46.487, acc=0.754, loss=51.074, backward_time=0.283, grad_norm=73.345, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.532e-05, train_time=1.265 +[gpua010:0/64] 2023-12-16 22:01:49,247 (trainer:737) INFO: 38epoch:train:7701-7800batch: iter_time=8.304e-05, forward_time=0.151, loss_ctc=70.354, loss_att=53.654, acc=0.741, loss=58.664, backward_time=0.290, grad_norm=70.892, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.531e-05, train_time=1.323 +[gpua010:0/64] 2023-12-16 22:04:23,534 (trainer:737) INFO: 38epoch:train:7801-7900batch: iter_time=8.649e-05, forward_time=0.186, loss_ctc=59.485, loss_att=46.227, acc=0.727, loss=50.204, backward_time=0.292, grad_norm=76.526, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.531e-05, train_time=1.541 +[gpua010:0/64] 2023-12-16 22:07:14,081 (trainer:737) INFO: 38epoch:train:7901-8000batch: iter_time=8.606e-05, forward_time=0.189, loss_ctc=62.718, loss_att=45.247, acc=0.772, loss=50.488, backward_time=0.323, grad_norm=69.576, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.530e-05, train_time=1.707 +[gpua010:0/64] 2023-12-16 22:09:53,071 (trainer:737) INFO: 38epoch:train:8001-8100batch: iter_time=8.787e-05, forward_time=0.152, loss_ctc=62.361, loss_att=47.085, acc=0.749, loss=51.668, backward_time=0.307, grad_norm=75.407, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.530e-05, train_time=1.590 +[gpua010:0/64] 2023-12-16 22:12:40,849 (trainer:737) INFO: 38epoch:train:8101-8200batch: iter_time=8.357e-05, forward_time=0.151, loss_ctc=58.315, loss_att=46.804, acc=0.744, loss=50.257, backward_time=0.334, grad_norm=80.500, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.529e-05, train_time=1.678 +[gpua010:0/64] 2023-12-16 22:15:11,985 (trainer:737) INFO: 38epoch:train:8201-8300batch: iter_time=8.220e-04, forward_time=0.188, loss_ctc=64.746, loss_att=53.550, acc=0.736, loss=56.909, backward_time=0.287, grad_norm=71.349, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.528e-05, train_time=1.510 +[gpua010:0/64] 2023-12-16 22:17:38,493 (trainer:737) INFO: 38epoch:train:8301-8400batch: iter_time=8.482e-05, forward_time=0.205, loss_ctc=62.044, loss_att=46.353, acc=0.760, loss=51.061, backward_time=0.307, grad_norm=110.535, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.528e-05, train_time=1.466 +[gpua010:0/64] 2023-12-16 22:20:37,563 (trainer:737) INFO: 38epoch:train:8401-8500batch: iter_time=8.472e-05, forward_time=0.157, loss_ctc=63.139, loss_att=53.069, acc=0.725, loss=56.090, backward_time=0.351, grad_norm=89.421, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.527e-05, train_time=1.790 +[gpua010:0/64] 2023-12-16 22:23:00,481 (trainer:737) INFO: 38epoch:train:8501-8600batch: iter_time=8.585e-05, forward_time=0.152, loss_ctc=66.404, loss_att=55.061, acc=0.742, loss=58.464, backward_time=0.295, grad_norm=82.484, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.527e-05, train_time=1.429 +[gpua010:0/64] 2023-12-16 22:25:45,369 (trainer:737) INFO: 38epoch:train:8601-8700batch: iter_time=8.330e-05, forward_time=0.170, loss_ctc=67.475, loss_att=54.437, acc=0.728, loss=58.348, backward_time=0.342, grad_norm=116.797, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.526e-05, train_time=1.647 +[gpua010:0/64] 2023-12-16 22:27:33,900 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua010:0/64] 2023-12-16 22:27:52,304 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 22:27:55,747 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 22:27:55,748 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua010:0/64] 2023-12-16 22:27:55,792 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 22:33:34,412 (trainer:737) INFO: 38epoch:train:8701-8800batch: iter_time=3.142, forward_time=0.188, loss_ctc=75.665, loss_att=58.351, acc=0.728, loss=63.545, backward_time=0.297, grad_norm=90.916, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.526e-05, train_time=4.692 +[gpua010:0/64] 2023-12-16 22:35:36,511 (trainer:737) INFO: 38epoch:train:8801-8900batch: iter_time=7.819e-05, forward_time=0.148, loss_ctc=60.278, loss_att=47.177, acc=0.751, loss=51.107, backward_time=0.280, grad_norm=92.476, clip=100.000, loss_scale=6.369e+31, optim_step_time=0.134, optim0_lr0=6.525e-05, train_time=1.221 +[gpua010:0/64] 2023-12-16 22:37:32,550 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-16 22:38:26,715 (trainer:737) INFO: 38epoch:train:8901-9000batch: iter_time=7.991e-05, forward_time=0.148, loss_ctc=63.436, loss_att=50.192, acc=0.731, loss=54.165, backward_time=0.322, grad_norm=83.826, clip=100.000, loss_scale=7.048e+31, optim_step_time=0.134, optim0_lr0=6.524e-05, train_time=1.702 +[gpua010:0/64] 2023-12-16 22:40:57,546 (trainer:737) INFO: 38epoch:train:9001-9100batch: iter_time=9.163e-05, forward_time=0.155, loss_ctc=67.822, loss_att=51.454, acc=0.723, loss=56.365, backward_time=0.323, grad_norm=98.631, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.524e-05, train_time=1.508 +[gpua010:0/64] 2023-12-16 22:43:43,251 (trainer:737) INFO: 38epoch:train:9101-9200batch: iter_time=8.954e-05, forward_time=0.190, loss_ctc=58.877, loss_att=41.065, acc=0.755, loss=46.409, backward_time=0.313, grad_norm=89.076, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.523e-05, train_time=1.655 +[gpua010:0/64] 2023-12-16 22:46:17,998 (trainer:737) INFO: 38epoch:train:9201-9300batch: iter_time=8.853e-05, forward_time=0.166, loss_ctc=61.302, loss_att=48.153, acc=0.753, loss=52.098, backward_time=0.323, grad_norm=111.710, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.523e-05, train_time=1.549 +[gpua010:0/64] 2023-12-16 22:48:56,599 (trainer:737) INFO: 38epoch:train:9301-9400batch: iter_time=9.147e-05, forward_time=0.153, loss_ctc=62.886, loss_att=48.106, acc=0.744, loss=52.540, backward_time=0.317, grad_norm=82.831, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.522e-05, train_time=1.586 +[gpua010:0/64] 2023-12-16 22:51:28,451 (trainer:737) INFO: 38epoch:train:9401-9500batch: iter_time=8.556e-05, forward_time=0.150, loss_ctc=58.707, loss_att=47.648, acc=0.739, loss=50.966, backward_time=0.304, grad_norm=61.954, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.521e-05, train_time=1.518 +[gpua010:0/64] 2023-12-16 22:54:26,555 (trainer:737) INFO: 38epoch:train:9501-9600batch: iter_time=9.292e-05, forward_time=0.147, loss_ctc=63.167, loss_att=46.776, acc=0.746, loss=51.693, backward_time=0.357, grad_norm=61.147, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.521e-05, train_time=1.781 +[gpua010:0/64] 2023-12-16 22:57:01,393 (trainer:737) INFO: 38epoch:train:9601-9700batch: iter_time=8.676e-05, forward_time=0.168, loss_ctc=64.274, loss_att=52.839, acc=0.729, loss=56.270, backward_time=0.330, grad_norm=84.075, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.520e-05, train_time=1.548 +[gpua010:0/64] 2023-12-16 23:00:00,308 (trainer:737) INFO: 38epoch:train:9701-9800batch: iter_time=1.014e-04, forward_time=0.172, loss_ctc=64.433, loss_att=54.167, acc=0.728, loss=57.247, backward_time=0.312, grad_norm=69.266, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.520e-05, train_time=1.787 +[gpua010:0/64] 2023-12-16 23:02:20,243 (trainer:737) INFO: 38epoch:train:9801-9900batch: iter_time=8.560e-05, forward_time=0.188, loss_ctc=61.064, loss_att=46.324, acc=0.738, loss=50.746, backward_time=0.290, grad_norm=61.289, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.519e-05, train_time=1.401 +[gpua010:0/64] 2023-12-16 23:04:59,137 (trainer:737) INFO: 38epoch:train:9901-10000batch: iter_time=8.551e-05, forward_time=0.159, loss_ctc=76.508, loss_att=60.856, acc=0.716, loss=65.552, backward_time=0.293, grad_norm=79.262, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.519e-05, train_time=1.588 +[gpua010:0/64] 2023-12-16 23:05:19,183 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua010:0/64] 2023-12-16 23:05:37,431 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 23:05:40,855 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 23:05:40,855 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua010:0/64] 2023-12-16 23:05:40,862 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 23:12:22,590 (trainer:737) INFO: 38epoch:train:10001-10100batch: iter_time=3.136, forward_time=0.183, loss_ctc=66.535, loss_att=55.193, acc=0.743, loss=58.596, backward_time=0.282, grad_norm=69.406, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.518e-05, train_time=4.435 +[gpua010:0/64] 2023-12-16 23:15:16,236 (trainer:737) INFO: 38epoch:train:10101-10200batch: iter_time=7.794e-05, forward_time=0.148, loss_ctc=61.926, loss_att=46.362, acc=0.754, loss=51.031, backward_time=0.337, grad_norm=59.890, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.517e-05, train_time=1.736 +[gpua010:0/64] 2023-12-16 23:17:36,735 (trainer:737) INFO: 38epoch:train:10201-10300batch: iter_time=7.938e-05, forward_time=0.275, loss_ctc=69.746, loss_att=53.911, acc=0.741, loss=58.661, backward_time=0.311, grad_norm=62.256, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.153, optim0_lr0=6.517e-05, train_time=1.405 +[gpua010:0/64] 2023-12-16 23:19:45,503 (trainer:737) INFO: 38epoch:train:10301-10400batch: iter_time=7.893e-05, forward_time=0.149, loss_ctc=59.779, loss_att=46.277, acc=0.730, loss=50.327, backward_time=0.279, grad_norm=65.085, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.516e-05, train_time=1.287 +[gpua010:0/64] 2023-12-16 23:22:20,820 (trainer:737) INFO: 38epoch:train:10401-10500batch: iter_time=7.818e-05, forward_time=0.148, loss_ctc=62.713, loss_att=44.882, acc=0.773, loss=50.231, backward_time=0.287, grad_norm=64.911, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.516e-05, train_time=1.553 +[gpua010:0/64] 2023-12-16 23:25:17,730 (trainer:737) INFO: 38epoch:train:10501-10600batch: iter_time=8.922e-04, forward_time=0.249, loss_ctc=61.933, loss_att=46.182, acc=0.753, loss=50.908, backward_time=0.328, grad_norm=67.425, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.515e-05, train_time=1.767 +[gpua010:0/64] 2023-12-16 23:27:46,966 (trainer:737) INFO: 38epoch:train:10601-10700batch: iter_time=8.139e-05, forward_time=0.148, loss_ctc=58.483, loss_att=47.102, acc=0.744, loss=50.516, backward_time=0.300, grad_norm=72.035, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.515e-05, train_time=1.494 +[gpua010:0/64] 2023-12-16 23:30:38,429 (trainer:737) INFO: 38epoch:train:10701-10800batch: iter_time=8.364e-05, forward_time=0.148, loss_ctc=64.803, loss_att=54.036, acc=0.734, loss=57.266, backward_time=0.318, grad_norm=64.612, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.514e-05, train_time=1.715 +[gpua010:0/64] 2023-12-16 23:33:37,971 (trainer:737) INFO: 38epoch:train:10801-10900batch: iter_time=3.129e-04, forward_time=0.232, loss_ctc=61.382, loss_att=45.504, acc=0.762, loss=50.268, backward_time=0.338, grad_norm=71.496, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.513e-05, train_time=1.794 +[gpua010:0/64] 2023-12-16 23:35:41,505 (trainer:737) INFO: 38epoch:train:10901-11000batch: iter_time=8.182e-05, forward_time=0.149, loss_ctc=63.475, loss_att=53.269, acc=0.725, loss=56.331, backward_time=0.279, grad_norm=74.218, clip=100.000, loss_scale=5.111e+31, optim_step_time=0.133, optim0_lr0=6.513e-05, train_time=1.237 +[gpua010:0/64] 2023-12-16 23:38:54,552 (trainer:737) INFO: 38epoch:train:11001-11100batch: iter_time=4.332e-04, forward_time=0.245, loss_ctc=66.279, loss_att=54.903, acc=0.743, loss=58.316, backward_time=0.336, grad_norm=64.047, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.512e-05, train_time=1.930 +[gpua010:0/64] 2023-12-16 23:41:03,744 (trainer:737) INFO: 38epoch:train:11101-11200batch: iter_time=8.520e-05, forward_time=0.149, loss_ctc=67.659, loss_att=54.387, acc=0.727, loss=58.369, backward_time=0.289, grad_norm=80.502, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.512e-05, train_time=1.291 +[gpua010:0/64] 2023-12-16 23:42:30,646 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua010:0/64] 2023-12-16 23:42:49,210 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-16 23:42:52,626 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-16 23:42:52,626 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua010:0/64] 2023-12-16 23:42:52,680 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-16 23:48:32,847 (trainer:737) INFO: 38epoch:train:11201-11300batch: iter_time=3.125, forward_time=0.206, loss_ctc=76.127, loss_att=57.799, acc=0.735, loss=63.297, backward_time=0.285, grad_norm=96.442, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.511e-05, train_time=4.492 +[gpua010:0/64] 2023-12-16 23:50:33,295 (trainer:737) INFO: 38epoch:train:11301-11400batch: iter_time=8.189e-05, forward_time=0.148, loss_ctc=59.810, loss_att=46.328, acc=0.757, loss=50.373, backward_time=0.278, grad_norm=96.296, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.511e-05, train_time=1.204 +[gpua010:0/64] 2023-12-16 23:52:34,009 (trainer:737) INFO: 38epoch:train:11401-11500batch: iter_time=8.162e-05, forward_time=0.147, loss_ctc=63.648, loss_att=52.191, acc=0.740, loss=55.628, backward_time=0.278, grad_norm=83.694, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.510e-05, train_time=1.207 +[gpua010:0/64] 2023-12-16 23:55:11,099 (trainer:737) INFO: 38epoch:train:11501-11600batch: iter_time=8.305e-05, forward_time=0.259, loss_ctc=68.277, loss_att=51.391, acc=0.732, loss=56.457, backward_time=0.328, grad_norm=103.991, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.156, optim0_lr0=6.509e-05, train_time=1.571 +[gpua010:0/64] 2023-12-16 23:57:56,462 (trainer:737) INFO: 38epoch:train:11601-11700batch: iter_time=8.163e-05, forward_time=0.148, loss_ctc=59.277, loss_att=42.106, acc=0.754, loss=47.257, backward_time=0.312, grad_norm=94.832, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.509e-05, train_time=1.653 +[gpua010:0/64] 2023-12-17 00:00:40,593 (trainer:737) INFO: 38epoch:train:11701-11800batch: iter_time=8.264e-05, forward_time=0.147, loss_ctc=61.488, loss_att=48.054, acc=0.756, loss=52.084, backward_time=0.322, grad_norm=92.935, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.508e-05, train_time=1.641 +[gpua010:0/64] 2023-12-17 00:01:57,385 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-17 00:03:35,626 (trainer:737) INFO: 38epoch:train:11801-11900batch: iter_time=8.396e-05, forward_time=0.204, loss_ctc=63.182, loss_att=48.279, acc=0.748, loss=52.750, backward_time=0.370, grad_norm=80.392, clip=100.000, loss_scale=5.941e+31, optim_step_time=0.140, optim0_lr0=6.508e-05, train_time=1.750 +[gpua010:0/64] 2023-12-17 00:06:22,150 (trainer:737) INFO: 38epoch:train:11901-12000batch: iter_time=8.693e-05, forward_time=0.150, loss_ctc=59.208, loss_att=48.946, acc=0.743, loss=52.025, backward_time=0.298, grad_norm=55.973, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.507e-05, train_time=1.665 +[gpua010:0/64] 2023-12-17 00:08:45,877 (trainer:737) INFO: 38epoch:train:12001-12100batch: iter_time=8.336e-05, forward_time=0.175, loss_ctc=63.044, loss_att=46.715, acc=0.753, loss=51.614, backward_time=0.317, grad_norm=59.605, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.507e-05, train_time=1.437 +[gpua010:0/64] 2023-12-17 00:11:49,424 (trainer:737) INFO: 38epoch:train:12101-12200batch: iter_time=8.618e-05, forward_time=0.302, loss_ctc=63.909, loss_att=52.767, acc=0.740, loss=56.110, backward_time=0.356, grad_norm=63.901, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.506e-05, train_time=1.835 +[gpua010:0/64] 2023-12-17 00:14:18,147 (trainer:737) INFO: 38epoch:train:12201-12300batch: iter_time=9.058e-05, forward_time=0.149, loss_ctc=64.382, loss_att=54.229, acc=0.734, loss=57.275, backward_time=0.286, grad_norm=63.244, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.505e-05, train_time=1.487 +[gpua010:0/64] 2023-12-17 00:16:59,225 (trainer:737) INFO: 38epoch:train:12301-12400batch: iter_time=3.863e-04, forward_time=0.272, loss_ctc=61.020, loss_att=46.868, acc=0.749, loss=51.114, backward_time=0.331, grad_norm=55.724, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.505e-05, train_time=1.610 +[gpua010:0/64] 2023-12-17 00:19:34,184 (trainer:737) INFO: 38epoch:train:12401-12500batch: iter_time=8.997e-05, forward_time=0.149, loss_ctc=76.645, loss_att=60.607, acc=0.724, loss=65.418, backward_time=0.301, grad_norm=78.752, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.504e-05, train_time=1.550 +[gpua010:0/64] 2023-12-17 00:19:54,307 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua010:0/64] 2023-12-17 00:20:12,960 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 00:20:16,480 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 00:20:16,480 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua010:0/64] 2023-12-17 00:20:16,484 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 00:34:46,728 (trainer:737) INFO: 38epoch:train:12501-12600batch: iter_time=7.815, forward_time=0.196, loss_ctc=66.282, loss_att=55.725, acc=0.735, loss=58.892, backward_time=0.294, grad_norm=69.408, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.504e-05, train_time=9.125 +[gpua010:0/64] 2023-12-17 00:37:23,501 (trainer:737) INFO: 38epoch:train:12601-12700batch: iter_time=0.001, forward_time=0.247, loss_ctc=61.764, loss_att=45.196, acc=0.754, loss=50.167, backward_time=0.322, grad_norm=68.088, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.503e-05, train_time=1.566 +[gpua010:0/64] 2023-12-17 00:39:45,171 (trainer:737) INFO: 38epoch:train:12701-12800batch: iter_time=6.090e-04, forward_time=0.306, loss_ctc=69.414, loss_att=52.882, acc=0.727, loss=57.841, backward_time=0.312, grad_norm=64.805, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.503e-05, train_time=1.417 +[gpua010:0/64] 2023-12-17 00:42:21,814 (trainer:737) INFO: 38epoch:train:12801-12900batch: iter_time=0.001, forward_time=0.248, loss_ctc=59.554, loss_att=45.919, acc=0.726, loss=50.009, backward_time=0.327, grad_norm=82.107, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=6.502e-05, train_time=1.566 +[gpua010:0/64] 2023-12-17 00:44:56,062 (trainer:737) INFO: 38epoch:train:12901-13000batch: iter_time=8.262e-05, forward_time=0.148, loss_ctc=62.505, loss_att=44.676, acc=0.770, loss=50.025, backward_time=0.301, grad_norm=59.681, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.501e-05, train_time=1.543 +[gpua010:0/64] 2023-12-17 00:48:07,409 (trainer:737) INFO: 38epoch:train:13001-13100batch: iter_time=3.091e-04, forward_time=0.269, loss_ctc=62.031, loss_att=46.744, acc=0.748, loss=51.330, backward_time=0.362, grad_norm=71.193, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.501e-05, train_time=1.914 +[gpua010:0/64] 2023-12-17 00:50:51,189 (trainer:737) INFO: 38epoch:train:13101-13200batch: iter_time=0.005, forward_time=0.263, loss_ctc=57.953, loss_att=45.601, acc=0.743, loss=49.306, backward_time=0.321, grad_norm=81.974, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.500e-05, train_time=1.635 +[gpua010:0/64] 2023-12-17 00:53:38,625 (trainer:737) INFO: 38epoch:train:13201-13300batch: iter_time=5.669e-04, forward_time=0.225, loss_ctc=64.034, loss_att=52.589, acc=0.732, loss=56.023, backward_time=0.399, grad_norm=63.684, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.500e-05, train_time=1.672 +[gpua010:0/64] 2023-12-17 00:56:13,134 (trainer:737) INFO: 38epoch:train:13301-13400batch: iter_time=0.001, forward_time=0.156, loss_ctc=61.361, loss_att=44.971, acc=0.758, loss=49.888, backward_time=0.299, grad_norm=60.019, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.499e-05, train_time=1.547 +[gpua010:0/64] 2023-12-17 00:58:58,182 (trainer:737) INFO: 38epoch:train:13401-13500batch: iter_time=8.515e-05, forward_time=0.231, loss_ctc=62.729, loss_att=52.742, acc=0.716, loss=55.738, backward_time=0.324, grad_norm=78.903, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.498e-05, train_time=1.650 +[gpua010:0/64] 2023-12-17 01:01:39,205 (trainer:737) INFO: 38epoch:train:13501-13600batch: iter_time=3.250e-04, forward_time=0.278, loss_ctc=65.650, loss_att=54.318, acc=0.737, loss=57.717, backward_time=0.315, grad_norm=60.852, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.498e-05, train_time=1.610 +[gpua010:0/64] 2023-12-17 01:04:24,100 (trainer:737) INFO: 38epoch:train:13601-13700batch: iter_time=7.215e-04, forward_time=0.260, loss_ctc=67.199, loss_att=54.406, acc=0.720, loss=58.244, backward_time=0.314, grad_norm=75.752, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.497e-05, train_time=1.647 +[gpua010:0/64] 2023-12-17 01:05:18,375 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-17 01:06:12,694 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua010:0/64] 2023-12-17 01:06:31,433 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 01:06:34,887 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 01:06:34,887 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua010:0/64] 2023-12-17 01:06:34,928 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 01:12:15,620 (trainer:737) INFO: 38epoch:train:13701-13800batch: iter_time=3.142, forward_time=0.243, loss_ctc=74.958, loss_att=57.132, acc=0.729, loss=62.480, backward_time=0.316, grad_norm=77.073, clip=100.000, loss_scale=2.561e+31, optim_step_time=0.137, optim0_lr0=6.497e-05, train_time=4.717 +[gpua010:0/64] 2023-12-17 01:14:16,509 (trainer:737) INFO: 38epoch:train:13801-13900batch: iter_time=8.405e-05, forward_time=0.147, loss_ctc=59.871, loss_att=46.177, acc=0.754, loss=50.285, backward_time=0.279, grad_norm=60.682, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.496e-05, train_time=1.206 +[gpua010:0/64] 2023-12-17 01:16:34,848 (trainer:737) INFO: 38epoch:train:13901-14000batch: iter_time=8.604e-05, forward_time=0.176, loss_ctc=62.559, loss_att=48.848, acc=0.736, loss=52.961, backward_time=0.282, grad_norm=84.091, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.496e-05, train_time=1.385 +[gpua010:0/64] 2023-12-17 01:19:19,107 (trainer:737) INFO: 38epoch:train:14001-14100batch: iter_time=1.862e-04, forward_time=0.231, loss_ctc=67.953, loss_att=51.159, acc=0.726, loss=56.197, backward_time=0.375, grad_norm=116.496, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.495e-05, train_time=1.642 +[gpua010:0/64] 2023-12-17 01:21:42,897 (trainer:737) INFO: 38epoch:train:14101-14200batch: iter_time=8.451e-05, forward_time=0.146, loss_ctc=58.453, loss_att=40.587, acc=0.759, loss=45.946, backward_time=0.284, grad_norm=110.880, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.495e-05, train_time=1.438 +[gpua010:0/64] 2023-12-17 01:24:30,203 (trainer:737) INFO: 38epoch:train:14201-14300batch: iter_time=8.785e-05, forward_time=0.147, loss_ctc=61.551, loss_att=48.615, acc=0.752, loss=52.496, backward_time=0.293, grad_norm=63.223, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.494e-05, train_time=1.673 +[gpua010:0/64] 2023-12-17 01:26:56,585 (trainer:737) INFO: 38epoch:train:14301-14400batch: iter_time=8.284e-05, forward_time=0.152, loss_ctc=62.518, loss_att=48.027, acc=0.745, loss=52.374, backward_time=0.299, grad_norm=89.458, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.493e-05, train_time=1.463 +[gpua010:0/64] 2023-12-17 01:30:03,383 (trainer:737) INFO: 38epoch:train:14401-14500batch: iter_time=8.409e-05, forward_time=0.184, loss_ctc=59.071, loss_att=47.405, acc=0.741, loss=50.905, backward_time=0.352, grad_norm=80.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.493e-05, train_time=1.868 +[gpua010:0/64] 2023-12-17 01:32:22,419 (trainer:737) INFO: 38epoch:train:14501-14600batch: iter_time=8.264e-05, forward_time=0.148, loss_ctc=62.376, loss_att=45.945, acc=0.747, loss=50.874, backward_time=0.286, grad_norm=74.666, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.492e-05, train_time=1.390 +[gpua010:0/64] 2023-12-17 01:34:34,320 (trainer:737) INFO: 38epoch:train:14601-14700batch: iter_time=8.536e-05, forward_time=0.147, loss_ctc=63.672, loss_att=52.333, acc=0.731, loss=55.735, backward_time=0.279, grad_norm=103.674, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.492e-05, train_time=1.319 +[gpua010:0/64] 2023-12-17 01:37:18,819 (trainer:737) INFO: 38epoch:train:14701-14800batch: iter_time=8.505e-05, forward_time=0.164, loss_ctc=64.092, loss_att=54.107, acc=0.729, loss=57.103, backward_time=0.341, grad_norm=108.444, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.491e-05, train_time=1.644 +[gpua010:0/64] 2023-12-17 01:40:17,084 (trainer:737) INFO: 38epoch:train:14801-14900batch: iter_time=3.218e-04, forward_time=0.187, loss_ctc=60.633, loss_att=45.902, acc=0.739, loss=50.321, backward_time=0.329, grad_norm=89.983, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.491e-05, train_time=1.783 +[gpua010:0/64] 2023-12-17 01:42:43,686 (trainer:737) INFO: 38epoch:train:14901-15000batch: iter_time=8.030e-05, forward_time=0.154, loss_ctc=76.090, loss_att=60.293, acc=0.718, loss=65.032, backward_time=0.304, grad_norm=92.622, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.490e-05, train_time=1.466 +[gpua010:0/64] 2023-12-17 02:09:30,710 (trainer:343) INFO: 38epoch results: [train] iter_time=0.300, forward_time=0.185, loss_ctc=64.525, loss_att=50.473, acc=0.738, loss=54.689, backward_time=0.308, grad_norm=80.728, clip=100.000, loss_scale=4.243e+31, optim_step_time=0.135, optim0_lr0=6.533e-05, train_time=1.842, time=7 hours, 40 minutes and 59.73 seconds, total_count=570000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=32.292, cer_ctc=0.168, loss_att=31.499, acc=0.729, cer=0.328, wer=0.993, loss=31.737, time=26 minutes and 22.95 seconds, total_count=177498, gpu_max_cached_mem_GB=36.826 +[gpua010:0/64] 2023-12-17 02:09:50,445 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua010:0/64] 2023-12-17 02:09:50,481 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/32epoch.pth +[gpua010:0/64] 2023-12-17 02:09:50,512 (trainer:272) INFO: 39/40epoch started. Estimated time to finish: 16 hours, 48 minutes and 10.79 seconds +[gpua010:0/64] 2023-12-17 02:09:50,617 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua010:0/64] 2023-12-17 02:10:08,203 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 02:10:11,596 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 02:10:11,596 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua010:0/64] 2023-12-17 02:10:11,599 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 02:16:05,075 (trainer:737) INFO: 39epoch:train:1-100batch: iter_time=2.488, forward_time=0.176, loss_ctc=69.868, loss_att=53.229, acc=0.731, loss=58.221, backward_time=0.286, grad_norm=107.003, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.489e-05, train_time=3.745 +[gpua010:0/64] 2023-12-17 02:18:08,344 (trainer:737) INFO: 39epoch:train:101-200batch: iter_time=8.288e-05, forward_time=0.149, loss_ctc=67.789, loss_att=56.340, acc=0.726, loss=59.775, backward_time=0.281, grad_norm=98.984, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.489e-05, train_time=1.233 +[gpua010:0/64] 2023-12-17 02:20:10,763 (trainer:737) INFO: 39epoch:train:201-300batch: iter_time=8.280e-05, forward_time=0.150, loss_ctc=65.300, loss_att=50.039, acc=0.746, loss=54.618, backward_time=0.281, grad_norm=189.725, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.488e-05, train_time=1.224 +[gpua010:0/64] 2023-12-17 02:22:19,902 (trainer:737) INFO: 39epoch:train:301-400batch: iter_time=8.960e-05, forward_time=0.149, loss_ctc=61.349, loss_att=49.734, acc=0.727, loss=53.218, backward_time=0.287, grad_norm=116.069, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.488e-05, train_time=1.291 +[gpua010:0/64] 2023-12-17 02:24:28,354 (trainer:737) INFO: 39epoch:train:401-500batch: iter_time=8.356e-05, forward_time=0.154, loss_ctc=57.751, loss_att=48.429, acc=0.725, loss=51.226, backward_time=0.283, grad_norm=70.127, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.487e-05, train_time=1.284 +[gpua010:0/64] 2023-12-17 02:27:05,853 (trainer:737) INFO: 39epoch:train:501-600batch: iter_time=8.678e-05, forward_time=0.149, loss_ctc=72.095, loss_att=59.915, acc=0.712, loss=63.569, backward_time=0.293, grad_norm=129.668, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.487e-05, train_time=1.575 +[gpua010:0/64] 2023-12-17 02:29:35,515 (trainer:737) INFO: 39epoch:train:601-700batch: iter_time=8.237e-05, forward_time=0.228, loss_ctc=66.890, loss_att=44.881, acc=0.733, loss=51.484, backward_time=0.325, grad_norm=103.355, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.486e-05, train_time=1.496 +[gpua010:0/64] 2023-12-17 02:32:01,804 (trainer:737) INFO: 39epoch:train:701-800batch: iter_time=8.534e-05, forward_time=0.178, loss_ctc=64.741, loss_att=50.949, acc=0.735, loss=55.086, backward_time=0.299, grad_norm=81.002, clip=100.000, loss_scale=3.509e+31, optim_step_time=0.135, optim0_lr0=6.485e-05, train_time=1.463 +[gpua010:0/64] 2023-12-17 02:34:37,936 (trainer:737) INFO: 39epoch:train:801-900batch: iter_time=8.460e-05, forward_time=0.149, loss_ctc=59.405, loss_att=46.807, acc=0.752, loss=50.587, backward_time=0.306, grad_norm=65.991, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.485e-05, train_time=1.561 +[gpua010:0/64] 2023-12-17 02:37:02,800 (trainer:737) INFO: 39epoch:train:901-1000batch: iter_time=8.357e-05, forward_time=0.149, loss_ctc=63.410, loss_att=47.620, acc=0.730, loss=52.357, backward_time=0.297, grad_norm=93.098, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.484e-05, train_time=1.448 +[gpua010:0/64] 2023-12-17 02:39:50,173 (trainer:737) INFO: 39epoch:train:1001-1100batch: iter_time=8.528e-05, forward_time=0.148, loss_ctc=55.335, loss_att=41.169, acc=0.749, loss=45.419, backward_time=0.291, grad_norm=249.221, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.484e-05, train_time=1.674 +[gpua010:0/64] 2023-12-17 02:42:36,376 (trainer:737) INFO: 39epoch:train:1101-1200batch: iter_time=9.483e-05, forward_time=0.148, loss_ctc=58.325, loss_att=47.509, acc=0.740, loss=50.754, backward_time=0.290, grad_norm=216.857, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.483e-05, train_time=1.662 +[gpua010:0/64] 2023-12-17 02:44:08,605 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua010:0/64] 2023-12-17 02:44:27,048 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 02:44:30,433 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 02:44:30,433 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua010:0/64] 2023-12-17 02:44:30,439 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 02:53:17,538 (trainer:737) INFO: 39epoch:train:1201-1300batch: iter_time=5.033, forward_time=0.187, loss_ctc=71.698, loss_att=52.960, acc=0.744, loss=58.581, backward_time=0.289, grad_norm=170.568, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.483e-05, train_time=6.411 +[gpua010:0/64] 2023-12-17 02:55:31,263 (trainer:737) INFO: 39epoch:train:1301-1400batch: iter_time=7.783e-05, forward_time=0.150, loss_ctc=66.316, loss_att=55.456, acc=0.715, loss=58.714, backward_time=0.280, grad_norm=119.876, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.482e-05, train_time=1.337 +[gpua010:0/64] 2023-12-17 02:56:09,272 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-17 02:57:49,148 (trainer:737) INFO: 39epoch:train:1401-1500batch: iter_time=7.471e-05, forward_time=0.150, loss_ctc=65.966, loss_att=48.209, acc=0.732, loss=53.536, backward_time=0.294, grad_norm=424.235, clip=100.000, loss_scale=2.581e+31, optim_step_time=0.137, optim0_lr0=6.481e-05, train_time=1.379 +[gpua010:0/64] 2023-12-17 03:00:25,492 (trainer:737) INFO: 39epoch:train:1501-1600batch: iter_time=8.528e-05, forward_time=0.245, loss_ctc=63.909, loss_att=54.247, acc=0.731, loss=57.146, backward_time=0.314, grad_norm=147.802, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.481e-05, train_time=1.563 +[gpua010:0/64] 2023-12-17 03:02:51,627 (trainer:737) INFO: 39epoch:train:1601-1700batch: iter_time=8.325e-05, forward_time=0.148, loss_ctc=52.145, loss_att=40.785, acc=0.730, loss=44.193, backward_time=0.288, grad_norm=171.094, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.480e-05, train_time=1.461 +[gpua010:0/64] 2023-12-17 03:05:36,635 (trainer:737) INFO: 39epoch:train:1701-1800batch: iter_time=9.212e-05, forward_time=0.247, loss_ctc=73.201, loss_att=60.556, acc=0.712, loss=64.349, backward_time=0.325, grad_norm=74.499, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.480e-05, train_time=1.650 +[gpua010:0/64] 2023-12-17 03:07:57,839 (trainer:737) INFO: 39epoch:train:1801-1900batch: iter_time=8.629e-05, forward_time=0.148, loss_ctc=64.615, loss_att=46.390, acc=0.737, loss=51.858, backward_time=0.296, grad_norm=77.498, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.479e-05, train_time=1.412 +[gpua010:0/64] 2023-12-17 03:10:29,913 (trainer:737) INFO: 39epoch:train:1901-2000batch: iter_time=8.215e-05, forward_time=0.148, loss_ctc=64.668, loss_att=49.365, acc=0.721, loss=53.956, backward_time=0.284, grad_norm=95.111, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.479e-05, train_time=1.521 +[gpua010:0/64] 2023-12-17 03:13:20,046 (trainer:737) INFO: 39epoch:train:2001-2100batch: iter_time=8.752e-05, forward_time=0.236, loss_ctc=57.289, loss_att=42.533, acc=0.738, loss=46.960, backward_time=0.325, grad_norm=92.930, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.478e-05, train_time=1.701 +[gpua010:0/64] 2023-12-17 03:15:44,923 (trainer:737) INFO: 39epoch:train:2101-2200batch: iter_time=8.401e-05, forward_time=0.148, loss_ctc=62.849, loss_att=51.585, acc=0.722, loss=54.964, backward_time=0.284, grad_norm=138.710, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.477e-05, train_time=1.449 +[gpua010:0/64] 2023-12-17 03:18:14,354 (trainer:737) INFO: 39epoch:train:2201-2300batch: iter_time=7.989e-05, forward_time=0.147, loss_ctc=59.227, loss_att=42.828, acc=0.739, loss=47.748, backward_time=0.303, grad_norm=114.310, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.477e-05, train_time=1.494 +[gpua010:0/64] 2023-12-17 03:18:30,872 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-17 03:20:53,803 (trainer:737) INFO: 39epoch:train:2301-2400batch: iter_time=8.820e-05, forward_time=0.273, loss_ctc=53.398, loss_att=38.622, acc=0.756, loss=43.055, backward_time=0.329, grad_norm=91.853, clip=100.000, loss_scale=1.106e+31, optim_step_time=0.142, optim0_lr0=6.476e-05, train_time=1.594 +[gpua010:0/64] 2023-12-17 03:23:39,819 (trainer:737) INFO: 39epoch:train:2401-2500batch: iter_time=8.038e-05, forward_time=0.149, loss_ctc=68.555, loss_att=56.326, acc=0.721, loss=59.995, backward_time=0.284, grad_norm=65.824, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.476e-05, train_time=1.660 +[gpua010:0/64] 2023-12-17 03:23:59,849 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua010:0/64] 2023-12-17 03:24:18,256 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 03:24:21,611 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 03:24:21,611 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua010:0/64] 2023-12-17 03:24:21,618 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 03:30:45,413 (trainer:737) INFO: 39epoch:train:2501-2600batch: iter_time=2.596, forward_time=0.189, loss_ctc=67.899, loss_att=50.025, acc=0.738, loss=55.387, backward_time=0.286, grad_norm=93.007, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.475e-05, train_time=4.256 +[gpua010:0/64] 2023-12-17 03:32:53,513 (trainer:737) INFO: 39epoch:train:2601-2700batch: iter_time=8.201e-05, forward_time=0.148, loss_ctc=66.452, loss_att=51.910, acc=0.732, loss=56.272, backward_time=0.279, grad_norm=88.594, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.475e-05, train_time=1.281 +[gpua010:0/64] 2023-12-17 03:35:16,939 (trainer:737) INFO: 39epoch:train:2701-2800batch: iter_time=5.207e-04, forward_time=0.271, loss_ctc=64.393, loss_att=49.603, acc=0.738, loss=54.040, backward_time=0.308, grad_norm=221.406, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.474e-05, train_time=1.434 +[gpua010:0/64] 2023-12-17 03:37:29,830 (trainer:737) INFO: 39epoch:train:2801-2900batch: iter_time=8.007e-05, forward_time=0.150, loss_ctc=59.038, loss_att=48.982, acc=0.721, loss=51.999, backward_time=0.290, grad_norm=105.322, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.474e-05, train_time=1.329 +[gpua010:0/64] 2023-12-17 03:39:56,702 (trainer:737) INFO: 39epoch:train:2901-3000batch: iter_time=8.209e-05, forward_time=0.147, loss_ctc=57.357, loss_att=45.817, acc=0.733, loss=49.279, backward_time=0.319, grad_norm=91.365, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.473e-05, train_time=1.468 +[gpua010:0/64] 2023-12-17 03:42:50,566 (trainer:737) INFO: 39epoch:train:3001-3100batch: iter_time=8.109e-05, forward_time=0.255, loss_ctc=71.187, loss_att=57.866, acc=0.716, loss=61.862, backward_time=0.308, grad_norm=80.148, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.472e-05, train_time=1.738 +[gpua010:0/64] 2023-12-17 03:45:23,262 (trainer:737) INFO: 39epoch:train:3101-3200batch: iter_time=8.426e-05, forward_time=0.148, loss_ctc=63.384, loss_att=44.257, acc=0.732, loss=49.995, backward_time=0.308, grad_norm=112.030, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.472e-05, train_time=1.527 +[gpua010:0/64] 2023-12-17 03:47:48,207 (trainer:737) INFO: 39epoch:train:3201-3300batch: iter_time=8.081e-05, forward_time=0.147, loss_ctc=62.983, loss_att=49.385, acc=0.732, loss=53.465, backward_time=0.306, grad_norm=90.975, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.471e-05, train_time=1.449 +[gpua010:0/64] 2023-12-17 03:50:19,879 (trainer:737) INFO: 39epoch:train:3301-3400batch: iter_time=7.973e-05, forward_time=0.228, loss_ctc=58.749, loss_att=45.893, acc=0.749, loss=49.750, backward_time=0.324, grad_norm=81.341, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.471e-05, train_time=1.516 +[gpua010:0/64] 2023-12-17 03:52:45,596 (trainer:737) INFO: 39epoch:train:3401-3500batch: iter_time=8.313e-05, forward_time=0.148, loss_ctc=62.826, loss_att=46.224, acc=0.729, loss=51.204, backward_time=0.283, grad_norm=102.455, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.470e-05, train_time=1.457 +[gpua010:0/64] 2023-12-17 03:55:22,662 (trainer:737) INFO: 39epoch:train:3501-3600batch: iter_time=0.007, forward_time=0.252, loss_ctc=54.642, loss_att=40.545, acc=0.745, loss=44.774, backward_time=0.331, grad_norm=194.415, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.470e-05, train_time=1.570 +[gpua010:0/64] 2023-12-17 03:57:49,442 (trainer:737) INFO: 39epoch:train:3601-3700batch: iter_time=8.296e-05, forward_time=0.147, loss_ctc=57.967, loss_att=45.302, acc=0.745, loss=49.101, backward_time=0.294, grad_norm=129.058, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.469e-05, train_time=1.468 +[gpua010:0/64] 2023-12-17 03:59:16,185 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua010:0/64] 2023-12-17 03:59:34,448 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 03:59:37,831 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 03:59:37,831 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua010:0/64] 2023-12-17 03:59:37,878 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 04:05:30,078 (trainer:737) INFO: 39epoch:train:3701-3800batch: iter_time=2.661, forward_time=0.189, loss_ctc=70.294, loss_att=53.062, acc=0.739, loss=58.232, backward_time=0.286, grad_norm=237.992, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.468e-05, train_time=4.606 +[gpua010:0/64] 2023-12-17 04:07:32,253 (trainer:737) INFO: 39epoch:train:3801-3900batch: iter_time=8.009e-05, forward_time=0.150, loss_ctc=65.599, loss_att=56.741, acc=0.727, loss=59.399, backward_time=0.282, grad_norm=119.259, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.468e-05, train_time=1.221 +[gpua010:0/64] 2023-12-17 04:09:42,375 (trainer:737) INFO: 39epoch:train:3901-4000batch: iter_time=7.919e-05, forward_time=0.149, loss_ctc=65.155, loss_att=49.111, acc=0.742, loss=53.924, backward_time=0.283, grad_norm=284.152, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.467e-05, train_time=1.301 +[gpua010:0/64] 2023-12-17 04:12:12,245 (trainer:737) INFO: 39epoch:train:4001-4100batch: iter_time=9.041e-05, forward_time=0.149, loss_ctc=62.873, loss_att=53.625, acc=0.745, loss=56.399, backward_time=0.289, grad_norm=125.139, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.467e-05, train_time=1.499 +[gpua010:0/64] 2023-12-17 04:14:21,599 (trainer:737) INFO: 39epoch:train:4101-4200batch: iter_time=9.319e-05, forward_time=0.148, loss_ctc=51.282, loss_att=41.008, acc=0.739, loss=44.090, backward_time=0.279, grad_norm=178.093, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.466e-05, train_time=1.293 +[gpua010:0/64] 2023-12-17 04:17:07,537 (trainer:737) INFO: 39epoch:train:4201-4300batch: iter_time=9.093e-05, forward_time=0.245, loss_ctc=72.180, loss_att=63.403, acc=0.710, loss=66.036, backward_time=0.339, grad_norm=83.227, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.466e-05, train_time=1.659 +[gpua010:0/64] 2023-12-17 04:19:58,312 (trainer:737) INFO: 39epoch:train:4301-4400batch: iter_time=8.966e-05, forward_time=0.148, loss_ctc=62.198, loss_att=44.572, acc=0.748, loss=49.860, backward_time=0.298, grad_norm=86.222, clip=100.000, loss_scale=1.927e+31, optim_step_time=0.133, optim0_lr0=6.465e-05, train_time=1.707 +[gpua010:0/64] 2023-12-17 04:22:12,000 (trainer:737) INFO: 39epoch:train:4401-4500batch: iter_time=9.385e-05, forward_time=0.148, loss_ctc=63.513, loss_att=49.798, acc=0.735, loss=53.913, backward_time=0.282, grad_norm=101.765, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.464e-05, train_time=1.337 +[gpua010:0/64] 2023-12-17 04:24:27,554 (trainer:737) INFO: 39epoch:train:4501-4600batch: iter_time=8.990e-05, forward_time=0.149, loss_ctc=56.990, loss_att=42.076, acc=0.751, loss=46.550, backward_time=0.294, grad_norm=72.400, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.464e-05, train_time=1.355 +[gpua010:0/64] 2023-12-17 04:27:22,168 (trainer:737) INFO: 39epoch:train:4601-4700batch: iter_time=8.859e-05, forward_time=0.181, loss_ctc=62.119, loss_att=51.970, acc=0.733, loss=55.015, backward_time=0.333, grad_norm=77.654, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.463e-05, train_time=1.746 +[gpua010:0/64] 2023-12-17 04:29:50,146 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-17 04:29:51,378 (trainer:737) INFO: 39epoch:train:4701-4800batch: iter_time=8.759e-05, forward_time=0.172, loss_ctc=58.000, loss_att=42.806, acc=0.747, loss=47.365, backward_time=0.314, grad_norm=60.873, clip=100.000, loss_scale=2.018e+31, optim_step_time=0.134, optim0_lr0=6.463e-05, train_time=1.492 +[gpua010:0/64] 2023-12-17 04:32:04,395 (trainer:737) INFO: 39epoch:train:4801-4900batch: iter_time=9.239e-05, forward_time=0.147, loss_ctc=52.599, loss_att=38.650, acc=0.764, loss=42.835, backward_time=0.287, grad_norm=208.725, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.462e-05, train_time=1.330 +[gpua010:0/64] 2023-12-17 04:32:34,642 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-17 04:34:17,348 (trainer:737) INFO: 39epoch:train:4901-5000batch: iter_time=9.288e-05, forward_time=0.147, loss_ctc=68.243, loss_att=58.386, acc=0.728, loss=61.343, backward_time=0.285, grad_norm=77.550, clip=100.000, loss_scale=6.249e+30, optim_step_time=0.133, optim0_lr0=6.462e-05, train_time=1.329 +[gpua010:0/64] 2023-12-17 04:34:37,435 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua010:0/64] 2023-12-17 04:34:55,764 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 04:34:59,196 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 04:34:59,197 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua010:0/64] 2023-12-17 04:34:59,260 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 04:41:43,885 (trainer:737) INFO: 39epoch:train:5001-5100batch: iter_time=3.219, forward_time=0.180, loss_ctc=66.729, loss_att=50.542, acc=0.740, loss=55.398, backward_time=0.284, grad_norm=98.599, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.461e-05, train_time=4.465 +[gpua010:0/64] 2023-12-17 04:43:44,744 (trainer:737) INFO: 39epoch:train:5101-5200batch: iter_time=8.246e-05, forward_time=0.148, loss_ctc=66.108, loss_att=52.993, acc=0.732, loss=56.927, backward_time=0.278, grad_norm=229.482, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.461e-05, train_time=1.208 +[gpua010:0/64] 2023-12-17 04:46:09,323 (trainer:737) INFO: 39epoch:train:5201-5300batch: iter_time=8.582e-05, forward_time=0.148, loss_ctc=63.944, loss_att=48.943, acc=0.743, loss=53.443, backward_time=0.286, grad_norm=138.660, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.460e-05, train_time=1.446 +[gpua010:0/64] 2023-12-17 04:48:45,321 (trainer:737) INFO: 39epoch:train:5301-5400batch: iter_time=8.671e-05, forward_time=0.251, loss_ctc=58.197, loss_att=49.329, acc=0.722, loss=51.989, backward_time=0.318, grad_norm=126.392, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.143, optim0_lr0=6.459e-05, train_time=1.560 +[gpua010:0/64] 2023-12-17 04:51:26,983 (trainer:737) INFO: 39epoch:train:5401-5500batch: iter_time=8.353e-05, forward_time=0.149, loss_ctc=56.621, loss_att=45.410, acc=0.735, loss=48.773, backward_time=0.333, grad_norm=62.589, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.459e-05, train_time=1.616 +[gpua010:0/64] 2023-12-17 04:53:51,540 (trainer:737) INFO: 39epoch:train:5501-5600batch: iter_time=8.896e-05, forward_time=0.149, loss_ctc=70.601, loss_att=57.921, acc=0.717, loss=61.725, backward_time=0.293, grad_norm=81.170, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.458e-05, train_time=1.445 +[gpua010:0/64] 2023-12-17 04:55:58,559 (trainer:737) INFO: 39epoch:train:5601-5700batch: iter_time=8.980e-05, forward_time=0.168, loss_ctc=61.932, loss_att=44.361, acc=0.731, loss=49.632, backward_time=0.278, grad_norm=131.504, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.458e-05, train_time=1.270 +[gpua010:0/64] 2023-12-17 04:58:44,699 (trainer:737) INFO: 39epoch:train:5701-5800batch: iter_time=8.980e-05, forward_time=0.290, loss_ctc=62.983, loss_att=48.711, acc=0.735, loss=52.993, backward_time=0.311, grad_norm=67.743, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=6.457e-05, train_time=1.661 +[gpua010:0/64] 2023-12-17 05:01:22,706 (trainer:737) INFO: 39epoch:train:5801-5900batch: iter_time=8.666e-05, forward_time=0.148, loss_ctc=59.026, loss_att=46.343, acc=0.746, loss=50.148, backward_time=0.311, grad_norm=73.997, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.457e-05, train_time=1.580 +[gpua010:0/64] 2023-12-17 05:03:57,876 (trainer:737) INFO: 39epoch:train:5901-6000batch: iter_time=8.704e-05, forward_time=0.148, loss_ctc=62.811, loss_att=45.733, acc=0.733, loss=50.856, backward_time=0.308, grad_norm=73.031, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.456e-05, train_time=1.552 +[gpua010:0/64] 2023-12-17 05:06:46,111 (trainer:737) INFO: 39epoch:train:6001-6100batch: iter_time=8.666e-05, forward_time=0.147, loss_ctc=54.555, loss_att=39.952, acc=0.750, loss=44.333, backward_time=0.332, grad_norm=92.897, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.456e-05, train_time=1.682 +[gpua010:0/64] 2023-12-17 05:09:10,269 (trainer:737) INFO: 39epoch:train:6101-6200batch: iter_time=8.667e-05, forward_time=0.269, loss_ctc=57.672, loss_att=45.093, acc=0.746, loss=48.867, backward_time=0.320, grad_norm=60.531, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.139, optim0_lr0=6.455e-05, train_time=1.441 +[gpua010:0/64] 2023-12-17 05:10:40,124 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua010:0/64] 2023-12-17 05:10:58,524 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 05:11:02,359 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 05:11:02,359 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua010:0/64] 2023-12-17 05:11:02,362 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 05:16:44,367 (trainer:737) INFO: 39epoch:train:6201-6300batch: iter_time=3.161, forward_time=0.180, loss_ctc=70.035, loss_att=52.193, acc=0.745, loss=57.546, backward_time=0.318, grad_norm=83.224, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.454e-05, train_time=4.541 +[gpua010:0/64] 2023-12-17 05:19:05,208 (trainer:737) INFO: 39epoch:train:6301-6400batch: iter_time=7.757e-05, forward_time=0.149, loss_ctc=65.280, loss_att=53.267, acc=0.724, loss=56.871, backward_time=0.287, grad_norm=71.429, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.454e-05, train_time=1.408 +[gpua010:0/64] 2023-12-17 05:21:24,028 (trainer:737) INFO: 39epoch:train:6401-6500batch: iter_time=8.440e-05, forward_time=0.149, loss_ctc=65.034, loss_att=47.042, acc=0.737, loss=52.439, backward_time=0.304, grad_norm=83.911, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.453e-05, train_time=1.388 +[gpua010:0/64] 2023-12-17 05:24:12,407 (trainer:737) INFO: 39epoch:train:6501-6600batch: iter_time=7.796e-05, forward_time=0.257, loss_ctc=62.714, loss_att=53.441, acc=0.735, loss=56.223, backward_time=0.324, grad_norm=154.460, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.151, optim0_lr0=6.453e-05, train_time=1.684 +[gpua010:0/64] 2023-12-17 05:26:39,831 (trainer:737) INFO: 39epoch:train:6601-6700batch: iter_time=7.957e-05, forward_time=0.168, loss_ctc=50.884, loss_att=40.033, acc=0.738, loss=43.288, backward_time=0.305, grad_norm=99.626, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.452e-05, train_time=1.474 +[gpua010:0/64] 2023-12-17 05:29:23,111 (trainer:737) INFO: 39epoch:train:6701-6800batch: iter_time=8.207e-05, forward_time=0.149, loss_ctc=72.137, loss_att=59.991, acc=0.715, loss=63.635, backward_time=0.310, grad_norm=73.935, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.452e-05, train_time=1.633 +[gpua010:0/64] 2023-12-17 05:31:54,543 (trainer:737) INFO: 39epoch:train:6801-6900batch: iter_time=8.482e-05, forward_time=0.148, loss_ctc=62.317, loss_att=44.716, acc=0.745, loss=49.996, backward_time=0.286, grad_norm=83.813, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.451e-05, train_time=1.514 +[gpua010:0/64] 2023-12-17 05:35:06,569 (trainer:737) INFO: 39epoch:train:6901-7000batch: iter_time=9.019e-05, forward_time=0.308, loss_ctc=63.497, loss_att=48.292, acc=0.727, loss=52.854, backward_time=0.343, grad_norm=80.477, clip=100.000, loss_scale=8.924e+30, optim_step_time=0.136, optim0_lr0=6.450e-05, train_time=1.920 +[gpua010:0/64] 2023-12-17 05:37:36,272 (trainer:737) INFO: 39epoch:train:7001-7100batch: iter_time=9.071e-05, forward_time=0.148, loss_ctc=56.662, loss_att=42.098, acc=0.742, loss=46.468, backward_time=0.291, grad_norm=115.752, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.450e-05, train_time=1.497 +[gpua010:0/64] 2023-12-17 05:40:14,654 (trainer:737) INFO: 39epoch:train:7101-7200batch: iter_time=9.164e-05, forward_time=0.147, loss_ctc=61.982, loss_att=50.003, acc=0.729, loss=53.597, backward_time=0.292, grad_norm=72.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.449e-05, train_time=1.584 +[gpua010:0/64] 2023-12-17 05:42:29,360 (trainer:737) INFO: 39epoch:train:7201-7300batch: iter_time=9.370e-05, forward_time=0.147, loss_ctc=58.032, loss_att=42.724, acc=0.743, loss=47.316, backward_time=0.283, grad_norm=62.973, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.449e-05, train_time=1.347 +[gpua010:0/64] 2023-12-17 05:44:48,308 (trainer:737) INFO: 39epoch:train:7301-7400batch: iter_time=9.333e-05, forward_time=0.243, loss_ctc=52.618, loss_att=38.428, acc=0.759, loss=42.685, backward_time=0.307, grad_norm=68.781, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.448e-05, train_time=1.388 +[gpua010:0/64] 2023-12-17 05:47:21,895 (trainer:737) INFO: 39epoch:train:7401-7500batch: iter_time=8.736e-05, forward_time=0.147, loss_ctc=67.949, loss_att=55.755, acc=0.727, loss=59.413, backward_time=0.315, grad_norm=80.026, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.448e-05, train_time=1.536 +[gpua010:0/64] 2023-12-17 05:47:42,102 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua010:0/64] 2023-12-17 05:48:00,098 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 05:48:03,471 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 05:48:03,471 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua010:0/64] 2023-12-17 05:48:03,478 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 05:54:48,705 (trainer:737) INFO: 39epoch:train:7501-7600batch: iter_time=3.180, forward_time=0.147, loss_ctc=66.003, loss_att=52.003, acc=0.744, loss=56.203, backward_time=0.280, grad_norm=80.834, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.447e-05, train_time=4.468 + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua010:0/64] 2023-12-17 05:57:10,299 (trainer:737) INFO: 39epoch:train:7601-7700batch: iter_time=8.999e-05, forward_time=0.148, loss_ctc=65.990, loss_att=56.189, acc=0.733, loss=59.130, backward_time=0.296, grad_norm=84.320, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.447e-05, train_time=1.416 +[gpua010:0/64] 2023-12-17 05:59:44,385 (trainer:737) INFO: 39epoch:train:7701-7800batch: iter_time=8.836e-05, forward_time=0.253, loss_ctc=64.490, loss_att=49.951, acc=0.752, loss=54.313, backward_time=0.306, grad_norm=64.270, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.446e-05, train_time=1.541 +[gpua010:0/64] 2023-12-17 06:02:17,351 (trainer:737) INFO: 39epoch:train:7801-7900batch: iter_time=8.528e-05, forward_time=0.162, loss_ctc=57.939, loss_att=48.633, acc=0.737, loss=51.425, backward_time=0.286, grad_norm=95.114, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.445e-05, train_time=1.529 +[gpua010:0/64] 2023-12-17 06:04:39,762 (trainer:737) INFO: 39epoch:train:7901-8000batch: iter_time=8.009e-05, forward_time=0.149, loss_ctc=56.429, loss_att=47.378, acc=0.732, loss=50.093, backward_time=0.290, grad_norm=57.879, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.445e-05, train_time=1.423 +[gpua010:0/64] 2023-12-17 06:07:03,534 (trainer:737) INFO: 39epoch:train:8001-8100batch: iter_time=8.561e-05, forward_time=0.147, loss_ctc=70.208, loss_att=59.005, acc=0.719, loss=62.366, backward_time=0.291, grad_norm=73.242, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.444e-05, train_time=1.438 +[gpua010:0/64] 2023-12-17 06:10:08,358 (trainer:737) INFO: 39epoch:train:8101-8200batch: iter_time=8.536e-05, forward_time=0.148, loss_ctc=62.436, loss_att=43.907, acc=0.741, loss=49.466, backward_time=0.293, grad_norm=83.310, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.444e-05, train_time=1.848 +[gpua010:0/64] 2023-12-17 06:12:46,978 (trainer:737) INFO: 39epoch:train:8201-8300batch: iter_time=8.446e-05, forward_time=0.147, loss_ctc=63.312, loss_att=50.095, acc=0.743, loss=54.060, backward_time=0.304, grad_norm=86.174, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.443e-05, train_time=1.586 +[gpua010:0/64] 2023-12-17 06:15:26,359 (trainer:737) INFO: 39epoch:train:8301-8400batch: iter_time=8.407e-05, forward_time=0.154, loss_ctc=58.044, loss_att=46.048, acc=0.759, loss=49.647, backward_time=0.305, grad_norm=125.280, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.443e-05, train_time=1.594 +[gpua010:0/64] 2023-12-17 06:18:04,941 (trainer:737) INFO: 39epoch:train:8401-8500batch: iter_time=8.626e-05, forward_time=0.234, loss_ctc=62.073, loss_att=46.832, acc=0.738, loss=51.404, backward_time=0.311, grad_norm=73.052, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.442e-05, train_time=1.586 +[gpua010:0/64] 2023-12-17 06:20:26,777 (trainer:737) INFO: 39epoch:train:8501-8600batch: iter_time=9.444e-05, forward_time=0.155, loss_ctc=54.414, loss_att=40.213, acc=0.757, loss=44.474, backward_time=0.309, grad_norm=60.180, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.442e-05, train_time=1.418 +[gpua010:0/64] 2023-12-17 06:23:04,610 (trainer:737) INFO: 39epoch:train:8601-8700batch: iter_time=8.996e-05, forward_time=0.150, loss_ctc=57.457, loss_att=46.688, acc=0.749, loss=49.918, backward_time=0.306, grad_norm=59.774, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.441e-05, train_time=1.577 +[gpua010:0/64] 2023-12-17 06:24:47,345 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua010:0/64] 2023-12-17 06:25:05,534 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 06:25:08,911 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 06:25:08,911 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua010:0/64] 2023-12-17 06:25:08,953 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 06:34:05,907 (trainer:737) INFO: 39epoch:train:8701-8800batch: iter_time=5.110, forward_time=0.203, loss_ctc=69.720, loss_att=53.384, acc=0.747, loss=58.285, backward_time=0.288, grad_norm=78.527, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.440e-05, train_time=6.613 +[gpua010:0/64] 2023-12-17 06:36:07,497 (trainer:737) INFO: 39epoch:train:8801-8900batch: iter_time=7.811e-05, forward_time=0.149, loss_ctc=64.793, loss_att=54.879, acc=0.732, loss=57.853, backward_time=0.279, grad_norm=78.767, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.440e-05, train_time=1.216 +[gpua010:0/64] 2023-12-17 06:38:57,921 (trainer:737) INFO: 39epoch:train:8901-9000batch: iter_time=8.220e-05, forward_time=0.264, loss_ctc=64.922, loss_att=48.200, acc=0.745, loss=53.216, backward_time=0.314, grad_norm=92.647, clip=100.000, loss_scale=1.785e+31, optim_step_time=0.148, optim0_lr0=6.439e-05, train_time=1.704 +[gpua010:0/64] 2023-12-17 06:41:16,489 (trainer:737) INFO: 39epoch:train:9001-9100batch: iter_time=8.401e-05, forward_time=0.149, loss_ctc=62.710, loss_att=53.138, acc=0.749, loss=56.010, backward_time=0.281, grad_norm=66.726, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.439e-05, train_time=1.386 +[gpua010:0/64] 2023-12-17 06:43:51,561 (trainer:737) INFO: 39epoch:train:9101-9200batch: iter_time=8.231e-05, forward_time=0.265, loss_ctc=50.768, loss_att=40.293, acc=0.743, loss=43.435, backward_time=0.350, grad_norm=70.852, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.438e-05, train_time=1.550 +[gpua010:0/64] 2023-12-17 06:46:51,635 (trainer:737) INFO: 39epoch:train:9201-9300batch: iter_time=8.000e-05, forward_time=0.148, loss_ctc=71.933, loss_att=62.694, acc=0.711, loss=65.466, backward_time=0.305, grad_norm=89.313, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.438e-05, train_time=1.801 +[gpua010:0/64] 2023-12-17 06:49:52,572 (trainer:737) INFO: 39epoch:train:9301-9400batch: iter_time=8.817e-05, forward_time=0.244, loss_ctc=61.846, loss_att=44.321, acc=0.751, loss=49.579, backward_time=0.310, grad_norm=81.635, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.437e-05, train_time=1.807 +[gpua010:0/64] 2023-12-17 06:52:25,947 (trainer:737) INFO: 39epoch:train:9401-9500batch: iter_time=8.534e-05, forward_time=0.149, loss_ctc=63.203, loss_att=49.613, acc=0.736, loss=53.690, backward_time=0.321, grad_norm=82.553, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.437e-05, train_time=1.535 +[gpua010:0/64] 2023-12-17 06:55:41,374 (trainer:737) INFO: 39epoch:train:9501-9600batch: iter_time=1.006e-04, forward_time=0.192, loss_ctc=57.170, loss_att=41.844, acc=0.752, loss=46.442, backward_time=0.329, grad_norm=96.469, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.436e-05, train_time=1.954 +[gpua010:0/64] 2023-12-17 06:57:56,676 (trainer:737) INFO: 39epoch:train:9601-9700batch: iter_time=8.634e-05, forward_time=0.149, loss_ctc=61.421, loss_att=51.099, acc=0.737, loss=54.196, backward_time=0.280, grad_norm=98.198, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.435e-05, train_time=1.352 +[gpua010:0/64] 2023-12-17 07:00:42,964 (trainer:737) INFO: 39epoch:train:9701-9800batch: iter_time=8.519e-05, forward_time=0.226, loss_ctc=57.696, loss_att=42.575, acc=0.750, loss=47.111, backward_time=0.319, grad_norm=74.522, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.435e-05, train_time=1.664 +[gpua010:0/64] 2023-12-17 07:02:55,896 (trainer:737) INFO: 39epoch:train:9801-9900batch: iter_time=8.391e-05, forward_time=0.148, loss_ctc=52.790, loss_att=38.672, acc=0.764, loss=42.908, backward_time=0.281, grad_norm=111.707, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.434e-05, train_time=1.329 +[gpua010:0/64] 2023-12-17 07:05:35,557 (trainer:737) INFO: 39epoch:train:9901-10000batch: iter_time=8.322e-05, forward_time=0.149, loss_ctc=68.022, loss_att=57.850, acc=0.731, loss=60.902, backward_time=0.293, grad_norm=184.668, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.434e-05, train_time=1.596 +[gpua010:0/64] 2023-12-17 07:05:55,631 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua010:0/64] 2023-12-17 07:06:14,049 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 07:06:17,516 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 07:06:17,516 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua010:0/64] 2023-12-17 07:06:17,519 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 07:12:59,881 (trainer:737) INFO: 39epoch:train:10001-10100batch: iter_time=3.127, forward_time=0.184, loss_ctc=66.023, loss_att=50.601, acc=0.743, loss=55.227, backward_time=0.285, grad_norm=81.678, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.433e-05, train_time=4.443 +[gpua010:0/64] 2023-12-17 07:15:14,379 (trainer:737) INFO: 39epoch:train:10101-10200batch: iter_time=8.241e-05, forward_time=0.148, loss_ctc=65.690, loss_att=53.037, acc=0.733, loss=56.833, backward_time=0.284, grad_norm=92.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.433e-05, train_time=1.345 +[gpua010:0/64] 2023-12-17 07:17:20,959 (trainer:737) INFO: 39epoch:train:10201-10300batch: iter_time=7.863e-05, forward_time=0.147, loss_ctc=63.435, loss_att=48.755, acc=0.745, loss=53.159, backward_time=0.279, grad_norm=69.039, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.432e-05, train_time=1.265 +[gpua010:0/64] 2023-12-17 07:20:37,193 (trainer:737) INFO: 39epoch:train:10301-10400batch: iter_time=8.076e-05, forward_time=0.185, loss_ctc=57.967, loss_att=49.487, acc=0.724, loss=52.031, backward_time=0.364, grad_norm=79.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.432e-05, train_time=1.963 +[gpua010:0/64] 2023-12-17 07:23:03,070 (trainer:737) INFO: 39epoch:train:10401-10500batch: iter_time=8.103e-05, forward_time=0.181, loss_ctc=56.196, loss_att=45.111, acc=0.737, loss=48.436, backward_time=0.290, grad_norm=87.862, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.431e-05, train_time=1.459 +[gpua010:0/64] 2023-12-17 07:25:24,923 (trainer:737) INFO: 39epoch:train:10501-10600batch: iter_time=8.516e-05, forward_time=0.147, loss_ctc=70.698, loss_att=57.651, acc=0.717, loss=61.565, backward_time=0.280, grad_norm=94.388, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.430e-05, train_time=1.418 +[gpua010:0/64] 2023-12-17 07:27:49,968 (trainer:737) INFO: 39epoch:train:10601-10700batch: iter_time=8.261e-05, forward_time=0.146, loss_ctc=61.336, loss_att=43.923, acc=0.735, loss=49.147, backward_time=0.287, grad_norm=121.983, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.430e-05, train_time=1.448 +[gpua010:0/64] 2023-12-17 07:30:51,915 (trainer:737) INFO: 39epoch:train:10701-10800batch: iter_time=8.253e-05, forward_time=0.214, loss_ctc=62.646, loss_att=48.391, acc=0.737, loss=52.668, backward_time=0.330, grad_norm=115.747, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.429e-05, train_time=1.821 +[gpua010:0/64] 2023-12-17 07:33:26,153 (trainer:737) INFO: 39epoch:train:10801-10900batch: iter_time=8.486e-05, forward_time=0.148, loss_ctc=58.470, loss_att=46.130, acc=0.749, loss=49.832, backward_time=0.288, grad_norm=61.237, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.429e-05, train_time=1.543 +[gpua010:0/64] 2023-12-17 07:36:15,747 (trainer:737) INFO: 39epoch:train:10901-11000batch: iter_time=8.485e-05, forward_time=0.147, loss_ctc=62.078, loss_att=46.014, acc=0.733, loss=50.833, backward_time=0.321, grad_norm=85.300, clip=100.000, loss_scale=3.570e+31, optim_step_time=0.133, optim0_lr0=6.428e-05, train_time=1.696 +[gpua010:0/64] 2023-12-17 07:38:50,378 (trainer:737) INFO: 39epoch:train:11001-11100batch: iter_time=8.610e-05, forward_time=0.235, loss_ctc=53.784, loss_att=39.410, acc=0.752, loss=43.722, backward_time=0.314, grad_norm=72.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.428e-05, train_time=1.546 +[gpua010:0/64] 2023-12-17 07:41:44,663 (trainer:737) INFO: 39epoch:train:11101-11200batch: iter_time=8.558e-05, forward_time=0.185, loss_ctc=57.516, loss_att=45.184, acc=0.748, loss=48.883, backward_time=0.310, grad_norm=95.980, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.427e-05, train_time=1.742 +[gpua010:0/64] 2023-12-17 07:43:17,149 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua010:0/64] 2023-12-17 07:43:35,477 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 07:43:38,929 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 07:43:38,929 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua010:0/64] 2023-12-17 07:43:38,932 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 07:49:18,827 (trainer:737) INFO: 39epoch:train:11201-11300batch: iter_time=3.141, forward_time=0.193, loss_ctc=69.185, loss_att=53.094, acc=0.742, loss=57.921, backward_time=0.283, grad_norm=83.982, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.427e-05, train_time=4.542 +[gpua010:0/64] 2023-12-17 07:51:23,747 (trainer:737) INFO: 39epoch:train:11301-11400batch: iter_time=8.255e-05, forward_time=0.157, loss_ctc=65.101, loss_att=55.740, acc=0.732, loss=58.549, backward_time=0.286, grad_norm=123.446, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.426e-05, train_time=1.249 + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua010:0/64] 2023-12-17 07:53:58,270 (trainer:737) INFO: 39epoch:train:11401-11500batch: iter_time=8.021e-05, forward_time=0.222, loss_ctc=64.309, loss_att=48.312, acc=0.747, loss=53.111, backward_time=0.307, grad_norm=100.719, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.425e-05, train_time=1.545 +[gpua010:0/64] 2023-12-17 07:56:46,823 (trainer:737) INFO: 39epoch:train:11501-11600batch: iter_time=8.457e-05, forward_time=0.149, loss_ctc=61.869, loss_att=52.814, acc=0.749, loss=55.530, backward_time=0.306, grad_norm=96.081, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.425e-05, train_time=1.685 +[gpua010:0/64] 2023-12-17 08:00:00,380 (trainer:737) INFO: 39epoch:train:11601-11700batch: iter_time=2.542e-04, forward_time=0.227, loss_ctc=50.502, loss_att=40.380, acc=0.744, loss=43.416, backward_time=0.350, grad_norm=152.950, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.424e-05, train_time=1.935 +[gpua010:0/64] 2023-12-17 08:02:31,258 (trainer:737) INFO: 39epoch:train:11701-11800batch: iter_time=8.082e-05, forward_time=0.149, loss_ctc=71.619, loss_att=62.748, acc=0.714, loss=65.409, backward_time=0.316, grad_norm=92.795, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.424e-05, train_time=1.509 +[gpua010:0/64] 2023-12-17 08:05:10,641 (trainer:737) INFO: 39epoch:train:11801-11900batch: iter_time=8.945e-05, forward_time=0.165, loss_ctc=61.528, loss_att=44.380, acc=0.751, loss=49.525, backward_time=0.339, grad_norm=300.325, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.423e-05, train_time=1.593 +[gpua010:0/64] 2023-12-17 08:07:46,663 (trainer:737) INFO: 39epoch:train:11901-12000batch: iter_time=9.760e-05, forward_time=0.195, loss_ctc=63.047, loss_att=48.958, acc=0.739, loss=53.185, backward_time=0.309, grad_norm=88.631, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.423e-05, train_time=1.560 +[gpua010:0/64] 2023-12-17 08:09:09,205 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-17 08:10:42,613 (trainer:737) INFO: 39epoch:train:12001-12100batch: iter_time=9.797e-05, forward_time=0.149, loss_ctc=56.542, loss_att=41.461, acc=0.755, loss=45.985, backward_time=0.398, grad_norm=71.334, clip=100.000, loss_scale=3.012e+31, optim_step_time=0.134, optim0_lr0=6.422e-05, train_time=1.759 +[gpua010:0/64] 2023-12-17 08:13:27,654 (trainer:737) INFO: 39epoch:train:12101-12200batch: iter_time=3.615e-04, forward_time=0.229, loss_ctc=61.186, loss_att=51.335, acc=0.738, loss=54.291, backward_time=0.354, grad_norm=74.667, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.422e-05, train_time=1.650 +[gpua010:0/64] 2023-12-17 08:15:44,661 (trainer:737) INFO: 39epoch:train:12201-12300batch: iter_time=8.304e-05, forward_time=0.149, loss_ctc=57.494, loss_att=42.111, acc=0.750, loss=46.726, backward_time=0.286, grad_norm=119.566, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.421e-05, train_time=1.370 +[gpua010:0/64] 2023-12-17 08:18:34,917 (trainer:737) INFO: 39epoch:train:12301-12400batch: iter_time=3.746e-04, forward_time=0.202, loss_ctc=52.618, loss_att=38.442, acc=0.766, loss=42.695, backward_time=0.367, grad_norm=145.283, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.420e-05, train_time=1.702 +[gpua010:0/64] 2023-12-17 08:21:08,532 (trainer:737) INFO: 39epoch:train:12401-12500batch: iter_time=8.762e-05, forward_time=0.164, loss_ctc=67.985, loss_att=57.749, acc=0.732, loss=60.819, backward_time=0.308, grad_norm=78.944, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.420e-05, train_time=1.536 +[gpua010:0/64] 2023-12-17 08:21:28,792 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua010:0/64] 2023-12-17 08:21:47,020 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 08:21:50,470 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 08:21:50,471 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua010:0/64] 2023-12-17 08:21:50,474 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:553262:553336 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553259:553339 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553260:553341 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:553261:553342 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua010:0/64] 2023-12-17 08:32:01,172 (trainer:737) INFO: 39epoch:train:12501-12600batch: iter_time=5.207, forward_time=0.193, loss_ctc=65.761, loss_att=50.535, acc=0.748, loss=55.103, backward_time=0.287, grad_norm=73.977, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.419e-05, train_time=6.527 +[gpua010:0/64] 2023-12-17 08:34:28,810 (trainer:737) INFO: 39epoch:train:12601-12700batch: iter_time=5.138e-04, forward_time=0.249, loss_ctc=64.978, loss_att=54.173, acc=0.737, loss=57.414, backward_time=0.323, grad_norm=68.364, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=6.419e-05, train_time=1.475 +[gpua010:0/64] 2023-12-17 08:38:02,993 (trainer:737) INFO: 39epoch:train:12701-12800batch: iter_time=8.712e-05, forward_time=0.149, loss_ctc=63.122, loss_att=48.162, acc=0.757, loss=52.650, backward_time=0.339, grad_norm=67.698, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.418e-05, train_time=2.143 +[gpua010:0/64] 2023-12-17 08:40:50,764 (trainer:737) INFO: 39epoch:train:12801-12900batch: iter_time=9.249e-04, forward_time=0.251, loss_ctc=57.288, loss_att=48.180, acc=0.741, loss=50.912, backward_time=0.309, grad_norm=78.989, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.150, optim0_lr0=6.418e-05, train_time=1.677 +[gpua010:0/64] 2023-12-17 08:43:54,521 (trainer:737) INFO: 39epoch:train:12901-13000batch: iter_time=3.611e-04, forward_time=0.230, loss_ctc=55.950, loss_att=46.676, acc=0.735, loss=49.458, backward_time=0.385, grad_norm=69.158, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.417e-05, train_time=1.837 +[gpua010:0/64] 2023-12-17 08:46:31,821 (trainer:737) INFO: 39epoch:train:13001-13100batch: iter_time=8.096e-05, forward_time=0.176, loss_ctc=70.405, loss_att=58.559, acc=0.722, loss=62.113, backward_time=0.376, grad_norm=74.876, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.417e-05, train_time=1.572 +[gpua010:0/64] 2023-12-17 08:49:12,208 (trainer:737) INFO: 39epoch:train:13101-13200batch: iter_time=3.217e-04, forward_time=0.259, loss_ctc=60.821, loss_att=43.129, acc=0.743, loss=48.437, backward_time=0.344, grad_norm=69.947, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.416e-05, train_time=1.604 +[gpua010:0/64] 2023-12-17 08:52:05,734 (trainer:737) INFO: 39epoch:train:13201-13300batch: iter_time=8.366e-05, forward_time=0.148, loss_ctc=63.696, loss_att=49.695, acc=0.745, loss=53.895, backward_time=0.299, grad_norm=62.546, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.416e-05, train_time=1.735 +[gpua010:0/64] 2023-12-17 08:54:50,882 (trainer:737) INFO: 39epoch:train:13301-13400batch: iter_time=3.348e-04, forward_time=0.268, loss_ctc=57.697, loss_att=45.194, acc=0.762, loss=48.945, backward_time=0.337, grad_norm=64.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.415e-05, train_time=1.651 +[gpua010:0/64] 2023-12-17 08:57:31,631 (trainer:737) INFO: 39epoch:train:13401-13500batch: iter_time=8.479e-05, forward_time=0.148, loss_ctc=62.369, loss_att=46.838, acc=0.739, loss=51.497, backward_time=0.301, grad_norm=75.075, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.414e-05, train_time=1.607 +[gpua010:0/64] 2023-12-17 09:00:39,358 (trainer:737) INFO: 39epoch:train:13501-13600batch: iter_time=6.353e-04, forward_time=0.240, loss_ctc=53.936, loss_att=39.745, acc=0.758, loss=44.002, backward_time=0.358, grad_norm=75.947, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.414e-05, train_time=1.878 +[gpua010:0/64] 2023-12-17 09:03:29,981 (trainer:737) INFO: 39epoch:train:13601-13700batch: iter_time=8.525e-05, forward_time=0.149, loss_ctc=57.152, loss_att=46.534, acc=0.749, loss=49.720, backward_time=0.337, grad_norm=104.104, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.413e-05, train_time=1.706 +[gpua010:0/64] 2023-12-17 09:05:04,748 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua010:0/64] 2023-12-17 09:05:23,483 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 09:05:27,134 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 09:05:27,134 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua010:0/64] 2023-12-17 09:05:27,509 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 09:14:09,571 (trainer:737) INFO: 39epoch:train:13701-13800batch: iter_time=4.979, forward_time=0.201, loss_ctc=69.144, loss_att=51.705, acc=0.754, loss=56.937, backward_time=0.298, grad_norm=86.713, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=6.413e-05, train_time=6.396 +[gpua010:0/64] 2023-12-17 09:16:15,141 (trainer:737) INFO: 39epoch:train:13801-13900batch: iter_time=7.880e-05, forward_time=0.150, loss_ctc=64.558, loss_att=54.716, acc=0.724, loss=57.668, backward_time=0.281, grad_norm=70.895, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.412e-05, train_time=1.255 +[gpua010:0/64] 2023-12-17 09:19:05,953 (trainer:737) INFO: 39epoch:train:13901-14000batch: iter_time=4.694e-04, forward_time=0.221, loss_ctc=64.057, loss_att=47.323, acc=0.739, loss=52.343, backward_time=0.307, grad_norm=69.182, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.412e-05, train_time=1.708 +[gpua010:0/64] 2023-12-17 09:21:47,489 (trainer:737) INFO: 39epoch:train:14001-14100batch: iter_time=8.095e-05, forward_time=0.149, loss_ctc=62.538, loss_att=54.206, acc=0.735, loss=56.705, backward_time=0.290, grad_norm=64.943, clip=100.000, loss_scale=3.063e+31, optim_step_time=0.133, optim0_lr0=6.411e-05, train_time=1.615 +[gpua010:0/64] 2023-12-17 09:24:39,563 (trainer:737) INFO: 39epoch:train:14101-14200batch: iter_time=8.012e-05, forward_time=0.261, loss_ctc=50.640, loss_att=40.021, acc=0.737, loss=43.206, backward_time=0.326, grad_norm=91.928, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=6.411e-05, train_time=1.720 +[gpua010:0/64] 2023-12-17 09:27:48,176 (trainer:737) INFO: 39epoch:train:14201-14300batch: iter_time=8.142e-05, forward_time=0.146, loss_ctc=71.471, loss_att=60.389, acc=0.716, loss=63.714, backward_time=0.332, grad_norm=69.203, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.410e-05, train_time=1.886 +[gpua010:0/64] 2023-12-17 09:30:12,943 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua010:0/64] 2023-12-17 09:30:44,250 (trainer:737) INFO: 39epoch:train:14301-14400batch: iter_time=7.929e-05, forward_time=0.254, loss_ctc=61.586, loss_att=44.488, acc=0.747, loss=49.617, backward_time=0.308, grad_norm=65.084, clip=100.000, loss_scale=3.811e+31, optim_step_time=0.136, optim0_lr0=6.409e-05, train_time=1.761 +[gpua010:0/64] 2023-12-17 09:33:20,713 (trainer:737) INFO: 39epoch:train:14401-14500batch: iter_time=8.747e-05, forward_time=0.149, loss_ctc=62.927, loss_att=48.336, acc=0.731, loss=52.713, backward_time=0.290, grad_norm=68.992, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.409e-05, train_time=1.563 +[gpua010:0/64] 2023-12-17 09:35:54,020 (trainer:737) INFO: 39epoch:train:14501-14600batch: iter_time=9.117e-05, forward_time=0.225, loss_ctc=56.180, loss_att=41.913, acc=0.745, loss=46.193, backward_time=0.304, grad_norm=78.610, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.408e-05, train_time=1.534 +[gpua010:0/64] 2023-12-17 09:39:28,034 (trainer:737) INFO: 39epoch:train:14601-14700batch: iter_time=9.595e-05, forward_time=0.148, loss_ctc=60.822, loss_att=50.181, acc=0.730, loss=53.373, backward_time=0.744, grad_norm=103.161, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.408e-05, train_time=2.139 +[gpua010:0/64] 2023-12-17 09:42:45,317 (trainer:737) INFO: 39epoch:train:14701-14800batch: iter_time=8.762e-05, forward_time=0.308, loss_ctc=58.172, loss_att=42.563, acc=0.743, loss=47.246, backward_time=0.355, grad_norm=128.660, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.407e-05, train_time=1.974 +[gpua010:0/64] 2023-12-17 09:46:19,608 (trainer:737) INFO: 39epoch:train:14801-14900batch: iter_time=9.345e-05, forward_time=0.147, loss_ctc=52.233, loss_att=38.180, acc=0.762, loss=42.396, backward_time=0.405, grad_norm=65.742, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.407e-05, train_time=2.143 +[gpua010:0/64] 2023-12-17 09:49:53,544 (trainer:737) INFO: 39epoch:train:14901-15000batch: iter_time=2.335e-04, forward_time=0.250, loss_ctc=68.155, loss_att=55.785, acc=0.724, loss=59.496, backward_time=0.389, grad_norm=134.695, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.406e-05, train_time=2.138 +[gpua010:0/64] 2023-12-17 10:17:23,596 (trainer:343) INFO: 39epoch results: [train] iter_time=0.293, forward_time=0.181, loss_ctc=62.097, loss_att=48.698, acc=0.738, loss=52.718, backward_time=0.310, grad_norm=103.295, clip=100.000, loss_scale=1.839e+31, optim_step_time=0.135, optim0_lr0=6.448e-05, train_time=1.840, time=7 hours, 40 minutes and 26.84 seconds, total_count=585000, gpu_max_cached_mem_GB=36.826, [valid] loss_ctc=32.899, cer_ctc=0.170, loss_att=32.805, acc=0.733, cer=0.313, wer=0.977, loss=32.833, time=27 minutes and 5.79 seconds, total_count=182169, gpu_max_cached_mem_GB=36.826 +[gpua010:0/64] 2023-12-17 10:17:42,955 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua010:0/64] 2023-12-17 10:17:42,963 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/34epoch.pth +[gpua010:0/64] 2023-12-17 10:17:42,964 (trainer:272) INFO: 40/40epoch started. Estimated time to finish: 8 hours, 20 minutes and 50.81 seconds +[gpua010:0/64] 2023-12-17 10:17:42,975 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua010:0/64] 2023-12-17 10:18:00,830 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 10:18:04,170 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 10:18:04,170 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua010:0/64] 2023-12-17 10:18:04,174 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 10:28:13,932 (trainer:737) INFO: 40epoch:train:1-100batch: iter_time=5.017, forward_time=0.190, loss_ctc=66.526, loss_att=53.784, acc=0.708, loss=57.607, backward_time=0.286, grad_norm=102.508, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.406e-05, train_time=6.308 +[gpua010:0/64] 2023-12-17 10:30:39,577 (trainer:737) INFO: 40epoch:train:101-200batch: iter_time=2.924e-04, forward_time=0.262, loss_ctc=70.473, loss_att=57.877, acc=0.706, loss=61.656, backward_time=0.311, grad_norm=80.469, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=6.405e-05, train_time=1.457 +[gpua010:0/64] 2023-12-17 10:33:04,023 (trainer:737) INFO: 40epoch:train:201-300batch: iter_time=4.775e-04, forward_time=0.285, loss_ctc=60.343, loss_att=46.667, acc=0.722, loss=50.770, backward_time=0.316, grad_norm=70.739, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.405e-05, train_time=1.442 +[gpua010:0/64] 2023-12-17 10:35:26,880 (trainer:737) INFO: 40epoch:train:301-400batch: iter_time=8.034e-05, forward_time=0.147, loss_ctc=65.795, loss_att=49.653, acc=0.730, loss=54.496, backward_time=0.291, grad_norm=71.461, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.404e-05, train_time=1.430 +[gpua010:0/64] 2023-12-17 10:37:56,011 (trainer:737) INFO: 40epoch:train:401-500batch: iter_time=3.331e-04, forward_time=0.266, loss_ctc=66.229, loss_att=54.162, acc=0.712, loss=57.782, backward_time=0.312, grad_norm=70.931, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.403e-05, train_time=1.490 +[gpua010:0/64] 2023-12-17 10:40:09,585 (trainer:737) INFO: 40epoch:train:501-600batch: iter_time=8.311e-05, forward_time=0.147, loss_ctc=74.033, loss_att=62.564, acc=0.697, loss=66.004, backward_time=0.279, grad_norm=72.571, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.403e-05, train_time=1.336 +[gpua010:0/64] 2023-12-17 10:42:48,399 (trainer:737) INFO: 40epoch:train:601-700batch: iter_time=2.729e-04, forward_time=0.235, loss_ctc=58.808, loss_att=44.732, acc=0.723, loss=48.955, backward_time=0.340, grad_norm=66.064, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.402e-05, train_time=1.588 +[gpua010:0/64] 2023-12-17 10:45:37,163 (trainer:737) INFO: 40epoch:train:701-800batch: iter_time=8.035e-05, forward_time=0.146, loss_ctc=63.307, loss_att=45.029, acc=0.737, loss=50.513, backward_time=0.300, grad_norm=82.561, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.402e-05, train_time=1.688 +[gpua010:0/64] 2023-12-17 10:48:25,585 (trainer:737) INFO: 40epoch:train:801-900batch: iter_time=3.890e-04, forward_time=0.244, loss_ctc=74.020, loss_att=57.920, acc=0.728, loss=62.750, backward_time=0.325, grad_norm=75.647, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.401e-05, train_time=1.684 +[gpua010:0/64] 2023-12-17 10:51:01,681 (trainer:737) INFO: 40epoch:train:901-1000batch: iter_time=1.087e-04, forward_time=0.188, loss_ctc=65.064, loss_att=51.846, acc=0.726, loss=55.811, backward_time=0.306, grad_norm=85.030, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.401e-05, train_time=1.559 +[gpua010:0/64] 2023-12-17 10:53:34,187 (trainer:737) INFO: 40epoch:train:1001-1100batch: iter_time=8.888e-05, forward_time=0.202, loss_ctc=57.995, loss_att=48.327, acc=0.717, loss=51.227, backward_time=0.325, grad_norm=91.087, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.400e-05, train_time=1.527 +[gpua010:0/64] 2023-12-17 10:56:09,195 (trainer:737) INFO: 40epoch:train:1101-1200batch: iter_time=2.388e-04, forward_time=0.159, loss_ctc=76.602, loss_att=66.067, acc=0.699, loss=69.227, backward_time=0.313, grad_norm=99.218, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.400e-05, train_time=1.549 +[gpua010:0/64] 2023-12-17 10:57:48,822 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua010:0/64] 2023-12-17 10:58:07,170 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua010:0/64] 2023-12-17 10:58:10,502 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua010:0/64] 2023-12-17 10:58:10,502 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua010:0/64] 2023-12-17 10:58:10,507 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua010:0/64] 2023-12-17 11:03:25,418 (trainer:737) INFO: 40epoch:train:1201-1300batch: iter_time=2.301, forward_time=0.205, loss_ctc=72.026, loss_att=56.037, acc=0.711, loss=60.833, backward_time=0.313, grad_norm=110.929, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.399e-05, train_time=4.363 +[gpua010:0/64] 2023-12-17 11:05:30,128 (trainer:737) INFO: 40epoch:train:1301-1400batch: iter_time=8.443e-05, forward_time=0.148, loss_ctc=63.694, loss_att=50.893, acc=0.721, loss=54.734, backward_time=0.278, grad_norm=89.688, clip=100.000, loss_scale=2.272e+31, optim_step_time=0.133, optim0_lr0=6.399e-05, train_time=1.247 +[gpua010:0/64] 2023-12-17 11:08:10,543 (trainer:737) INFO: 40epoch:train:1401-1500batch: iter_time=8.275e-05, forward_time=0.190, loss_ctc=63.381, loss_att=52.428, acc=0.718, loss=55.714, backward_time=0.404, grad_norm=92.688, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.398e-05, train_time=1.603 +[gpua010:0/64] 2023-12-17 11:10:29,915 (trainer:737) INFO: 40epoch:train:1501-1600batch: iter_time=8.709e-05, forward_time=0.161, loss_ctc=60.607, loss_att=44.149, acc=0.734, loss=49.086, backward_time=0.283, grad_norm=85.023, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.397e-05, train_time=1.394 +[gpua010:0/64] 2023-12-17 11:12:52,146 (trainer:737) INFO: 40epoch:train:1601-1700batch: iter_time=8.847e-05, forward_time=0.148, loss_ctc=69.148, loss_att=54.084, acc=0.723, loss=58.603, backward_time=0.315, grad_norm=83.792, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.397e-05, train_time=1.422 +[gpua010:0/64] 2023-12-17 11:15:44,730 (trainer:737) INFO: 40epoch:train:1701-1800batch: iter_time=8.844e-05, forward_time=0.176, loss_ctc=71.170, loss_att=56.160, acc=0.713, loss=60.663, backward_time=0.328, grad_norm=66.620, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.396e-05, train_time=1.726 +[gpua010:0/64] 2023-12-17 11:18:12,217 (trainer:737) INFO: 40epoch:train:1801-1900batch: iter_time=9.143e-05, forward_time=0.174, loss_ctc=65.401, loss_att=53.612, acc=0.710, loss=57.148, backward_time=0.311, grad_norm=89.142, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.396e-05, train_time=1.474 +srun: Job step aborted: Waiting up to 32 seconds for job step to finish. +slurmstepd: error: *** STEP 2751183.0 ON gpua010 CANCELLED AT 2023-12-17T11:20:24 *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.4.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.4.log new file mode 100644 index 0000000000000000000000000000000000000000..c63a7e3e1f2853d0c5304e73b4f7f9c9dbe5417f --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.4.log @@ -0,0 +1,4125 @@ +# Running on gpua001.delta.ncsa.illinois.edu +# Started at Tue Dec 12 21:59:28 CST 2023 +# SLURMD_NODENAME=gpua001 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2746992 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1702612751 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2746992 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[001,006-008,025-026,028,031,046-047,056-057,082,085-086,088]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1702439951 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[001,006-008,025-026,028,031,046-047,056-057,082,085-086,088]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=2078137 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua001 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +[gpua001:0/64] 2023-12-12 21:59:40,130 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua001:0/64] 2023-12-12 21:59:50,199 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:00:00,243 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:00:10,266 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:00:20,288 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:00:30,332 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:00:40,365 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +[gpua001:0/64] 2023-12-12 22:00:50,441 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=36, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:01:00,474 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:01:10,521 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:01:20,574 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:01:30,616 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:01:40,659 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:01:50,672 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:02:00,681 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:02:10,690 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:02:20,755 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:02:30,807 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:02:40,851 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:02:50,897 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:03:00,950 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:03:10,975 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:03:21,001 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:03:31,016 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:03:41,071 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=40, timeout=0:30:00) +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a9e2fcf9-7208-4e53-94a3-698910856189 +[gpua001:0/64] 2023-12-12 22:03:51,291 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=46, timeout=0:30:00) +[gpua001:0/64] 2023-12-12 22:04:00,491 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua001:0/64] 2023-12-12 22:04:00,563 (s2t:464) INFO: Vocabulary size: 50002 +[gpua001:0/64] 2023-12-12 22:04:12,460 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua001:0/64] 2023-12-12 22:04:12,470 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua001:0/64] 2023-12-12 22:04:12,471 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua001:0/64] 2023-12-12 22:04:12,471 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua001:0/64] 2023-12-12 22:04:12,522 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua001:0/64] 2023-12-12 22:04:17,910 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 22:04:18,860 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 22:04:18,860 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua001:0/64] 2023-12-12 22:04:18,861 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 22:04:49,741 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua001:2078204:2078204 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> +gpua001:2078204:2078204 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua001:2078204:2078204 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua001:0/64] 2023-12-12 22:04:56,522 (trainer:284) INFO: 30/40epoch started +[gpua001:0/64] 2023-12-12 22:04:56,591 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-12 22:05:14,528 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 22:05:17,922 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 22:05:17,922 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-12 22:05:17,925 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua046:1183481:1183481 [1] NCCL INFO cudaDriverVersion 12020 +gpua046:1183481:1183481 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> +gpua046:1183481:1183481 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua046:1183481:1183639 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> +gpua046:1183481:1183639 [1] NCCL INFO Using network IB +gpua046:1183481:1183639 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua046:1183481:1183639 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua046:1183481:1183639 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua046:1183481:1183639 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua046:1183481:1183639 [1] NCCL INFO Connected all rings +gpua046:1183481:1183639 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua046:1183481:1183639 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua046:1183481:1183639 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua046:1183481:1183639 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua046:1183481:1183639 [1] NCCL INFO Connected all trees +gpua046:1183481:1183639 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua046:1183481:1183639 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua046:1183481:1183639 [1] NCCL INFO comm 0xf3809d0 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua006:3131589:3131589 [2] NCCL INFO cudaDriverVersion 12020 +gpua006:3131589:3131589 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:3131589:3131589 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:3131589:3131748 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:3131589:3131748 [2] NCCL INFO Using network IB +gpua006:3131589:3131748 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua006:3131589:3131748 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua006:3131589:3131748 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua006:3131589:3131748 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua006:3131589:3131748 [2] NCCL INFO Connected all rings +gpua006:3131589:3131748 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua006:3131589:3131748 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua047:1244879:1244879 [0] NCCL INFO cudaDriverVersion 12020 +gpua047:1244879:1244879 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1244879:1244879 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1244879:1245046 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1244879:1245046 [0] NCCL INFO Using network IB +gpua047:1244879:1245046 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua047:1244879:1245046 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua047:1244879:1245046 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1244879:1245046 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua047:1244879:1245046 [0] NCCL INFO Connected all rings +gpua006:3131589:3131748 [2] NCCL INFO Connected all trees +gpua006:3131589:3131748 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:3131589:3131748 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:3131589:3131748 [2] NCCL INFO comm 0x403ece90 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1244879:1245046 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1244879:1245046 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1244879:1245046 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua047:1244879:1245046 [0] NCCL INFO Connected all trees +gpua047:1244879:1245046 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1244879:1245046 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1244879:1245046 [0] NCCL INFO comm 0x7f4ac9ff9560 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua047:1244881:1244881 [2] NCCL INFO cudaDriverVersion 12020 +gpua047:1244881:1244881 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1244881:1244881 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1244881:1245044 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1244881:1245044 [2] NCCL INFO Using network IB +gpua047:1244881:1245044 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua047:1244881:1245044 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua047:1244881:1245044 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua047:1244881:1245044 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua047:1244881:1245044 [2] NCCL INFO Connected all rings +gpua047:1244881:1245044 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua047:1244881:1245044 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua047:1244881:1245044 [2] NCCL INFO Connected all trees +gpua047:1244881:1245044 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1244881:1245044 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1244881:1245044 [2] NCCL INFO comm 0x4e288800 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:957371:957371 [2] NCCL INFO cudaDriverVersion 12020 +gpua082:957371:957371 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:957371:957371 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:957371:957534 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:957371:957534 [2] NCCL INFO Using network IB +gpua082:957371:957534 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua082:957371:957534 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua082:957371:957534 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:957371:957534 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:957371:957534 [2] NCCL INFO Connected all rings +gpua082:957371:957534 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:957371:957534 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:957371:957534 [2] NCCL INFO Connected all trees +gpua082:957371:957534 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:957371:957534 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:957371:957534 [2] NCCL INFO comm 0xb5c9b80 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua047:1244882:1244882 [3] NCCL INFO cudaDriverVersion 12020 +gpua047:1244882:1244882 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1244882:1244882 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1244882:1245047 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1244882:1245047 [3] NCCL INFO Using network IB +gpua047:1244882:1245047 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua047:1244882:1245047 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua047:1244882:1245047 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua047:1244882:1245047 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua047:1244882:1245047 [3] NCCL INFO Connected all rings +gpua047:1244882:1245047 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua047:1244882:1245047 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua047:1244882:1245047 [3] NCCL INFO Connected all trees +gpua047:1244882:1245047 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1244882:1245047 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1244882:1245047 [3] NCCL INFO comm 0x7f81a0ffa560 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua082:957369:957369 [0] NCCL INFO cudaDriverVersion 12020 +gpua082:957369:957369 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:957369:957369 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:957369:957535 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:957369:957535 [0] NCCL INFO Using network IB +gpua082:957369:957535 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua082:957369:957535 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:957369:957535 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:957369:957535 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:957369:957535 [0] NCCL INFO Connected all rings +gpua082:957369:957535 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua082:957369:957535 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:957369:957535 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:957369:957535 [0] NCCL INFO Connected all trees +gpua082:957369:957535 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:957369:957535 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:957369:957535 [0] NCCL INFO comm 0x1c01bfb0 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:736765:736765 [0] NCCL INFO cudaDriverVersion 12020 +gpua007:736765:736765 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:736765:736765 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:736765:736925 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:736765:736925 [0] NCCL INFO Using network IB +gpua007:736765:736925 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua007:736765:736925 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua007:736765:736925 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua007:736765:736925 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua007:736765:736925 [0] NCCL INFO Connected all rings +gpua007:736765:736925 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua007:736765:736925 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua007:736765:736925 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua007:736765:736925 [0] NCCL INFO Connected all trees +gpua007:736765:736925 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:736765:736925 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:736765:736925 [0] NCCL INFO comm 0xe0c1ac0 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua082:957370:957370 [1] NCCL INFO cudaDriverVersion 12020 +gpua082:957370:957370 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:957370:957370 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:957370:957537 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:957370:957537 [1] NCCL INFO Using network IB +gpua082:957370:957537 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua082:957370:957537 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua082:957370:957537 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:957370:957537 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:957370:957537 [1] NCCL INFO Connected all rings +gpua082:957370:957537 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua082:957370:957537 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua082:957370:957537 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:957370:957537 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:957370:957537 [1] NCCL INFO Connected all trees +gpua082:957370:957537 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:957370:957537 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:957370:957537 [1] NCCL INFO comm 0x15d4ca00 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua031:1117011:1117011 [1] NCCL INFO cudaDriverVersion 12020 +gpua031:1117011:1117011 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1117011:1117011 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1117011:1117165 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1117011:1117165 [1] NCCL INFO Using network IB +gpua031:1117011:1117165 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua031:1117011:1117165 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua031:1117011:1117165 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua031:1117011:1117165 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua031:1117011:1117165 [1] NCCL INFO Connected all rings +gpua031:1117011:1117165 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua031:1117011:1117165 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua031:1117011:1117165 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua031:1117011:1117165 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua031:1117011:1117165 [1] NCCL INFO Connected all trees +gpua031:1117011:1117165 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1117011:1117165 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1117011:1117165 [1] NCCL INFO comm 0x9a9a5bd0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua008:2106625:2106625 [3] NCCL INFO cudaDriverVersion 12020 +gpua008:2106625:2106625 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2106625:2106625 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2106625:2106788 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2106625:2106788 [3] NCCL INFO Using network IB +gpua008:2106625:2106788 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua008:2106625:2106788 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua008:2106625:2106788 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua008:2106625:2106788 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua008:2106625:2106788 [3] NCCL INFO Connected all rings +gpua008:2106625:2106788 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua008:2106625:2106788 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua008:2106625:2106788 [3] NCCL INFO Connected all trees +gpua008:2106625:2106788 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2106625:2106788 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2106625:2106788 [3] NCCL INFO comm 0x1680cfd0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua006:3131590:3131590 [3] NCCL INFO cudaDriverVersion 12020 +gpua006:3131590:3131590 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:3131590:3131590 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:3131590:3131749 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:3131590:3131749 [3] NCCL INFO Using network IB +gpua006:3131590:3131749 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua006:3131590:3131749 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua006:3131590:3131749 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua006:3131590:3131749 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua006:3131590:3131749 [3] NCCL INFO Connected all rings +gpua006:3131590:3131749 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua006:3131590:3131749 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua006:3131590:3131749 [3] NCCL INFO Connected all trees +gpua006:3131590:3131749 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:3131590:3131749 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:3131590:3131749 [3] NCCL INFO comm 0xb990810 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua085:1581313:1581313 [1] NCCL INFO cudaDriverVersion 12020 +gpua085:1581313:1581313 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1581313:1581313 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1581313:1581377 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1581313:1581377 [1] NCCL INFO Using network IB +gpua085:1581313:1581377 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua085:1581313:1581377 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua085:1581313:1581377 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua085:1581313:1581377 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua085:1581313:1581377 [1] NCCL INFO Connected all rings +gpua085:1581313:1581377 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua085:1581313:1581377 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua085:1581313:1581377 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua085:1581313:1581377 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua085:1581313:1581377 [1] NCCL INFO Connected all trees +gpua085:1581313:1581377 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1581313:1581377 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1581313:1581377 [1] NCCL INFO comm 0xbdea260 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua031:1117010:1117010 [0] NCCL INFO cudaDriverVersion 12020 +gpua031:1117010:1117010 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1117010:1117010 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1117010:1117163 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1117010:1117163 [0] NCCL INFO Using network IB +gpua031:1117010:1117163 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua031:1117010:1117163 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua031:1117010:1117163 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:1117010:1117163 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua031:1117010:1117163 [0] NCCL INFO Connected all rings +gpua031:1117010:1117163 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua031:1117010:1117163 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua031:1117010:1117163 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua031:1117010:1117163 [0] NCCL INFO Connected all trees +gpua031:1117010:1117163 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1117010:1117163 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1117010:1117163 [0] NCCL INFO comm 0xbede5f0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua088:1911481:1911481 [3] NCCL INFO cudaDriverVersion 12020 +gpua088:1911481:1911481 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> +gpua088:1911481:1911481 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua088:1911481:1911550 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> +gpua088:1911481:1911550 [3] NCCL INFO Using network IB +gpua088:1911481:1911550 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua088:1911481:1911550 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua088:1911481:1911550 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua088:1911481:1911550 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua088:1911481:1911550 [3] NCCL INFO Connected all rings +gpua088:1911481:1911550 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua088:1911481:1911550 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua088:1911481:1911550 [3] NCCL INFO Connected all trees +gpua088:1911481:1911550 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua088:1911481:1911550 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua088:1911481:1911550 [3] NCCL INFO comm 0xd60c490 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:1047479:1047479 [0] NCCL INFO cudaDriverVersion 12020 +gpua086:1047479:1047479 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1047479:1047479 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1047479:1047545 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1047479:1047545 [0] NCCL INFO Using network IB +gpua086:1047479:1047545 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua086:1047479:1047545 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1047479:1047545 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua086:1047479:1047545 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua086:1047479:1047545 [0] NCCL INFO Connected all rings +gpua001:2078207:2078207 [3] NCCL INFO cudaDriverVersion 12020 +gpua001:2078207:2078207 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> +gpua001:2078207:2078207 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua001:2078207:2078425 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> +gpua001:2078207:2078425 [3] NCCL INFO Using network IB +gpua001:2078207:2078425 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua001:2078207:2078425 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua001:2078207:2078425 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua001:2078207:2078425 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua001:2078207:2078425 [3] NCCL INFO Connected all rings +gpua001:2078207:2078425 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua001:2078207:2078425 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua086:1047479:1047545 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua086:1047479:1047545 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua086:1047479:1047545 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua086:1047479:1047545 [0] NCCL INFO Connected all trees +gpua086:1047479:1047545 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1047479:1047545 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1047479:1047545 [0] NCCL INFO comm 0xf58f1a0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua001:2078207:2078425 [3] NCCL INFO Connected all trees +gpua001:2078207:2078425 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua001:2078207:2078425 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua001:2078207:2078425 [3] NCCL INFO comm 0x11a8f7f0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua031:1117012:1117012 [2] NCCL INFO cudaDriverVersion 12020 +gpua031:1117012:1117012 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1117012:1117012 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1117012:1117164 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1117012:1117164 [2] NCCL INFO Using network IB +gpua031:1117012:1117164 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua031:1117012:1117164 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua031:1117012:1117164 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua031:1117012:1117164 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua031:1117012:1117164 [2] NCCL INFO Connected all rings +gpua031:1117012:1117164 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua031:1117012:1117164 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua031:1117012:1117164 [2] NCCL INFO Connected all trees +gpua031:1117012:1117164 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1117012:1117164 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1117012:1117164 [2] NCCL INFO comm 0xea58bde0 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:1117013:1117013 [3] NCCL INFO cudaDriverVersion 12020 +gpua031:1117013:1117013 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1117013:1117013 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1117013:1117166 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1117013:1117166 [3] NCCL INFO Using network IB +gpua031:1117013:1117166 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua031:1117013:1117166 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua031:1117013:1117166 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua031:1117013:1117166 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua031:1117013:1117166 [3] NCCL INFO Connected all rings +gpua031:1117013:1117166 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua031:1117013:1117166 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua031:1117013:1117166 [3] NCCL INFO Connected all trees +gpua031:1117013:1117166 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1117013:1117166 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1117013:1117166 [3] NCCL INFO comm 0xe76d4ba0 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua008:2106624:2106624 [2] NCCL INFO cudaDriverVersion 12020 +gpua008:2106624:2106624 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2106624:2106624 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2106624:2106790 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2106624:2106790 [2] NCCL INFO Using network IB +gpua008:2106624:2106790 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua008:2106624:2106790 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua008:2106624:2106790 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua008:2106624:2106790 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua008:2106624:2106790 [2] NCCL INFO Connected all rings +gpua008:2106624:2106790 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua008:2106624:2106790 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua008:2106624:2106790 [2] NCCL INFO Connected all trees +gpua008:2106624:2106790 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2106624:2106790 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2106624:2106790 [2] NCCL INFO comm 0xc6dcab0 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua028:990457:990457 [2] NCCL INFO cudaDriverVersion 12020 +gpua028:990457:990457 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> +gpua028:990457:990457 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua028:990457:990524 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> +gpua028:990457:990524 [2] NCCL INFO Using network IB +gpua028:990457:990524 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua028:990457:990524 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua028:990457:990524 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua028:990457:990524 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua028:990457:990524 [2] NCCL INFO Connected all rings +gpua028:990457:990524 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua028:990457:990524 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua028:990457:990524 [2] NCCL INFO Connected all trees +gpua028:990457:990524 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua028:990457:990524 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua028:990457:990524 [2] NCCL INFO comm 0x113bad00 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua028:990458:990458 [3] NCCL INFO cudaDriverVersion 12020 +gpua028:990458:990458 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> +gpua028:990458:990458 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua028:990458:990525 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> +gpua028:990458:990525 [3] NCCL INFO Using network IB +gpua028:990458:990525 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua028:990458:990525 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua028:990458:990525 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua028:990458:990525 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua028:990458:990525 [3] NCCL INFO Connected all rings +gpua028:990458:990525 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua028:990458:990525 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua028:990458:990525 [3] NCCL INFO Connected all trees +gpua028:990458:990525 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua028:990458:990525 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua028:990458:990525 [3] NCCL INFO comm 0x12099010 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua056:1503506:1503506 [2] NCCL INFO cudaDriverVersion 12020 +gpua056:1503506:1503506 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1503506:1503506 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1503506:1503603 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1503506:1503603 [2] NCCL INFO Using network IB +gpua056:1503506:1503603 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua056:1503506:1503603 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua056:1503506:1503603 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1503506:1503603 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1503506:1503603 [2] NCCL INFO Connected all rings +gpua056:1503506:1503603 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1503506:1503603 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1503506:1503603 [2] NCCL INFO Connected all trees +gpua056:1503506:1503603 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1503506:1503603 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1503506:1503603 [2] NCCL INFO comm 0x1710f0b0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua006:3131588:3131588 [1] NCCL INFO cudaDriverVersion 12020 +gpua006:3131588:3131588 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:3131588:3131588 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:3131588:3131751 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:3131588:3131751 [1] NCCL INFO Using network IB +gpua006:3131588:3131751 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua006:3131588:3131751 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua006:3131588:3131751 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua006:3131588:3131751 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua006:3131588:3131751 [1] NCCL INFO Connected all rings +gpua006:3131588:3131751 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua006:3131588:3131751 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua006:3131588:3131751 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua006:3131588:3131751 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua006:3131588:3131751 [1] NCCL INFO Connected all trees +gpua006:3131588:3131751 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:3131588:3131751 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:3131588:3131751 [1] NCCL INFO comm 0xe1aebe0 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua056:1503504:1503504 [0] NCCL INFO cudaDriverVersion 12020 +gpua056:1503504:1503504 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1503504:1503504 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1503504:1503602 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1503504:1503602 [0] NCCL INFO Using network IB +gpua056:1503504:1503602 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua056:1503504:1503602 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1503504:1503602 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1503504:1503602 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1503504:1503602 [0] NCCL INFO Connected all rings +gpua056:1503504:1503602 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1503504:1503602 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1503504:1503602 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua056:1503504:1503602 [0] NCCL INFO Connected all trees +gpua056:1503504:1503602 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1503504:1503602 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1503504:1503602 [0] NCCL INFO comm 0x97c14480 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1503505:1503505 [1] NCCL INFO cudaDriverVersion 12020 +gpua056:1503505:1503505 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1503505:1503505 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1503505:1503605 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1503505:1503605 [1] NCCL INFO Using network IB +gpua056:1503505:1503605 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua056:1503505:1503605 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua056:1503505:1503605 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1503505:1503605 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1503505:1503605 [1] NCCL INFO Connected all rings +gpua056:1503505:1503605 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua056:1503505:1503605 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua056:1503505:1503605 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1503505:1503605 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1503505:1503605 [1] NCCL INFO Connected all trees +gpua056:1503505:1503605 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1503505:1503605 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1503505:1503605 [1] NCCL INFO comm 0xd013680 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua001:2078206:2078206 [2] NCCL INFO cudaDriverVersion 12020 +gpua001:2078206:2078206 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> +gpua001:2078206:2078206 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua001:2078206:2078426 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> +gpua001:2078206:2078426 [2] NCCL INFO Using network IB +gpua001:2078206:2078426 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua001:2078206:2078426 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua001:2078206:2078426 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua001:2078206:2078426 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua001:2078206:2078426 [2] NCCL INFO Connected all rings +gpua001:2078206:2078426 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua001:2078206:2078426 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua001:2078206:2078426 [2] NCCL INFO Connected all trees +gpua001:2078206:2078426 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua001:2078206:2078426 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua001:2078206:2078426 [2] NCCL INFO comm 0xe99545a0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua025:809455:809455 [2] NCCL INFO cudaDriverVersion 12020 +gpua025:809455:809455 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.25<0> +gpua025:809455:809455 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua025:809455:809527 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.25<0> +gpua025:809455:809527 [2] NCCL INFO Using network IB +gpua025:809455:809527 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua025:809455:809527 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua025:809455:809527 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua025:809455:809527 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua025:809455:809527 [2] NCCL INFO Connected all rings +gpua025:809455:809527 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua025:809455:809527 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua028:990455:990455 [0] NCCL INFO cudaDriverVersion 12020 +gpua028:990455:990455 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> +gpua028:990455:990455 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua028:990455:990526 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> +gpua028:990455:990526 [0] NCCL INFO Using network IB +gpua028:990455:990526 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua028:990455:990526 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua028:990455:990526 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua028:990455:990526 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua028:990455:990526 [0] NCCL INFO Connected all rings +gpua088:1911479:1911479 [1] NCCL INFO cudaDriverVersion 12020 +gpua088:1911479:1911479 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> +gpua088:1911479:1911479 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua088:1911479:1911549 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> +gpua088:1911479:1911549 [1] NCCL INFO Using network IB +gpua088:1911479:1911549 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua088:1911479:1911549 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua088:1911479:1911549 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua088:1911479:1911549 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua088:1911479:1911549 [1] NCCL INFO Connected all rings +gpua088:1911479:1911549 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua088:1911479:1911549 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua025:809455:809527 [2] NCCL INFO Connected all trees +gpua025:809455:809527 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua025:809455:809527 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua025:809455:809527 [2] NCCL INFO comm 0x11e65300 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua028:990455:990526 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua028:990455:990526 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua028:990455:990526 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua028:990455:990526 [0] NCCL INFO Connected all trees +gpua028:990455:990526 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua028:990455:990526 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua028:990455:990526 [0] NCCL INFO comm 0x136b47b0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua088:1911479:1911549 [1] NCCL INFO Connected all trees +gpua088:1911479:1911549 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua088:1911479:1911549 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua088:1911479:1911549 [1] NCCL INFO comm 0xe1a71a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua088:1911480:1911480 [2] NCCL INFO cudaDriverVersion 12020 +gpua088:1911480:1911480 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> +gpua088:1911480:1911480 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua088:1911480:1911547 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> +gpua088:1911480:1911547 [2] NCCL INFO Using network IB +gpua088:1911480:1911547 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua088:1911480:1911547 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua088:1911480:1911547 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua088:1911480:1911547 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua088:1911480:1911547 [2] NCCL INFO Connected all rings +gpua088:1911480:1911547 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua088:1911480:1911547 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua088:1911480:1911547 [2] NCCL INFO Connected all trees +gpua088:1911480:1911547 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua088:1911480:1911547 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua088:1911480:1911547 [2] NCCL INFO comm 0x9caef2d0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua001:2078205:2078205 [1] NCCL INFO cudaDriverVersion 12020 +gpua001:2078205:2078205 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> +gpua001:2078205:2078205 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua001:2078205:2078427 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> +gpua001:2078205:2078427 [1] NCCL INFO Using network IB +gpua001:2078205:2078427 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua001:2078205:2078427 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua001:2078205:2078427 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua001:2078205:2078427 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua001:2078205:2078427 [1] NCCL INFO Connected all rings +gpua001:2078205:2078427 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua001:2078205:2078427 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua001:2078205:2078427 [1] NCCL INFO Connected all trees +gpua001:2078205:2078427 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua001:2078205:2078427 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua001:2078205:2078427 [1] NCCL INFO comm 0xcaf3980 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua057:852089:852089 [0] NCCL INFO cudaDriverVersion 12020 +gpua057:852089:852089 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:852089:852089 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:852089:852248 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:852089:852248 [0] NCCL INFO Using network IB +gpua057:852089:852248 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua057:852089:852248 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua057:852089:852248 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:852089:852248 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:852089:852248 [0] NCCL INFO Connected all rings +gpua057:852089:852248 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua057:852089:852248 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua057:852089:852248 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua057:852089:852248 [0] NCCL INFO Connected all trees +gpua057:852089:852248 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:852089:852248 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:852089:852248 [0] NCCL INFO comm 0xe569920 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua025:809456:809456 [3] NCCL INFO cudaDriverVersion 12020 +gpua025:809456:809456 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.25<0> +gpua025:809456:809456 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua025:809456:809528 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.25<0> +gpua025:809456:809528 [3] NCCL INFO Using network IB +gpua025:809456:809528 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua025:809456:809528 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua025:809456:809528 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua025:809456:809528 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua025:809456:809528 [3] NCCL INFO Connected all rings +gpua025:809456:809528 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua025:809456:809528 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua025:809456:809528 [3] NCCL INFO Connected all trees +gpua025:809456:809528 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua025:809456:809528 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua025:809456:809528 [3] NCCL INFO comm 0xed03bc0 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua085:1581315:1581315 [3] NCCL INFO cudaDriverVersion 12020 +gpua085:1581315:1581315 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1581315:1581315 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1581315:1581378 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1581315:1581378 [3] NCCL INFO Using network IB +gpua085:1581315:1581378 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua085:1581315:1581378 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua085:1581315:1581378 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua085:1581315:1581378 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua085:1581315:1581378 [3] NCCL INFO Connected all rings +gpua085:1581315:1581378 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua085:1581315:1581378 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua007:736768:736768 [3] NCCL INFO cudaDriverVersion 12020 +gpua007:736768:736768 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:736768:736768 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:736768:736923 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:736768:736923 [3] NCCL INFO Using network IB +gpua007:736768:736923 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua007:736768:736923 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua007:736768:736923 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua007:736768:736923 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua007:736768:736923 [3] NCCL INFO Connected all rings +gpua007:736768:736923 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua007:736768:736923 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua085:1581315:1581378 [3] NCCL INFO Connected all trees +gpua085:1581315:1581378 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1581315:1581378 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1581315:1581378 [3] NCCL INFO comm 0x19df51d0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua007:736768:736923 [3] NCCL INFO Connected all trees +gpua007:736768:736923 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:736768:736923 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:736768:736923 [3] NCCL INFO comm 0xc965b30 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua057:852092:852092 [3] NCCL INFO cudaDriverVersion 12020 +gpua057:852092:852092 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:852092:852092 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:852092:852245 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:852092:852245 [3] NCCL INFO Using network IB +gpua057:852092:852245 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua057:852092:852245 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua057:852092:852245 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:852092:852245 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:852092:852245 [3] NCCL INFO Connected all rings +gpua057:852092:852245 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua057:852092:852245 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua057:852092:852245 [3] NCCL INFO Connected all trees +gpua057:852092:852245 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:852092:852245 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:852092:852245 [3] NCCL INFO comm 0x32118ab0 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua047:1244880:1244880 [1] NCCL INFO cudaDriverVersion 12020 +gpua047:1244880:1244880 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1244880:1244880 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1244880:1245045 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1244880:1245045 [1] NCCL INFO Using network IB +gpua047:1244880:1245045 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua047:1244880:1245045 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua047:1244880:1245045 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua047:1244880:1245045 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua047:1244880:1245045 [1] NCCL INFO Connected all rings +gpua047:1244880:1245045 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua047:1244880:1245045 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua026:19276:19276 [1] NCCL INFO cudaDriverVersion 12020 +gpua026:19276:19276 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> +gpua026:19276:19276 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua026:19276:19341 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> +gpua026:19276:19341 [1] NCCL INFO Using network IB +gpua026:19276:19341 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua026:19276:19341 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua026:19276:19341 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua026:19276:19341 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua026:19276:19341 [1] NCCL INFO Connected all rings +gpua026:19276:19341 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua026:19276:19341 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua047:1244880:1245045 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua047:1244880:1245045 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua047:1244880:1245045 [1] NCCL INFO Connected all trees +gpua047:1244880:1245045 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1244880:1245045 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1244880:1245045 [1] NCCL INFO comm 0x36071290 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua026:19276:19341 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua026:19276:19341 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua026:19276:19341 [1] NCCL INFO Connected all trees +gpua026:19276:19341 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua026:19276:19341 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua026:19276:19341 [1] NCCL INFO comm 0xb903950 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua026:19275:19275 [0] NCCL INFO cudaDriverVersion 12020 +gpua026:19275:19275 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> +gpua026:19275:19275 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua026:19275:19344 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> +gpua026:19275:19344 [0] NCCL INFO Using network IB +gpua026:19275:19344 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua026:19275:19344 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua026:19275:19344 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua026:19275:19344 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua026:19275:19344 [0] NCCL INFO Connected all rings +gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua026:19275:19344 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua026:19275:19344 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua026:19275:19344 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua026:19275:19344 [0] NCCL INFO Connected all trees +gpua026:19275:19344 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua026:19275:19344 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua026:19275:19344 [0] NCCL INFO comm 0xe0ccdbe0 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua006:3131587:3131587 [0] NCCL INFO cudaDriverVersion 12020 +gpua006:3131587:3131587 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:3131587:3131587 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:3131587:3131750 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:3131587:3131750 [0] NCCL INFO Using network IB +gpua006:3131587:3131750 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua006:3131587:3131750 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua006:3131587:3131750 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3131587:3131750 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua006:3131587:3131750 [0] NCCL INFO Connected all rings +gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3131587:3131750 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3131587:3131750 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3131587:3131750 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua006:3131587:3131750 [0] NCCL INFO Connected all trees +gpua006:3131587:3131750 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:3131587:3131750 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:3131587:3131750 [0] NCCL INFO comm 0x12140a50 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua025:809454:809454 [1] NCCL INFO cudaDriverVersion 12020 +gpua025:809454:809454 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.25<0> +gpua025:809454:809454 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua025:809454:809529 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.25<0> +gpua025:809454:809529 [1] NCCL INFO Using network IB +gpua025:809454:809529 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua025:809454:809529 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua025:809454:809529 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua025:809454:809529 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua025:809454:809529 [1] NCCL INFO Connected all rings +gpua025:809454:809529 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua025:809454:809529 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua085:1581314:1581314 [2] NCCL INFO cudaDriverVersion 12020 +gpua085:1581314:1581314 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1581314:1581314 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1581314:1581376 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1581314:1581376 [2] NCCL INFO Using network IB +gpua085:1581314:1581376 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua085:1581314:1581376 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua085:1581314:1581376 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua085:1581314:1581376 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua085:1581314:1581376 [2] NCCL INFO Connected all rings +gpua085:1581314:1581376 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua085:1581314:1581376 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua025:809454:809529 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua025:809454:809529 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua025:809454:809529 [1] NCCL INFO Connected all trees +gpua025:809454:809529 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua025:809454:809529 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua025:809454:809529 [1] NCCL INFO comm 0xbe6b120 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua085:1581314:1581376 [2] NCCL INFO Connected all trees +gpua085:1581314:1581376 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1581314:1581376 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1581314:1581376 [2] NCCL INFO comm 0x13f13750 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua085:1581312:1581312 [0] NCCL INFO cudaDriverVersion 12020 +gpua085:1581312:1581312 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1581312:1581312 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1581312:1581379 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1581312:1581379 [0] NCCL INFO Using network IB +gpua085:1581312:1581379 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua085:1581312:1581379 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua085:1581312:1581379 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1581312:1581379 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua085:1581312:1581379 [0] NCCL INFO Connected all rings +gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1581312:1581379 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua085:1581312:1581379 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua085:1581312:1581379 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua085:1581312:1581379 [0] NCCL INFO Connected all trees +gpua085:1581312:1581379 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1581312:1581379 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1581312:1581379 [0] NCCL INFO comm 0x9a80d910 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua046:1183483:1183483 [3] NCCL INFO cudaDriverVersion 12020 +gpua046:1183483:1183483 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> +gpua046:1183483:1183483 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua046:1183483:1183642 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> +gpua046:1183483:1183642 [3] NCCL INFO Using network IB +gpua046:1183483:1183642 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua046:1183483:1183642 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua046:1183483:1183642 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua046:1183483:1183642 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua046:1183483:1183642 [3] NCCL INFO Connected all rings +gpua046:1183483:1183642 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua046:1183483:1183642 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua088:1911478:1911478 [0] NCCL INFO cudaDriverVersion 12020 +gpua088:1911478:1911478 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.88<0> +gpua088:1911478:1911478 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua088:1911478:1911548 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.88<0> +gpua088:1911478:1911548 [0] NCCL INFO Using network IB +gpua088:1911478:1911548 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua088:1911478:1911548 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua088:1911478:1911548 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua088:1911478:1911548 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua088:1911478:1911548 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua088:1911478:1911548 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua088:1911478:1911548 [0] NCCL INFO Connected all rings +gpua046:1183483:1183642 [3] NCCL INFO Connected all trees +gpua046:1183483:1183642 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua046:1183483:1183642 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua046:1183483:1183642 [3] NCCL INFO comm 0x12621410 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua088:1911478:1911548 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua088:1911478:1911548 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua088:1911478:1911548 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua088:1911478:1911548 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua088:1911478:1911548 [0] NCCL INFO Connected all trees +gpua088:1911478:1911548 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua088:1911478:1911548 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua088:1911478:1911548 [0] NCCL INFO comm 0x978c500 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua046:1183480:1183480 [0] NCCL INFO cudaDriverVersion 12020 +gpua046:1183480:1183480 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> +gpua046:1183480:1183480 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua046:1183480:1183640 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> +gpua046:1183480:1183640 [0] NCCL INFO Using network IB +gpua046:1183480:1183640 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua046:1183480:1183640 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1183480:1183640 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua046:1183480:1183640 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua046:1183480:1183640 [0] NCCL INFO Connected all rings +gpua046:1183480:1183640 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua046:1183480:1183640 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1183480:1183640 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1183480:1183640 [0] NCCL INFO Connected all trees +gpua046:1183480:1183640 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua046:1183480:1183640 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua046:1183480:1183640 [0] NCCL INFO comm 0x105a3b30 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua028:990456:990456 [1] NCCL INFO cudaDriverVersion 12020 +gpua028:990456:990456 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.28<0> +gpua028:990456:990456 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua028:990456:990527 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.28<0> +gpua028:990456:990527 [1] NCCL INFO Using network IB +gpua028:990456:990527 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua028:990456:990527 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua028:990456:990527 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua028:990456:990527 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua028:990456:990527 [1] NCCL INFO Connected all rings +gpua028:990456:990527 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua028:990456:990527 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua028:990456:990527 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua028:990456:990527 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua028:990456:990527 [1] NCCL INFO Connected all trees +gpua028:990456:990527 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua028:990456:990527 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua028:990456:990527 [1] NCCL INFO comm 0x125ca080 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua086:1047481:1047481 [2] NCCL INFO cudaDriverVersion 12020 +gpua086:1047481:1047481 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1047481:1047481 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1047481:1047544 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1047481:1047544 [2] NCCL INFO Using network IB +gpua086:1047481:1047544 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua086:1047481:1047544 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua086:1047481:1047544 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua086:1047481:1047544 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua086:1047481:1047544 [2] NCCL INFO Connected all rings +gpua086:1047481:1047544 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua086:1047481:1047544 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua086:1047481:1047544 [2] NCCL INFO Connected all trees +gpua086:1047481:1047544 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1047481:1047544 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1047481:1047544 [2] NCCL INFO comm 0x24897a20 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua001:2078204:2078424 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> +gpua001:2078204:2078424 [0] NCCL INFO Using network IB +gpua001:2078204:2078424 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua001:2078204:2078424 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua001:2078204:2078424 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua001:2078204:2078424 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua001:2078204:2078424 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua001:2078204:2078424 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua001:2078204:2078424 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua001:2078204:2078424 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua001:2078204:2078424 [0] NCCL INFO Connected all rings +gpua001:2078204:2078424 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua001:2078204:2078424 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua001:2078204:2078424 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua001:2078204:2078424 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua001:2078204:2078424 [0] NCCL INFO Connected all trees +gpua001:2078204:2078424 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua001:2078204:2078424 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua001:2078204:2078424 [0] NCCL INFO comm 0xeae54be0 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:736766:736766 [1] NCCL INFO cudaDriverVersion 12020 +gpua007:736766:736766 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:736766:736766 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:736766:736924 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:736766:736924 [1] NCCL INFO Using network IB +gpua007:736766:736924 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua007:736766:736924 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua007:736766:736924 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua007:736766:736924 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua007:736766:736924 [1] NCCL INFO Connected all rings +gpua007:736766:736924 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua007:736766:736924 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua007:736766:736924 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua007:736766:736924 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua007:736766:736924 [1] NCCL INFO Connected all trees +gpua007:736766:736924 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:736766:736924 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:736766:736924 [1] NCCL INFO comm 0x9bef25f0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:957372:957372 [3] NCCL INFO cudaDriverVersion 12020 +gpua082:957372:957372 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:957372:957372 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:957372:957536 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:957372:957536 [3] NCCL INFO Using network IB +gpua082:957372:957536 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua082:957372:957536 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua082:957372:957536 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:957372:957536 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:957372:957536 [3] NCCL INFO Connected all rings +gpua082:957372:957536 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua082:957372:957536 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua082:957372:957536 [3] NCCL INFO Connected all trees +gpua082:957372:957536 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:957372:957536 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:957372:957536 [3] NCCL INFO comm 0xe4de2660 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:1047480:1047480 [1] NCCL INFO cudaDriverVersion 12020 +gpua086:1047480:1047480 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1047480:1047480 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1047480:1047546 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1047480:1047546 [1] NCCL INFO Using network IB +gpua086:1047480:1047546 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua086:1047480:1047546 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua086:1047480:1047546 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua086:1047480:1047546 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua086:1047480:1047546 [1] NCCL INFO Connected all rings +gpua086:1047480:1047546 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua086:1047480:1047546 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua086:1047480:1047546 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua086:1047480:1047546 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua086:1047480:1047546 [1] NCCL INFO Connected all trees +gpua086:1047480:1047546 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1047480:1047546 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1047480:1047546 [1] NCCL INFO comm 0xd636880 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua008:2106623:2106623 [1] NCCL INFO cudaDriverVersion 12020 +gpua008:2106623:2106623 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2106623:2106623 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2106623:2106791 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2106623:2106791 [1] NCCL INFO Using network IB +gpua008:2106623:2106791 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua008:2106623:2106791 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua008:2106623:2106791 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua008:2106623:2106791 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua008:2106623:2106791 [1] NCCL INFO Connected all rings +gpua008:2106623:2106791 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua008:2106623:2106791 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua008:2106623:2106791 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua008:2106623:2106791 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua008:2106623:2106791 [1] NCCL INFO Connected all trees +gpua008:2106623:2106791 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2106623:2106791 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2106623:2106791 [1] NCCL INFO comm 0x39275ec0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua007:736767:736767 [2] NCCL INFO cudaDriverVersion 12020 +gpua007:736767:736767 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:736767:736767 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:736767:736922 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:736767:736922 [2] NCCL INFO Using network IB +gpua007:736767:736922 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua007:736767:736922 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua007:736767:736922 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua007:736767:736922 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua007:736767:736922 [2] NCCL INFO Connected all rings +gpua007:736767:736922 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua007:736767:736922 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua086:1047482:1047482 [3] NCCL INFO cudaDriverVersion 12020 +gpua086:1047482:1047482 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:1047482:1047482 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:1047482:1047543 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:1047482:1047543 [3] NCCL INFO Using network IB +gpua086:1047482:1047543 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua086:1047482:1047543 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua086:1047482:1047543 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua086:1047482:1047543 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua086:1047482:1047543 [3] NCCL INFO Connected all rings +gpua086:1047482:1047543 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua086:1047482:1047543 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua007:736767:736922 [2] NCCL INFO Connected all trees +gpua007:736767:736922 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:736767:736922 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:736767:736922 [2] NCCL INFO comm 0xe09db70 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua086:1047482:1047543 [3] NCCL INFO Connected all trees +gpua086:1047482:1047543 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:1047482:1047543 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:1047482:1047543 [3] NCCL INFO comm 0xc6748a0 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua046:1183482:1183482 [2] NCCL INFO cudaDriverVersion 12020 +gpua046:1183482:1183482 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> +gpua046:1183482:1183482 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua046:1183482:1183641 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> +gpua046:1183482:1183641 [2] NCCL INFO Using network IB +gpua046:1183482:1183641 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua046:1183482:1183641 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua046:1183482:1183641 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua046:1183482:1183641 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua046:1183482:1183641 [2] NCCL INFO Connected all rings +gpua046:1183482:1183641 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua046:1183482:1183641 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua046:1183482:1183641 [2] NCCL INFO Connected all trees +gpua046:1183482:1183641 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua046:1183482:1183641 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua046:1183482:1183641 [2] NCCL INFO comm 0xde90f3a0 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua008:2106622:2106622 [0] NCCL INFO cudaDriverVersion 12020 +gpua008:2106622:2106622 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2106622:2106622 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2106622:2106789 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2106622:2106789 [0] NCCL INFO Using network IB +gpua008:2106622:2106789 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua008:2106622:2106789 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua008:2106622:2106789 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2106622:2106789 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua008:2106622:2106789 [0] NCCL INFO Connected all rings +gpua008:2106622:2106789 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2106622:2106789 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua008:2106622:2106789 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua008:2106622:2106789 [0] NCCL INFO Connected all trees +gpua008:2106622:2106789 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2106622:2106789 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2106622:2106789 [0] NCCL INFO comm 0x168357d0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua057:852091:852091 [2] NCCL INFO cudaDriverVersion 12020 +gpua057:852091:852091 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:852091:852091 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:852091:852246 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:852091:852246 [2] NCCL INFO Using network IB +gpua057:852091:852246 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua057:852091:852246 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua057:852091:852246 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:852091:852246 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:852091:852246 [2] NCCL INFO Connected all rings +gpua057:852091:852246 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:852091:852246 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:852091:852246 [2] NCCL INFO Connected all trees +gpua057:852091:852246 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:852091:852246 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:852091:852246 [2] NCCL INFO comm 0x10e8bb80 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua057:852090:852090 [1] NCCL INFO cudaDriverVersion 12020 +gpua057:852090:852090 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:852090:852090 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:852090:852247 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:852090:852247 [1] NCCL INFO Using network IB +gpua057:852090:852247 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua057:852090:852247 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua057:852090:852247 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:852090:852247 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:852090:852247 [1] NCCL INFO Connected all rings +gpua057:852090:852247 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua057:852090:852247 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua057:852090:852247 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:852090:852247 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:852090:852247 [1] NCCL INFO Connected all trees +gpua057:852090:852247 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:852090:852247 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:852090:852247 [1] NCCL INFO comm 0xa4e5410 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua056:1503507:1503507 [3] NCCL INFO cudaDriverVersion 12020 +gpua056:1503507:1503507 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1503507:1503507 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1503507:1503604 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1503507:1503604 [3] NCCL INFO Using network IB +gpua056:1503507:1503604 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua056:1503507:1503604 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua056:1503507:1503604 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1503507:1503604 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1503507:1503604 [3] NCCL INFO Connected all rings +gpua056:1503507:1503604 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua056:1503507:1503604 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua056:1503507:1503604 [3] NCCL INFO Connected all trees +gpua056:1503507:1503604 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1503507:1503604 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1503507:1503604 [3] NCCL INFO comm 0x1ff960390 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua025:809453:809453 [0] NCCL INFO cudaDriverVersion 12020 +gpua025:809453:809453 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.25<0> +gpua025:809453:809453 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua025:809453:809526 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.25<0> +gpua025:809453:809526 [0] NCCL INFO Using network IB +gpua025:809453:809526 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua025:809453:809526 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua025:809453:809526 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua025:809453:809526 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua025:809453:809526 [0] NCCL INFO Connected all rings +gpua025:809453:809526 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua025:809453:809526 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua025:809453:809526 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua025:809453:809526 [0] NCCL INFO Connected all trees +gpua025:809453:809526 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua025:809453:809526 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua025:809453:809526 [0] NCCL INFO comm 0xbcf4b70 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua026:19277:19277 [2] NCCL INFO cudaDriverVersion 12020 +gpua026:19277:19277 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> +gpua026:19277:19277 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua026:19277:19343 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> +gpua026:19277:19343 [2] NCCL INFO Using network IB +gpua026:19277:19343 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua026:19277:19343 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua026:19277:19343 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua026:19277:19343 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua026:19277:19343 [2] NCCL INFO Connected all rings +gpua026:19277:19343 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua026:19277:19343 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua026:19277:19343 [2] NCCL INFO Connected all trees +gpua026:19277:19343 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua026:19277:19343 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua026:19277:19343 [2] NCCL INFO comm 0x93c967f0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua026:19278:19278 [3] NCCL INFO cudaDriverVersion 12020 +gpua026:19278:19278 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.26<0> +gpua026:19278:19278 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua026:19278:19342 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.26<0> +gpua026:19278:19342 [3] NCCL INFO Using network IB +gpua026:19278:19342 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua026:19278:19342 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua026:19278:19342 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua026:19278:19342 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua026:19278:19342 [3] NCCL INFO Connected all rings +gpua026:19278:19342 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua026:19278:19342 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua026:19278:19342 [3] NCCL INFO Connected all trees +gpua026:19278:19342 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua026:19278:19342 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua026:19278:19342 [3] NCCL INFO comm 0x119cb870 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +[gpua001:0/64] 2023-12-12 22:13:49,566 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua001:0/64] 2023-12-12 22:15:50,107 (trainer:737) INFO: 30epoch:train:1-100batch: iter_time=4.564, forward_time=0.249, loss_ctc=68.423, loss_att=59.274, acc=0.715, loss=62.019, backward_time=0.299, grad_norm=64.950, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.428e-05, train_time=6.535 +[gpua001:0/64] 2023-12-12 22:18:17,132 (trainer:737) INFO: 30epoch:train:101-200batch: iter_time=9.019e-05, forward_time=0.143, loss_ctc=65.726, loss_att=54.153, acc=0.718, loss=57.625, backward_time=0.283, grad_norm=62.202, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.427e-05, train_time=1.470 +[gpua001:0/64] 2023-12-12 22:22:25,880 (trainer:737) INFO: 30epoch:train:201-300batch: iter_time=3.408e-04, forward_time=0.227, loss_ctc=74.867, loss_att=56.860, acc=0.731, loss=62.262, backward_time=0.442, grad_norm=66.361, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=7.426e-05, train_time=2.487 +[gpua001:0/64] 2023-12-12 22:26:33,928 (trainer:737) INFO: 30epoch:train:301-400batch: iter_time=1.035e-04, forward_time=0.153, loss_ctc=60.532, loss_att=44.077, acc=0.729, loss=49.013, backward_time=0.397, grad_norm=59.040, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.426e-05, train_time=2.481 +[gpua001:0/64] 2023-12-12 22:31:03,067 (trainer:737) INFO: 30epoch:train:401-500batch: iter_time=1.053e-04, forward_time=0.144, loss_ctc=68.826, loss_att=53.327, acc=0.725, loss=57.977, backward_time=0.415, grad_norm=65.505, clip=100.000, loss_scale=3.468e+31, optim_step_time=0.132, optim0_lr0=7.425e-05, train_time=2.691 +[gpua001:0/64] 2023-12-12 22:34:31,998 (trainer:737) INFO: 30epoch:train:501-600batch: iter_time=9.685e-05, forward_time=0.143, loss_ctc=65.394, loss_att=50.583, acc=0.726, loss=55.027, backward_time=0.323, grad_norm=59.200, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.424e-05, train_time=2.089 +[gpua001:0/64] 2023-12-12 22:38:20,991 (trainer:737) INFO: 30epoch:train:601-700batch: iter_time=2.232e-04, forward_time=0.173, loss_ctc=68.330, loss_att=52.906, acc=0.714, loss=57.533, backward_time=0.352, grad_norm=69.638, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.423e-05, train_time=2.290 +[gpua001:0/64] 2023-12-12 22:43:07,643 (trainer:737) INFO: 30epoch:train:701-800batch: iter_time=1.008e-04, forward_time=0.253, loss_ctc=63.881, loss_att=49.048, acc=0.732, loss=53.498, backward_time=0.496, grad_norm=75.597, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.422e-05, train_time=2.866 +[gpua001:0/64] 2023-12-12 22:47:01,141 (trainer:737) INFO: 30epoch:train:801-900batch: iter_time=9.882e-05, forward_time=0.143, loss_ctc=65.850, loss_att=53.148, acc=0.726, loss=56.959, backward_time=0.356, grad_norm=102.279, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.421e-05, train_time=2.335 +[gpua001:0/64] 2023-12-12 22:50:34,871 (trainer:737) INFO: 30epoch:train:901-1000batch: iter_time=8.988e-05, forward_time=0.145, loss_ctc=66.347, loss_att=57.980, acc=0.723, loss=60.490, backward_time=0.408, grad_norm=67.071, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.421e-05, train_time=2.137 +[gpua001:0/64] 2023-12-12 22:53:07,727 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 22:54:02,065 (trainer:737) INFO: 30epoch:train:1001-1100batch: iter_time=9.203e-05, forward_time=0.143, loss_ctc=62.017, loss_att=52.277, acc=0.716, loss=55.199, backward_time=0.392, grad_norm=72.819, clip=100.000, loss_scale=3.483e+31, optim_step_time=0.132, optim0_lr0=7.420e-05, train_time=2.072 +[gpua001:0/64] 2023-12-12 22:57:22,096 (trainer:737) INFO: 30epoch:train:1101-1200batch: iter_time=3.298e-04, forward_time=0.152, loss_ctc=69.551, loss_att=57.647, acc=0.695, loss=61.218, backward_time=0.359, grad_norm=132.146, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.419e-05, train_time=2.000 +[gpua001:0/64] 2023-12-12 22:59:17,388 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-12 22:59:35,934 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 22:59:39,537 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 22:59:39,537 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-12 22:59:39,540 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 23:14:01,972 (trainer:737) INFO: 30epoch:train:1201-1300batch: iter_time=3.186, forward_time=0.192, loss_ctc=71.668, loss_att=55.540, acc=0.712, loss=60.379, backward_time=0.379, grad_norm=75.458, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.418e-05, train_time=9.999 +[gpua001:0/64] 2023-12-12 23:18:09,641 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 23:22:33,107 (trainer:737) INFO: 30epoch:train:1301-1400batch: iter_time=1.021e-04, forward_time=0.198, loss_ctc=66.832, loss_att=59.878, acc=0.728, loss=61.964, backward_time=0.632, grad_norm=70.840, clip=100.000, loss_scale=1.260e+31, optim_step_time=0.136, optim0_lr0=7.417e-05, train_time=5.111 +[gpua001:0/64] 2023-12-12 23:29:36,178 (trainer:737) INFO: 30epoch:train:1401-1500batch: iter_time=9.886e-05, forward_time=0.149, loss_ctc=64.663, loss_att=49.584, acc=0.740, loss=54.108, backward_time=0.790, grad_norm=70.316, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.416e-05, train_time=4.230 +[gpua001:0/64] 2023-12-12 23:34:33,761 (trainer:737) INFO: 30epoch:train:1501-1600batch: iter_time=9.893e-05, forward_time=0.147, loss_ctc=68.810, loss_att=53.128, acc=0.737, loss=57.833, backward_time=0.540, grad_norm=68.636, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.415e-05, train_time=2.976 +[gpua001:0/64] 2023-12-12 23:38:30,155 (trainer:737) INFO: 30epoch:train:1601-1700batch: iter_time=1.011e-04, forward_time=0.146, loss_ctc=68.323, loss_att=52.846, acc=0.728, loss=57.489, backward_time=0.415, grad_norm=63.790, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.415e-05, train_time=2.364 +[gpua001:0/64] 2023-12-12 23:42:38,999 (trainer:737) INFO: 30epoch:train:1701-1800batch: iter_time=9.690e-05, forward_time=0.147, loss_ctc=66.859, loss_att=54.350, acc=0.736, loss=58.103, backward_time=0.422, grad_norm=60.116, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.414e-05, train_time=2.488 +[gpua001:0/64] 2023-12-12 23:46:11,637 (trainer:737) INFO: 30epoch:train:1801-1900batch: iter_time=9.232e-05, forward_time=0.162, loss_ctc=62.418, loss_att=44.060, acc=0.745, loss=49.567, backward_time=0.403, grad_norm=74.599, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.413e-05, train_time=2.126 +[gpua001:0/64] 2023-12-12 23:49:04,289 (trainer:737) INFO: 30epoch:train:1901-2000batch: iter_time=1.014e-04, forward_time=0.177, loss_ctc=70.653, loss_att=55.834, acc=0.722, loss=60.279, backward_time=0.344, grad_norm=62.440, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.412e-05, train_time=1.726 +[gpua001:0/64] 2023-12-12 23:52:31,900 (trainer:737) INFO: 30epoch:train:2001-2100batch: iter_time=9.514e-05, forward_time=0.220, loss_ctc=56.755, loss_att=45.297, acc=0.741, loss=48.735, backward_time=0.380, grad_norm=57.576, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.411e-05, train_time=2.075 +[gpua001:0/64] 2023-12-12 23:55:06,457 (trainer:737) INFO: 30epoch:train:2101-2200batch: iter_time=9.550e-05, forward_time=0.147, loss_ctc=71.312, loss_att=62.880, acc=0.719, loss=65.409, backward_time=0.310, grad_norm=71.013, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.410e-05, train_time=1.546 +[gpua001:0/64] 2023-12-12 23:58:35,204 (trainer:737) INFO: 30epoch:train:2201-2300batch: iter_time=5.055e-04, forward_time=0.157, loss_ctc=61.305, loss_att=48.222, acc=0.738, loss=52.147, backward_time=0.394, grad_norm=74.912, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.409e-05, train_time=2.087 +[gpua001:0/64] 2023-12-13 00:01:14,265 (trainer:737) INFO: 30epoch:train:2301-2400batch: iter_time=9.764e-05, forward_time=0.241, loss_ctc=65.395, loss_att=56.797, acc=0.717, loss=59.377, backward_time=0.338, grad_norm=75.187, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.409e-05, train_time=1.590 +[gpua001:0/64] 2023-12-13 00:03:51,851 (trainer:737) INFO: 30epoch:train:2401-2500batch: iter_time=9.078e-05, forward_time=0.147, loss_ctc=71.477, loss_att=54.781, acc=0.717, loss=59.790, backward_time=0.314, grad_norm=91.423, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.408e-05, train_time=1.575 +[gpua001:0/64] 2023-12-13 00:04:11,917 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-13 00:04:30,433 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 00:04:33,912 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 00:04:33,912 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-13 00:04:33,915 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 00:11:41,493 (trainer:737) INFO: 30epoch:train:2501-2600batch: iter_time=3.205, forward_time=0.147, loss_ctc=66.399, loss_att=57.521, acc=0.723, loss=60.184, backward_time=0.284, grad_norm=71.357, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.407e-05, train_time=4.697 +[gpua001:0/64] 2023-12-13 00:14:23,502 (trainer:737) INFO: 30epoch:train:2601-2700batch: iter_time=8.596e-05, forward_time=0.146, loss_ctc=64.631, loss_att=52.798, acc=0.724, loss=56.348, backward_time=0.342, grad_norm=70.066, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.406e-05, train_time=1.620 +[gpua001:0/64] 2023-12-13 00:16:46,408 (trainer:737) INFO: 30epoch:train:2701-2800batch: iter_time=9.062e-05, forward_time=0.149, loss_ctc=74.280, loss_att=56.107, acc=0.736, loss=61.559, backward_time=0.293, grad_norm=66.640, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.405e-05, train_time=1.429 +[gpua001:0/64] 2023-12-13 00:19:50,930 (trainer:737) INFO: 30epoch:train:2801-2900batch: iter_time=9.318e-05, forward_time=0.177, loss_ctc=59.827, loss_att=43.108, acc=0.734, loss=48.124, backward_time=0.349, grad_norm=78.380, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.404e-05, train_time=1.845 +[gpua001:0/64] 2023-12-13 00:22:24,412 (trainer:737) INFO: 30epoch:train:2901-3000batch: iter_time=1.184e-04, forward_time=0.221, loss_ctc=67.392, loss_att=52.455, acc=0.729, loss=56.936, backward_time=0.332, grad_norm=75.703, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.404e-05, train_time=1.535 +[gpua001:0/64] 2023-12-13 00:25:15,079 (trainer:737) INFO: 30epoch:train:3001-3100batch: iter_time=1.130e-04, forward_time=0.155, loss_ctc=65.112, loss_att=49.461, acc=0.732, loss=54.156, backward_time=0.312, grad_norm=82.710, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.403e-05, train_time=1.706 +[gpua001:0/64] 2023-12-13 00:27:37,357 (trainer:737) INFO: 30epoch:train:3101-3200batch: iter_time=1.066e-04, forward_time=0.146, loss_ctc=67.596, loss_att=52.178, acc=0.718, loss=56.803, backward_time=0.290, grad_norm=68.309, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.402e-05, train_time=1.422 +[gpua001:0/64] 2023-12-13 00:30:14,572 (trainer:737) INFO: 30epoch:train:3201-3300batch: iter_time=1.106e-04, forward_time=0.146, loss_ctc=63.655, loss_att=48.357, acc=0.735, loss=52.947, backward_time=0.297, grad_norm=65.524, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.401e-05, train_time=1.572 +[gpua001:0/64] 2023-12-13 00:32:43,345 (trainer:737) INFO: 30epoch:train:3301-3400batch: iter_time=1.057e-04, forward_time=0.147, loss_ctc=64.669, loss_att=52.432, acc=0.729, loss=56.103, backward_time=0.291, grad_norm=67.267, clip=100.000, loss_scale=1.775e+31, optim_step_time=0.131, optim0_lr0=7.400e-05, train_time=1.488 +[gpua001:0/64] 2023-12-13 00:35:07,147 (trainer:737) INFO: 30epoch:train:3401-3500batch: iter_time=9.526e-05, forward_time=0.147, loss_ctc=64.959, loss_att=56.564, acc=0.729, loss=59.083, backward_time=0.289, grad_norm=68.778, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.399e-05, train_time=1.438 +[gpua001:0/64] 2023-12-13 00:37:31,133 (trainer:737) INFO: 30epoch:train:3501-3600batch: iter_time=9.420e-05, forward_time=0.145, loss_ctc=61.089, loss_att=52.235, acc=0.717, loss=54.891, backward_time=0.282, grad_norm=72.580, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.398e-05, train_time=1.440 +[gpua001:0/64] 2023-12-13 00:39:44,219 (trainer:737) INFO: 30epoch:train:3601-3700batch: iter_time=9.604e-05, forward_time=0.165, loss_ctc=67.480, loss_att=55.792, acc=0.699, loss=59.298, backward_time=0.284, grad_norm=88.077, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.398e-05, train_time=1.330 +[gpua001:0/64] 2023-12-13 00:41:45,035 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-13 00:42:03,877 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 00:42:07,369 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 00:42:07,369 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-13 00:42:07,372 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 00:50:55,038 (trainer:737) INFO: 30epoch:train:3701-3800batch: iter_time=5.013, forward_time=0.212, loss_ctc=70.306, loss_att=53.391, acc=0.714, loss=58.465, backward_time=0.306, grad_norm=73.421, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.397e-05, train_time=6.708 +[gpua001:0/64] 2023-12-13 00:53:07,932 (trainer:737) INFO: 30epoch:train:3801-3900batch: iter_time=8.936e-05, forward_time=0.148, loss_ctc=65.736, loss_att=56.545, acc=0.730, loss=59.302, backward_time=0.296, grad_norm=59.769, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.396e-05, train_time=1.329 +[gpua001:0/64] 2023-12-13 00:55:21,352 (trainer:737) INFO: 30epoch:train:3901-4000batch: iter_time=1.026e-04, forward_time=0.147, loss_ctc=64.467, loss_att=47.955, acc=0.739, loss=52.909, backward_time=0.296, grad_norm=55.999, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.395e-05, train_time=1.334 +[gpua001:0/64] 2023-12-13 00:57:52,835 (trainer:737) INFO: 30epoch:train:4001-4100batch: iter_time=1.025e-04, forward_time=0.147, loss_ctc=68.592, loss_att=51.233, acc=0.737, loss=56.440, backward_time=0.299, grad_norm=53.991, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.394e-05, train_time=1.515 +[gpua001:0/64] 2023-12-13 01:00:18,595 (trainer:737) INFO: 30epoch:train:4101-4200batch: iter_time=9.820e-05, forward_time=0.147, loss_ctc=67.999, loss_att=50.887, acc=0.728, loss=56.020, backward_time=0.288, grad_norm=58.643, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.393e-05, train_time=1.457 +[gpua001:0/64] 2023-12-13 01:02:39,442 (trainer:737) INFO: 30epoch:train:4201-4300batch: iter_time=9.349e-05, forward_time=0.147, loss_ctc=65.865, loss_att=53.347, acc=0.733, loss=57.103, backward_time=0.281, grad_norm=65.055, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.393e-05, train_time=1.408 +[gpua001:0/64] 2023-12-13 01:04:53,669 (trainer:737) INFO: 30epoch:train:4301-4400batch: iter_time=9.201e-05, forward_time=0.146, loss_ctc=61.353, loss_att=42.706, acc=0.745, loss=48.300, backward_time=0.287, grad_norm=68.547, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.392e-05, train_time=1.342 +[gpua001:0/64] 2023-12-13 01:07:24,222 (trainer:737) INFO: 30epoch:train:4401-4500batch: iter_time=9.001e-05, forward_time=0.146, loss_ctc=70.125, loss_att=54.387, acc=0.723, loss=59.108, backward_time=0.324, grad_norm=57.137, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.391e-05, train_time=1.505 +[gpua001:0/64] 2023-12-13 01:10:25,042 (trainer:737) INFO: 30epoch:train:4501-4600batch: iter_time=3.566e-04, forward_time=0.163, loss_ctc=56.616, loss_att=45.454, acc=0.735, loss=48.802, backward_time=0.348, grad_norm=59.895, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.390e-05, train_time=1.808 +[gpua001:0/64] 2023-12-13 01:13:26,633 (trainer:737) INFO: 30epoch:train:4601-4700batch: iter_time=9.755e-05, forward_time=0.187, loss_ctc=70.203, loss_att=61.708, acc=0.711, loss=64.257, backward_time=0.381, grad_norm=65.302, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.389e-05, train_time=1.816 +[gpua001:0/64] 2023-12-13 01:15:59,972 (trainer:737) INFO: 30epoch:train:4701-4800batch: iter_time=9.329e-05, forward_time=0.149, loss_ctc=60.789, loss_att=47.779, acc=0.736, loss=51.682, backward_time=0.323, grad_norm=57.772, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.388e-05, train_time=1.533 +[gpua001:0/64] 2023-12-13 01:18:01,274 (trainer:737) INFO: 30epoch:train:4801-4900batch: iter_time=9.467e-05, forward_time=0.147, loss_ctc=64.308, loss_att=56.231, acc=0.709, loss=58.654, backward_time=0.278, grad_norm=63.295, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.388e-05, train_time=1.213 +[gpua001:0/64] 2023-12-13 01:20:17,862 (trainer:737) INFO: 30epoch:train:4901-5000batch: iter_time=8.708e-05, forward_time=0.146, loss_ctc=69.880, loss_att=52.847, acc=0.714, loss=57.957, backward_time=0.298, grad_norm=78.729, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.387e-05, train_time=1.366 +[gpua001:0/64] 2023-12-13 01:20:37,890 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-13 01:20:56,462 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 01:21:00,160 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 01:21:00,160 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-13 01:21:00,163 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 01:27:48,850 (trainer:737) INFO: 30epoch:train:5001-5100batch: iter_time=2.667, forward_time=0.148, loss_ctc=66.575, loss_att=60.162, acc=0.727, loss=62.086, backward_time=0.282, grad_norm=69.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.386e-05, train_time=4.510 +[gpua001:0/64] 2023-12-13 01:29:55,186 (trainer:737) INFO: 30epoch:train:5101-5200batch: iter_time=8.927e-05, forward_time=0.147, loss_ctc=65.228, loss_att=53.943, acc=0.732, loss=57.329, backward_time=0.277, grad_norm=55.409, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.385e-05, train_time=1.263 +[gpua001:0/64] 2023-12-13 01:32:34,420 (trainer:737) INFO: 30epoch:train:5201-5300batch: iter_time=9.150e-05, forward_time=0.147, loss_ctc=73.583, loss_att=57.317, acc=0.740, loss=62.197, backward_time=0.299, grad_norm=58.529, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.384e-05, train_time=1.592 +[gpua001:0/64] 2023-12-13 01:35:16,416 (trainer:737) INFO: 30epoch:train:5301-5400batch: iter_time=8.469e-05, forward_time=0.231, loss_ctc=58.905, loss_att=44.137, acc=0.743, loss=48.568, backward_time=0.356, grad_norm=51.269, clip=100.000, loss_scale=3.549e+31, optim_step_time=0.137, optim0_lr0=7.383e-05, train_time=1.620 +[gpua001:0/64] 2023-12-13 01:37:48,623 (trainer:737) INFO: 30epoch:train:5401-5500batch: iter_time=9.352e-05, forward_time=0.146, loss_ctc=66.531, loss_att=51.563, acc=0.736, loss=56.054, backward_time=0.310, grad_norm=60.275, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.383e-05, train_time=1.522 +[gpua001:0/64] 2023-12-13 01:40:22,257 (trainer:737) INFO: 30epoch:train:5501-5600batch: iter_time=8.958e-05, forward_time=0.146, loss_ctc=64.711, loss_att=49.861, acc=0.743, loss=54.316, backward_time=0.313, grad_norm=61.368, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.382e-05, train_time=1.536 +[gpua001:0/64] 2023-12-13 01:42:49,536 (trainer:737) INFO: 30epoch:train:5601-5700batch: iter_time=9.779e-05, forward_time=0.146, loss_ctc=67.459, loss_att=53.794, acc=0.722, loss=57.894, backward_time=0.304, grad_norm=69.253, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.381e-05, train_time=1.473 +[gpua001:0/64] 2023-12-13 01:46:03,091 (trainer:737) INFO: 30epoch:train:5701-5800batch: iter_time=9.363e-05, forward_time=0.146, loss_ctc=63.629, loss_att=48.454, acc=0.745, loss=53.007, backward_time=0.346, grad_norm=67.360, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.380e-05, train_time=1.935 +[gpua001:0/64] 2023-12-13 01:48:23,743 (trainer:737) INFO: 30epoch:train:5801-5900batch: iter_time=9.556e-05, forward_time=0.146, loss_ctc=64.525, loss_att=52.834, acc=0.735, loss=56.341, backward_time=0.316, grad_norm=74.657, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.379e-05, train_time=1.406 +[gpua001:0/64] 2023-12-13 01:51:00,503 (trainer:737) INFO: 30epoch:train:5901-6000batch: iter_time=8.357e-05, forward_time=0.148, loss_ctc=64.180, loss_att=56.195, acc=0.740, loss=58.590, backward_time=0.314, grad_norm=69.273, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.378e-05, train_time=1.567 +[gpua001:0/64] 2023-12-13 01:53:07,644 (trainer:737) INFO: 30epoch:train:6001-6100batch: iter_time=8.829e-05, forward_time=0.146, loss_ctc=60.268, loss_att=51.890, acc=0.729, loss=54.403, backward_time=0.279, grad_norm=122.988, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.377e-05, train_time=1.271 +[gpua001:0/64] 2023-12-13 01:53:31,839 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 01:55:14,208 (trainer:737) INFO: 30epoch:train:6101-6200batch: iter_time=8.466e-05, forward_time=0.146, loss_ctc=66.714, loss_att=55.653, acc=0.712, loss=58.971, backward_time=0.280, grad_norm=99.802, clip=100.000, loss_scale=2.417e+31, optim_step_time=0.132, optim0_lr0=7.377e-05, train_time=1.265 +[gpua001:0/64] 2023-12-13 01:56:51,802 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-13 01:57:10,453 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 01:57:13,953 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 01:57:13,953 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-13 01:57:13,979 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 02:03:18,477 (trainer:737) INFO: 30epoch:train:6201-6300batch: iter_time=3.164, forward_time=0.186, loss_ctc=69.309, loss_att=55.023, acc=0.717, loss=59.309, backward_time=0.323, grad_norm=71.870, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.376e-05, train_time=4.842 +[gpua001:0/64] 2023-12-13 02:04:23,835 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 02:05:21,654 (trainer:737) INFO: 30epoch:train:6301-6400batch: iter_time=8.241e-05, forward_time=0.149, loss_ctc=65.797, loss_att=57.715, acc=0.729, loss=60.139, backward_time=0.275, grad_norm=68.263, clip=100.000, loss_scale=1.557e+31, optim_step_time=0.132, optim0_lr0=7.375e-05, train_time=1.232 +[gpua001:0/64] 2023-12-13 02:08:28,524 (trainer:737) INFO: 30epoch:train:6401-6500batch: iter_time=8.197e-05, forward_time=0.146, loss_ctc=64.628, loss_att=48.554, acc=0.739, loss=53.376, backward_time=0.310, grad_norm=71.863, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.374e-05, train_time=1.868 +[gpua001:0/64] 2023-12-13 02:11:10,164 (trainer:737) INFO: 30epoch:train:6501-6600batch: iter_time=8.242e-05, forward_time=0.145, loss_ctc=68.082, loss_att=51.111, acc=0.738, loss=56.203, backward_time=0.293, grad_norm=75.913, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.373e-05, train_time=1.616 +[gpua001:0/64] 2023-12-13 02:12:36,023 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 02:13:38,308 (trainer:737) INFO: 30epoch:train:6601-6700batch: iter_time=8.237e-05, forward_time=0.145, loss_ctc=67.236, loss_att=50.498, acc=0.731, loss=55.519, backward_time=0.290, grad_norm=67.781, clip=100.000, loss_scale=7.632e+30, optim_step_time=0.131, optim0_lr0=7.372e-05, train_time=1.481 +[gpua001:0/64] 2023-12-13 02:16:20,893 (trainer:737) INFO: 30epoch:train:6701-6800batch: iter_time=8.351e-05, forward_time=0.145, loss_ctc=65.349, loss_att=52.897, acc=0.736, loss=56.632, backward_time=0.312, grad_norm=59.546, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=7.372e-05, train_time=1.626 +[gpua001:0/64] 2023-12-13 02:18:44,491 (trainer:737) INFO: 30epoch:train:6801-6900batch: iter_time=8.670e-05, forward_time=0.145, loss_ctc=61.307, loss_att=42.371, acc=0.746, loss=48.052, backward_time=0.307, grad_norm=57.001, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.371e-05, train_time=1.436 +[gpua001:0/64] 2023-12-13 02:21:28,271 (trainer:737) INFO: 30epoch:train:6901-7000batch: iter_time=8.070e-05, forward_time=0.148, loss_ctc=69.544, loss_att=54.427, acc=0.723, loss=58.962, backward_time=0.354, grad_norm=84.933, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.370e-05, train_time=1.638 +[gpua001:0/64] 2023-12-13 02:23:39,009 (trainer:737) INFO: 30epoch:train:7001-7100batch: iter_time=8.419e-05, forward_time=0.146, loss_ctc=56.555, loss_att=45.308, acc=0.737, loss=48.682, backward_time=0.296, grad_norm=59.623, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.369e-05, train_time=1.307 +[gpua001:0/64] 2023-12-13 02:25:45,277 (trainer:737) INFO: 30epoch:train:7101-7200batch: iter_time=8.101e-05, forward_time=0.146, loss_ctc=69.893, loss_att=62.407, acc=0.711, loss=64.653, backward_time=0.281, grad_norm=119.184, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.368e-05, train_time=1.262 +[gpua001:0/64] 2023-12-13 02:28:46,720 (trainer:737) INFO: 30epoch:train:7201-7300batch: iter_time=8.384e-05, forward_time=0.147, loss_ctc=60.903, loss_att=48.033, acc=0.736, loss=51.894, backward_time=0.366, grad_norm=74.992, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.367e-05, train_time=1.814 +[gpua001:0/64] 2023-12-13 02:31:35,869 (trainer:737) INFO: 30epoch:train:7301-7400batch: iter_time=8.282e-05, forward_time=0.146, loss_ctc=64.307, loss_att=56.258, acc=0.710, loss=58.672, backward_time=0.304, grad_norm=85.887, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.367e-05, train_time=1.691 +[gpua001:0/64] 2023-12-13 02:34:11,005 (trainer:737) INFO: 30epoch:train:7401-7500batch: iter_time=7.979e-05, forward_time=0.220, loss_ctc=69.675, loss_att=54.225, acc=0.713, loss=58.860, backward_time=0.346, grad_norm=88.041, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.139, optim0_lr0=7.366e-05, train_time=1.551 +[gpua001:0/64] 2023-12-13 02:34:31,066 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-13 02:34:49,607 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 02:34:53,066 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 02:34:53,067 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-13 02:34:53,070 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 02:42:14,542 (trainer:737) INFO: 30epoch:train:7501-7600batch: iter_time=3.245, forward_time=0.147, loss_ctc=65.738, loss_att=58.619, acc=0.733, loss=60.755, backward_time=0.288, grad_norm=90.193, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.365e-05, train_time=4.836 +[gpua001:0/64] 2023-12-13 02:44:15,470 (trainer:737) INFO: 30epoch:train:7601-7700batch: iter_time=8.681e-05, forward_time=0.147, loss_ctc=64.159, loss_att=52.934, acc=0.736, loss=56.301, backward_time=0.277, grad_norm=58.659, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.364e-05, train_time=1.209 +[gpua001:0/64] 2023-12-13 02:46:18,750 (trainer:737) INFO: 30epoch:train:7701-7800batch: iter_time=9.138e-05, forward_time=0.147, loss_ctc=73.643, loss_att=57.300, acc=0.742, loss=62.203, backward_time=0.280, grad_norm=64.553, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.363e-05, train_time=1.233 +[gpua001:0/64] 2023-12-13 02:48:31,332 (trainer:737) INFO: 30epoch:train:7801-7900batch: iter_time=8.474e-05, forward_time=0.146, loss_ctc=58.510, loss_att=43.937, acc=0.743, loss=48.309, backward_time=0.276, grad_norm=57.340, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=7.362e-05, train_time=1.326 +[gpua001:0/64] 2023-12-13 02:51:09,747 (trainer:737) INFO: 30epoch:train:7901-8000batch: iter_time=8.727e-05, forward_time=0.147, loss_ctc=66.136, loss_att=51.895, acc=0.738, loss=56.167, backward_time=0.320, grad_norm=62.508, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.362e-05, train_time=1.584 +[gpua001:0/64] 2023-12-13 02:53:34,771 (trainer:737) INFO: 30epoch:train:8001-8100batch: iter_time=9.378e-05, forward_time=0.147, loss_ctc=64.203, loss_att=49.888, acc=0.745, loss=54.183, backward_time=0.291, grad_norm=56.420, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=7.361e-05, train_time=1.450 +[gpua001:0/64] 2023-12-13 02:56:20,332 (trainer:737) INFO: 30epoch:train:8101-8200batch: iter_time=8.903e-05, forward_time=0.147, loss_ctc=66.941, loss_att=53.737, acc=0.723, loss=57.699, backward_time=0.302, grad_norm=60.365, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.360e-05, train_time=1.655 +[gpua001:0/64] 2023-12-13 02:59:23,287 (trainer:737) INFO: 30epoch:train:8201-8300batch: iter_time=8.815e-05, forward_time=0.179, loss_ctc=63.300, loss_att=47.776, acc=0.749, loss=52.433, backward_time=0.383, grad_norm=54.422, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.359e-05, train_time=1.829 +[gpua001:0/64] 2023-12-13 03:02:16,069 (trainer:737) INFO: 30epoch:train:8301-8400batch: iter_time=9.209e-05, forward_time=0.178, loss_ctc=63.733, loss_att=52.438, acc=0.739, loss=55.827, backward_time=0.311, grad_norm=60.523, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.358e-05, train_time=1.727 +[gpua001:0/64] 2023-12-13 03:04:59,732 (trainer:737) INFO: 30epoch:train:8401-8500batch: iter_time=8.462e-05, forward_time=0.149, loss_ctc=64.328, loss_att=55.889, acc=0.742, loss=58.421, backward_time=0.297, grad_norm=56.955, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.358e-05, train_time=1.637 +[gpua001:0/64] 2023-12-13 03:07:09,838 (trainer:737) INFO: 30epoch:train:8501-8600batch: iter_time=8.819e-05, forward_time=0.146, loss_ctc=60.179, loss_att=51.627, acc=0.730, loss=54.193, backward_time=0.275, grad_norm=57.347, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.357e-05, train_time=1.301 +[gpua001:0/64] 2023-12-13 03:09:33,274 (trainer:737) INFO: 30epoch:train:8601-8700batch: iter_time=8.625e-05, forward_time=0.146, loss_ctc=66.188, loss_att=55.067, acc=0.715, loss=58.403, backward_time=0.315, grad_norm=77.532, clip=100.000, loss_scale=7.555e+30, optim_step_time=0.132, optim0_lr0=7.356e-05, train_time=1.434 +[gpua001:0/64] 2023-12-13 03:10:53,590 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-13 03:11:12,314 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 03:11:15,821 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 03:11:15,821 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-13 03:11:15,824 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 03:17:14,264 (trainer:737) INFO: 30epoch:train:8701-8800batch: iter_time=3.246, forward_time=0.146, loss_ctc=68.699, loss_att=54.685, acc=0.720, loss=58.890, backward_time=0.277, grad_norm=68.518, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.355e-05, train_time=4.610 +[gpua001:0/64] 2023-12-13 03:19:37,905 (trainer:737) INFO: 30epoch:train:8801-8900batch: iter_time=8.353e-05, forward_time=0.146, loss_ctc=65.529, loss_att=57.320, acc=0.732, loss=59.782, backward_time=0.291, grad_norm=57.216, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.354e-05, train_time=1.436 +[gpua001:0/64] 2023-12-13 03:22:00,325 (trainer:737) INFO: 30epoch:train:8901-9000batch: iter_time=8.563e-05, forward_time=0.146, loss_ctc=64.234, loss_att=48.328, acc=0.741, loss=53.100, backward_time=0.313, grad_norm=53.787, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.353e-05, train_time=1.424 +[gpua001:0/64] 2023-12-13 03:25:06,277 (trainer:737) INFO: 30epoch:train:9001-9100batch: iter_time=9.247e-05, forward_time=0.156, loss_ctc=68.033, loss_att=50.978, acc=0.740, loss=56.094, backward_time=0.374, grad_norm=55.322, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.353e-05, train_time=1.859 +[gpua001:0/64] 2023-12-13 03:28:18,668 (trainer:737) INFO: 30epoch:train:9101-9200batch: iter_time=8.562e-05, forward_time=0.215, loss_ctc=66.785, loss_att=50.069, acc=0.732, loss=55.084, backward_time=0.356, grad_norm=59.174, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.352e-05, train_time=1.924 +[gpua001:0/64] 2023-12-13 03:30:57,569 (trainer:737) INFO: 30epoch:train:9201-9300batch: iter_time=8.693e-05, forward_time=0.147, loss_ctc=64.972, loss_att=52.821, acc=0.736, loss=56.466, backward_time=0.301, grad_norm=54.554, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.351e-05, train_time=1.588 +[gpua001:0/64] 2023-12-13 03:33:50,111 (trainer:737) INFO: 30epoch:train:9301-9400batch: iter_time=8.489e-05, forward_time=0.147, loss_ctc=61.058, loss_att=42.747, acc=0.745, loss=48.241, backward_time=0.346, grad_norm=55.902, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.350e-05, train_time=1.726 +[gpua001:0/64] 2023-12-13 03:36:41,902 (trainer:737) INFO: 30epoch:train:9401-9500batch: iter_time=1.014e-04, forward_time=0.146, loss_ctc=69.514, loss_att=54.395, acc=0.724, loss=58.931, backward_time=0.350, grad_norm=69.037, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.349e-05, train_time=1.718 +[gpua001:0/64] 2023-12-13 03:39:46,206 (trainer:737) INFO: 30epoch:train:9501-9600batch: iter_time=9.715e-05, forward_time=0.146, loss_ctc=56.162, loss_att=45.079, acc=0.737, loss=48.404, backward_time=0.325, grad_norm=50.933, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.348e-05, train_time=1.843 +[gpua001:0/64] 2023-12-13 03:42:38,784 (trainer:737) INFO: 30epoch:train:9601-9700batch: iter_time=9.158e-05, forward_time=0.146, loss_ctc=69.220, loss_att=61.355, acc=0.715, loss=63.715, backward_time=0.311, grad_norm=69.467, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.348e-05, train_time=1.726 +[gpua001:0/64] 2023-12-13 03:45:37,667 (trainer:737) INFO: 30epoch:train:9701-9800batch: iter_time=9.357e-05, forward_time=0.146, loss_ctc=59.938, loss_att=47.595, acc=0.738, loss=51.298, backward_time=0.358, grad_norm=58.601, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.347e-05, train_time=1.789 +[gpua001:0/64] 2023-12-13 03:49:00,404 (trainer:737) INFO: 30epoch:train:9801-9900batch: iter_time=8.649e-05, forward_time=0.146, loss_ctc=64.529, loss_att=56.158, acc=0.711, loss=58.669, backward_time=0.342, grad_norm=65.018, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.346e-05, train_time=2.027 +[gpua001:0/64] 2023-12-13 03:51:55,314 (trainer:737) INFO: 30epoch:train:9901-10000batch: iter_time=8.699e-05, forward_time=0.147, loss_ctc=67.697, loss_att=52.091, acc=0.717, loss=56.773, backward_time=0.335, grad_norm=67.817, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.345e-05, train_time=1.749 +[gpua001:0/64] 2023-12-13 03:52:15,343 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-13 03:52:33,801 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 03:52:37,248 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 03:52:37,248 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-13 03:52:37,251 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 04:02:59,069 (trainer:737) INFO: 30epoch:train:10001-10100batch: iter_time=5.331, forward_time=0.190, loss_ctc=66.015, loss_att=59.141, acc=0.732, loss=61.203, backward_time=0.285, grad_norm=60.759, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.344e-05, train_time=6.637 +[gpua001:0/64] 2023-12-13 04:05:18,443 (trainer:737) INFO: 30epoch:train:10101-10200batch: iter_time=8.843e-05, forward_time=0.147, loss_ctc=63.634, loss_att=52.507, acc=0.738, loss=55.845, backward_time=0.296, grad_norm=54.261, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.343e-05, train_time=1.394 +[gpua001:0/64] 2023-12-13 04:08:09,428 (trainer:737) INFO: 30epoch:train:10201-10300batch: iter_time=8.498e-05, forward_time=0.149, loss_ctc=74.405, loss_att=57.356, acc=0.742, loss=62.471, backward_time=0.300, grad_norm=58.727, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.343e-05, train_time=1.710 +[gpua001:0/64] 2023-12-13 04:10:48,691 (trainer:737) INFO: 30epoch:train:10301-10400batch: iter_time=8.657e-05, forward_time=0.147, loss_ctc=58.961, loss_att=43.675, acc=0.745, loss=48.261, backward_time=0.312, grad_norm=60.228, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.342e-05, train_time=1.592 +[gpua001:0/64] 2023-12-13 04:12:54,240 (trainer:737) INFO: 30epoch:train:10401-10500batch: iter_time=8.080e-05, forward_time=0.148, loss_ctc=65.985, loss_att=51.550, acc=0.737, loss=55.880, backward_time=0.281, grad_norm=57.943, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.341e-05, train_time=1.255 +[gpua001:0/64] 2023-12-13 04:15:18,863 (trainer:737) INFO: 30epoch:train:10501-10600batch: iter_time=8.741e-05, forward_time=0.147, loss_ctc=63.681, loss_att=49.161, acc=0.744, loss=53.517, backward_time=0.292, grad_norm=55.345, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.340e-05, train_time=1.446 +[gpua001:0/64] 2023-12-13 04:17:56,308 (trainer:737) INFO: 30epoch:train:10601-10700batch: iter_time=8.846e-05, forward_time=0.181, loss_ctc=66.715, loss_att=53.275, acc=0.724, loss=57.307, backward_time=0.304, grad_norm=55.363, clip=100.000, loss_scale=1.511e+31, optim_step_time=0.132, optim0_lr0=7.339e-05, train_time=1.574 +[gpua001:0/64] 2023-12-13 04:20:36,262 (trainer:737) INFO: 30epoch:train:10701-10800batch: iter_time=8.931e-05, forward_time=0.210, loss_ctc=62.722, loss_att=48.045, acc=0.748, loss=52.448, backward_time=0.323, grad_norm=52.843, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.339e-05, train_time=1.600 +[gpua001:0/64] 2023-12-13 04:23:10,159 (trainer:737) INFO: 30epoch:train:10801-10900batch: iter_time=9.296e-05, forward_time=0.148, loss_ctc=63.498, loss_att=52.269, acc=0.739, loss=55.638, backward_time=0.315, grad_norm=68.179, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.338e-05, train_time=1.539 +[gpua001:0/64] 2023-12-13 04:25:54,924 (trainer:737) INFO: 30epoch:train:10901-11000batch: iter_time=9.377e-05, forward_time=0.148, loss_ctc=64.288, loss_att=55.731, acc=0.742, loss=58.298, backward_time=0.303, grad_norm=70.006, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.337e-05, train_time=1.647 +[gpua001:0/64] 2023-12-13 04:28:24,617 (trainer:737) INFO: 30epoch:train:11001-11100batch: iter_time=9.200e-05, forward_time=0.146, loss_ctc=59.896, loss_att=51.158, acc=0.732, loss=53.780, backward_time=0.296, grad_norm=57.456, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.336e-05, train_time=1.497 +[gpua001:0/64] 2023-12-13 04:30:56,220 (trainer:737) INFO: 30epoch:train:11101-11200batch: iter_time=8.679e-05, forward_time=0.147, loss_ctc=66.373, loss_att=54.971, acc=0.715, loss=58.392, backward_time=0.296, grad_norm=69.826, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.335e-05, train_time=1.516 +[gpua001:0/64] 2023-12-13 04:32:18,508 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-13 04:32:37,395 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 04:32:40,929 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 04:32:40,929 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-13 04:32:40,932 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 04:38:35,733 (trainer:737) INFO: 30epoch:train:11201-11300batch: iter_time=3.260, forward_time=0.147, loss_ctc=68.604, loss_att=54.534, acc=0.724, loss=58.755, backward_time=0.280, grad_norm=64.636, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.334e-05, train_time=4.595 +[gpua001:0/64] 2023-12-13 04:40:58,676 (trainer:737) INFO: 30epoch:train:11301-11400batch: iter_time=8.199e-05, forward_time=0.147, loss_ctc=65.106, loss_att=58.426, acc=0.739, loss=60.430, backward_time=0.299, grad_norm=56.307, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.334e-05, train_time=1.429 +[gpua001:0/64] 2023-12-13 04:43:17,645 (trainer:737) INFO: 30epoch:train:11401-11500batch: iter_time=8.180e-05, forward_time=0.149, loss_ctc=64.335, loss_att=48.667, acc=0.747, loss=53.367, backward_time=0.284, grad_norm=59.284, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.333e-05, train_time=1.389 +[gpua001:0/64] 2023-12-13 04:46:02,635 (trainer:737) INFO: 30epoch:train:11501-11600batch: iter_time=8.796e-05, forward_time=0.147, loss_ctc=67.867, loss_att=52.373, acc=0.744, loss=57.021, backward_time=0.299, grad_norm=59.295, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.332e-05, train_time=1.650 +[gpua001:0/64] 2023-12-13 04:48:26,453 (trainer:737) INFO: 30epoch:train:11601-11700batch: iter_time=1.707e-04, forward_time=0.255, loss_ctc=67.119, loss_att=51.625, acc=0.736, loss=56.273, backward_time=0.329, grad_norm=57.549, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.331e-05, train_time=1.437 +[gpua001:0/64] 2023-12-13 04:50:50,821 (trainer:737) INFO: 30epoch:train:11701-11800batch: iter_time=9.216e-05, forward_time=0.147, loss_ctc=65.056, loss_att=53.677, acc=0.743, loss=57.091, backward_time=0.324, grad_norm=74.310, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.330e-05, train_time=1.444 +[gpua001:0/64] 2023-12-13 04:53:33,921 (trainer:737) INFO: 30epoch:train:11801-11900batch: iter_time=8.705e-05, forward_time=0.147, loss_ctc=61.244, loss_att=43.268, acc=0.750, loss=48.661, backward_time=0.316, grad_norm=60.925, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.329e-05, train_time=1.631 +[gpua001:0/64] 2023-12-13 04:55:59,948 (trainer:737) INFO: 30epoch:train:11901-12000batch: iter_time=8.379e-05, forward_time=0.146, loss_ctc=69.871, loss_att=55.127, acc=0.726, loss=59.550, backward_time=0.295, grad_norm=64.756, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.329e-05, train_time=1.460 +[gpua001:0/64] 2023-12-13 04:58:34,537 (trainer:737) INFO: 30epoch:train:12001-12100batch: iter_time=8.802e-05, forward_time=0.146, loss_ctc=56.031, loss_att=44.782, acc=0.744, loss=48.156, backward_time=0.308, grad_norm=67.334, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.328e-05, train_time=1.546 +[gpua001:0/64] 2023-12-13 05:00:58,030 (trainer:737) INFO: 30epoch:train:12101-12200batch: iter_time=7.920e-05, forward_time=0.147, loss_ctc=69.276, loss_att=61.285, acc=0.726, loss=63.682, backward_time=0.285, grad_norm=66.262, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.327e-05, train_time=1.435 +[gpua001:0/64] 2023-12-13 05:03:37,950 (trainer:737) INFO: 30epoch:train:12201-12300batch: iter_time=7.877e-05, forward_time=0.146, loss_ctc=59.774, loss_att=47.508, acc=0.740, loss=51.188, backward_time=0.299, grad_norm=59.413, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.326e-05, train_time=1.599 +[gpua001:0/64] 2023-12-13 05:06:50,265 (trainer:737) INFO: 30epoch:train:12301-12400batch: iter_time=8.507e-05, forward_time=0.147, loss_ctc=64.001, loss_att=56.483, acc=0.720, loss=58.738, backward_time=0.328, grad_norm=63.943, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.325e-05, train_time=1.923 +[gpua001:0/64] 2023-12-13 05:08:56,892 (trainer:737) INFO: 30epoch:train:12401-12500batch: iter_time=8.943e-05, forward_time=0.146, loss_ctc=67.287, loss_att=52.980, acc=0.721, loss=57.272, backward_time=0.280, grad_norm=71.916, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.325e-05, train_time=1.266 +[gpua001:0/64] 2023-12-13 05:09:16,920 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-13 05:09:35,791 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 05:09:39,252 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 05:09:39,252 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-13 05:09:39,256 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 05:17:01,364 (trainer:737) INFO: 30epoch:train:12501-12600batch: iter_time=3.235, forward_time=0.178, loss_ctc=65.875, loss_att=57.468, acc=0.728, loss=59.990, backward_time=0.318, grad_norm=68.496, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.324e-05, train_time=4.844 +[gpua001:0/64] 2023-12-13 05:19:26,230 (trainer:737) INFO: 30epoch:train:12601-12700batch: iter_time=8.559e-05, forward_time=0.150, loss_ctc=64.051, loss_att=52.877, acc=0.727, loss=56.229, backward_time=0.291, grad_norm=57.806, clip=100.000, loss_scale=3.022e+31, optim_step_time=0.132, optim0_lr0=7.323e-05, train_time=1.449 +[gpua001:0/64] 2023-12-13 05:22:12,913 (trainer:737) INFO: 30epoch:train:12701-12800batch: iter_time=8.649e-05, forward_time=0.147, loss_ctc=73.565, loss_att=56.040, acc=0.736, loss=61.298, backward_time=0.307, grad_norm=56.171, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.322e-05, train_time=1.667 +[gpua001:0/64] 2023-12-13 05:24:40,895 (trainer:737) INFO: 30epoch:train:12801-12900batch: iter_time=8.730e-05, forward_time=0.147, loss_ctc=58.500, loss_att=42.568, acc=0.738, loss=47.348, backward_time=0.290, grad_norm=60.095, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.321e-05, train_time=1.480 +[gpua001:0/64] 2023-12-13 05:27:38,729 (trainer:737) INFO: 30epoch:train:12901-13000batch: iter_time=8.545e-05, forward_time=0.147, loss_ctc=65.220, loss_att=51.633, acc=0.734, loss=55.709, backward_time=0.331, grad_norm=70.080, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.320e-05, train_time=1.778 +[gpua001:0/64] 2023-12-13 05:30:15,290 (trainer:737) INFO: 30epoch:train:13001-13100batch: iter_time=8.518e-05, forward_time=0.147, loss_ctc=63.581, loss_att=48.568, acc=0.738, loss=53.072, backward_time=0.326, grad_norm=59.555, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.320e-05, train_time=1.565 +[gpua001:0/64] 2023-12-13 05:32:46,666 (trainer:737) INFO: 30epoch:train:13101-13200batch: iter_time=8.627e-05, forward_time=0.146, loss_ctc=66.720, loss_att=52.014, acc=0.721, loss=56.426, backward_time=0.300, grad_norm=59.236, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.319e-05, train_time=1.514 +[gpua001:0/64] 2023-12-13 05:35:13,827 (trainer:737) INFO: 30epoch:train:13201-13300batch: iter_time=8.500e-05, forward_time=0.147, loss_ctc=62.436, loss_att=47.519, acc=0.740, loss=51.994, backward_time=0.285, grad_norm=63.586, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.318e-05, train_time=1.471 +[gpua001:0/64] 2023-12-13 05:38:01,351 (trainer:737) INFO: 30epoch:train:13301-13400batch: iter_time=8.464e-05, forward_time=0.157, loss_ctc=63.638, loss_att=51.546, acc=0.735, loss=55.174, backward_time=0.333, grad_norm=75.144, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.317e-05, train_time=1.675 +[gpua001:0/64] 2023-12-13 05:40:59,847 (trainer:737) INFO: 30epoch:train:13401-13500batch: iter_time=8.347e-05, forward_time=0.213, loss_ctc=64.677, loss_att=56.516, acc=0.732, loss=58.964, backward_time=0.353, grad_norm=68.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.316e-05, train_time=1.785 +[gpua001:0/64] 2023-12-13 05:43:38,189 (trainer:737) INFO: 30epoch:train:13501-13600batch: iter_time=8.543e-05, forward_time=0.146, loss_ctc=59.627, loss_att=50.869, acc=0.725, loss=53.496, backward_time=0.319, grad_norm=89.255, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.316e-05, train_time=1.582 +[gpua001:0/64] 2023-12-13 05:46:00,472 (trainer:737) INFO: 30epoch:train:13601-13700batch: iter_time=8.783e-05, forward_time=0.146, loss_ctc=65.095, loss_att=55.049, acc=0.708, loss=58.063, backward_time=0.296, grad_norm=99.431, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.315e-05, train_time=1.424 +[gpua001:0/64] 2023-12-13 05:47:38,530 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-13 05:47:57,069 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 05:48:00,556 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 05:48:00,556 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-13 05:48:00,559 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 06:01:52,265 (trainer:737) INFO: 30epoch:train:13701-13800batch: iter_time=3.278, forward_time=0.164, loss_ctc=68.633, loss_att=53.275, acc=0.724, loss=57.882, backward_time=0.304, grad_norm=73.737, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.314e-05, train_time=9.518 +[gpua001:0/64] 2023-12-13 06:04:38,318 (trainer:737) INFO: 30epoch:train:13801-13900batch: iter_time=8.650e-05, forward_time=0.146, loss_ctc=65.467, loss_att=58.692, acc=0.738, loss=60.724, backward_time=0.292, grad_norm=63.048, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.313e-05, train_time=1.660 +[gpua001:0/64] 2023-12-13 06:07:54,798 (trainer:737) INFO: 30epoch:train:13901-14000batch: iter_time=8.931e-05, forward_time=0.146, loss_ctc=63.958, loss_att=48.561, acc=0.748, loss=53.180, backward_time=0.387, grad_norm=58.777, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.312e-05, train_time=1.965 +[gpua001:0/64] 2023-12-13 06:10:56,880 (trainer:737) INFO: 30epoch:train:14001-14100batch: iter_time=9.127e-05, forward_time=0.165, loss_ctc=67.788, loss_att=51.963, acc=0.746, loss=56.711, backward_time=0.333, grad_norm=67.469, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.311e-05, train_time=1.821 +[gpua001:0/64] 2023-12-13 06:13:30,441 (trainer:737) INFO: 30epoch:train:14101-14200batch: iter_time=9.291e-05, forward_time=0.201, loss_ctc=65.924, loss_att=51.744, acc=0.733, loss=55.998, backward_time=0.306, grad_norm=113.285, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.311e-05, train_time=1.535 +[gpua001:0/64] 2023-12-13 06:16:58,800 (trainer:737) INFO: 30epoch:train:14201-14300batch: iter_time=8.779e-05, forward_time=0.147, loss_ctc=64.899, loss_att=53.312, acc=0.745, loss=56.788, backward_time=0.356, grad_norm=68.704, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.310e-05, train_time=2.083 +[gpua001:0/64] 2023-12-13 06:19:41,538 (trainer:737) INFO: 30epoch:train:14301-14400batch: iter_time=9.401e-05, forward_time=0.146, loss_ctc=60.911, loss_att=42.768, acc=0.753, loss=48.211, backward_time=0.318, grad_norm=83.786, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.309e-05, train_time=1.627 +[gpua001:0/64] 2023-12-13 06:22:31,846 (trainer:737) INFO: 30epoch:train:14401-14500batch: iter_time=0.002, forward_time=0.178, loss_ctc=69.038, loss_att=54.973, acc=0.726, loss=59.193, backward_time=0.311, grad_norm=94.618, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.308e-05, train_time=1.703 +[gpua001:0/64] 2023-12-13 06:24:55,114 (trainer:737) INFO: 30epoch:train:14501-14600batch: iter_time=8.885e-05, forward_time=0.146, loss_ctc=56.227, loss_att=44.295, acc=0.747, loss=47.875, backward_time=0.282, grad_norm=276.977, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.307e-05, train_time=1.432 +[gpua001:0/64] 2023-12-13 06:27:55,448 (trainer:737) INFO: 30epoch:train:14601-14700batch: iter_time=8.521e-05, forward_time=0.146, loss_ctc=69.352, loss_att=61.637, acc=0.726, loss=63.951, backward_time=0.342, grad_norm=195.935, clip=100.000, loss_scale=6.044e+31, optim_step_time=0.131, optim0_lr0=7.307e-05, train_time=1.803 +[gpua001:0/64] 2023-12-13 06:30:24,473 (trainer:737) INFO: 30epoch:train:14701-14800batch: iter_time=9.227e-05, forward_time=0.146, loss_ctc=60.033, loss_att=47.178, acc=0.744, loss=51.034, backward_time=0.289, grad_norm=108.580, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.306e-05, train_time=1.490 +[gpua001:0/64] 2023-12-13 06:33:04,502 (trainer:737) INFO: 30epoch:train:14801-14900batch: iter_time=8.792e-05, forward_time=0.146, loss_ctc=63.624, loss_att=55.960, acc=0.724, loss=58.259, backward_time=0.317, grad_norm=100.712, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.305e-05, train_time=1.600 +[gpua001:0/64] 2023-12-13 06:35:47,072 (trainer:737) INFO: 30epoch:train:14901-15000batch: iter_time=8.299e-05, forward_time=0.156, loss_ctc=67.615, loss_att=53.645, acc=0.724, loss=57.836, backward_time=0.291, grad_norm=95.408, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=7.304e-05, train_time=1.625 +[gpua001:0/64] 2023-12-13 07:01:29,404 (trainer:343) INFO: 30epoch results: [train] iter_time=0.289, forward_time=0.158, loss_ctc=65.374, loss_att=52.450, acc=0.731, loss=56.327, backward_time=0.326, grad_norm=71.118, clip=100.000, loss_scale=2.141e+31, optim_step_time=0.132, optim0_lr0=7.366e-05, train_time=2.043, time=8 hours, 31 minutes and 15.47 seconds, total_count=450000, gpu_max_cached_mem_GB=37.920, [valid] loss_ctc=34.571, cer_ctc=0.181, loss_att=33.719, acc=0.714, cer=0.350, wer=0.995, loss=33.975, time=25 minutes and 17.24 seconds, total_count=140130, gpu_max_cached_mem_GB=37.920 +[gpua001:0/64] 2023-12-13 07:01:53,328 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua001:0/64] 2023-12-13 07:01:53,355 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.till30epoch.pth +[gpua001:0/64] 2023-12-13 07:02:48,870 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till30epoch.pth +[gpua001:0/64] 2023-12-13 07:03:19,247 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/25epoch.pth +[gpua001:0/64] 2023-12-13 07:03:19,469 (trainer:272) INFO: 31/40epoch started. Estimated time to finish: 3 days, 17 hours and 43 minutes +[gpua001:0/64] 2023-12-13 07:03:20,321 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-13 07:03:38,924 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 07:03:42,350 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 07:03:42,350 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-13 07:03:42,360 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 07:14:56,252 (trainer:737) INFO: 31epoch:train:1-100batch: iter_time=5.692, forward_time=0.198, loss_ctc=72.579, loss_att=54.526, acc=0.723, loss=59.942, backward_time=0.282, grad_norm=75.763, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.303e-05, train_time=6.960 +[gpua001:0/64] 2023-12-13 07:17:22,465 (trainer:737) INFO: 31epoch:train:101-200batch: iter_time=9.114e-05, forward_time=0.254, loss_ctc=82.043, loss_att=63.904, acc=0.703, loss=69.345, backward_time=0.353, grad_norm=69.192, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=7.303e-05, train_time=1.461 +[gpua001:0/64] 2023-12-13 07:19:50,345 (trainer:737) INFO: 31epoch:train:201-300batch: iter_time=4.084e-04, forward_time=0.252, loss_ctc=69.679, loss_att=55.713, acc=0.716, loss=59.903, backward_time=0.356, grad_norm=75.310, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.141, optim0_lr0=7.302e-05, train_time=1.480 +[gpua001:0/64] 2023-12-13 07:22:52,312 (trainer:737) INFO: 31epoch:train:301-400batch: iter_time=0.001, forward_time=0.191, loss_ctc=67.344, loss_att=55.266, acc=0.701, loss=58.889, backward_time=0.330, grad_norm=76.517, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=7.301e-05, train_time=1.819 +[gpua001:0/64] 2023-12-13 07:25:10,642 (trainer:737) INFO: 31epoch:train:401-500batch: iter_time=8.546e-05, forward_time=0.218, loss_ctc=76.042, loss_att=53.027, acc=0.718, loss=59.932, backward_time=0.298, grad_norm=91.971, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.300e-05, train_time=1.384 +[gpua001:0/64] 2023-12-13 07:27:35,683 (trainer:737) INFO: 31epoch:train:501-600batch: iter_time=0.004, forward_time=0.295, loss_ctc=55.469, loss_att=42.863, acc=0.728, loss=46.645, backward_time=0.313, grad_norm=68.242, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=7.299e-05, train_time=1.448 +[gpua001:0/64] 2023-12-13 07:30:33,964 (trainer:737) INFO: 31epoch:train:601-700batch: iter_time=8.781e-04, forward_time=0.281, loss_ctc=72.832, loss_att=57.612, acc=0.714, loss=62.178, backward_time=0.329, grad_norm=81.690, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=7.298e-05, train_time=1.784 +[gpua001:0/64] 2023-12-13 07:33:13,539 (trainer:737) INFO: 31epoch:train:701-800batch: iter_time=0.004, forward_time=0.279, loss_ctc=62.369, loss_att=46.984, acc=0.733, loss=51.600, backward_time=0.333, grad_norm=85.427, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=7.298e-05, train_time=1.595 +[gpua001:0/64] 2023-12-13 07:36:03,179 (trainer:737) INFO: 31epoch:train:801-900batch: iter_time=0.002, forward_time=0.247, loss_ctc=66.821, loss_att=48.739, acc=0.731, loss=54.164, backward_time=0.330, grad_norm=76.713, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=7.297e-05, train_time=1.696 +[gpua001:0/64] 2023-12-13 07:38:58,444 (trainer:737) INFO: 31epoch:train:901-1000batch: iter_time=8.346e-05, forward_time=0.193, loss_ctc=67.261, loss_att=56.422, acc=0.712, loss=59.674, backward_time=0.339, grad_norm=70.341, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=7.296e-05, train_time=1.753 +[gpua001:0/64] 2023-12-13 07:41:38,033 (trainer:737) INFO: 31epoch:train:1001-1100batch: iter_time=0.003, forward_time=0.288, loss_ctc=66.096, loss_att=54.592, acc=0.701, loss=58.043, backward_time=0.314, grad_norm=90.727, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=7.295e-05, train_time=1.596 +[gpua001:0/64] 2023-12-13 07:44:21,056 (trainer:737) INFO: 31epoch:train:1101-1200batch: iter_time=3.566e-04, forward_time=0.285, loss_ctc=56.754, loss_att=46.183, acc=0.717, loss=49.355, backward_time=0.313, grad_norm=60.322, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=7.294e-05, train_time=1.629 +[gpua001:0/64] 2023-12-13 07:45:14,760 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 07:45:16,726 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 07:45:50,750 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-13 07:46:09,290 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 07:46:13,053 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 07:46:13,053 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-13 07:46:13,056 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 07:52:14,388 (trainer:737) INFO: 31epoch:train:1201-1300batch: iter_time=2.838, forward_time=0.152, loss_ctc=66.586, loss_att=53.538, acc=0.718, loss=57.452, backward_time=0.302, grad_norm=66.269, clip=100.000, loss_scale=4.139e+31, optim_step_time=0.135, optim0_lr0=7.294e-05, train_time=4.734 +[gpua001:0/64] 2023-12-13 07:54:28,568 (trainer:737) INFO: 31epoch:train:1301-1400batch: iter_time=9.719e-04, forward_time=0.205, loss_ctc=79.671, loss_att=55.068, acc=0.736, loss=62.449, backward_time=0.291, grad_norm=75.506, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.293e-05, train_time=1.341 +[gpua001:0/64] 2023-12-13 07:57:04,178 (trainer:737) INFO: 31epoch:train:1401-1500batch: iter_time=8.485e-05, forward_time=0.237, loss_ctc=71.174, loss_att=59.608, acc=0.723, loss=63.078, backward_time=0.323, grad_norm=68.556, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.292e-05, train_time=1.556 +[gpua001:0/64] 2023-12-13 08:00:01,250 (trainer:737) INFO: 31epoch:train:1501-1600batch: iter_time=8.812e-05, forward_time=0.163, loss_ctc=67.001, loss_att=51.687, acc=0.711, loss=56.281, backward_time=0.390, grad_norm=77.833, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.291e-05, train_time=1.770 +[gpua001:0/64] 2023-12-13 08:02:07,124 (trainer:737) INFO: 31epoch:train:1601-1700batch: iter_time=8.807e-05, forward_time=0.148, loss_ctc=77.259, loss_att=57.309, acc=0.707, loss=63.294, backward_time=0.278, grad_norm=80.579, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.290e-05, train_time=1.259 +[gpua001:0/64] 2023-12-13 08:04:24,881 (trainer:737) INFO: 31epoch:train:1701-1800batch: iter_time=9.357e-05, forward_time=0.147, loss_ctc=59.227, loss_att=47.341, acc=0.724, loss=50.907, backward_time=0.291, grad_norm=72.598, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.290e-05, train_time=1.377 +[gpua001:0/64] 2023-12-13 08:07:04,470 (trainer:737) INFO: 31epoch:train:1801-1900batch: iter_time=9.346e-05, forward_time=0.147, loss_ctc=58.416, loss_att=40.619, acc=0.738, loss=45.958, backward_time=0.305, grad_norm=60.775, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.289e-05, train_time=1.596 +[gpua001:0/64] 2023-12-13 08:09:43,335 (trainer:737) INFO: 31epoch:train:1901-2000batch: iter_time=8.466e-05, forward_time=0.177, loss_ctc=70.395, loss_att=58.645, acc=0.716, loss=62.170, backward_time=0.307, grad_norm=71.201, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.288e-05, train_time=1.588 +[gpua001:0/64] 2023-12-13 08:12:01,737 (trainer:737) INFO: 31epoch:train:2001-2100batch: iter_time=8.787e-05, forward_time=0.227, loss_ctc=66.989, loss_att=47.930, acc=0.733, loss=53.648, backward_time=0.318, grad_norm=92.371, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.287e-05, train_time=1.384 +[gpua001:0/64] 2023-12-13 08:14:25,068 (trainer:737) INFO: 31epoch:train:2101-2200batch: iter_time=9.228e-05, forward_time=0.153, loss_ctc=59.173, loss_att=47.232, acc=0.731, loss=50.814, backward_time=0.305, grad_norm=64.866, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.286e-05, train_time=1.433 +[gpua001:0/64] 2023-12-13 08:16:41,376 (trainer:737) INFO: 31epoch:train:2201-2300batch: iter_time=9.218e-05, forward_time=0.148, loss_ctc=75.185, loss_att=61.844, acc=0.707, loss=65.846, backward_time=0.297, grad_norm=83.328, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.286e-05, train_time=1.362 +[gpua001:0/64] 2023-12-13 08:19:37,798 (trainer:737) INFO: 31epoch:train:2301-2400batch: iter_time=7.912e-05, forward_time=0.149, loss_ctc=57.974, loss_att=48.523, acc=0.702, loss=51.358, backward_time=0.328, grad_norm=65.234, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.285e-05, train_time=1.765 +[gpua001:0/64] 2023-12-13 08:21:54,230 (trainer:737) INFO: 31epoch:train:2401-2500batch: iter_time=8.157e-05, forward_time=0.148, loss_ctc=55.364, loss_att=44.114, acc=0.738, loss=47.489, backward_time=0.287, grad_norm=56.725, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.284e-05, train_time=1.364 +[gpua001:0/64] 2023-12-13 08:22:14,259 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-13 08:22:33,056 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 08:22:36,477 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 08:22:36,477 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-13 08:22:36,480 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 08:29:08,514 (trainer:737) INFO: 31epoch:train:2501-2600batch: iter_time=2.717, forward_time=0.180, loss_ctc=70.875, loss_att=52.141, acc=0.731, loss=57.761, backward_time=0.294, grad_norm=65.883, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.283e-05, train_time=4.343 +[gpua001:0/64] 2023-12-13 08:31:10,004 (trainer:737) INFO: 31epoch:train:2601-2700batch: iter_time=8.231e-05, forward_time=0.150, loss_ctc=79.491, loss_att=62.763, acc=0.712, loss=67.781, backward_time=0.283, grad_norm=66.458, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.282e-05, train_time=1.215 +[gpua001:0/64] 2023-12-13 08:33:12,328 (trainer:737) INFO: 31epoch:train:2701-2800batch: iter_time=8.400e-05, forward_time=0.147, loss_ctc=68.126, loss_att=54.145, acc=0.725, loss=58.339, backward_time=0.280, grad_norm=64.006, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.282e-05, train_time=1.223 +[gpua001:0/64] 2023-12-13 08:35:15,526 (trainer:737) INFO: 31epoch:train:2801-2900batch: iter_time=8.892e-05, forward_time=0.147, loss_ctc=66.479, loss_att=53.871, acc=0.708, loss=57.653, backward_time=0.278, grad_norm=68.811, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.281e-05, train_time=1.230 +[gpua001:0/64] 2023-12-13 08:37:56,581 (trainer:737) INFO: 31epoch:train:2901-3000batch: iter_time=8.738e-05, forward_time=0.148, loss_ctc=71.344, loss_att=50.935, acc=0.725, loss=57.058, backward_time=0.292, grad_norm=77.466, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.280e-05, train_time=1.612 +[gpua001:0/64] 2023-12-13 08:40:23,254 (trainer:737) INFO: 31epoch:train:3001-3100batch: iter_time=3.262e-04, forward_time=0.249, loss_ctc=54.901, loss_att=43.162, acc=0.731, loss=46.684, backward_time=0.312, grad_norm=54.202, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=7.279e-05, train_time=1.466 +[gpua001:0/64] 2023-12-13 08:42:52,485 (trainer:737) INFO: 31epoch:train:3101-3200batch: iter_time=8.331e-05, forward_time=0.147, loss_ctc=70.737, loss_att=56.290, acc=0.721, loss=60.624, backward_time=0.309, grad_norm=72.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.278e-05, train_time=1.492 +[gpua001:0/64] 2023-12-13 08:45:12,156 (trainer:737) INFO: 31epoch:train:3201-3300batch: iter_time=8.668e-05, forward_time=0.147, loss_ctc=61.578, loss_att=46.523, acc=0.738, loss=51.039, backward_time=0.286, grad_norm=56.887, clip=100.000, loss_scale=3.326e+31, optim_step_time=0.134, optim0_lr0=7.278e-05, train_time=1.396 +[gpua001:0/64] 2023-12-13 08:47:43,988 (trainer:737) INFO: 31epoch:train:3301-3400batch: iter_time=8.345e-05, forward_time=0.149, loss_ctc=66.191, loss_att=47.515, acc=0.737, loss=53.118, backward_time=0.305, grad_norm=61.558, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.277e-05, train_time=1.518 +[gpua001:0/64] 2023-12-13 08:50:26,827 (trainer:737) INFO: 31epoch:train:3401-3500batch: iter_time=9.190e-05, forward_time=0.147, loss_ctc=65.035, loss_att=55.823, acc=0.716, loss=58.587, backward_time=0.326, grad_norm=62.659, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.276e-05, train_time=1.628 +[gpua001:0/64] 2023-12-13 08:53:18,517 (trainer:737) INFO: 31epoch:train:3501-3600batch: iter_time=8.901e-05, forward_time=0.147, loss_ctc=64.739, loss_att=52.651, acc=0.708, loss=56.278, backward_time=0.314, grad_norm=64.186, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.275e-05, train_time=1.714 +[gpua001:0/64] 2023-12-13 08:55:51,380 (trainer:737) INFO: 31epoch:train:3601-3700batch: iter_time=9.034e-05, forward_time=0.147, loss_ctc=55.874, loss_att=45.527, acc=0.723, loss=48.631, backward_time=0.313, grad_norm=61.479, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.274e-05, train_time=1.531 +[gpua001:0/64] 2023-12-13 08:57:22,360 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-13 08:57:41,280 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 08:57:44,971 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 08:57:44,971 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-13 08:57:45,708 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 09:06:59,637 (trainer:737) INFO: 31epoch:train:3701-3800batch: iter_time=3.486, forward_time=0.195, loss_ctc=65.121, loss_att=52.620, acc=0.721, loss=56.370, backward_time=0.293, grad_norm=68.066, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.274e-05, train_time=6.682 +[gpua001:0/64] 2023-12-13 09:09:03,273 (trainer:737) INFO: 31epoch:train:3801-3900batch: iter_time=7.611e-05, forward_time=0.148, loss_ctc=78.321, loss_att=54.365, acc=0.741, loss=61.552, backward_time=0.281, grad_norm=66.866, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.273e-05, train_time=1.236 +[gpua001:0/64] 2023-12-13 09:11:07,745 (trainer:737) INFO: 31epoch:train:3901-4000batch: iter_time=7.967e-05, forward_time=0.147, loss_ctc=70.798, loss_att=59.591, acc=0.725, loss=62.953, backward_time=0.280, grad_norm=61.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.272e-05, train_time=1.244 +[gpua001:0/64] 2023-12-13 09:13:38,454 (trainer:737) INFO: 31epoch:train:4001-4100batch: iter_time=8.002e-05, forward_time=0.146, loss_ctc=65.764, loss_att=50.391, acc=0.717, loss=55.003, backward_time=0.293, grad_norm=57.333, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.271e-05, train_time=1.507 +[gpua001:0/64] 2023-12-13 09:16:31,755 (trainer:737) INFO: 31epoch:train:4101-4200batch: iter_time=7.928e-05, forward_time=0.147, loss_ctc=76.076, loss_att=57.120, acc=0.712, loss=62.806, backward_time=0.336, grad_norm=71.937, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.270e-05, train_time=1.733 +[gpua001:0/64] 2023-12-13 09:19:12,099 (trainer:737) INFO: 31epoch:train:4201-4300batch: iter_time=7.976e-05, forward_time=0.146, loss_ctc=57.871, loss_att=47.595, acc=0.726, loss=50.678, backward_time=0.301, grad_norm=62.019, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.270e-05, train_time=1.603 +[gpua001:0/64] 2023-12-13 09:21:36,059 (trainer:737) INFO: 31epoch:train:4301-4400batch: iter_time=8.320e-05, forward_time=0.204, loss_ctc=57.845, loss_att=40.117, acc=0.742, loss=45.436, backward_time=0.295, grad_norm=66.881, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.269e-05, train_time=1.439 +[gpua001:0/64] 2023-12-13 09:24:25,689 (trainer:737) INFO: 31epoch:train:4401-4500batch: iter_time=7.964e-05, forward_time=0.217, loss_ctc=69.109, loss_att=57.905, acc=0.720, loss=61.266, backward_time=0.334, grad_norm=74.317, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.268e-05, train_time=1.696 +[gpua001:0/64] 2023-12-13 09:27:14,122 (trainer:737) INFO: 31epoch:train:4501-4600batch: iter_time=8.120e-05, forward_time=0.146, loss_ctc=66.349, loss_att=47.426, acc=0.738, loss=53.103, backward_time=0.336, grad_norm=67.375, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.267e-05, train_time=1.685 +[gpua001:0/64] 2023-12-13 09:29:40,971 (trainer:737) INFO: 31epoch:train:4601-4700batch: iter_time=8.462e-05, forward_time=0.146, loss_ctc=58.652, loss_att=46.877, acc=0.732, loss=50.409, backward_time=0.292, grad_norm=79.776, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.266e-05, train_time=1.468 +[gpua001:0/64] 2023-12-13 09:32:15,206 (trainer:737) INFO: 31epoch:train:4701-4800batch: iter_time=8.384e-05, forward_time=0.146, loss_ctc=73.706, loss_att=61.291, acc=0.710, loss=65.015, backward_time=0.321, grad_norm=88.434, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.266e-05, train_time=1.542 +[gpua001:0/64] 2023-12-13 09:34:30,866 (trainer:737) INFO: 31epoch:train:4801-4900batch: iter_time=8.663e-05, forward_time=0.146, loss_ctc=58.018, loss_att=47.184, acc=0.711, loss=50.434, backward_time=0.286, grad_norm=78.481, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.265e-05, train_time=1.356 +[gpua001:0/64] 2023-12-13 09:36:51,662 (trainer:737) INFO: 31epoch:train:4901-5000batch: iter_time=8.844e-05, forward_time=0.147, loss_ctc=54.315, loss_att=43.820, acc=0.739, loss=46.968, backward_time=0.291, grad_norm=82.208, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.264e-05, train_time=1.408 +[gpua001:0/64] 2023-12-13 09:37:11,690 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-13 09:37:30,446 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 09:37:34,153 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 09:37:34,153 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-13 09:37:34,156 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 09:44:55,313 (trainer:737) INFO: 31epoch:train:5001-5100batch: iter_time=3.347, forward_time=0.180, loss_ctc=70.682, loss_att=52.209, acc=0.733, loss=57.751, backward_time=0.299, grad_norm=78.072, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.263e-05, train_time=4.836 +[gpua001:0/64] 2023-12-13 09:47:26,533 (trainer:737) INFO: 31epoch:train:5101-5200batch: iter_time=9.264e-05, forward_time=0.147, loss_ctc=78.171, loss_att=61.661, acc=0.716, loss=66.614, backward_time=0.291, grad_norm=72.614, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.262e-05, train_time=1.512 +[gpua001:0/64] 2023-12-13 09:50:14,401 (trainer:737) INFO: 31epoch:train:5201-5300batch: iter_time=9.861e-05, forward_time=0.147, loss_ctc=68.124, loss_att=54.155, acc=0.726, loss=58.346, backward_time=0.290, grad_norm=66.588, clip=100.000, loss_scale=6.653e+31, optim_step_time=0.134, optim0_lr0=7.262e-05, train_time=1.678 +[gpua001:0/64] 2023-12-13 09:52:55,265 (trainer:737) INFO: 31epoch:train:5301-5400batch: iter_time=9.438e-05, forward_time=0.147, loss_ctc=64.954, loss_att=53.144, acc=0.711, loss=56.687, backward_time=0.332, grad_norm=65.823, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.261e-05, train_time=1.608 +[gpua001:0/64] 2023-12-13 09:55:32,106 (trainer:737) INFO: 31epoch:train:5401-5500batch: iter_time=1.078e-04, forward_time=0.147, loss_ctc=71.225, loss_att=50.428, acc=0.728, loss=56.668, backward_time=0.297, grad_norm=77.280, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.260e-05, train_time=1.568 +[gpua001:0/64] 2023-12-13 09:57:48,255 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 09:58:10,188 (trainer:737) INFO: 31epoch:train:5501-5600batch: iter_time=9.141e-05, forward_time=0.149, loss_ctc=54.286, loss_att=42.242, acc=0.737, loss=45.855, backward_time=0.320, grad_norm=53.858, clip=100.000, loss_scale=7.457e+31, optim_step_time=0.134, optim0_lr0=7.259e-05, train_time=1.581 +[gpua001:0/64] 2023-12-13 10:00:40,410 (trainer:737) INFO: 31epoch:train:5601-5700batch: iter_time=9.328e-05, forward_time=0.209, loss_ctc=69.909, loss_att=55.710, acc=0.725, loss=59.970, backward_time=0.313, grad_norm=68.001, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.258e-05, train_time=1.502 +[gpua001:0/64] 2023-12-13 10:03:08,916 (trainer:737) INFO: 31epoch:train:5701-5800batch: iter_time=9.132e-05, forward_time=0.213, loss_ctc=60.853, loss_att=45.818, acc=0.741, loss=50.328, backward_time=0.300, grad_norm=75.529, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=7.258e-05, train_time=1.485 +[gpua001:0/64] 2023-12-13 10:05:16,111 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 10:05:44,389 (trainer:737) INFO: 31epoch:train:5801-5900batch: iter_time=9.591e-05, forward_time=0.149, loss_ctc=66.018, loss_att=47.599, acc=0.738, loss=53.125, backward_time=0.350, grad_norm=59.960, clip=100.000, loss_scale=3.626e+31, optim_step_time=0.134, optim0_lr0=7.257e-05, train_time=1.555 +[gpua001:0/64] 2023-12-13 10:08:22,621 (trainer:737) INFO: 31epoch:train:5901-6000batch: iter_time=9.666e-05, forward_time=0.148, loss_ctc=64.979, loss_att=54.961, acc=0.720, loss=57.966, backward_time=0.325, grad_norm=63.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.256e-05, train_time=1.582 +[gpua001:0/64] 2023-12-13 10:11:07,332 (trainer:737) INFO: 31epoch:train:6001-6100batch: iter_time=9.386e-05, forward_time=0.148, loss_ctc=63.826, loss_att=52.380, acc=0.710, loss=55.814, backward_time=0.302, grad_norm=75.771, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.255e-05, train_time=1.647 +[gpua001:0/64] 2023-12-13 10:13:40,986 (trainer:737) INFO: 31epoch:train:6101-6200batch: iter_time=9.149e-05, forward_time=0.150, loss_ctc=55.322, loss_att=45.097, acc=0.725, loss=48.165, backward_time=0.315, grad_norm=88.742, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.254e-05, train_time=1.536 +[gpua001:0/64] 2023-12-13 10:15:08,442 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-13 10:15:27,739 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 10:15:31,272 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 10:15:31,272 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-13 10:15:31,275 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 10:21:36,897 (trainer:737) INFO: 31epoch:train:6201-6300batch: iter_time=3.358, forward_time=0.184, loss_ctc=65.005, loss_att=54.186, acc=0.725, loss=57.432, backward_time=0.305, grad_norm=65.123, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.254e-05, train_time=4.759 +[gpua001:0/64] 2023-12-13 10:27:50,675 (trainer:737) INFO: 31epoch:train:6301-6400batch: iter_time=9.442e-05, forward_time=0.149, loss_ctc=78.127, loss_att=54.835, acc=0.747, loss=61.823, backward_time=0.737, grad_norm=73.914, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.253e-05, train_time=3.738 +[gpua001:0/64] 2023-12-13 10:34:53,647 (trainer:737) INFO: 31epoch:train:6401-6500batch: iter_time=9.444e-05, forward_time=0.148, loss_ctc=69.579, loss_att=59.281, acc=0.733, loss=62.371, backward_time=0.628, grad_norm=65.692, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.252e-05, train_time=4.230 +[gpua001:0/64] 2023-12-13 10:41:31,602 (trainer:737) INFO: 31epoch:train:6501-6600batch: iter_time=1.020e-04, forward_time=0.148, loss_ctc=65.317, loss_att=52.575, acc=0.719, loss=56.398, backward_time=0.604, grad_norm=60.311, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.251e-05, train_time=3.979 +[gpua001:0/64] 2023-12-13 10:47:02,056 (trainer:737) INFO: 31epoch:train:6601-6700batch: iter_time=1.027e-04, forward_time=0.151, loss_ctc=73.888, loss_att=57.645, acc=0.720, loss=62.518, backward_time=0.608, grad_norm=156.154, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.250e-05, train_time=3.304 +[gpua001:0/64] 2023-12-13 10:50:28,779 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 10:52:57,937 (trainer:737) INFO: 31epoch:train:6701-6800batch: iter_time=1.098e-04, forward_time=0.148, loss_ctc=58.048, loss_att=47.782, acc=0.731, loss=50.862, backward_time=0.503, grad_norm=87.908, clip=100.000, loss_scale=1.506e+31, optim_step_time=0.134, optim0_lr0=7.250e-05, train_time=3.559 +[gpua001:0/64] 2023-12-13 11:02:05,403 (trainer:737) INFO: 31epoch:train:6801-6900batch: iter_time=1.162e-04, forward_time=0.201, loss_ctc=57.065, loss_att=39.976, acc=0.746, loss=45.103, backward_time=0.921, grad_norm=58.055, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.249e-05, train_time=5.474 +[gpua001:0/64] 2023-12-13 11:07:52,212 (trainer:737) INFO: 31epoch:train:6901-7000batch: iter_time=1.121e-04, forward_time=0.159, loss_ctc=68.821, loss_att=58.697, acc=0.726, loss=61.734, backward_time=0.404, grad_norm=71.339, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.248e-05, train_time=3.467 +[gpua001:0/64] 2023-12-13 11:13:54,822 (trainer:737) INFO: 31epoch:train:7001-7100batch: iter_time=9.886e-05, forward_time=0.150, loss_ctc=66.133, loss_att=47.578, acc=0.744, loss=53.145, backward_time=0.686, grad_norm=76.540, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.247e-05, train_time=3.626 +[gpua001:0/64] 2023-12-13 11:17:28,105 (trainer:737) INFO: 31epoch:train:7101-7200batch: iter_time=9.336e-05, forward_time=0.150, loss_ctc=58.952, loss_att=47.791, acc=0.738, loss=51.139, backward_time=0.410, grad_norm=86.441, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.246e-05, train_time=2.133 +[gpua001:0/64] 2023-12-13 11:20:40,891 (trainer:737) INFO: 31epoch:train:7201-7300batch: iter_time=8.620e-05, forward_time=0.148, loss_ctc=72.987, loss_att=62.705, acc=0.717, loss=65.790, backward_time=0.320, grad_norm=74.227, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.246e-05, train_time=1.928 +[gpua001:0/64] 2023-12-13 11:23:29,188 (trainer:737) INFO: 31epoch:train:7301-7400batch: iter_time=8.677e-05, forward_time=0.150, loss_ctc=57.363, loss_att=47.994, acc=0.715, loss=50.804, backward_time=0.312, grad_norm=69.195, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.245e-05, train_time=1.683 +[gpua001:0/64] 2023-12-13 11:26:21,513 (trainer:737) INFO: 31epoch:train:7401-7500batch: iter_time=8.521e-05, forward_time=0.154, loss_ctc=55.255, loss_att=44.301, acc=0.746, loss=47.587, backward_time=0.357, grad_norm=138.556, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.244e-05, train_time=1.723 +[gpua001:0/64] 2023-12-13 11:26:41,542 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-13 11:27:00,342 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 11:27:03,998 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 11:27:03,998 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-13 11:27:04,549 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 11:41:39,434 (trainer:737) INFO: 31epoch:train:7501-7600batch: iter_time=3.436, forward_time=0.181, loss_ctc=71.014, loss_att=54.019, acc=0.735, loss=59.118, backward_time=0.304, grad_norm=80.100, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.243e-05, train_time=9.179 +[gpua001:0/64] 2023-12-13 11:44:08,883 (trainer:737) INFO: 31epoch:train:7601-7700batch: iter_time=8.205e-05, forward_time=0.148, loss_ctc=77.707, loss_att=61.534, acc=0.726, loss=66.386, backward_time=0.312, grad_norm=66.828, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.242e-05, train_time=1.494 +[gpua001:0/64] 2023-12-13 11:47:27,654 (trainer:737) INFO: 31epoch:train:7701-7800batch: iter_time=8.931e-04, forward_time=0.199, loss_ctc=67.933, loss_att=54.420, acc=0.735, loss=58.474, backward_time=0.388, grad_norm=61.759, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=7.242e-05, train_time=1.987 +[gpua001:0/64] 2023-12-13 11:50:15,569 (trainer:737) INFO: 31epoch:train:7801-7900batch: iter_time=8.663e-05, forward_time=0.160, loss_ctc=64.974, loss_att=53.762, acc=0.719, loss=57.125, backward_time=0.305, grad_norm=109.624, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.241e-05, train_time=1.679 +[gpua001:0/64] 2023-12-13 11:53:27,741 (trainer:737) INFO: 31epoch:train:7901-8000batch: iter_time=8.675e-05, forward_time=0.148, loss_ctc=70.467, loss_att=50.495, acc=0.736, loss=56.487, backward_time=0.371, grad_norm=209.491, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.240e-05, train_time=1.921 +[gpua001:0/64] 2023-12-13 11:55:51,068 (trainer:737) INFO: 31epoch:train:8001-8100batch: iter_time=8.553e-05, forward_time=0.148, loss_ctc=54.287, loss_att=43.414, acc=0.735, loss=46.676, backward_time=0.286, grad_norm=78.387, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.239e-05, train_time=1.433 +[gpua001:0/64] 2023-12-13 11:58:28,175 (trainer:737) INFO: 31epoch:train:8101-8200batch: iter_time=8.643e-05, forward_time=0.148, loss_ctc=69.858, loss_att=55.684, acc=0.732, loss=59.936, backward_time=0.302, grad_norm=74.114, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.239e-05, train_time=1.571 +[gpua001:0/64] 2023-12-13 12:01:24,119 (trainer:737) INFO: 31epoch:train:8201-8300batch: iter_time=8.635e-05, forward_time=0.245, loss_ctc=60.860, loss_att=46.259, acc=0.744, loss=50.639, backward_time=0.331, grad_norm=60.182, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.238e-05, train_time=1.759 +[gpua001:0/64] 2023-12-13 12:03:48,889 (trainer:737) INFO: 31epoch:train:8301-8400batch: iter_time=9.043e-05, forward_time=0.153, loss_ctc=66.280, loss_att=47.992, acc=0.749, loss=53.478, backward_time=0.288, grad_norm=61.879, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.237e-05, train_time=1.448 +[gpua001:0/64] 2023-12-13 12:06:40,433 (trainer:737) INFO: 31epoch:train:8401-8500batch: iter_time=8.980e-05, forward_time=0.149, loss_ctc=64.059, loss_att=55.343, acc=0.726, loss=57.958, backward_time=0.305, grad_norm=75.421, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.236e-05, train_time=1.715 +[gpua001:0/64] 2023-12-13 12:09:16,217 (trainer:737) INFO: 31epoch:train:8501-8600batch: iter_time=9.635e-05, forward_time=0.149, loss_ctc=63.663, loss_att=54.141, acc=0.714, loss=56.998, backward_time=0.337, grad_norm=83.440, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.235e-05, train_time=1.558 +[gpua001:0/64] 2023-12-13 12:12:14,278 (trainer:737) INFO: 31epoch:train:8601-8700batch: iter_time=9.860e-05, forward_time=0.197, loss_ctc=55.414, loss_att=45.641, acc=0.728, loss=48.573, backward_time=0.358, grad_norm=139.813, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.235e-05, train_time=1.780 +[gpua001:0/64] 2023-12-13 12:13:50,751 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-13 12:14:09,474 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 12:14:12,956 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 12:14:12,957 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-13 12:14:12,960 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 12:23:52,680 (trainer:737) INFO: 31epoch:train:8701-8800batch: iter_time=3.013, forward_time=0.206, loss_ctc=64.807, loss_att=53.563, acc=0.729, loss=56.936, backward_time=0.287, grad_norm=98.825, clip=100.000, loss_scale=1.531e+31, optim_step_time=0.135, optim0_lr0=7.234e-05, train_time=6.984 +[gpua001:0/64] 2023-12-13 12:25:59,678 (trainer:737) INFO: 31epoch:train:8801-8900batch: iter_time=8.661e-05, forward_time=0.148, loss_ctc=77.167, loss_att=53.798, acc=0.750, loss=60.808, backward_time=0.281, grad_norm=80.348, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.233e-05, train_time=1.270 +[gpua001:0/64] 2023-12-13 12:28:34,452 (trainer:737) INFO: 31epoch:train:8901-9000batch: iter_time=8.261e-05, forward_time=0.150, loss_ctc=69.856, loss_att=58.566, acc=0.736, loss=61.953, backward_time=0.285, grad_norm=258.759, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.232e-05, train_time=1.548 +[gpua001:0/64] 2023-12-13 12:31:22,240 (trainer:737) INFO: 31epoch:train:9001-9100batch: iter_time=8.697e-05, forward_time=0.154, loss_ctc=65.507, loss_att=51.456, acc=0.723, loss=55.671, backward_time=0.309, grad_norm=65.120, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.231e-05, train_time=1.678 +[gpua001:0/64] 2023-12-13 12:33:52,714 (trainer:737) INFO: 31epoch:train:9101-9200batch: iter_time=9.321e-05, forward_time=0.193, loss_ctc=73.915, loss_att=56.917, acc=0.723, loss=62.016, backward_time=0.300, grad_norm=77.420, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.231e-05, train_time=1.504 +[gpua001:0/64] 2023-12-13 12:36:19,212 (trainer:737) INFO: 31epoch:train:9201-9300batch: iter_time=8.837e-05, forward_time=0.214, loss_ctc=57.850, loss_att=47.555, acc=0.734, loss=50.644, backward_time=0.305, grad_norm=64.131, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.230e-05, train_time=1.465 +[gpua001:0/64] 2023-12-13 12:39:07,793 (trainer:737) INFO: 31epoch:train:9301-9400batch: iter_time=8.582e-05, forward_time=0.148, loss_ctc=57.726, loss_att=40.206, acc=0.746, loss=45.462, backward_time=0.340, grad_norm=73.264, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.229e-05, train_time=1.686 +[gpua001:0/64] 2023-12-13 12:41:33,766 (trainer:737) INFO: 31epoch:train:9401-9500batch: iter_time=8.843e-05, forward_time=0.159, loss_ctc=68.720, loss_att=58.153, acc=0.728, loss=61.323, backward_time=0.296, grad_norm=74.059, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.228e-05, train_time=1.460 +[gpua001:0/64] 2023-12-13 12:44:22,489 (trainer:737) INFO: 31epoch:train:9501-9600batch: iter_time=2.458e-04, forward_time=0.172, loss_ctc=66.168, loss_att=47.205, acc=0.745, loss=52.894, backward_time=0.320, grad_norm=71.626, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.227e-05, train_time=1.687 +[gpua001:0/64] 2023-12-13 12:47:16,856 (trainer:737) INFO: 31epoch:train:9601-9700batch: iter_time=8.890e-05, forward_time=0.176, loss_ctc=58.330, loss_att=46.883, acc=0.740, loss=50.317, backward_time=0.328, grad_norm=62.465, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.227e-05, train_time=1.743 +[gpua001:0/64] 2023-12-13 12:49:52,482 (trainer:737) INFO: 31epoch:train:9701-9800batch: iter_time=9.454e-05, forward_time=0.211, loss_ctc=72.625, loss_att=61.834, acc=0.719, loss=65.071, backward_time=0.335, grad_norm=86.616, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.226e-05, train_time=1.556 +[gpua001:0/64] 2023-12-13 12:52:30,345 (trainer:737) INFO: 31epoch:train:9801-9900batch: iter_time=9.606e-05, forward_time=0.149, loss_ctc=56.835, loss_att=47.479, acc=0.716, loss=50.286, backward_time=0.313, grad_norm=63.470, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.225e-05, train_time=1.578 +[gpua001:0/64] 2023-12-13 12:55:03,313 (trainer:737) INFO: 31epoch:train:9901-10000batch: iter_time=9.033e-05, forward_time=0.153, loss_ctc=54.077, loss_att=43.584, acc=0.749, loss=46.732, backward_time=0.305, grad_norm=64.322, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.224e-05, train_time=1.529 +[gpua001:0/64] 2023-12-13 12:55:23,499 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-13 12:55:43,457 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 12:55:47,416 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 12:55:47,416 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-13 12:55:47,419 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 13:02:48,159 (trainer:737) INFO: 31epoch:train:10001-10100batch: iter_time=3.238, forward_time=0.189, loss_ctc=70.342, loss_att=53.520, acc=0.737, loss=58.567, backward_time=0.287, grad_norm=67.223, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.224e-05, train_time=4.648 +[gpua001:0/64] 2023-12-13 13:05:25,455 (trainer:737) INFO: 31epoch:train:10101-10200batch: iter_time=8.380e-05, forward_time=0.149, loss_ctc=77.905, loss_att=61.399, acc=0.727, loss=66.351, backward_time=0.297, grad_norm=62.713, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.223e-05, train_time=1.573 +[gpua001:0/64] 2023-12-13 13:08:47,990 (trainer:737) INFO: 31epoch:train:10201-10300batch: iter_time=8.152e-05, forward_time=0.148, loss_ctc=67.334, loss_att=53.740, acc=0.736, loss=57.818, backward_time=0.359, grad_norm=59.497, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.222e-05, train_time=2.025 +[gpua001:0/64] 2023-12-13 13:11:34,373 (trainer:737) INFO: 31epoch:train:10301-10400batch: iter_time=8.677e-05, forward_time=0.148, loss_ctc=64.028, loss_att=53.187, acc=0.721, loss=56.439, backward_time=0.312, grad_norm=59.510, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.221e-05, train_time=1.664 +[gpua001:0/64] 2023-12-13 13:14:18,099 (trainer:737) INFO: 31epoch:train:10401-10500batch: iter_time=9.149e-05, forward_time=0.149, loss_ctc=70.296, loss_att=50.616, acc=0.738, loss=56.520, backward_time=0.303, grad_norm=87.140, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.220e-05, train_time=1.637 +[gpua001:0/64] 2023-12-13 13:17:19,375 (trainer:737) INFO: 31epoch:train:10501-10600batch: iter_time=8.255e-05, forward_time=0.223, loss_ctc=53.609, loss_att=43.114, acc=0.738, loss=46.263, backward_time=0.317, grad_norm=55.131, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=7.220e-05, train_time=1.813 +[gpua001:0/64] 2023-12-13 13:20:05,061 (trainer:737) INFO: 31epoch:train:10601-10700batch: iter_time=8.526e-05, forward_time=0.169, loss_ctc=68.792, loss_att=55.275, acc=0.734, loss=59.330, backward_time=0.347, grad_norm=63.336, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.219e-05, train_time=1.656 +[gpua001:0/64] 2023-12-13 13:22:55,451 (trainer:737) INFO: 31epoch:train:10701-10800batch: iter_time=8.485e-05, forward_time=0.147, loss_ctc=60.942, loss_att=46.529, acc=0.746, loss=50.853, backward_time=0.306, grad_norm=54.491, clip=100.000, loss_scale=3.063e+31, optim_step_time=0.133, optim0_lr0=7.218e-05, train_time=1.704 +[gpua001:0/64] 2023-12-13 13:25:37,634 (trainer:737) INFO: 31epoch:train:10801-10900batch: iter_time=9.541e-05, forward_time=0.148, loss_ctc=65.717, loss_att=47.597, acc=0.751, loss=53.033, backward_time=0.307, grad_norm=57.795, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.217e-05, train_time=1.622 +[gpua001:0/64] 2023-12-13 13:28:44,823 (trainer:737) INFO: 31epoch:train:10901-11000batch: iter_time=9.515e-05, forward_time=0.147, loss_ctc=63.918, loss_att=55.571, acc=0.725, loss=58.075, backward_time=0.319, grad_norm=57.371, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.217e-05, train_time=1.872 +[gpua001:0/64] 2023-12-13 13:31:19,211 (trainer:737) INFO: 31epoch:train:11001-11100batch: iter_time=8.150e-05, forward_time=0.178, loss_ctc=63.307, loss_att=53.426, acc=0.719, loss=56.390, backward_time=0.318, grad_norm=66.076, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=7.216e-05, train_time=1.544 +[gpua001:0/64] 2023-12-13 13:33:52,087 (trainer:737) INFO: 31epoch:train:11101-11200batch: iter_time=9.229e-05, forward_time=0.202, loss_ctc=55.472, loss_att=45.603, acc=0.730, loss=48.564, backward_time=0.315, grad_norm=67.104, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.215e-05, train_time=1.529 +[gpua001:0/64] 2023-12-13 13:35:24,649 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-13 13:35:43,552 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 13:35:47,065 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 13:35:47,065 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-13 13:35:47,068 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 13:41:58,519 (trainer:737) INFO: 31epoch:train:11201-11300batch: iter_time=3.377, forward_time=0.225, loss_ctc=64.203, loss_att=52.940, acc=0.732, loss=56.319, backward_time=0.297, grad_norm=57.102, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.214e-05, train_time=4.864 +[gpua001:0/64] 2023-12-13 13:44:14,361 (trainer:737) INFO: 31epoch:train:11301-11400batch: iter_time=8.413e-05, forward_time=0.148, loss_ctc=77.241, loss_att=54.227, acc=0.750, loss=61.131, backward_time=0.291, grad_norm=59.457, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.213e-05, train_time=1.358 +[gpua001:0/64] 2023-12-13 13:46:36,374 (trainer:737) INFO: 31epoch:train:11401-11500batch: iter_time=8.551e-05, forward_time=0.173, loss_ctc=69.470, loss_att=57.983, acc=0.739, loss=61.429, backward_time=0.284, grad_norm=57.192, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.213e-05, train_time=1.420 +[gpua001:0/64] 2023-12-13 13:49:10,088 (trainer:737) INFO: 31epoch:train:11501-11600batch: iter_time=9.106e-05, forward_time=0.172, loss_ctc=64.423, loss_att=50.525, acc=0.727, loss=54.695, backward_time=0.288, grad_norm=64.469, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.212e-05, train_time=1.537 +[gpua001:0/64] 2023-12-13 13:51:24,193 (trainer:737) INFO: 31epoch:train:11601-11700batch: iter_time=9.173e-05, forward_time=0.148, loss_ctc=73.397, loss_att=56.517, acc=0.725, loss=61.581, backward_time=0.286, grad_norm=84.283, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.211e-05, train_time=1.341 +[gpua001:0/64] 2023-12-13 13:53:47,952 (trainer:737) INFO: 31epoch:train:11701-11800batch: iter_time=5.562e-04, forward_time=0.199, loss_ctc=57.797, loss_att=47.038, acc=0.733, loss=50.265, backward_time=0.310, grad_norm=88.909, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.210e-05, train_time=1.437 +[gpua001:0/64] 2023-12-13 13:56:24,045 (trainer:737) INFO: 31epoch:train:11801-11900batch: iter_time=8.841e-05, forward_time=0.148, loss_ctc=56.689, loss_att=39.746, acc=0.749, loss=44.829, backward_time=0.285, grad_norm=69.209, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.209e-05, train_time=1.561 +[gpua001:0/64] 2023-12-13 13:58:54,887 (trainer:737) INFO: 31epoch:train:11901-12000batch: iter_time=8.516e-05, forward_time=0.153, loss_ctc=68.217, loss_att=57.448, acc=0.732, loss=60.679, backward_time=0.318, grad_norm=72.670, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.209e-05, train_time=1.508 +[gpua001:0/64] 2023-12-13 13:59:46,110 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 14:02:01,879 (trainer:737) INFO: 31epoch:train:12001-12100batch: iter_time=8.472e-05, forward_time=0.160, loss_ctc=65.967, loss_att=47.511, acc=0.745, loss=53.048, backward_time=0.322, grad_norm=70.101, clip=100.000, loss_scale=2.725e+31, optim_step_time=0.134, optim0_lr0=7.208e-05, train_time=1.870 +[gpua001:0/64] 2023-12-13 14:04:52,559 (trainer:737) INFO: 31epoch:train:12101-12200batch: iter_time=9.063e-05, forward_time=0.148, loss_ctc=58.136, loss_att=46.744, acc=0.741, loss=50.161, backward_time=0.320, grad_norm=59.778, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.207e-05, train_time=1.707 +[gpua001:0/64] 2023-12-13 14:07:36,551 (trainer:737) INFO: 31epoch:train:12201-12300batch: iter_time=8.711e-05, forward_time=0.180, loss_ctc=72.169, loss_att=61.510, acc=0.721, loss=64.708, backward_time=0.319, grad_norm=83.640, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.206e-05, train_time=1.640 +[gpua001:0/64] 2023-12-13 14:09:42,863 (trainer:737) INFO: 31epoch:train:12301-12400batch: iter_time=8.756e-05, forward_time=0.169, loss_ctc=56.457, loss_att=47.385, acc=0.716, loss=50.107, backward_time=0.279, grad_norm=64.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.206e-05, train_time=1.262 +[gpua001:0/64] 2023-12-13 14:12:08,713 (trainer:737) INFO: 31epoch:train:12401-12500batch: iter_time=8.645e-05, forward_time=0.148, loss_ctc=54.244, loss_att=43.486, acc=0.748, loss=46.713, backward_time=0.305, grad_norm=69.663, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.205e-05, train_time=1.459 +[gpua001:0/64] 2023-12-13 14:12:28,835 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-13 14:12:47,466 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 14:12:50,961 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 14:12:50,961 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-13 14:12:50,964 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 14:19:58,602 (trainer:737) INFO: 31epoch:train:12501-12600batch: iter_time=3.346, forward_time=0.181, loss_ctc=69.665, loss_att=53.061, acc=0.738, loss=58.042, backward_time=0.283, grad_norm=150.554, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.204e-05, train_time=4.699 +[gpua001:0/64] 2023-12-13 14:22:10,027 (trainer:737) INFO: 31epoch:train:12601-12700batch: iter_time=8.992e-05, forward_time=0.148, loss_ctc=77.011, loss_att=61.492, acc=0.728, loss=66.147, backward_time=0.280, grad_norm=85.011, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.203e-05, train_time=1.314 +[gpua001:0/64] 2023-12-13 14:24:19,907 (trainer:737) INFO: 31epoch:train:12701-12800batch: iter_time=8.385e-05, forward_time=0.147, loss_ctc=66.725, loss_att=53.303, acc=0.740, loss=57.330, backward_time=0.278, grad_norm=67.195, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.202e-05, train_time=1.298 +[gpua001:0/64] 2023-12-13 14:26:39,430 (trainer:737) INFO: 31epoch:train:12801-12900batch: iter_time=8.432e-05, forward_time=0.153, loss_ctc=64.200, loss_att=53.923, acc=0.720, loss=57.006, backward_time=0.285, grad_norm=105.789, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.202e-05, train_time=1.395 +[gpua001:0/64] 2023-12-13 14:29:21,796 (trainer:737) INFO: 31epoch:train:12901-13000batch: iter_time=8.921e-05, forward_time=0.261, loss_ctc=69.833, loss_att=49.562, acc=0.740, loss=55.644, backward_time=0.336, grad_norm=68.594, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=7.201e-05, train_time=1.623 +[gpua001:0/64] 2023-12-13 14:31:53,274 (trainer:737) INFO: 31epoch:train:13001-13100batch: iter_time=8.850e-05, forward_time=0.148, loss_ctc=53.886, loss_att=42.662, acc=0.741, loss=46.029, backward_time=0.328, grad_norm=62.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.200e-05, train_time=1.515 +[gpua001:0/64] 2023-12-13 14:35:10,952 (trainer:737) INFO: 31epoch:train:13101-13200batch: iter_time=8.775e-05, forward_time=0.148, loss_ctc=69.414, loss_att=55.519, acc=0.733, loss=59.687, backward_time=0.369, grad_norm=70.506, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.199e-05, train_time=1.977 +[gpua001:0/64] 2023-12-13 14:38:00,722 (trainer:737) INFO: 31epoch:train:13201-13300batch: iter_time=8.850e-05, forward_time=0.147, loss_ctc=60.588, loss_att=45.487, acc=0.747, loss=50.018, backward_time=0.294, grad_norm=54.155, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.199e-05, train_time=1.697 +[gpua001:0/64] 2023-12-13 14:40:39,726 (trainer:737) INFO: 31epoch:train:13301-13400batch: iter_time=9.259e-05, forward_time=0.149, loss_ctc=65.899, loss_att=47.603, acc=0.752, loss=53.092, backward_time=0.290, grad_norm=58.624, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.198e-05, train_time=1.590 +[gpua001:0/64] 2023-12-13 14:43:05,570 (trainer:737) INFO: 31epoch:train:13401-13500batch: iter_time=3.006e-04, forward_time=0.174, loss_ctc=64.148, loss_att=55.343, acc=0.725, loss=57.984, backward_time=0.291, grad_norm=71.797, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.197e-05, train_time=1.457 +[gpua001:0/64] 2023-12-13 14:46:07,565 (trainer:737) INFO: 31epoch:train:13501-13600batch: iter_time=0.001, forward_time=0.199, loss_ctc=62.970, loss_att=53.243, acc=0.718, loss=56.161, backward_time=0.403, grad_norm=78.672, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.196e-05, train_time=1.820 +[gpua001:0/64] 2023-12-13 14:48:26,101 (trainer:737) INFO: 31epoch:train:13601-13700batch: iter_time=9.487e-05, forward_time=0.149, loss_ctc=55.405, loss_att=44.975, acc=0.732, loss=48.104, backward_time=0.329, grad_norm=60.723, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.195e-05, train_time=1.385 +[gpua001:0/64] 2023-12-13 14:49:47,227 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-13 14:50:06,312 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 14:50:09,806 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 14:50:09,806 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-13 14:50:09,810 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 14:56:11,821 (trainer:737) INFO: 31epoch:train:13701-13800batch: iter_time=3.270, forward_time=0.185, loss_ctc=64.365, loss_att=52.852, acc=0.729, loss=56.306, backward_time=0.283, grad_norm=62.812, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.195e-05, train_time=4.657 +[gpua001:0/64] 2023-12-13 14:58:28,521 (trainer:737) INFO: 31epoch:train:13801-13900batch: iter_time=8.945e-05, forward_time=0.148, loss_ctc=77.132, loss_att=54.751, acc=0.742, loss=61.466, backward_time=0.294, grad_norm=68.290, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.194e-05, train_time=1.367 +[gpua001:0/64] 2023-12-13 15:00:44,185 (trainer:737) INFO: 31epoch:train:13901-14000batch: iter_time=8.158e-05, forward_time=0.147, loss_ctc=68.940, loss_att=58.684, acc=0.731, loss=61.761, backward_time=0.285, grad_norm=64.414, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.193e-05, train_time=1.356 +[gpua001:0/64] 2023-12-13 15:03:34,281 (trainer:737) INFO: 31epoch:train:14001-14100batch: iter_time=8.770e-05, forward_time=0.147, loss_ctc=64.625, loss_att=50.681, acc=0.721, loss=54.864, backward_time=0.317, grad_norm=63.751, clip=100.000, loss_scale=3.347e+31, optim_step_time=0.134, optim0_lr0=7.192e-05, train_time=1.701 +[gpua001:0/64] 2023-12-13 15:06:12,478 (trainer:737) INFO: 31epoch:train:14101-14200batch: iter_time=8.663e-05, forward_time=0.229, loss_ctc=72.891, loss_att=56.904, acc=0.714, loss=61.700, backward_time=0.350, grad_norm=67.336, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=7.192e-05, train_time=1.582 +[gpua001:0/64] 2023-12-13 15:08:38,196 (trainer:737) INFO: 31epoch:train:14201-14300batch: iter_time=9.282e-05, forward_time=0.160, loss_ctc=57.391, loss_att=47.099, acc=0.730, loss=50.187, backward_time=0.286, grad_norm=67.229, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.191e-05, train_time=1.457 +[gpua001:0/64] 2023-12-13 15:08:44,121 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 15:11:14,138 (trainer:737) INFO: 31epoch:train:14301-14400batch: iter_time=9.447e-05, forward_time=0.150, loss_ctc=56.845, loss_att=39.788, acc=0.747, loss=44.905, backward_time=0.308, grad_norm=78.978, clip=100.000, loss_scale=2.110e+31, optim_step_time=0.134, optim0_lr0=7.190e-05, train_time=1.559 +[gpua001:0/64] 2023-12-13 15:14:18,350 (trainer:737) INFO: 31epoch:train:14401-14500batch: iter_time=9.070e-05, forward_time=0.147, loss_ctc=67.878, loss_att=57.572, acc=0.725, loss=60.664, backward_time=0.294, grad_norm=61.777, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.189e-05, train_time=1.842 +[gpua001:0/64] 2023-12-13 15:17:07,419 (trainer:737) INFO: 31epoch:train:14501-14600batch: iter_time=9.039e-05, forward_time=0.219, loss_ctc=65.329, loss_att=47.027, acc=0.742, loss=52.517, backward_time=0.316, grad_norm=83.990, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=7.188e-05, train_time=1.690 +[gpua001:0/64] 2023-12-13 15:20:18,491 (trainer:737) INFO: 31epoch:train:14601-14700batch: iter_time=8.770e-05, forward_time=0.157, loss_ctc=57.930, loss_att=46.636, acc=0.735, loss=50.024, backward_time=0.361, grad_norm=78.647, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.188e-05, train_time=1.911 +[gpua001:0/64] 2023-12-13 15:22:55,649 (trainer:737) INFO: 31epoch:train:14701-14800batch: iter_time=9.216e-05, forward_time=0.147, loss_ctc=72.063, loss_att=60.508, acc=0.715, loss=63.975, backward_time=0.302, grad_norm=79.790, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.187e-05, train_time=1.571 +[gpua001:0/64] 2023-12-13 15:25:02,745 (trainer:737) INFO: 31epoch:train:14801-14900batch: iter_time=7.999e-05, forward_time=0.152, loss_ctc=56.447, loss_att=46.942, acc=0.714, loss=49.794, backward_time=0.289, grad_norm=83.955, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.186e-05, train_time=1.271 +[gpua001:0/64] 2023-12-13 15:28:13,199 (trainer:737) INFO: 31epoch:train:14901-15000batch: iter_time=8.151e-05, forward_time=0.223, loss_ctc=54.198, loss_att=43.841, acc=0.740, loss=46.948, backward_time=0.373, grad_norm=122.651, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.185e-05, train_time=1.904 +[gpua001:0/64] 2023-12-13 15:55:19,171 (trainer:343) INFO: 31epoch results: [train] iter_time=0.274, forward_time=0.172, loss_ctc=65.519, loss_att=51.598, acc=0.729, loss=55.774, backward_time=0.329, grad_norm=75.380, clip=100.000, loss_scale=3.055e+31, optim_step_time=0.135, optim0_lr0=7.244e-05, train_time=2.019, time=8 hours, 25 minutes and 17.41 seconds, total_count=465000, gpu_max_cached_mem_GB=37.920, [valid] loss_ctc=34.583, cer_ctc=0.178, loss_att=33.698, acc=0.718, cer=0.344, wer=0.992, loss=33.963, time=26 minutes and 41.96 seconds, total_count=144801, gpu_max_cached_mem_GB=37.920 +[gpua001:0/64] 2023-12-13 15:55:38,779 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua001:0/64] 2023-12-13 15:55:38,853 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/18epoch.pth +[gpua001:0/64] 2023-12-13 15:55:38,853 (trainer:272) INFO: 32/40epoch started. Estimated time to finish: 3 days, 8 hours and 18 minutes +[gpua001:0/64] 2023-12-13 15:55:38,864 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-13 15:55:57,346 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 15:56:00,785 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 15:56:00,785 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-13 15:56:00,788 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 16:02:55,568 (trainer:737) INFO: 32epoch:train:1-100batch: iter_time=2.754, forward_time=0.177, loss_ctc=61.661, loss_att=50.499, acc=0.714, loss=53.848, backward_time=0.280, grad_norm=133.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.185e-05, train_time=4.366 +[gpua001:0/64] 2023-12-13 16:04:56,311 (trainer:737) INFO: 32epoch:train:101-200batch: iter_time=9.299e-05, forward_time=0.146, loss_ctc=62.706, loss_att=51.318, acc=0.718, loss=54.735, backward_time=0.276, grad_norm=81.760, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.184e-05, train_time=1.208 +[gpua001:0/64] 2023-12-13 16:07:05,379 (trainer:737) INFO: 32epoch:train:201-300batch: iter_time=8.871e-05, forward_time=0.147, loss_ctc=63.040, loss_att=52.869, acc=0.712, loss=55.921, backward_time=0.284, grad_norm=86.345, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.183e-05, train_time=1.290 +[gpua001:0/64] 2023-12-13 16:09:32,566 (trainer:737) INFO: 32epoch:train:301-400batch: iter_time=8.792e-05, forward_time=0.268, loss_ctc=59.672, loss_att=46.490, acc=0.728, loss=50.445, backward_time=0.330, grad_norm=57.236, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.182e-05, train_time=1.472 +[gpua001:0/64] 2023-12-13 16:11:51,865 (trainer:737) INFO: 32epoch:train:401-500batch: iter_time=8.538e-05, forward_time=0.148, loss_ctc=73.594, loss_att=56.619, acc=0.717, loss=61.712, backward_time=0.295, grad_norm=71.614, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.182e-05, train_time=1.393 +[gpua001:0/64] 2023-12-13 16:14:12,039 (trainer:737) INFO: 32epoch:train:501-600batch: iter_time=8.500e-05, forward_time=0.170, loss_ctc=67.614, loss_att=53.940, acc=0.706, loss=58.043, backward_time=0.285, grad_norm=70.037, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.181e-05, train_time=1.402 +[gpua001:0/64] 2023-12-13 16:16:35,855 (trainer:737) INFO: 32epoch:train:601-700batch: iter_time=8.716e-05, forward_time=0.149, loss_ctc=69.812, loss_att=55.840, acc=0.717, loss=60.031, backward_time=0.311, grad_norm=74.491, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.180e-05, train_time=1.438 +[gpua001:0/64] 2023-12-13 16:19:30,121 (trainer:737) INFO: 32epoch:train:701-800batch: iter_time=8.670e-05, forward_time=0.286, loss_ctc=63.563, loss_att=50.191, acc=0.731, loss=54.203, backward_time=0.341, grad_norm=58.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=7.179e-05, train_time=1.742 +[gpua001:0/64] 2023-12-13 16:21:09,252 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 16:21:57,689 (trainer:737) INFO: 32epoch:train:801-900batch: iter_time=8.595e-05, forward_time=0.148, loss_ctc=67.843, loss_att=59.947, acc=0.709, loss=62.316, backward_time=0.303, grad_norm=114.874, clip=100.000, loss_scale=1.700e+31, optim_step_time=0.134, optim0_lr0=7.178e-05, train_time=1.475 +[gpua001:0/64] 2023-12-13 16:24:02,671 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 16:24:37,430 (trainer:737) INFO: 32epoch:train:901-1000batch: iter_time=8.241e-05, forward_time=0.146, loss_ctc=76.333, loss_att=56.251, acc=0.727, loss=62.276, backward_time=0.329, grad_norm=62.516, clip=100.000, loss_scale=9.117e+30, optim_step_time=0.133, optim0_lr0=7.178e-05, train_time=1.597 +[gpua001:0/64] 2023-12-13 16:27:10,312 (trainer:737) INFO: 32epoch:train:1001-1100batch: iter_time=8.331e-05, forward_time=0.146, loss_ctc=69.230, loss_att=52.962, acc=0.730, loss=57.843, backward_time=0.322, grad_norm=67.791, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.177e-05, train_time=1.529 +[gpua001:0/64] 2023-12-13 16:29:59,900 (trainer:737) INFO: 32epoch:train:1101-1200batch: iter_time=2.707e-04, forward_time=0.225, loss_ctc=86.720, loss_att=65.533, acc=0.715, loss=71.889, backward_time=0.354, grad_norm=86.947, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=7.176e-05, train_time=1.694 +[gpua001:0/64] 2023-12-13 16:31:24,645 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-13 16:31:43,173 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 16:31:46,627 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 16:31:46,627 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-13 16:31:46,631 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 16:39:14,018 (trainer:737) INFO: 32epoch:train:1201-1300batch: iter_time=2.659, forward_time=0.148, loss_ctc=61.243, loss_att=45.543, acc=0.733, loss=50.253, backward_time=0.281, grad_norm=98.557, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.175e-05, train_time=5.542 +[gpua001:0/64] 2023-12-13 16:40:33,320 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 16:41:15,678 (trainer:737) INFO: 32epoch:train:1301-1400batch: iter_time=8.377e-05, forward_time=0.148, loss_ctc=65.381, loss_att=49.251, acc=0.716, loss=54.090, backward_time=0.278, grad_norm=68.354, clip=100.000, loss_scale=4.200e+30, optim_step_time=0.134, optim0_lr0=7.175e-05, train_time=1.216 +[gpua001:0/64] 2023-12-13 16:43:34,183 (trainer:737) INFO: 32epoch:train:1401-1500batch: iter_time=8.360e-05, forward_time=0.147, loss_ctc=64.346, loss_att=55.726, acc=0.714, loss=58.312, backward_time=0.291, grad_norm=83.918, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.174e-05, train_time=1.385 +[gpua001:0/64] 2023-12-13 16:45:45,420 (trainer:737) INFO: 32epoch:train:1501-1600batch: iter_time=8.260e-05, forward_time=0.150, loss_ctc=51.855, loss_att=44.142, acc=0.723, loss=46.456, backward_time=0.280, grad_norm=225.881, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.173e-05, train_time=1.312 +[gpua001:0/64] 2023-12-13 16:48:12,443 (trainer:737) INFO: 32epoch:train:1601-1700batch: iter_time=9.118e-05, forward_time=0.148, loss_ctc=65.844, loss_att=46.526, acc=0.743, loss=52.321, backward_time=0.285, grad_norm=75.849, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.172e-05, train_time=1.470 +[gpua001:0/64] 2023-12-13 16:50:59,691 (trainer:737) INFO: 32epoch:train:1701-1800batch: iter_time=0.001, forward_time=0.302, loss_ctc=70.907, loss_att=58.322, acc=0.713, loss=62.097, backward_time=0.326, grad_norm=85.888, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.139, optim0_lr0=7.172e-05, train_time=1.672 +[gpua001:0/64] 2023-12-13 16:53:25,411 (trainer:737) INFO: 32epoch:train:1801-1900batch: iter_time=8.248e-05, forward_time=0.148, loss_ctc=66.248, loss_att=54.154, acc=0.708, loss=57.782, backward_time=0.295, grad_norm=80.313, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.171e-05, train_time=1.455 +[gpua001:0/64] 2023-12-13 16:56:06,754 (trainer:737) INFO: 32epoch:train:1901-2000batch: iter_time=8.348e-05, forward_time=0.148, loss_ctc=67.206, loss_att=55.329, acc=0.716, loss=58.892, backward_time=0.313, grad_norm=73.746, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.170e-05, train_time=1.615 +[gpua001:0/64] 2023-12-13 16:58:39,434 (trainer:737) INFO: 32epoch:train:2001-2100batch: iter_time=8.490e-05, forward_time=0.167, loss_ctc=65.511, loss_att=51.783, acc=0.734, loss=55.901, backward_time=0.339, grad_norm=71.594, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.169e-05, train_time=1.527 +[gpua001:0/64] 2023-12-13 17:01:23,746 (trainer:737) INFO: 32epoch:train:2101-2200batch: iter_time=8.359e-05, forward_time=0.147, loss_ctc=67.989, loss_att=56.245, acc=0.729, loss=59.768, backward_time=0.298, grad_norm=69.173, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.168e-05, train_time=1.643 +[gpua001:0/64] 2023-12-13 17:04:02,676 (trainer:737) INFO: 32epoch:train:2201-2300batch: iter_time=8.579e-05, forward_time=0.148, loss_ctc=76.382, loss_att=57.819, acc=0.730, loss=63.388, backward_time=0.339, grad_norm=78.443, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.168e-05, train_time=1.589 +[gpua001:0/64] 2023-12-13 17:06:26,357 (trainer:737) INFO: 32epoch:train:2301-2400batch: iter_time=8.445e-05, forward_time=0.148, loss_ctc=66.335, loss_att=49.187, acc=0.731, loss=54.331, backward_time=0.280, grad_norm=79.567, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.167e-05, train_time=1.437 +[gpua001:0/64] 2023-12-13 17:09:06,721 (trainer:737) INFO: 32epoch:train:2401-2500batch: iter_time=8.825e-04, forward_time=0.259, loss_ctc=83.852, loss_att=62.511, acc=0.714, loss=68.914, backward_time=0.322, grad_norm=80.203, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.145, optim0_lr0=7.166e-05, train_time=1.603 +[gpua001:0/64] 2023-12-13 17:09:26,750 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-13 17:09:45,599 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 17:09:49,130 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 17:09:49,130 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-13 17:09:49,133 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 17:16:09,119 (trainer:737) INFO: 32epoch:train:2501-2600batch: iter_time=2.629, forward_time=0.152, loss_ctc=59.924, loss_att=50.003, acc=0.722, loss=52.980, backward_time=0.284, grad_norm=103.768, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.165e-05, train_time=4.224 +[gpua001:0/64] 2023-12-13 17:18:32,597 (trainer:737) INFO: 32epoch:train:2601-2700batch: iter_time=8.475e-05, forward_time=0.150, loss_ctc=61.767, loss_att=51.609, acc=0.733, loss=54.656, backward_time=0.287, grad_norm=63.804, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.165e-05, train_time=1.435 +[gpua001:0/64] 2023-12-13 17:20:44,547 (trainer:737) INFO: 32epoch:train:2701-2800batch: iter_time=8.091e-05, forward_time=0.149, loss_ctc=62.256, loss_att=51.709, acc=0.724, loss=54.873, backward_time=0.282, grad_norm=79.398, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.164e-05, train_time=1.319 +[gpua001:0/64] 2023-12-13 17:23:38,905 (trainer:737) INFO: 32epoch:train:2801-2900batch: iter_time=8.862e-05, forward_time=0.149, loss_ctc=58.755, loss_att=46.889, acc=0.740, loss=50.449, backward_time=0.343, grad_norm=66.734, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.163e-05, train_time=1.743 +[gpua001:0/64] 2023-12-13 17:26:16,882 (trainer:737) INFO: 32epoch:train:2901-3000batch: iter_time=0.004, forward_time=0.295, loss_ctc=68.896, loss_att=55.515, acc=0.731, loss=59.529, backward_time=0.316, grad_norm=76.465, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=7.162e-05, train_time=1.578 +[gpua001:0/64] 2023-12-13 17:28:44,018 (trainer:737) INFO: 32epoch:train:3001-3100batch: iter_time=8.463e-05, forward_time=0.152, loss_ctc=65.813, loss_att=53.821, acc=0.720, loss=57.418, backward_time=0.287, grad_norm=96.360, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.162e-05, train_time=1.472 +[gpua001:0/64] 2023-12-13 17:31:24,534 (trainer:737) INFO: 32epoch:train:3101-3200batch: iter_time=8.266e-05, forward_time=0.151, loss_ctc=69.793, loss_att=57.198, acc=0.730, loss=60.976, backward_time=0.289, grad_norm=65.641, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.161e-05, train_time=1.605 +[gpua001:0/64] 2023-12-13 17:33:59,804 (trainer:737) INFO: 32epoch:train:3201-3300batch: iter_time=8.601e-05, forward_time=0.151, loss_ctc=62.735, loss_att=49.230, acc=0.736, loss=53.282, backward_time=0.284, grad_norm=90.275, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.160e-05, train_time=1.553 +[gpua001:0/64] 2023-12-13 17:36:26,143 (trainer:737) INFO: 32epoch:train:3301-3400batch: iter_time=8.608e-05, forward_time=0.151, loss_ctc=67.710, loss_att=59.172, acc=0.723, loss=61.733, backward_time=0.298, grad_norm=69.359, clip=100.000, loss_scale=3.397e+30, optim_step_time=0.135, optim0_lr0=7.159e-05, train_time=1.463 +[gpua001:0/64] 2023-12-13 17:41:28,280 (trainer:737) INFO: 32epoch:train:3401-3500batch: iter_time=9.178e-05, forward_time=0.157, loss_ctc=74.706, loss_att=56.879, acc=0.740, loss=62.227, backward_time=0.298, grad_norm=66.184, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.159e-05, train_time=3.021 +[gpua001:0/64] 2023-12-13 17:44:07,398 (trainer:737) INFO: 32epoch:train:3501-3600batch: iter_time=8.742e-05, forward_time=0.213, loss_ctc=68.155, loss_att=52.410, acc=0.741, loss=57.133, backward_time=0.384, grad_norm=71.766, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.145, optim0_lr0=7.158e-05, train_time=1.591 +[gpua001:0/64] 2023-12-13 17:47:07,533 (trainer:737) INFO: 32epoch:train:3601-3700batch: iter_time=8.851e-05, forward_time=0.149, loss_ctc=81.297, loss_att=63.712, acc=0.726, loss=68.988, backward_time=0.325, grad_norm=109.695, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.157e-05, train_time=1.800 +[gpua001:0/64] 2023-12-13 17:48:37,924 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-13 17:48:56,421 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 17:48:59,903 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 17:48:59,903 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-13 17:48:59,906 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 17:55:05,460 (trainer:737) INFO: 32epoch:train:3701-3800batch: iter_time=2.896, forward_time=0.197, loss_ctc=60.714, loss_att=45.631, acc=0.738, loss=50.156, backward_time=0.297, grad_norm=80.839, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.156e-05, train_time=4.780 +[gpua001:0/64] 2023-12-13 17:57:06,327 (trainer:737) INFO: 32epoch:train:3801-3900batch: iter_time=8.827e-05, forward_time=0.148, loss_ctc=64.902, loss_att=49.721, acc=0.719, loss=54.275, backward_time=0.277, grad_norm=71.193, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.155e-05, train_time=1.209 +[gpua001:0/64] 2023-12-13 17:59:24,090 (trainer:737) INFO: 32epoch:train:3901-4000batch: iter_time=8.961e-05, forward_time=0.170, loss_ctc=64.690, loss_att=55.367, acc=0.718, loss=58.164, backward_time=0.290, grad_norm=92.349, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.155e-05, train_time=1.377 +[gpua001:0/64] 2023-12-13 18:01:42,096 (trainer:737) INFO: 32epoch:train:4001-4100batch: iter_time=9.409e-05, forward_time=0.149, loss_ctc=51.650, loss_att=43.818, acc=0.727, loss=46.167, backward_time=0.280, grad_norm=59.069, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.154e-05, train_time=1.378 +[gpua001:0/64] 2023-12-13 18:04:21,677 (trainer:737) INFO: 32epoch:train:4101-4200batch: iter_time=9.778e-05, forward_time=0.206, loss_ctc=65.106, loss_att=45.939, acc=0.747, loss=51.690, backward_time=0.323, grad_norm=64.972, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.153e-05, train_time=1.597 +[gpua001:0/64] 2023-12-13 18:06:38,172 (trainer:737) INFO: 32epoch:train:4201-4300batch: iter_time=9.031e-05, forward_time=0.167, loss_ctc=68.153, loss_att=57.285, acc=0.718, loss=60.545, backward_time=0.300, grad_norm=72.377, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.152e-05, train_time=1.365 +[gpua001:0/64] 2023-12-13 18:09:08,746 (trainer:737) INFO: 32epoch:train:4301-4400batch: iter_time=8.357e-05, forward_time=0.157, loss_ctc=65.831, loss_att=53.491, acc=0.713, loss=57.193, backward_time=0.305, grad_norm=64.829, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.152e-05, train_time=1.506 +[gpua001:0/64] 2023-12-13 18:11:32,479 (trainer:737) INFO: 32epoch:train:4401-4500batch: iter_time=8.884e-05, forward_time=0.159, loss_ctc=67.573, loss_att=55.563, acc=0.717, loss=59.166, backward_time=0.292, grad_norm=72.690, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.151e-05, train_time=1.437 +[gpua001:0/64] 2023-12-13 18:14:32,961 (trainer:737) INFO: 32epoch:train:4501-4600batch: iter_time=9.251e-05, forward_time=0.172, loss_ctc=65.767, loss_att=51.655, acc=0.738, loss=55.889, backward_time=0.358, grad_norm=78.355, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.150e-05, train_time=1.802 +[gpua001:0/64] 2023-12-13 18:16:56,711 (trainer:737) INFO: 32epoch:train:4601-4700batch: iter_time=2.321e-04, forward_time=0.160, loss_ctc=67.865, loss_att=55.696, acc=0.735, loss=59.347, backward_time=0.335, grad_norm=79.109, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=7.149e-05, train_time=1.439 +[gpua001:0/64] 2023-12-13 18:19:25,626 (trainer:737) INFO: 32epoch:train:4701-4800batch: iter_time=9.144e-05, forward_time=0.159, loss_ctc=75.186, loss_att=57.110, acc=0.734, loss=62.533, backward_time=0.289, grad_norm=62.263, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.149e-05, train_time=1.489 +[gpua001:0/64] 2023-12-13 18:21:53,260 (trainer:737) INFO: 32epoch:train:4801-4900batch: iter_time=8.601e-05, forward_time=0.157, loss_ctc=64.974, loss_att=48.986, acc=0.734, loss=53.782, backward_time=0.316, grad_norm=85.105, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.148e-05, train_time=1.476 +[gpua001:0/64] 2023-12-13 18:24:49,876 (trainer:737) INFO: 32epoch:train:4901-5000batch: iter_time=1.714e-04, forward_time=0.201, loss_ctc=82.930, loss_att=61.822, acc=0.716, loss=68.154, backward_time=0.371, grad_norm=86.717, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.147e-05, train_time=1.766 +[gpua001:0/64] 2023-12-13 18:25:09,905 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-13 18:25:28,534 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 18:25:32,038 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 18:25:32,038 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-13 18:25:32,041 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 18:31:27,238 (trainer:737) INFO: 32epoch:train:5001-5100batch: iter_time=2.699, forward_time=0.185, loss_ctc=59.750, loss_att=49.039, acc=0.728, loss=52.253, backward_time=0.286, grad_norm=68.699, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.146e-05, train_time=3.973 +[gpua001:0/64] 2023-12-13 18:33:38,270 (trainer:737) INFO: 32epoch:train:5101-5200batch: iter_time=8.306e-05, forward_time=0.149, loss_ctc=61.104, loss_att=50.807, acc=0.735, loss=53.896, backward_time=0.295, grad_norm=97.001, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.146e-05, train_time=1.310 +[gpua001:0/64] 2023-12-13 18:35:49,799 (trainer:737) INFO: 32epoch:train:5201-5300batch: iter_time=8.534e-05, forward_time=0.151, loss_ctc=60.298, loss_att=50.332, acc=0.732, loss=53.322, backward_time=0.285, grad_norm=70.875, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.145e-05, train_time=1.315 +[gpua001:0/64] 2023-12-13 18:38:32,284 (trainer:737) INFO: 32epoch:train:5301-5400batch: iter_time=8.429e-05, forward_time=0.280, loss_ctc=58.800, loss_att=46.817, acc=0.741, loss=50.412, backward_time=0.322, grad_norm=60.063, clip=100.000, loss_scale=6.795e+30, optim_step_time=0.141, optim0_lr0=7.144e-05, train_time=1.624 +[gpua001:0/64] 2023-12-13 18:40:36,035 (trainer:737) INFO: 32epoch:train:5401-5500batch: iter_time=8.314e-05, forward_time=0.149, loss_ctc=68.956, loss_att=55.703, acc=0.732, loss=59.679, backward_time=0.281, grad_norm=82.562, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.143e-05, train_time=1.237 +[gpua001:0/64] 2023-12-13 18:43:04,419 (trainer:737) INFO: 32epoch:train:5501-5600batch: iter_time=8.818e-05, forward_time=0.148, loss_ctc=65.477, loss_att=53.708, acc=0.721, loss=57.239, backward_time=0.308, grad_norm=74.478, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.143e-05, train_time=1.484 +[gpua001:0/64] 2023-12-13 18:45:22,661 (trainer:737) INFO: 32epoch:train:5601-5700batch: iter_time=8.603e-05, forward_time=0.148, loss_ctc=69.484, loss_att=57.218, acc=0.729, loss=60.898, backward_time=0.293, grad_norm=66.673, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.142e-05, train_time=1.382 +[gpua001:0/64] 2023-12-13 18:48:06,890 (trainer:737) INFO: 32epoch:train:5701-5800batch: iter_time=0.005, forward_time=0.260, loss_ctc=62.582, loss_att=49.116, acc=0.737, loss=53.156, backward_time=0.312, grad_norm=101.713, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=7.141e-05, train_time=1.642 +[gpua001:0/64] 2023-12-13 18:50:51,259 (trainer:737) INFO: 32epoch:train:5801-5900batch: iter_time=8.902e-05, forward_time=0.153, loss_ctc=67.377, loss_att=58.950, acc=0.725, loss=61.478, backward_time=0.300, grad_norm=69.050, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.140e-05, train_time=1.643 +[gpua001:0/64] 2023-12-13 18:53:32,326 (trainer:737) INFO: 32epoch:train:5901-6000batch: iter_time=8.714e-05, forward_time=0.149, loss_ctc=73.701, loss_att=56.161, acc=0.742, loss=61.423, backward_time=0.310, grad_norm=64.750, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.139e-05, train_time=1.611 +[gpua001:0/64] 2023-12-13 18:56:13,468 (trainer:737) INFO: 32epoch:train:6001-6100batch: iter_time=8.704e-05, forward_time=0.149, loss_ctc=68.342, loss_att=52.414, acc=0.741, loss=57.192, backward_time=0.308, grad_norm=65.746, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.139e-05, train_time=1.611 +[gpua001:0/64] 2023-12-13 18:58:56,829 (trainer:737) INFO: 32epoch:train:6101-6200batch: iter_time=0.001, forward_time=0.300, loss_ctc=80.340, loss_att=63.572, acc=0.732, loss=68.603, backward_time=0.315, grad_norm=76.270, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.138e-05, train_time=1.632 +[gpua001:0/64] 2023-12-13 19:00:18,679 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-13 19:00:37,284 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 19:00:40,802 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 19:00:40,802 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-13 19:00:40,805 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 19:06:34,462 (trainer:737) INFO: 32epoch:train:6201-6300batch: iter_time=3.265, forward_time=0.182, loss_ctc=59.896, loss_att=44.877, acc=0.742, loss=49.382, backward_time=0.285, grad_norm=77.168, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.137e-05, train_time=4.577 +[gpua001:0/64] 2023-12-13 19:08:36,934 (trainer:737) INFO: 32epoch:train:6301-6400batch: iter_time=8.538e-05, forward_time=0.149, loss_ctc=63.973, loss_att=48.921, acc=0.729, loss=53.437, backward_time=0.278, grad_norm=85.263, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.136e-05, train_time=1.225 +[gpua001:0/64] 2023-12-13 19:11:10,756 (trainer:737) INFO: 32epoch:train:6401-6500batch: iter_time=8.305e-05, forward_time=0.148, loss_ctc=64.015, loss_att=55.384, acc=0.730, loss=57.973, backward_time=0.281, grad_norm=76.780, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.136e-05, train_time=1.538 +[gpua001:0/64] 2023-12-13 19:13:26,723 (trainer:737) INFO: 32epoch:train:6501-6600batch: iter_time=8.274e-05, forward_time=0.148, loss_ctc=51.044, loss_att=42.940, acc=0.735, loss=45.371, backward_time=0.282, grad_norm=116.551, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.135e-05, train_time=1.358 +[gpua001:0/64] 2023-12-13 19:16:16,526 (trainer:737) INFO: 32epoch:train:6601-6700batch: iter_time=8.156e-05, forward_time=0.246, loss_ctc=65.133, loss_att=47.661, acc=0.752, loss=52.903, backward_time=0.327, grad_norm=57.477, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.144, optim0_lr0=7.134e-05, train_time=1.699 +[gpua001:0/64] 2023-12-13 19:18:42,654 (trainer:737) INFO: 32epoch:train:6701-6800batch: iter_time=8.080e-05, forward_time=0.147, loss_ctc=67.319, loss_att=56.449, acc=0.728, loss=59.710, backward_time=0.326, grad_norm=69.775, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.133e-05, train_time=1.461 +[gpua001:0/64] 2023-12-13 19:21:38,918 (trainer:737) INFO: 32epoch:train:6801-6900batch: iter_time=8.019e-05, forward_time=0.148, loss_ctc=65.602, loss_att=54.336, acc=0.722, loss=57.716, backward_time=0.417, grad_norm=75.065, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.133e-05, train_time=1.762 +[gpua001:0/64] 2023-12-13 19:24:20,380 (trainer:737) INFO: 32epoch:train:6901-7000batch: iter_time=8.061e-05, forward_time=0.174, loss_ctc=66.908, loss_att=56.169, acc=0.719, loss=59.391, backward_time=0.321, grad_norm=103.300, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.132e-05, train_time=1.614 +[gpua001:0/64] 2023-12-13 19:27:03,646 (trainer:737) INFO: 32epoch:train:7001-7100batch: iter_time=0.002, forward_time=0.236, loss_ctc=64.925, loss_att=50.845, acc=0.748, loss=55.069, backward_time=0.312, grad_norm=123.257, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.131e-05, train_time=1.632 +[gpua001:0/64] 2023-12-13 19:29:21,211 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 19:29:45,273 (trainer:737) INFO: 32epoch:train:7101-7200batch: iter_time=8.123e-05, forward_time=0.148, loss_ctc=67.167, loss_att=56.116, acc=0.742, loss=59.431, backward_time=0.287, grad_norm=83.446, clip=100.000, loss_scale=9.475e+30, optim_step_time=0.135, optim0_lr0=7.130e-05, train_time=1.616 +[gpua001:0/64] 2023-12-13 19:32:25,600 (trainer:737) INFO: 32epoch:train:7201-7300batch: iter_time=8.034e-05, forward_time=0.148, loss_ctc=75.032, loss_att=57.516, acc=0.740, loss=62.771, backward_time=0.287, grad_norm=78.101, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.130e-05, train_time=1.603 +[gpua001:0/64] 2023-12-13 19:35:21,235 (trainer:737) INFO: 32epoch:train:7301-7400batch: iter_time=8.729e-05, forward_time=0.153, loss_ctc=64.075, loss_att=48.892, acc=0.745, loss=53.447, backward_time=0.322, grad_norm=79.780, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.129e-05, train_time=1.756 +[gpua001:0/64] 2023-12-13 19:38:00,062 (trainer:737) INFO: 32epoch:train:7401-7500batch: iter_time=8.628e-05, forward_time=0.255, loss_ctc=82.302, loss_att=61.936, acc=0.726, loss=68.045, backward_time=0.312, grad_norm=91.567, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.147, optim0_lr0=7.128e-05, train_time=1.588 +[gpua001:0/64] 2023-12-13 19:38:20,126 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-13 19:38:38,578 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 19:38:42,004 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 19:38:42,004 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-13 19:38:42,007 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 19:45:47,418 (trainer:737) INFO: 32epoch:train:7501-7600batch: iter_time=3.259, forward_time=0.212, loss_ctc=59.388, loss_att=48.053, acc=0.729, loss=51.454, backward_time=0.285, grad_norm=73.339, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.127e-05, train_time=4.673 +[gpua001:0/64] 2023-12-13 19:47:59,193 (trainer:737) INFO: 32epoch:train:7601-7700batch: iter_time=8.531e-05, forward_time=0.148, loss_ctc=60.900, loss_att=50.078, acc=0.738, loss=53.324, backward_time=0.286, grad_norm=93.141, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.127e-05, train_time=1.318 +[gpua001:0/64] 2023-12-13 19:50:18,144 (trainer:737) INFO: 32epoch:train:7701-7800batch: iter_time=8.803e-05, forward_time=0.188, loss_ctc=61.012, loss_att=50.737, acc=0.730, loss=53.819, backward_time=0.353, grad_norm=69.730, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.143, optim0_lr0=7.126e-05, train_time=1.389 +[gpua001:0/64] 2023-12-13 19:52:45,677 (trainer:737) INFO: 32epoch:train:7801-7900batch: iter_time=8.295e-05, forward_time=0.183, loss_ctc=58.246, loss_att=45.811, acc=0.746, loss=49.541, backward_time=0.299, grad_norm=54.177, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.145, optim0_lr0=7.125e-05, train_time=1.475 +[gpua001:0/64] 2023-12-13 19:55:10,422 (trainer:737) INFO: 32epoch:train:7901-8000batch: iter_time=8.839e-05, forward_time=0.148, loss_ctc=68.417, loss_att=54.826, acc=0.735, loss=58.903, backward_time=0.284, grad_norm=67.571, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.124e-05, train_time=1.447 +[gpua001:0/64] 2023-12-13 19:57:22,231 (trainer:737) INFO: 32epoch:train:8001-8100batch: iter_time=8.085e-05, forward_time=0.149, loss_ctc=65.237, loss_att=53.201, acc=0.724, loss=56.812, backward_time=0.286, grad_norm=64.786, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.124e-05, train_time=1.318 +[gpua001:0/64] 2023-12-13 20:00:39,293 (trainer:737) INFO: 32epoch:train:8101-8200batch: iter_time=8.873e-05, forward_time=0.170, loss_ctc=68.867, loss_att=56.164, acc=0.733, loss=59.975, backward_time=0.361, grad_norm=66.756, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.123e-05, train_time=1.970 +[gpua001:0/64] 2023-12-13 20:03:33,177 (trainer:737) INFO: 32epoch:train:8201-8300batch: iter_time=8.472e-05, forward_time=0.181, loss_ctc=62.060, loss_att=48.780, acc=0.739, loss=52.764, backward_time=0.334, grad_norm=157.506, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.122e-05, train_time=1.739 +[gpua001:0/64] 2023-12-13 20:05:50,294 (trainer:737) INFO: 32epoch:train:8301-8400batch: iter_time=8.765e-05, forward_time=0.150, loss_ctc=66.485, loss_att=57.820, acc=0.729, loss=60.420, backward_time=0.282, grad_norm=72.417, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.121e-05, train_time=1.371 +[gpua001:0/64] 2023-12-13 20:06:08,767 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-13 20:08:19,331 (trainer:737) INFO: 32epoch:train:8401-8500batch: iter_time=9.007e-05, forward_time=0.149, loss_ctc=73.534, loss_att=56.059, acc=0.744, loss=61.302, backward_time=0.321, grad_norm=110.404, clip=100.000, loss_scale=2.868e+30, optim_step_time=0.134, optim0_lr0=7.121e-05, train_time=1.490 +[gpua001:0/64] 2023-12-13 20:11:06,424 (trainer:737) INFO: 32epoch:train:8501-8600batch: iter_time=8.480e-05, forward_time=0.149, loss_ctc=67.726, loss_att=51.912, acc=0.743, loss=56.656, backward_time=0.293, grad_norm=70.905, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.120e-05, train_time=1.671 +[gpua001:0/64] 2023-12-13 20:13:19,598 (trainer:737) INFO: 32epoch:train:8601-8700batch: iter_time=9.000e-05, forward_time=0.202, loss_ctc=79.330, loss_att=62.294, acc=0.733, loss=67.405, backward_time=0.287, grad_norm=93.985, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.119e-05, train_time=1.332 +[gpua001:0/64] 2023-12-13 20:14:51,326 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-13 20:15:10,230 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 20:15:13,727 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 20:15:13,727 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-13 20:15:13,731 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 20:21:02,746 (trainer:737) INFO: 32epoch:train:8701-8800batch: iter_time=3.202, forward_time=0.233, loss_ctc=59.960, loss_att=44.988, acc=0.745, loss=49.479, backward_time=0.298, grad_norm=71.315, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.139, optim0_lr0=7.118e-05, train_time=4.631 +[gpua001:0/64] 2023-12-13 20:23:07,272 (trainer:737) INFO: 32epoch:train:8801-8900batch: iter_time=8.129e-05, forward_time=0.148, loss_ctc=64.052, loss_att=50.613, acc=0.719, loss=54.644, backward_time=0.283, grad_norm=84.186, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.118e-05, train_time=1.245 +[gpua001:0/64] 2023-12-13 20:25:27,168 (trainer:737) INFO: 32epoch:train:8901-9000batch: iter_time=7.938e-05, forward_time=0.160, loss_ctc=63.197, loss_att=56.182, acc=0.719, loss=58.287, backward_time=0.299, grad_norm=121.610, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.117e-05, train_time=1.399 +[gpua001:0/64] 2023-12-13 20:27:47,058 (trainer:737) INFO: 32epoch:train:9001-9100batch: iter_time=5.139e-04, forward_time=0.174, loss_ctc=51.378, loss_att=43.871, acc=0.728, loss=46.123, backward_time=0.294, grad_norm=64.556, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.116e-05, train_time=1.399 +[gpua001:0/64] 2023-12-13 20:30:36,293 (trainer:737) INFO: 32epoch:train:9101-9200batch: iter_time=9.847e-05, forward_time=0.216, loss_ctc=64.829, loss_att=46.367, acc=0.747, loss=51.906, backward_time=0.348, grad_norm=55.013, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.137, optim0_lr0=7.115e-05, train_time=1.692 +[gpua001:0/64] 2023-12-13 20:33:15,705 (trainer:737) INFO: 32epoch:train:9201-9300batch: iter_time=9.324e-05, forward_time=0.151, loss_ctc=67.314, loss_att=57.274, acc=0.719, loss=60.286, backward_time=0.298, grad_norm=74.926, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.115e-05, train_time=1.594 +[gpua001:0/64] 2023-12-13 20:35:55,707 (trainer:737) INFO: 32epoch:train:9301-9400batch: iter_time=8.981e-05, forward_time=0.162, loss_ctc=65.583, loss_att=53.605, acc=0.714, loss=57.198, backward_time=0.312, grad_norm=74.409, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.114e-05, train_time=1.600 +[gpua001:0/64] 2023-12-13 20:38:56,662 (trainer:737) INFO: 32epoch:train:9401-9500batch: iter_time=8.928e-05, forward_time=0.188, loss_ctc=66.554, loss_att=54.707, acc=0.721, loss=58.261, backward_time=0.335, grad_norm=60.477, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.139, optim0_lr0=7.113e-05, train_time=1.809 +[gpua001:0/64] 2023-12-13 20:41:38,930 (trainer:737) INFO: 32epoch:train:9501-9600batch: iter_time=9.252e-05, forward_time=0.178, loss_ctc=64.658, loss_att=51.204, acc=0.741, loss=55.240, backward_time=0.316, grad_norm=60.359, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.112e-05, train_time=1.623 +[gpua001:0/64] 2023-12-13 20:43:55,804 (trainer:737) INFO: 32epoch:train:9601-9700batch: iter_time=8.731e-05, forward_time=0.166, loss_ctc=67.213, loss_att=55.495, acc=0.736, loss=59.010, backward_time=0.291, grad_norm=62.891, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.112e-05, train_time=1.368 +[gpua001:0/64] 2023-12-13 20:46:19,466 (trainer:737) INFO: 32epoch:train:9701-9800batch: iter_time=9.742e-05, forward_time=0.161, loss_ctc=74.381, loss_att=56.926, acc=0.736, loss=62.162, backward_time=0.288, grad_norm=73.466, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.111e-05, train_time=1.437 +[gpua001:0/64] 2023-12-13 20:48:44,251 (trainer:737) INFO: 32epoch:train:9801-9900batch: iter_time=1.063e-04, forward_time=0.161, loss_ctc=64.046, loss_att=49.647, acc=0.735, loss=53.967, backward_time=0.318, grad_norm=167.712, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.137, optim0_lr0=7.110e-05, train_time=1.447 +[gpua001:0/64] 2023-12-13 20:51:38,751 (trainer:737) INFO: 32epoch:train:9901-10000batch: iter_time=2.171e-04, forward_time=0.186, loss_ctc=81.708, loss_att=61.350, acc=0.721, loss=67.458, backward_time=0.356, grad_norm=77.551, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.140, optim0_lr0=7.109e-05, train_time=1.744 +[gpua001:0/64] 2023-12-13 20:51:59,032 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-13 20:52:17,386 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 20:52:20,829 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 20:52:20,829 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-13 20:52:20,846 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 20:59:07,740 (trainer:737) INFO: 32epoch:train:10001-10100batch: iter_time=3.185, forward_time=0.177, loss_ctc=59.572, loss_att=48.906, acc=0.731, loss=52.106, backward_time=0.285, grad_norm=59.684, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.109e-05, train_time=4.490 +[gpua001:0/64] 2023-12-13 21:01:15,036 (trainer:737) INFO: 32epoch:train:10101-10200batch: iter_time=8.785e-05, forward_time=0.149, loss_ctc=59.931, loss_att=50.066, acc=0.738, loss=53.026, backward_time=0.281, grad_norm=59.443, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.108e-05, train_time=1.273 +[gpua001:0/64] 2023-12-13 21:03:30,280 (trainer:737) INFO: 32epoch:train:10201-10300batch: iter_time=9.231e-05, forward_time=0.174, loss_ctc=60.276, loss_att=50.389, acc=0.734, loss=53.355, backward_time=0.301, grad_norm=74.714, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=7.107e-05, train_time=1.351 +[gpua001:0/64] 2023-12-13 21:05:44,615 (trainer:737) INFO: 32epoch:train:10301-10400batch: iter_time=9.249e-05, forward_time=0.157, loss_ctc=57.964, loss_att=45.989, acc=0.745, loss=49.581, backward_time=0.300, grad_norm=61.715, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.135, optim0_lr0=7.106e-05, train_time=1.343 +[gpua001:0/64] 2023-12-13 21:07:54,954 (trainer:737) INFO: 32epoch:train:10401-10500batch: iter_time=9.215e-05, forward_time=0.182, loss_ctc=67.529, loss_att=55.125, acc=0.734, loss=58.846, backward_time=0.293, grad_norm=81.802, clip=100.000, loss_scale=4.716e+30, optim_step_time=0.135, optim0_lr0=7.106e-05, train_time=1.305 +[gpua001:0/64] 2023-12-13 21:10:30,673 (trainer:737) INFO: 32epoch:train:10501-10600batch: iter_time=8.871e-05, forward_time=0.147, loss_ctc=64.137, loss_att=52.979, acc=0.724, loss=56.327, backward_time=0.297, grad_norm=234.966, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.105e-05, train_time=1.557 +[gpua001:0/64] 2023-12-13 21:13:06,863 (trainer:737) INFO: 32epoch:train:10601-10700batch: iter_time=0.001, forward_time=0.147, loss_ctc=68.853, loss_att=56.690, acc=0.732, loss=60.339, backward_time=0.327, grad_norm=72.896, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.143, optim0_lr0=7.104e-05, train_time=1.562 +[gpua001:0/64] 2023-12-13 21:16:18,065 (trainer:737) INFO: 32epoch:train:10701-10800batch: iter_time=9.488e-05, forward_time=0.191, loss_ctc=61.726, loss_att=48.127, acc=0.740, loss=52.207, backward_time=0.344, grad_norm=66.510, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.103e-05, train_time=1.911 +[gpua001:0/64] 2023-12-13 21:18:37,440 (trainer:737) INFO: 32epoch:train:10801-10900batch: iter_time=2.273e-04, forward_time=0.171, loss_ctc=66.979, loss_att=58.649, acc=0.730, loss=61.148, backward_time=0.298, grad_norm=66.996, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.103e-05, train_time=1.392 +[gpua001:0/64] 2023-12-13 21:21:29,013 (trainer:737) INFO: 32epoch:train:10901-11000batch: iter_time=9.643e-05, forward_time=0.148, loss_ctc=73.663, loss_att=56.036, acc=0.744, loss=61.324, backward_time=0.295, grad_norm=117.620, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.102e-05, train_time=1.717 +[gpua001:0/64] 2023-12-13 21:24:13,728 (trainer:737) INFO: 32epoch:train:11001-11100batch: iter_time=9.266e-05, forward_time=0.151, loss_ctc=67.249, loss_att=51.739, acc=0.743, loss=56.392, backward_time=0.320, grad_norm=65.557, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.101e-05, train_time=1.647 +[gpua001:0/64] 2023-12-13 21:26:36,070 (trainer:737) INFO: 32epoch:train:11101-11200batch: iter_time=9.367e-05, forward_time=0.204, loss_ctc=79.832, loss_att=62.547, acc=0.735, loss=67.732, backward_time=0.345, grad_norm=80.150, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=7.100e-05, train_time=1.422 +[gpua001:0/64] 2023-12-13 21:28:06,830 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-13 21:28:25,543 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 21:28:29,041 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 21:28:29,041 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-13 21:28:29,046 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 21:34:13,807 (trainer:737) INFO: 32epoch:train:11201-11300batch: iter_time=3.161, forward_time=0.199, loss_ctc=60.203, loss_att=45.311, acc=0.744, loss=49.779, backward_time=0.303, grad_norm=64.991, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=7.100e-05, train_time=4.577 +[gpua001:0/64] 2023-12-13 21:36:35,191 (trainer:737) INFO: 32epoch:train:11301-11400batch: iter_time=8.591e-05, forward_time=0.228, loss_ctc=63.274, loss_att=48.885, acc=0.724, loss=53.201, backward_time=0.371, grad_norm=93.790, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.146, optim0_lr0=7.099e-05, train_time=1.415 +[gpua001:0/64] 2023-12-13 21:38:47,814 (trainer:737) INFO: 32epoch:train:11401-11500batch: iter_time=8.271e-05, forward_time=0.147, loss_ctc=61.812, loss_att=54.886, acc=0.723, loss=56.963, backward_time=0.300, grad_norm=80.975, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.098e-05, train_time=1.326 +[gpua001:0/64] 2023-12-13 21:41:11,069 (trainer:737) INFO: 32epoch:train:11501-11600batch: iter_time=8.603e-05, forward_time=0.147, loss_ctc=50.473, loss_att=43.125, acc=0.731, loss=45.330, backward_time=0.294, grad_norm=94.748, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.097e-05, train_time=1.432 +[gpua001:0/64] 2023-12-13 21:44:04,031 (trainer:737) INFO: 32epoch:train:11601-11700batch: iter_time=8.691e-05, forward_time=0.208, loss_ctc=65.127, loss_att=46.111, acc=0.747, loss=51.816, backward_time=0.321, grad_norm=110.531, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.143, optim0_lr0=7.097e-05, train_time=1.729 +[gpua001:0/64] 2023-12-13 21:46:25,796 (trainer:737) INFO: 32epoch:train:11701-11800batch: iter_time=8.892e-05, forward_time=0.180, loss_ctc=66.131, loss_att=56.238, acc=0.721, loss=59.206, backward_time=0.291, grad_norm=73.892, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.096e-05, train_time=1.418 +[gpua001:0/64] 2023-12-13 21:49:07,229 (trainer:737) INFO: 32epoch:train:11801-11900batch: iter_time=8.745e-05, forward_time=0.146, loss_ctc=65.257, loss_att=53.054, acc=0.716, loss=56.715, backward_time=0.292, grad_norm=66.085, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.095e-05, train_time=1.614 +[gpua001:0/64] 2023-12-13 21:51:54,073 (trainer:737) INFO: 32epoch:train:11901-12000batch: iter_time=8.467e-05, forward_time=0.146, loss_ctc=66.373, loss_att=54.687, acc=0.723, loss=58.192, backward_time=0.313, grad_norm=57.408, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.094e-05, train_time=1.668 +[gpua001:0/64] 2023-12-13 21:54:34,092 (trainer:737) INFO: 32epoch:train:12001-12100batch: iter_time=8.094e-05, forward_time=0.197, loss_ctc=64.662, loss_att=51.104, acc=0.741, loss=55.171, backward_time=0.336, grad_norm=71.668, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.094e-05, train_time=1.599 +[gpua001:0/64] 2023-12-13 21:57:00,174 (trainer:737) INFO: 32epoch:train:12101-12200batch: iter_time=1.027e-04, forward_time=0.165, loss_ctc=67.100, loss_att=55.356, acc=0.738, loss=58.879, backward_time=0.303, grad_norm=62.269, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.093e-05, train_time=1.462 +[gpua001:0/64] 2023-12-13 21:59:06,306 (trainer:737) INFO: 32epoch:train:12201-12300batch: iter_time=8.767e-05, forward_time=0.146, loss_ctc=74.472, loss_att=56.969, acc=0.737, loss=62.220, backward_time=0.277, grad_norm=61.397, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.092e-05, train_time=1.261 +[gpua001:0/64] 2023-12-13 22:01:12,275 (trainer:737) INFO: 32epoch:train:12301-12400batch: iter_time=8.851e-05, forward_time=0.146, loss_ctc=63.772, loss_att=48.524, acc=0.736, loss=53.098, backward_time=0.280, grad_norm=63.002, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.091e-05, train_time=1.260 +[gpua001:0/64] 2023-12-13 22:04:28,218 (trainer:737) INFO: 32epoch:train:12401-12500batch: iter_time=8.436e-05, forward_time=0.146, loss_ctc=81.308, loss_att=61.273, acc=0.720, loss=67.283, backward_time=0.344, grad_norm=82.185, clip=100.000, loss_scale=9.431e+30, optim_step_time=0.134, optim0_lr0=7.091e-05, train_time=1.959 +[gpua001:0/64] 2023-12-13 22:04:48,246 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-13 22:05:07,079 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 22:05:10,588 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 22:05:10,588 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-13 22:05:10,591 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 22:12:14,311 (trainer:737) INFO: 32epoch:train:12501-12600batch: iter_time=3.364, forward_time=0.204, loss_ctc=59.621, loss_att=48.635, acc=0.732, loss=51.931, backward_time=0.286, grad_norm=61.538, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.090e-05, train_time=4.660 +[gpua001:0/64] 2023-12-13 22:14:23,477 (trainer:737) INFO: 32epoch:train:12601-12700batch: iter_time=8.146e-05, forward_time=0.148, loss_ctc=60.442, loss_att=50.182, acc=0.738, loss=53.260, backward_time=0.281, grad_norm=72.952, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.089e-05, train_time=1.292 +[gpua001:0/64] 2023-12-13 22:17:10,116 (trainer:737) INFO: 32epoch:train:12701-12800batch: iter_time=8.350e-05, forward_time=0.253, loss_ctc=59.108, loss_att=49.653, acc=0.735, loss=52.489, backward_time=0.339, grad_norm=67.607, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=7.089e-05, train_time=1.666 +[gpua001:0/64] 2023-12-13 22:20:02,379 (trainer:737) INFO: 32epoch:train:12801-12900batch: iter_time=9.978e-05, forward_time=0.155, loss_ctc=58.178, loss_att=45.958, acc=0.744, loss=49.624, backward_time=0.315, grad_norm=59.978, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.088e-05, train_time=1.722 +[gpua001:0/64] 2023-12-13 22:22:36,265 (trainer:737) INFO: 32epoch:train:12901-13000batch: iter_time=8.847e-05, forward_time=0.149, loss_ctc=66.328, loss_att=54.151, acc=0.737, loss=57.804, backward_time=0.283, grad_norm=97.689, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.087e-05, train_time=1.539 +[gpua001:0/64] 2023-12-13 22:25:22,457 (trainer:737) INFO: 32epoch:train:13001-13100batch: iter_time=9.272e-05, forward_time=0.257, loss_ctc=64.792, loss_att=53.287, acc=0.724, loss=56.738, backward_time=0.330, grad_norm=71.735, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.086e-05, train_time=1.662 +[gpua001:0/64] 2023-12-13 22:28:34,801 (trainer:737) INFO: 32epoch:train:13101-13200batch: iter_time=9.285e-05, forward_time=0.165, loss_ctc=68.238, loss_att=55.973, acc=0.734, loss=59.652, backward_time=0.320, grad_norm=87.785, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.086e-05, train_time=1.923 +[gpua001:0/64] 2023-12-13 22:30:43,303 (trainer:737) INFO: 32epoch:train:13201-13300batch: iter_time=9.152e-05, forward_time=0.150, loss_ctc=62.075, loss_att=48.400, acc=0.740, loss=52.502, backward_time=0.286, grad_norm=55.067, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.085e-05, train_time=1.285 +[gpua001:0/64] 2023-12-13 22:32:54,083 (trainer:737) INFO: 32epoch:train:13301-13400batch: iter_time=9.035e-05, forward_time=0.174, loss_ctc=67.065, loss_att=58.068, acc=0.729, loss=60.767, backward_time=0.316, grad_norm=155.247, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.084e-05, train_time=1.308 +[gpua001:0/64] 2023-12-13 22:35:36,305 (trainer:737) INFO: 32epoch:train:13401-13500batch: iter_time=3.517e-04, forward_time=0.201, loss_ctc=73.682, loss_att=56.071, acc=0.742, loss=61.354, backward_time=0.381, grad_norm=87.264, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.083e-05, train_time=1.621 +[gpua001:0/64] 2023-12-13 22:37:46,678 (trainer:737) INFO: 32epoch:train:13501-13600batch: iter_time=8.893e-05, forward_time=0.149, loss_ctc=67.526, loss_att=52.046, acc=0.744, loss=56.690, backward_time=0.284, grad_norm=63.886, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.083e-05, train_time=1.304 +[gpua001:0/64] 2023-12-13 22:40:43,118 (trainer:737) INFO: 32epoch:train:13601-13700batch: iter_time=9.912e-05, forward_time=0.170, loss_ctc=79.226, loss_att=62.796, acc=0.735, loss=67.725, backward_time=0.335, grad_norm=83.163, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.082e-05, train_time=1.764 +[gpua001:0/64] 2023-12-13 22:42:44,505 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-13 22:43:03,616 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 22:43:07,071 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 22:43:07,071 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-13 22:43:07,075 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 22:52:49,601 (trainer:737) INFO: 32epoch:train:13701-13800batch: iter_time=3.030, forward_time=0.281, loss_ctc=59.614, loss_att=44.940, acc=0.745, loss=49.342, backward_time=0.334, grad_norm=75.226, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.081e-05, train_time=7.265 +[gpua001:0/64] 2023-12-13 22:54:50,992 (trainer:737) INFO: 32epoch:train:13801-13900batch: iter_time=8.094e-05, forward_time=0.149, loss_ctc=63.742, loss_att=49.370, acc=0.723, loss=53.682, backward_time=0.280, grad_norm=70.653, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.080e-05, train_time=1.214 +[gpua001:0/64] 2023-12-13 22:57:13,986 (trainer:737) INFO: 32epoch:train:13901-14000batch: iter_time=8.424e-05, forward_time=0.272, loss_ctc=62.512, loss_att=55.052, acc=0.723, loss=57.290, backward_time=0.304, grad_norm=71.451, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.080e-05, train_time=1.429 +[gpua001:0/64] 2023-12-13 23:00:13,182 (trainer:737) INFO: 32epoch:train:14001-14100batch: iter_time=9.034e-05, forward_time=0.149, loss_ctc=50.138, loss_att=43.044, acc=0.734, loss=45.172, backward_time=0.310, grad_norm=54.161, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.079e-05, train_time=1.792 +[gpua001:0/64] 2023-12-13 23:02:36,153 (trainer:737) INFO: 32epoch:train:14101-14200batch: iter_time=8.771e-05, forward_time=0.149, loss_ctc=64.476, loss_att=45.712, acc=0.751, loss=51.341, backward_time=0.279, grad_norm=83.969, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.078e-05, train_time=1.430 +[gpua001:0/64] 2023-12-13 23:05:47,092 (trainer:737) INFO: 32epoch:train:14201-14300batch: iter_time=8.888e-05, forward_time=0.277, loss_ctc=66.553, loss_att=56.461, acc=0.720, loss=59.489, backward_time=0.336, grad_norm=65.627, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=7.077e-05, train_time=1.909 +[gpua001:0/64] 2023-12-13 23:08:51,596 (trainer:737) INFO: 32epoch:train:14301-14400batch: iter_time=9.144e-05, forward_time=0.148, loss_ctc=65.220, loss_att=53.038, acc=0.716, loss=56.692, backward_time=0.338, grad_norm=60.378, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.077e-05, train_time=1.845 +[gpua001:0/64] 2023-12-13 23:11:32,022 (trainer:737) INFO: 32epoch:train:14401-14500batch: iter_time=2.298e-04, forward_time=0.234, loss_ctc=66.057, loss_att=54.491, acc=0.722, loss=57.961, backward_time=0.332, grad_norm=58.684, clip=100.000, loss_scale=1.886e+31, optim_step_time=0.138, optim0_lr0=7.076e-05, train_time=1.602 +[gpua001:0/64] 2023-12-13 23:13:54,221 (trainer:737) INFO: 32epoch:train:14501-14600batch: iter_time=8.491e-05, forward_time=0.148, loss_ctc=64.541, loss_att=51.233, acc=0.741, loss=55.226, backward_time=0.296, grad_norm=56.591, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.075e-05, train_time=1.423 +[gpua001:0/64] 2023-12-13 23:16:34,376 (trainer:737) INFO: 32epoch:train:14601-14700batch: iter_time=8.889e-05, forward_time=0.148, loss_ctc=66.850, loss_att=55.318, acc=0.739, loss=58.778, backward_time=0.341, grad_norm=79.358, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.074e-05, train_time=1.602 +[gpua001:0/64] 2023-12-13 23:19:40,887 (trainer:737) INFO: 32epoch:train:14701-14800batch: iter_time=4.309e-04, forward_time=0.270, loss_ctc=74.723, loss_att=57.086, acc=0.736, loss=62.377, backward_time=0.346, grad_norm=65.266, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.074e-05, train_time=1.864 +[gpua001:0/64] 2023-12-13 23:22:01,967 (trainer:737) INFO: 32epoch:train:14801-14900batch: iter_time=8.894e-05, forward_time=0.148, loss_ctc=63.828, loss_att=48.395, acc=0.737, loss=53.025, backward_time=0.306, grad_norm=65.936, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.073e-05, train_time=1.411 +[gpua001:0/64] 2023-12-13 23:24:56,782 (trainer:737) INFO: 32epoch:train:14901-15000batch: iter_time=6.620e-04, forward_time=0.228, loss_ctc=79.905, loss_att=60.113, acc=0.722, loss=66.051, backward_time=0.329, grad_norm=75.654, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.072e-05, train_time=1.748 +[gpua001:0/64] 2023-12-13 23:51:05,805 (trainer:343) INFO: 32epoch results: [train] iter_time=0.241, forward_time=0.176, loss_ctc=66.225, loss_att=52.902, acc=0.731, loss=56.899, backward_time=0.309, grad_norm=79.973, clip=100.000, loss_scale=7.198e+30, optim_step_time=0.136, optim0_lr0=7.128e-05, train_time=1.797, time=7 hours, 29 minutes and 43.57 seconds, total_count=480000, gpu_max_cached_mem_GB=37.920, [valid] loss_ctc=32.873, cer_ctc=0.172, loss_att=31.660, acc=0.725, cer=0.289, wer=0.987, loss=32.024, time=25 minutes and 43.23 seconds, total_count=149472, gpu_max_cached_mem_GB=37.920 +[gpua001:0/64] 2023-12-13 23:51:25,367 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua001:0/64] 2023-12-13 23:51:25,390 (trainer:272) INFO: 33/40epoch started. Estimated time to finish: 2 days, 20 hours and 43 minutes +[gpua001:0/64] 2023-12-13 23:51:25,402 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-13 23:51:43,953 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-13 23:51:47,447 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-13 23:51:47,447 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-13 23:51:47,518 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-13 23:59:04,393 (trainer:737) INFO: 33epoch:train:1-100batch: iter_time=2.942, forward_time=0.184, loss_ctc=64.340, loss_att=53.431, acc=0.728, loss=56.704, backward_time=0.284, grad_norm=72.463, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.072e-05, train_time=4.590 +[gpua001:0/64] 2023-12-14 00:01:05,282 (trainer:737) INFO: 33epoch:train:101-200batch: iter_time=9.077e-05, forward_time=0.148, loss_ctc=58.501, loss_att=44.143, acc=0.737, loss=48.450, backward_time=0.280, grad_norm=53.954, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.071e-05, train_time=1.209 +[gpua001:0/64] 2023-12-14 00:03:33,792 (trainer:737) INFO: 33epoch:train:201-300batch: iter_time=6.461e-04, forward_time=0.274, loss_ctc=61.473, loss_att=48.445, acc=0.723, loss=52.353, backward_time=0.325, grad_norm=63.399, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.144, optim0_lr0=7.070e-05, train_time=1.483 +[gpua001:0/64] 2023-12-14 00:05:45,033 (trainer:737) INFO: 33epoch:train:301-400batch: iter_time=9.393e-05, forward_time=0.149, loss_ctc=73.186, loss_att=57.756, acc=0.721, loss=62.385, backward_time=0.288, grad_norm=110.993, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.069e-05, train_time=1.314 +[gpua001:0/64] 2023-12-14 00:08:10,839 (trainer:737) INFO: 33epoch:train:401-500batch: iter_time=9.547e-05, forward_time=0.150, loss_ctc=68.447, loss_att=55.936, acc=0.736, loss=59.689, backward_time=0.295, grad_norm=149.132, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.069e-05, train_time=1.458 +[gpua001:0/64] 2023-12-14 00:10:54,389 (trainer:737) INFO: 33epoch:train:501-600batch: iter_time=9.645e-05, forward_time=0.184, loss_ctc=66.545, loss_att=55.224, acc=0.716, loss=58.620, backward_time=0.299, grad_norm=63.562, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.068e-05, train_time=1.635 +[gpua001:0/64] 2023-12-14 00:13:15,425 (trainer:737) INFO: 33epoch:train:601-700batch: iter_time=8.654e-05, forward_time=0.239, loss_ctc=61.388, loss_att=51.498, acc=0.729, loss=54.465, backward_time=0.311, grad_norm=60.589, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.067e-05, train_time=1.409 +[gpua001:0/64] 2023-12-14 00:15:42,115 (trainer:737) INFO: 33epoch:train:701-800batch: iter_time=9.470e-05, forward_time=0.149, loss_ctc=67.096, loss_att=56.706, acc=0.729, loss=59.823, backward_time=0.294, grad_norm=73.523, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.066e-05, train_time=1.468 +[gpua001:0/64] 2023-12-14 00:18:06,277 (trainer:737) INFO: 33epoch:train:801-900batch: iter_time=9.673e-05, forward_time=0.170, loss_ctc=60.642, loss_att=41.750, acc=0.746, loss=47.417, backward_time=0.293, grad_norm=60.828, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.066e-05, train_time=1.441 +[gpua001:0/64] 2023-12-14 00:20:51,121 (trainer:737) INFO: 33epoch:train:901-1000batch: iter_time=5.752e-04, forward_time=0.163, loss_ctc=62.042, loss_att=49.194, acc=0.739, loss=53.049, backward_time=0.328, grad_norm=68.884, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=7.065e-05, train_time=1.648 +[gpua001:0/64] 2023-12-14 00:23:52,264 (trainer:737) INFO: 33epoch:train:1001-1100batch: iter_time=9.483e-05, forward_time=0.208, loss_ctc=62.421, loss_att=49.319, acc=0.744, loss=53.249, backward_time=0.361, grad_norm=70.476, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.064e-05, train_time=1.811 +[gpua001:0/64] 2023-12-14 00:26:24,337 (trainer:737) INFO: 33epoch:train:1101-1200batch: iter_time=9.814e-05, forward_time=0.147, loss_ctc=67.114, loss_att=51.413, acc=0.730, loss=56.123, backward_time=0.288, grad_norm=86.685, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.063e-05, train_time=1.519 +[gpua001:0/64] 2023-12-14 00:26:29,639 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 00:27:51,050 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-14 00:28:09,660 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 00:28:13,172 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 00:28:13,172 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-14 00:28:13,175 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 00:33:33,566 (trainer:737) INFO: 33epoch:train:1201-1300batch: iter_time=2.949, forward_time=0.167, loss_ctc=72.248, loss_att=55.115, acc=0.726, loss=60.255, backward_time=0.301, grad_norm=82.546, clip=100.000, loss_scale=1.045e+31, optim_step_time=0.134, optim0_lr0=7.063e-05, train_time=4.293 +[gpua001:0/64] 2023-12-14 00:35:36,710 (trainer:737) INFO: 33epoch:train:1301-1400batch: iter_time=8.529e-05, forward_time=0.149, loss_ctc=67.730, loss_att=54.445, acc=0.731, loss=58.430, backward_time=0.280, grad_norm=70.244, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.062e-05, train_time=1.231 +[gpua001:0/64] 2023-12-14 00:37:47,934 (trainer:737) INFO: 33epoch:train:1401-1500batch: iter_time=8.296e-05, forward_time=0.161, loss_ctc=52.959, loss_att=42.359, acc=0.717, loss=45.539, backward_time=0.281, grad_norm=55.484, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.061e-05, train_time=1.312 +[gpua001:0/64] 2023-12-14 00:40:49,462 (trainer:737) INFO: 33epoch:train:1501-1600batch: iter_time=9.117e-05, forward_time=0.207, loss_ctc=74.361, loss_att=56.559, acc=0.714, loss=61.899, backward_time=0.313, grad_norm=77.399, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.060e-05, train_time=1.815 +[gpua001:0/64] 2023-12-14 00:43:17,460 (trainer:737) INFO: 33epoch:train:1601-1700batch: iter_time=9.083e-05, forward_time=0.148, loss_ctc=66.050, loss_att=48.467, acc=0.738, loss=53.742, backward_time=0.311, grad_norm=65.547, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.060e-05, train_time=1.479 +[gpua001:0/64] 2023-12-14 00:45:45,764 (trainer:737) INFO: 33epoch:train:1701-1800batch: iter_time=9.345e-05, forward_time=0.163, loss_ctc=67.485, loss_att=56.807, acc=0.719, loss=60.010, backward_time=0.296, grad_norm=65.201, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.059e-05, train_time=1.484 +[gpua001:0/64] 2023-12-14 00:48:16,035 (trainer:737) INFO: 33epoch:train:1801-1900batch: iter_time=8.887e-05, forward_time=0.163, loss_ctc=63.494, loss_att=56.038, acc=0.699, loss=58.275, backward_time=0.310, grad_norm=61.942, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.058e-05, train_time=1.502 +[gpua001:0/64] 2023-12-14 00:50:45,118 (trainer:737) INFO: 33epoch:train:1901-2000batch: iter_time=9.331e-05, forward_time=0.151, loss_ctc=65.557, loss_att=55.611, acc=0.737, loss=58.595, backward_time=0.296, grad_norm=124.489, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.058e-05, train_time=1.491 +[gpua001:0/64] 2023-12-14 00:53:22,864 (trainer:737) INFO: 33epoch:train:2001-2100batch: iter_time=9.206e-05, forward_time=0.152, loss_ctc=63.115, loss_att=46.003, acc=0.731, loss=51.136, backward_time=0.340, grad_norm=65.082, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.057e-05, train_time=1.577 +[gpua001:0/64] 2023-12-14 00:55:53,716 (trainer:737) INFO: 33epoch:train:2101-2200batch: iter_time=8.993e-05, forward_time=0.208, loss_ctc=58.650, loss_att=45.978, acc=0.739, loss=49.779, backward_time=0.320, grad_norm=68.538, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.056e-05, train_time=1.508 +[gpua001:0/64] 2023-12-14 00:58:12,956 (trainer:737) INFO: 33epoch:train:2201-2300batch: iter_time=9.148e-05, forward_time=0.148, loss_ctc=69.193, loss_att=53.375, acc=0.731, loss=58.121, backward_time=0.301, grad_norm=74.330, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.055e-05, train_time=1.392 +[gpua001:0/64] 2023-12-14 01:00:25,800 (trainer:737) INFO: 33epoch:train:2301-2400batch: iter_time=9.355e-05, forward_time=0.146, loss_ctc=57.516, loss_att=44.890, acc=0.743, loss=48.677, backward_time=0.281, grad_norm=66.131, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.055e-05, train_time=1.326 +[gpua001:0/64] 2023-12-14 01:02:56,441 (trainer:737) INFO: 33epoch:train:2401-2500batch: iter_time=7.971e-05, forward_time=0.170, loss_ctc=75.548, loss_att=55.025, acc=0.717, loss=61.182, backward_time=0.283, grad_norm=76.427, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.054e-05, train_time=1.508 +[gpua001:0/64] 2023-12-14 01:03:16,481 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-14 01:03:35,076 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 01:03:38,598 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 01:03:38,599 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-14 01:03:38,971 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 01:10:31,614 (trainer:737) INFO: 33epoch:train:2501-2600batch: iter_time=2.841, forward_time=0.168, loss_ctc=64.109, loss_att=53.252, acc=0.732, loss=56.509, backward_time=0.284, grad_norm=64.509, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.053e-05, train_time=4.551 +[gpua001:0/64] 2023-12-14 01:12:37,444 (trainer:737) INFO: 33epoch:train:2601-2700batch: iter_time=8.539e-05, forward_time=0.148, loss_ctc=58.315, loss_att=43.968, acc=0.743, loss=48.272, backward_time=0.278, grad_norm=106.463, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.052e-05, train_time=1.258 +[gpua001:0/64] 2023-12-14 01:15:01,272 (trainer:737) INFO: 33epoch:train:2701-2800batch: iter_time=8.992e-05, forward_time=0.162, loss_ctc=61.397, loss_att=47.524, acc=0.732, loss=51.686, backward_time=0.293, grad_norm=103.901, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.052e-05, train_time=1.438 +[gpua001:0/64] 2023-12-14 01:17:31,671 (trainer:737) INFO: 33epoch:train:2801-2900batch: iter_time=9.373e-05, forward_time=0.219, loss_ctc=72.023, loss_att=57.507, acc=0.725, loss=61.862, backward_time=0.293, grad_norm=84.023, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.051e-05, train_time=1.502 +[gpua001:0/64] 2023-12-14 01:20:00,895 (trainer:737) INFO: 33epoch:train:2901-3000batch: iter_time=9.846e-05, forward_time=0.171, loss_ctc=67.798, loss_att=54.998, acc=0.741, loss=58.838, backward_time=0.304, grad_norm=58.656, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.050e-05, train_time=1.494 +[gpua001:0/64] 2023-12-14 01:22:32,240 (trainer:737) INFO: 33epoch:train:3001-3100batch: iter_time=9.720e-05, forward_time=0.148, loss_ctc=65.743, loss_att=54.307, acc=0.722, loss=57.738, backward_time=0.297, grad_norm=87.439, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.050e-05, train_time=1.513 +[gpua001:0/64] 2023-12-14 01:24:39,681 (trainer:737) INFO: 33epoch:train:3101-3200batch: iter_time=9.212e-05, forward_time=0.149, loss_ctc=61.169, loss_att=51.653, acc=0.729, loss=54.508, backward_time=0.289, grad_norm=68.511, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.049e-05, train_time=1.274 +[gpua001:0/64] 2023-12-14 01:27:15,160 (trainer:737) INFO: 33epoch:train:3201-3300batch: iter_time=9.229e-05, forward_time=0.164, loss_ctc=65.416, loss_att=55.985, acc=0.735, loss=58.814, backward_time=0.288, grad_norm=121.147, clip=100.000, loss_scale=1.988e+31, optim_step_time=0.135, optim0_lr0=7.048e-05, train_time=1.554 +[gpua001:0/64] 2023-12-14 01:30:03,967 (trainer:737) INFO: 33epoch:train:3301-3400batch: iter_time=1.006e-04, forward_time=0.237, loss_ctc=59.962, loss_att=40.851, acc=0.751, loss=46.585, backward_time=0.309, grad_norm=87.358, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.047e-05, train_time=1.688 +[gpua001:0/64] 2023-12-14 01:32:29,133 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 01:32:31,557 (trainer:737) INFO: 33epoch:train:3401-3500batch: iter_time=9.711e-05, forward_time=0.151, loss_ctc=61.225, loss_att=48.850, acc=0.743, loss=52.563, backward_time=0.317, grad_norm=75.557, clip=100.000, loss_scale=2.008e+31, optim_step_time=0.134, optim0_lr0=7.047e-05, train_time=1.476 +[gpua001:0/64] 2023-12-14 01:34:41,857 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 01:34:51,956 (trainer:737) INFO: 33epoch:train:3501-3600batch: iter_time=9.578e-05, forward_time=0.148, loss_ctc=61.824, loss_att=49.145, acc=0.746, loss=52.948, backward_time=0.296, grad_norm=100.295, clip=100.000, loss_scale=9.834e+30, optim_step_time=0.134, optim0_lr0=7.046e-05, train_time=1.404 +[gpua001:0/64] 2023-12-14 01:37:11,386 (trainer:737) INFO: 33epoch:train:3601-3700batch: iter_time=9.733e-05, forward_time=0.152, loss_ctc=65.426, loss_att=50.562, acc=0.734, loss=55.021, backward_time=0.304, grad_norm=62.832, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.045e-05, train_time=1.394 +[gpua001:0/64] 2023-12-14 01:38:38,631 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-14 01:38:57,330 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 01:39:00,793 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 01:39:00,793 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-14 01:39:00,799 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 01:44:26,011 (trainer:737) INFO: 33epoch:train:3701-3800batch: iter_time=2.661, forward_time=0.184, loss_ctc=70.668, loss_att=54.466, acc=0.730, loss=59.327, backward_time=0.288, grad_norm=75.043, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.044e-05, train_time=4.346 +[gpua001:0/64] 2023-12-14 01:46:28,164 (trainer:737) INFO: 33epoch:train:3801-3900batch: iter_time=8.166e-05, forward_time=0.151, loss_ctc=67.127, loss_att=53.825, acc=0.736, loss=57.816, backward_time=0.282, grad_norm=71.804, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.044e-05, train_time=1.221 +[gpua001:0/64] 2023-12-14 01:48:31,020 (trainer:737) INFO: 33epoch:train:3901-4000batch: iter_time=8.598e-05, forward_time=0.165, loss_ctc=53.111, loss_att=42.194, acc=0.720, loss=45.469, backward_time=0.278, grad_norm=69.325, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.043e-05, train_time=1.228 +[gpua001:0/64] 2023-12-14 01:50:50,969 (trainer:737) INFO: 33epoch:train:4001-4100batch: iter_time=0.001, forward_time=0.162, loss_ctc=73.630, loss_att=56.488, acc=0.718, loss=61.630, backward_time=0.281, grad_norm=113.732, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.042e-05, train_time=1.399 +[gpua001:0/64] 2023-12-14 01:53:34,324 (trainer:737) INFO: 33epoch:train:4101-4200batch: iter_time=3.384e-04, forward_time=0.176, loss_ctc=65.473, loss_att=48.066, acc=0.741, loss=53.288, backward_time=0.314, grad_norm=89.101, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.042e-05, train_time=1.634 +[gpua001:0/64] 2023-12-14 01:55:54,354 (trainer:737) INFO: 33epoch:train:4201-4300batch: iter_time=0.001, forward_time=0.175, loss_ctc=67.204, loss_att=56.269, acc=0.723, loss=59.549, backward_time=0.282, grad_norm=75.505, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.041e-05, train_time=1.400 +[gpua001:0/64] 2023-12-14 01:58:25,263 (trainer:737) INFO: 33epoch:train:4301-4400batch: iter_time=4.593e-04, forward_time=0.163, loss_ctc=62.872, loss_att=55.470, acc=0.701, loss=57.691, backward_time=0.298, grad_norm=145.683, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.040e-05, train_time=1.508 +[gpua001:0/64] 2023-12-14 02:00:49,508 (trainer:737) INFO: 33epoch:train:4401-4500batch: iter_time=8.976e-05, forward_time=0.164, loss_ctc=65.248, loss_att=55.537, acc=0.738, loss=58.450, backward_time=0.282, grad_norm=128.960, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.039e-05, train_time=1.444 +[gpua001:0/64] 2023-12-14 02:03:24,508 (trainer:737) INFO: 33epoch:train:4501-4600batch: iter_time=0.001, forward_time=0.207, loss_ctc=61.781, loss_att=45.478, acc=0.735, loss=50.369, backward_time=0.330, grad_norm=68.341, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.141, optim0_lr0=7.039e-05, train_time=1.550 +[gpua001:0/64] 2023-12-14 02:05:49,791 (trainer:737) INFO: 33epoch:train:4601-4700batch: iter_time=8.581e-05, forward_time=0.161, loss_ctc=57.708, loss_att=45.547, acc=0.744, loss=49.196, backward_time=0.299, grad_norm=67.305, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.038e-05, train_time=1.453 +[gpua001:0/64] 2023-12-14 02:08:11,882 (trainer:737) INFO: 33epoch:train:4701-4800batch: iter_time=8.570e-05, forward_time=0.164, loss_ctc=68.948, loss_att=53.713, acc=0.734, loss=58.283, backward_time=0.282, grad_norm=72.296, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.037e-05, train_time=1.420 +[gpua001:0/64] 2023-12-14 02:10:32,390 (trainer:737) INFO: 33epoch:train:4801-4900batch: iter_time=8.687e-05, forward_time=0.148, loss_ctc=56.786, loss_att=44.384, acc=0.747, loss=48.104, backward_time=0.278, grad_norm=63.703, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.036e-05, train_time=1.405 +[gpua001:0/64] 2023-12-14 02:12:59,110 (trainer:737) INFO: 33epoch:train:4901-5000batch: iter_time=8.521e-05, forward_time=0.193, loss_ctc=73.497, loss_att=53.920, acc=0.720, loss=59.793, backward_time=0.325, grad_norm=99.169, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.139, optim0_lr0=7.036e-05, train_time=1.468 +[gpua001:0/64] 2023-12-14 02:13:19,161 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-14 02:13:37,756 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 02:13:41,245 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 02:13:41,245 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-14 02:13:41,251 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 02:20:10,251 (trainer:737) INFO: 33epoch:train:5001-5100batch: iter_time=3.076, forward_time=0.162, loss_ctc=64.022, loss_att=53.052, acc=0.733, loss=56.343, backward_time=0.279, grad_norm=77.269, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.035e-05, train_time=4.311 +[gpua001:0/64] 2023-12-14 02:22:11,633 (trainer:737) INFO: 33epoch:train:5101-5200batch: iter_time=8.834e-05, forward_time=0.150, loss_ctc=58.527, loss_att=44.124, acc=0.743, loss=48.445, backward_time=0.277, grad_norm=60.969, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.034e-05, train_time=1.214 +[gpua001:0/64] 2023-12-14 02:24:32,048 (trainer:737) INFO: 33epoch:train:5201-5300batch: iter_time=9.625e-05, forward_time=0.149, loss_ctc=60.686, loss_att=47.703, acc=0.730, loss=51.598, backward_time=0.292, grad_norm=87.604, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.034e-05, train_time=1.404 +[gpua001:0/64] 2023-12-14 02:26:38,034 (trainer:737) INFO: 33epoch:train:5301-5400batch: iter_time=1.004e-04, forward_time=0.149, loss_ctc=71.650, loss_att=56.967, acc=0.730, loss=61.372, backward_time=0.277, grad_norm=82.752, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.033e-05, train_time=1.260 +[gpua001:0/64] 2023-12-14 02:29:02,243 (trainer:737) INFO: 33epoch:train:5401-5500batch: iter_time=9.515e-05, forward_time=0.182, loss_ctc=67.655, loss_att=55.039, acc=0.742, loss=58.823, backward_time=0.319, grad_norm=64.680, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.032e-05, train_time=1.442 +[gpua001:0/64] 2023-12-14 02:31:32,779 (trainer:737) INFO: 33epoch:train:5501-5600batch: iter_time=9.912e-05, forward_time=0.178, loss_ctc=64.848, loss_att=54.104, acc=0.723, loss=57.327, backward_time=0.305, grad_norm=63.376, clip=100.000, loss_scale=5.375e+30, optim_step_time=0.134, optim0_lr0=7.031e-05, train_time=1.505 +[gpua001:0/64] 2023-12-14 02:33:49,927 (trainer:737) INFO: 33epoch:train:5601-5700batch: iter_time=9.480e-05, forward_time=0.191, loss_ctc=60.731, loss_att=50.634, acc=0.735, loss=53.663, backward_time=0.280, grad_norm=60.450, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.031e-05, train_time=1.371 +[gpua001:0/64] 2023-12-14 02:36:06,924 (trainer:737) INFO: 33epoch:train:5701-5800batch: iter_time=1.071e-04, forward_time=0.150, loss_ctc=64.306, loss_att=55.557, acc=0.735, loss=58.182, backward_time=0.288, grad_norm=65.907, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.030e-05, train_time=1.370 +[gpua001:0/64] 2023-12-14 02:39:05,932 (trainer:737) INFO: 33epoch:train:5801-5900batch: iter_time=1.055e-04, forward_time=0.149, loss_ctc=59.784, loss_att=41.048, acc=0.753, loss=46.669, backward_time=0.296, grad_norm=53.513, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.029e-05, train_time=1.790 +[gpua001:0/64] 2023-12-14 02:41:51,496 (trainer:737) INFO: 33epoch:train:5901-6000batch: iter_time=1.013e-04, forward_time=0.149, loss_ctc=60.638, loss_att=47.868, acc=0.748, loss=51.699, backward_time=0.312, grad_norm=63.498, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.028e-05, train_time=1.655 +[gpua001:0/64] 2023-12-14 02:44:28,632 (trainer:737) INFO: 33epoch:train:6001-6100batch: iter_time=9.596e-05, forward_time=0.182, loss_ctc=61.153, loss_att=49.183, acc=0.748, loss=52.774, backward_time=0.307, grad_norm=86.174, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.028e-05, train_time=1.571 +[gpua001:0/64] 2023-12-14 02:46:46,196 (trainer:737) INFO: 33epoch:train:6101-6200batch: iter_time=9.391e-05, forward_time=0.174, loss_ctc=65.304, loss_att=50.643, acc=0.734, loss=55.041, backward_time=0.285, grad_norm=58.364, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.027e-05, train_time=1.375 +[gpua001:0/64] 2023-12-14 02:48:14,873 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-14 02:48:33,635 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 02:48:37,447 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 02:48:37,447 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-14 02:48:37,450 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 02:54:13,715 (trainer:737) INFO: 33epoch:train:6201-6300batch: iter_time=3.105, forward_time=0.188, loss_ctc=69.398, loss_att=54.447, acc=0.732, loss=58.932, backward_time=0.286, grad_norm=148.990, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.026e-05, train_time=4.475 +[gpua001:0/64] 2023-12-14 02:56:23,523 (trainer:737) INFO: 33epoch:train:6301-6400batch: iter_time=8.311e-05, forward_time=0.175, loss_ctc=66.931, loss_att=53.689, acc=0.736, loss=57.661, backward_time=0.282, grad_norm=57.683, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.026e-05, train_time=1.298 +[gpua001:0/64] 2023-12-14 02:58:52,954 (trainer:737) INFO: 33epoch:train:6401-6500batch: iter_time=8.449e-05, forward_time=0.157, loss_ctc=52.532, loss_att=41.858, acc=0.723, loss=45.060, backward_time=0.308, grad_norm=65.838, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.025e-05, train_time=1.494 +[gpua001:0/64] 2023-12-14 03:01:12,990 (trainer:737) INFO: 33epoch:train:6501-6600batch: iter_time=9.333e-05, forward_time=0.148, loss_ctc=72.962, loss_att=56.064, acc=0.719, loss=61.133, backward_time=0.307, grad_norm=91.132, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.024e-05, train_time=1.400 +[gpua001:0/64] 2023-12-14 03:03:50,408 (trainer:737) INFO: 33epoch:train:6601-6700batch: iter_time=4.148e-04, forward_time=0.163, loss_ctc=65.400, loss_att=47.665, acc=0.744, loss=52.986, backward_time=0.329, grad_norm=62.734, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.023e-05, train_time=1.574 +[gpua001:0/64] 2023-12-14 03:06:16,619 (trainer:737) INFO: 33epoch:train:6701-6800batch: iter_time=8.587e-05, forward_time=0.149, loss_ctc=66.505, loss_att=55.416, acc=0.726, loss=58.743, backward_time=0.292, grad_norm=70.137, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.023e-05, train_time=1.462 +[gpua001:0/64] 2023-12-14 03:08:49,027 (trainer:737) INFO: 33epoch:train:6801-6900batch: iter_time=8.610e-05, forward_time=0.193, loss_ctc=63.165, loss_att=55.535, acc=0.701, loss=57.824, backward_time=0.286, grad_norm=66.711, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.022e-05, train_time=1.524 +[gpua001:0/64] 2023-12-14 03:11:22,934 (trainer:737) INFO: 33epoch:train:6901-7000batch: iter_time=8.894e-05, forward_time=0.159, loss_ctc=64.848, loss_att=55.472, acc=0.740, loss=58.285, backward_time=0.290, grad_norm=58.800, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.021e-05, train_time=1.539 +[gpua001:0/64] 2023-12-14 03:13:48,995 (trainer:737) INFO: 33epoch:train:7001-7100batch: iter_time=8.769e-05, forward_time=0.148, loss_ctc=60.629, loss_att=44.839, acc=0.736, loss=49.576, backward_time=0.304, grad_norm=72.959, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.021e-05, train_time=1.460 +[gpua001:0/64] 2023-12-14 03:16:29,928 (trainer:737) INFO: 33epoch:train:7101-7200batch: iter_time=8.663e-05, forward_time=0.217, loss_ctc=57.699, loss_att=44.910, acc=0.746, loss=48.747, backward_time=0.307, grad_norm=81.211, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.020e-05, train_time=1.610 +[gpua001:0/64] 2023-12-14 03:19:03,594 (trainer:737) INFO: 33epoch:train:7201-7300batch: iter_time=8.915e-05, forward_time=0.154, loss_ctc=68.727, loss_att=53.198, acc=0.736, loss=57.857, backward_time=0.336, grad_norm=84.708, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.019e-05, train_time=1.536 +[gpua001:0/64] 2023-12-14 03:21:09,826 (trainer:737) INFO: 33epoch:train:7301-7400batch: iter_time=9.083e-05, forward_time=0.147, loss_ctc=56.534, loss_att=44.448, acc=0.746, loss=48.074, backward_time=0.279, grad_norm=71.669, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.018e-05, train_time=1.262 +[gpua001:0/64] 2023-12-14 03:23:32,920 (trainer:737) INFO: 33epoch:train:7401-7500batch: iter_time=8.113e-05, forward_time=0.178, loss_ctc=73.315, loss_att=53.772, acc=0.719, loss=59.635, backward_time=0.306, grad_norm=158.484, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.018e-05, train_time=1.431 +[gpua001:0/64] 2023-12-14 03:23:52,949 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-14 03:24:11,690 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 03:24:15,316 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 03:24:15,316 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-14 03:24:15,319 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 03:32:04,583 (trainer:737) INFO: 33epoch:train:7501-7600batch: iter_time=3.873, forward_time=0.172, loss_ctc=63.947, loss_att=50.588, acc=0.729, loss=54.595, backward_time=0.282, grad_norm=78.375, clip=100.000, loss_scale=1.075e+31, optim_step_time=0.135, optim0_lr0=7.017e-05, train_time=5.116 +[gpua001:0/64] 2023-12-14 03:34:04,973 (trainer:737) INFO: 33epoch:train:7601-7700batch: iter_time=8.903e-05, forward_time=0.148, loss_ctc=57.724, loss_att=44.047, acc=0.733, loss=48.150, backward_time=0.278, grad_norm=71.116, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.016e-05, train_time=1.204 +[gpua001:0/64] 2023-12-14 03:36:06,951 (trainer:737) INFO: 33epoch:train:7701-7800batch: iter_time=8.843e-05, forward_time=0.147, loss_ctc=60.971, loss_att=47.801, acc=0.720, loss=51.752, backward_time=0.276, grad_norm=76.061, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.015e-05, train_time=1.220 +[gpua001:0/64] 2023-12-14 03:38:38,583 (trainer:737) INFO: 33epoch:train:7801-7900batch: iter_time=1.006e-04, forward_time=0.147, loss_ctc=71.118, loss_att=54.848, acc=0.726, loss=59.729, backward_time=0.299, grad_norm=87.887, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.015e-05, train_time=1.516 +[gpua001:0/64] 2023-12-14 03:41:30,248 (trainer:737) INFO: 33epoch:train:7901-8000batch: iter_time=1.120e-04, forward_time=0.150, loss_ctc=66.599, loss_att=54.687, acc=0.733, loss=58.260, backward_time=0.314, grad_norm=84.839, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.014e-05, train_time=1.716 +[gpua001:0/64] 2023-12-14 03:43:56,801 (trainer:737) INFO: 33epoch:train:8001-8100batch: iter_time=9.699e-05, forward_time=0.196, loss_ctc=65.052, loss_att=54.188, acc=0.711, loss=57.448, backward_time=0.291, grad_norm=65.648, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.013e-05, train_time=1.465 +[gpua001:0/64] 2023-12-14 03:46:18,414 (trainer:737) INFO: 33epoch:train:8101-8200batch: iter_time=9.147e-05, forward_time=0.181, loss_ctc=60.788, loss_att=49.962, acc=0.729, loss=53.210, backward_time=0.286, grad_norm=59.324, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.013e-05, train_time=1.416 +[gpua001:0/64] 2023-12-14 03:48:33,175 (trainer:737) INFO: 33epoch:train:8201-8300batch: iter_time=8.927e-05, forward_time=0.147, loss_ctc=63.789, loss_att=54.419, acc=0.733, loss=57.230, backward_time=0.289, grad_norm=73.235, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.012e-05, train_time=1.347 +[gpua001:0/64] 2023-12-14 03:51:06,986 (trainer:737) INFO: 33epoch:train:8301-8400batch: iter_time=9.126e-05, forward_time=0.147, loss_ctc=59.487, loss_att=40.828, acc=0.749, loss=46.426, backward_time=0.323, grad_norm=64.873, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.011e-05, train_time=1.538 +[gpua001:0/64] 2023-12-14 03:53:31,727 (trainer:737) INFO: 33epoch:train:8401-8500batch: iter_time=9.245e-05, forward_time=0.147, loss_ctc=61.096, loss_att=48.328, acc=0.739, loss=52.158, backward_time=0.283, grad_norm=80.385, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.010e-05, train_time=1.447 +[gpua001:0/64] 2023-12-14 03:56:24,848 (trainer:737) INFO: 33epoch:train:8501-8600batch: iter_time=9.093e-05, forward_time=0.146, loss_ctc=60.904, loss_att=47.526, acc=0.745, loss=51.540, backward_time=0.334, grad_norm=89.326, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.010e-05, train_time=1.731 +[gpua001:0/64] 2023-12-14 03:58:53,634 (trainer:737) INFO: 33epoch:train:8601-8700batch: iter_time=3.399e-04, forward_time=0.177, loss_ctc=64.572, loss_att=50.070, acc=0.726, loss=54.420, backward_time=0.286, grad_norm=71.242, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.009e-05, train_time=1.488 +[gpua001:0/64] 2023-12-14 04:00:27,436 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-14 04:00:46,345 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 04:00:49,853 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 04:00:49,853 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-14 04:00:49,856 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 04:06:12,563 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 04:06:13,786 (trainer:737) INFO: 33epoch:train:8701-8800batch: iter_time=3.026, forward_time=0.226, loss_ctc=69.558, loss_att=52.396, acc=0.725, loss=57.545, backward_time=0.299, grad_norm=98.252, clip=100.000, loss_scale=2.018e+31, optim_step_time=0.136, optim0_lr0=7.008e-05, train_time=4.401 +[gpua001:0/64] 2023-12-14 04:08:16,532 (trainer:737) INFO: 33epoch:train:8801-8900batch: iter_time=8.456e-05, forward_time=0.150, loss_ctc=66.722, loss_att=52.704, acc=0.738, loss=56.909, backward_time=0.278, grad_norm=72.353, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.008e-05, train_time=1.227 +[gpua001:0/64] 2023-12-14 04:10:41,615 (trainer:737) INFO: 33epoch:train:8901-9000batch: iter_time=8.264e-05, forward_time=0.147, loss_ctc=52.281, loss_att=41.225, acc=0.723, loss=44.542, backward_time=0.296, grad_norm=60.891, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.007e-05, train_time=1.451 +[gpua001:0/64] 2023-12-14 04:12:52,726 (trainer:737) INFO: 33epoch:train:9001-9100batch: iter_time=9.214e-05, forward_time=0.147, loss_ctc=73.516, loss_att=56.087, acc=0.717, loss=61.316, backward_time=0.276, grad_norm=105.375, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.006e-05, train_time=1.311 +[gpua001:0/64] 2023-12-14 04:15:17,459 (trainer:737) INFO: 33epoch:train:9101-9200batch: iter_time=8.586e-05, forward_time=0.211, loss_ctc=64.818, loss_att=47.313, acc=0.744, loss=52.565, backward_time=0.331, grad_norm=81.952, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.005e-05, train_time=1.447 +[gpua001:0/64] 2023-12-14 04:17:56,195 (trainer:737) INFO: 33epoch:train:9201-9300batch: iter_time=8.409e-05, forward_time=0.181, loss_ctc=66.562, loss_att=55.640, acc=0.724, loss=58.917, backward_time=0.316, grad_norm=69.118, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.005e-05, train_time=1.587 +[gpua001:0/64] 2023-12-14 04:19:16,878 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 04:20:13,096 (trainer:737) INFO: 33epoch:train:9301-9400batch: iter_time=9.353e-05, forward_time=0.147, loss_ctc=62.969, loss_att=55.247, acc=0.703, loss=57.564, backward_time=0.283, grad_norm=81.441, clip=100.000, loss_scale=7.939e+30, optim_step_time=0.134, optim0_lr0=7.004e-05, train_time=1.369 +[gpua001:0/64] 2023-12-14 04:22:38,443 (trainer:737) INFO: 33epoch:train:9401-9500batch: iter_time=9.396e-05, forward_time=0.148, loss_ctc=65.052, loss_att=55.104, acc=0.742, loss=58.088, backward_time=0.291, grad_norm=63.940, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.003e-05, train_time=1.453 +[gpua001:0/64] 2023-12-14 04:25:21,133 (trainer:737) INFO: 33epoch:train:9501-9600batch: iter_time=8.821e-05, forward_time=0.147, loss_ctc=60.151, loss_att=44.917, acc=0.735, loss=49.487, backward_time=0.303, grad_norm=87.492, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.003e-05, train_time=1.627 +[gpua001:0/64] 2023-12-14 04:28:05,740 (trainer:737) INFO: 33epoch:train:9601-9700batch: iter_time=4.500e-04, forward_time=0.173, loss_ctc=57.364, loss_att=44.757, acc=0.745, loss=48.539, backward_time=0.300, grad_norm=75.458, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.002e-05, train_time=1.646 +[gpua001:0/64] 2023-12-14 04:30:39,043 (trainer:737) INFO: 33epoch:train:9701-9800batch: iter_time=8.878e-05, forward_time=0.183, loss_ctc=68.106, loss_att=52.901, acc=0.739, loss=57.462, backward_time=0.308, grad_norm=83.752, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.001e-05, train_time=1.533 +[gpua001:0/64] 2023-12-14 04:32:57,656 (trainer:737) INFO: 33epoch:train:9801-9900batch: iter_time=8.179e-05, forward_time=0.173, loss_ctc=56.554, loss_att=44.617, acc=0.744, loss=48.198, backward_time=0.289, grad_norm=65.893, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.000e-05, train_time=1.386 +[gpua001:0/64] 2023-12-14 04:35:18,438 (trainer:737) INFO: 33epoch:train:9901-10000batch: iter_time=7.953e-05, forward_time=0.148, loss_ctc=72.241, loss_att=53.843, acc=0.721, loss=59.362, backward_time=0.282, grad_norm=130.524, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.000e-05, train_time=1.408 +[gpua001:0/64] 2023-12-14 04:35:38,467 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-14 04:35:57,090 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 04:36:00,506 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 04:36:00,506 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-14 04:36:00,509 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 04:42:36,025 (trainer:737) INFO: 33epoch:train:10001-10100batch: iter_time=3.080, forward_time=0.170, loss_ctc=64.037, loss_att=53.832, acc=0.732, loss=56.894, backward_time=0.282, grad_norm=72.060, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.999e-05, train_time=4.376 +[gpua001:0/64] 2023-12-14 04:44:58,271 (trainer:737) INFO: 33epoch:train:10101-10200batch: iter_time=8.454e-05, forward_time=0.149, loss_ctc=57.599, loss_att=44.101, acc=0.745, loss=48.150, backward_time=0.287, grad_norm=57.259, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.998e-05, train_time=1.422 +[gpua001:0/64] 2023-12-14 04:47:07,681 (trainer:737) INFO: 33epoch:train:10201-10300batch: iter_time=8.059e-05, forward_time=0.148, loss_ctc=61.073, loss_att=47.767, acc=0.733, loss=51.759, backward_time=0.289, grad_norm=82.887, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.998e-05, train_time=1.293 +[gpua001:0/64] 2023-12-14 04:49:42,559 (trainer:737) INFO: 33epoch:train:10301-10400batch: iter_time=8.991e-05, forward_time=0.150, loss_ctc=70.970, loss_att=56.698, acc=0.731, loss=60.980, backward_time=0.295, grad_norm=92.176, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.997e-05, train_time=1.549 +[gpua001:0/64] 2023-12-14 04:52:19,991 (trainer:737) INFO: 33epoch:train:10401-10500batch: iter_time=8.470e-05, forward_time=0.210, loss_ctc=66.715, loss_att=54.849, acc=0.745, loss=58.409, backward_time=0.319, grad_norm=63.038, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.152, optim0_lr0=6.996e-05, train_time=1.574 +[gpua001:0/64] 2023-12-14 04:54:53,618 (trainer:737) INFO: 33epoch:train:10501-10600batch: iter_time=9.016e-05, forward_time=0.158, loss_ctc=65.508, loss_att=54.145, acc=0.725, loss=57.554, backward_time=0.305, grad_norm=65.558, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.995e-05, train_time=1.536 +[gpua001:0/64] 2023-12-14 04:57:24,758 (trainer:737) INFO: 33epoch:train:10601-10700batch: iter_time=8.741e-05, forward_time=0.149, loss_ctc=60.698, loss_att=51.278, acc=0.732, loss=54.104, backward_time=0.280, grad_norm=58.933, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.995e-05, train_time=1.511 +[gpua001:0/64] 2023-12-14 05:00:06,390 (trainer:737) INFO: 33epoch:train:10701-10800batch: iter_time=8.633e-05, forward_time=0.149, loss_ctc=64.228, loss_att=55.885, acc=0.736, loss=58.388, backward_time=0.314, grad_norm=65.333, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.994e-05, train_time=1.616 +[gpua001:0/64] 2023-12-14 05:02:25,320 (trainer:737) INFO: 33epoch:train:10801-10900batch: iter_time=9.254e-05, forward_time=0.149, loss_ctc=59.948, loss_att=40.840, acc=0.753, loss=46.572, backward_time=0.290, grad_norm=69.182, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.993e-05, train_time=1.388 +[gpua001:0/64] 2023-12-14 05:04:46,275 (trainer:737) INFO: 33epoch:train:10901-11000batch: iter_time=8.933e-05, forward_time=0.160, loss_ctc=60.459, loss_att=48.037, acc=0.748, loss=51.763, backward_time=0.290, grad_norm=83.998, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.139, optim0_lr0=6.993e-05, train_time=1.410 +[gpua001:0/64] 2023-12-14 05:07:10,251 (trainer:737) INFO: 33epoch:train:11001-11100batch: iter_time=8.433e-05, forward_time=0.213, loss_ctc=60.863, loss_att=48.518, acc=0.749, loss=52.222, backward_time=0.328, grad_norm=59.911, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=6.992e-05, train_time=1.440 +[gpua001:0/64] 2023-12-14 05:09:34,475 (trainer:737) INFO: 33epoch:train:11101-11200batch: iter_time=8.851e-05, forward_time=0.152, loss_ctc=64.768, loss_att=50.336, acc=0.736, loss=54.666, backward_time=0.303, grad_norm=64.582, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.991e-05, train_time=1.442 +[gpua001:0/64] 2023-12-14 05:11:15,320 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-14 05:11:34,060 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 05:11:37,698 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 05:11:37,698 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-14 05:11:37,702 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 05:16:46,976 (trainer:737) INFO: 33epoch:train:11201-11300batch: iter_time=2.778, forward_time=0.186, loss_ctc=68.479, loss_att=53.633, acc=0.733, loss=58.087, backward_time=0.311, grad_norm=70.203, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.990e-05, train_time=4.325 +[gpua001:0/64] 2023-12-14 05:18:50,214 (trainer:737) INFO: 33epoch:train:11301-11400batch: iter_time=8.595e-05, forward_time=0.149, loss_ctc=66.730, loss_att=53.788, acc=0.737, loss=57.671, backward_time=0.277, grad_norm=67.671, clip=100.000, loss_scale=7.251e+30, optim_step_time=0.135, optim0_lr0=6.990e-05, train_time=1.232 +[gpua001:0/64] 2023-12-14 05:21:09,573 (trainer:737) INFO: 33epoch:train:11401-11500batch: iter_time=3.573e-04, forward_time=0.216, loss_ctc=52.385, loss_att=41.587, acc=0.725, loss=44.826, backward_time=0.318, grad_norm=53.965, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.989e-05, train_time=1.393 +[gpua001:0/64] 2023-12-14 05:23:26,997 (trainer:737) INFO: 33epoch:train:11501-11600batch: iter_time=9.247e-05, forward_time=0.167, loss_ctc=72.893, loss_att=56.040, acc=0.718, loss=61.096, backward_time=0.307, grad_norm=78.781, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.988e-05, train_time=1.374 +[gpua001:0/64] 2023-12-14 05:25:40,884 (trainer:737) INFO: 33epoch:train:11601-11700batch: iter_time=9.806e-05, forward_time=0.187, loss_ctc=65.198, loss_att=47.551, acc=0.746, loss=52.845, backward_time=0.304, grad_norm=62.751, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.988e-05, train_time=1.338 +[gpua001:0/64] 2023-12-14 05:28:10,242 (trainer:737) INFO: 33epoch:train:11701-11800batch: iter_time=9.292e-05, forward_time=0.189, loss_ctc=66.859, loss_att=55.663, acc=0.726, loss=59.022, backward_time=0.320, grad_norm=59.109, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.987e-05, train_time=1.494 +[gpua001:0/64] 2023-12-14 05:30:47,211 (trainer:737) INFO: 33epoch:train:11801-11900batch: iter_time=9.726e-05, forward_time=0.174, loss_ctc=62.593, loss_att=55.165, acc=0.701, loss=57.393, backward_time=0.309, grad_norm=58.216, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.986e-05, train_time=1.569 +[gpua001:0/64] 2023-12-14 05:33:47,283 (trainer:737) INFO: 33epoch:train:11901-12000batch: iter_time=9.583e-05, forward_time=0.169, loss_ctc=64.609, loss_att=55.238, acc=0.741, loss=58.049, backward_time=0.319, grad_norm=66.151, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.985e-05, train_time=1.801 +[gpua001:0/64] 2023-12-14 05:36:27,653 (trainer:737) INFO: 33epoch:train:12001-12100batch: iter_time=9.635e-05, forward_time=0.179, loss_ctc=60.127, loss_att=44.771, acc=0.739, loss=49.378, backward_time=0.320, grad_norm=67.950, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.985e-05, train_time=1.602 +[gpua001:0/64] 2023-12-14 05:38:59,725 (trainer:737) INFO: 33epoch:train:12101-12200batch: iter_time=1.046e-04, forward_time=0.162, loss_ctc=57.655, loss_att=45.043, acc=0.746, loss=48.827, backward_time=0.310, grad_norm=66.161, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.984e-05, train_time=1.522 +[gpua001:0/64] 2023-12-14 05:41:27,914 (trainer:737) INFO: 33epoch:train:12201-12300batch: iter_time=1.004e-04, forward_time=0.170, loss_ctc=68.502, loss_att=52.665, acc=0.739, loss=57.416, backward_time=0.290, grad_norm=70.656, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.983e-05, train_time=1.481 +[gpua001:0/64] 2023-12-14 05:43:42,108 (trainer:737) INFO: 33epoch:train:12301-12400batch: iter_time=1.201e-04, forward_time=0.163, loss_ctc=56.306, loss_att=44.195, acc=0.747, loss=47.828, backward_time=0.293, grad_norm=56.371, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.983e-05, train_time=1.342 +[gpua001:0/64] 2023-12-14 05:46:04,930 (trainer:737) INFO: 33epoch:train:12401-12500batch: iter_time=4.575e-04, forward_time=0.196, loss_ctc=72.981, loss_att=53.138, acc=0.724, loss=59.091, backward_time=0.305, grad_norm=79.367, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.982e-05, train_time=1.428 +[gpua001:0/64] 2023-12-14 05:46:24,959 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-14 05:46:43,474 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 05:46:47,082 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 05:46:47,082 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-14 05:46:47,085 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 05:53:11,252 (trainer:737) INFO: 33epoch:train:12501-12600batch: iter_time=2.952, forward_time=0.189, loss_ctc=62.971, loss_att=52.716, acc=0.735, loss=55.793, backward_time=0.285, grad_norm=87.174, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.981e-05, train_time=4.263 +[gpua001:0/64] 2023-12-14 05:55:14,361 (trainer:737) INFO: 33epoch:train:12601-12700batch: iter_time=8.390e-05, forward_time=0.149, loss_ctc=57.959, loss_att=43.533, acc=0.746, loss=47.861, backward_time=0.280, grad_norm=70.031, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.981e-05, train_time=1.231 +[gpua001:0/64] 2023-12-14 05:57:43,007 (trainer:737) INFO: 33epoch:train:12701-12800batch: iter_time=8.548e-05, forward_time=0.148, loss_ctc=60.275, loss_att=47.664, acc=0.731, loss=51.447, backward_time=0.294, grad_norm=69.220, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.980e-05, train_time=1.486 +[gpua001:0/64] 2023-12-14 05:59:56,638 (trainer:737) INFO: 33epoch:train:12801-12900batch: iter_time=5.042e-04, forward_time=0.165, loss_ctc=71.266, loss_att=56.920, acc=0.731, loss=61.224, backward_time=0.284, grad_norm=77.040, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.979e-05, train_time=1.336 +[gpua001:0/64] 2023-12-14 06:02:27,268 (trainer:737) INFO: 33epoch:train:12901-13000batch: iter_time=8.784e-05, forward_time=0.213, loss_ctc=66.666, loss_att=54.950, acc=0.745, loss=58.465, backward_time=0.337, grad_norm=67.038, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.978e-05, train_time=1.506 +[gpua001:0/64] 2023-12-14 06:05:02,018 (trainer:737) INFO: 33epoch:train:13001-13100batch: iter_time=9.364e-05, forward_time=0.190, loss_ctc=64.948, loss_att=54.372, acc=0.725, loss=57.545, backward_time=0.309, grad_norm=57.979, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.978e-05, train_time=1.547 +[gpua001:0/64] 2023-12-14 06:08:04,756 (trainer:737) INFO: 33epoch:train:13101-13200batch: iter_time=9.213e-05, forward_time=0.147, loss_ctc=60.303, loss_att=50.919, acc=0.734, loss=53.734, backward_time=0.369, grad_norm=63.019, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.977e-05, train_time=1.827 +[gpua001:0/64] 2023-12-14 06:10:44,858 (trainer:737) INFO: 33epoch:train:13201-13300batch: iter_time=9.103e-05, forward_time=0.148, loss_ctc=63.605, loss_att=55.683, acc=0.736, loss=58.060, backward_time=0.300, grad_norm=98.027, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.976e-05, train_time=1.601 +[gpua001:0/64] 2023-12-14 06:13:30,565 (trainer:737) INFO: 33epoch:train:13301-13400batch: iter_time=2.250e-04, forward_time=0.158, loss_ctc=59.611, loss_att=41.052, acc=0.753, loss=46.620, backward_time=0.293, grad_norm=57.483, clip=100.000, loss_scale=1.450e+31, optim_step_time=0.135, optim0_lr0=6.976e-05, train_time=1.657 +[gpua001:0/64] 2023-12-14 06:15:47,952 (trainer:737) INFO: 33epoch:train:13401-13500batch: iter_time=9.084e-05, forward_time=0.232, loss_ctc=60.071, loss_att=47.990, acc=0.749, loss=51.614, backward_time=0.301, grad_norm=68.772, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.975e-05, train_time=1.374 +[gpua001:0/64] 2023-12-14 06:18:26,992 (trainer:737) INFO: 33epoch:train:13501-13600batch: iter_time=9.492e-05, forward_time=0.167, loss_ctc=60.926, loss_att=48.609, acc=0.749, loss=52.304, backward_time=0.313, grad_norm=85.100, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.974e-05, train_time=1.590 +[gpua001:0/64] 2023-12-14 06:20:33,293 (trainer:737) INFO: 33epoch:train:13601-13700batch: iter_time=9.756e-05, forward_time=0.148, loss_ctc=64.270, loss_att=50.287, acc=0.736, loss=54.482, backward_time=0.283, grad_norm=57.946, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.973e-05, train_time=1.263 +[gpua001:0/64] 2023-12-14 06:21:55,996 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-14 06:22:14,913 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 06:22:18,892 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 06:22:18,892 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-14 06:22:18,895 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 06:27:49,767 (trainer:737) INFO: 33epoch:train:13701-13800batch: iter_time=3.043, forward_time=0.184, loss_ctc=68.212, loss_att=52.872, acc=0.741, loss=57.474, backward_time=0.282, grad_norm=73.765, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.973e-05, train_time=4.364 +[gpua001:0/64] 2023-12-14 06:29:53,292 (trainer:737) INFO: 33epoch:train:13801-13900batch: iter_time=8.833e-05, forward_time=0.153, loss_ctc=66.540, loss_att=54.542, acc=0.742, loss=58.141, backward_time=0.280, grad_norm=64.151, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.972e-05, train_time=1.235 +[gpua001:0/64] 2023-12-14 06:32:00,055 (trainer:737) INFO: 33epoch:train:13901-14000batch: iter_time=8.257e-05, forward_time=0.160, loss_ctc=52.259, loss_att=40.686, acc=0.739, loss=44.158, backward_time=0.312, grad_norm=63.571, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.971e-05, train_time=1.267 +[gpua001:0/64] 2023-12-14 06:34:23,279 (trainer:737) INFO: 33epoch:train:14001-14100batch: iter_time=9.684e-05, forward_time=0.188, loss_ctc=72.575, loss_att=56.965, acc=0.725, loss=61.648, backward_time=0.327, grad_norm=84.852, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.971e-05, train_time=1.432 +[gpua001:0/64] 2023-12-14 06:37:21,807 (trainer:737) INFO: 33epoch:train:14101-14200batch: iter_time=9.631e-05, forward_time=0.171, loss_ctc=64.615, loss_att=47.307, acc=0.750, loss=52.499, backward_time=0.316, grad_norm=74.994, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.970e-05, train_time=1.785 +[gpua001:0/64] 2023-12-14 06:39:37,973 (trainer:737) INFO: 33epoch:train:14201-14300batch: iter_time=8.607e-05, forward_time=0.163, loss_ctc=66.773, loss_att=55.391, acc=0.742, loss=58.806, backward_time=0.299, grad_norm=83.794, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.969e-05, train_time=1.361 +[gpua001:0/64] 2023-12-14 06:42:25,702 (trainer:737) INFO: 33epoch:train:14301-14400batch: iter_time=1.003e-04, forward_time=0.204, loss_ctc=62.309, loss_att=55.657, acc=0.713, loss=57.653, backward_time=0.320, grad_norm=78.745, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.146, optim0_lr0=6.968e-05, train_time=1.677 +[gpua001:0/64] 2023-12-14 06:44:57,440 (trainer:737) INFO: 33epoch:train:14401-14500batch: iter_time=2.827e-04, forward_time=0.160, loss_ctc=64.412, loss_att=56.974, acc=0.739, loss=59.205, backward_time=0.304, grad_norm=67.806, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.968e-05, train_time=1.517 +[gpua001:0/64] 2023-12-14 06:47:29,375 (trainer:737) INFO: 33epoch:train:14501-14600batch: iter_time=1.062e-04, forward_time=0.161, loss_ctc=59.997, loss_att=44.715, acc=0.739, loss=49.299, backward_time=0.290, grad_norm=65.502, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.967e-05, train_time=1.519 +[gpua001:0/64] 2023-12-14 06:50:13,686 (trainer:737) INFO: 33epoch:train:14601-14700batch: iter_time=9.662e-05, forward_time=0.181, loss_ctc=57.576, loss_att=44.987, acc=0.751, loss=48.764, backward_time=0.334, grad_norm=67.111, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.966e-05, train_time=1.642 +[gpua001:0/64] 2023-12-14 06:52:46,498 (trainer:737) INFO: 33epoch:train:14701-14800batch: iter_time=9.002e-05, forward_time=0.163, loss_ctc=68.245, loss_att=55.096, acc=0.739, loss=59.040, backward_time=0.327, grad_norm=81.609, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.966e-05, train_time=1.529 +[gpua001:0/64] 2023-12-14 06:55:10,488 (trainer:737) INFO: 33epoch:train:14801-14900batch: iter_time=9.246e-05, forward_time=0.168, loss_ctc=56.357, loss_att=44.090, acc=0.756, loss=47.770, backward_time=0.302, grad_norm=61.009, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.965e-05, train_time=1.440 +[gpua001:0/64] 2023-12-14 06:58:02,059 (trainer:737) INFO: 33epoch:train:14901-15000batch: iter_time=8.704e-05, forward_time=0.165, loss_ctc=71.344, loss_att=54.336, acc=0.734, loss=59.438, backward_time=0.327, grad_norm=72.780, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.964e-05, train_time=1.715 +[gpua001:0/64] 2023-12-14 07:23:56,952 (trainer:343) INFO: 33epoch results: [train] iter_time=0.242, forward_time=0.169, loss_ctc=64.011, loss_att=50.759, acc=0.734, loss=54.734, backward_time=0.300, grad_norm=76.221, clip=100.000, loss_scale=1.173e+31, optim_step_time=0.135, optim0_lr0=7.017e-05, train_time=1.706, time=7 hours, 7 minutes and 2.61 seconds, total_count=495000, gpu_max_cached_mem_GB=37.920, [valid] loss_ctc=32.610, cer_ctc=0.172, loss_att=31.023, acc=0.737, cer=0.244, wer=0.962, loss=31.499, time=25 minutes and 28.86 seconds, total_count=154143, gpu_max_cached_mem_GB=37.920 +[gpua001:0/64] 2023-12-14 07:24:15,993 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua001:0/64] 2023-12-14 07:24:16,033 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/20epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/28epoch.pth +[gpua001:0/64] 2023-12-14 07:24:16,033 (trainer:272) INFO: 34/40epoch started. Estimated time to finish: 2 days, 10 hours and 18 minutes +[gpua001:0/64] 2023-12-14 07:24:16,044 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-14 07:24:33,740 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 07:24:37,105 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 07:24:37,105 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-14 07:24:37,109 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 07:31:18,485 (trainer:737) INFO: 34epoch:train:1-100batch: iter_time=2.685, forward_time=0.173, loss_ctc=67.082, loss_att=57.244, acc=0.721, loss=60.195, backward_time=0.281, grad_norm=83.972, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.964e-05, train_time=4.224 +[gpua001:0/64] 2023-12-14 07:33:25,696 (trainer:737) INFO: 34epoch:train:101-200batch: iter_time=1.011e-04, forward_time=0.147, loss_ctc=63.526, loss_att=47.540, acc=0.736, loss=52.336, backward_time=0.278, grad_norm=77.117, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.963e-05, train_time=1.272 +[gpua001:0/64] 2023-12-14 07:35:30,456 (trainer:737) INFO: 34epoch:train:201-300batch: iter_time=1.035e-04, forward_time=0.164, loss_ctc=70.789, loss_att=55.409, acc=0.720, loss=60.023, backward_time=0.280, grad_norm=78.610, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.962e-05, train_time=1.247 +[gpua001:0/64] 2023-12-14 07:37:59,904 (trainer:737) INFO: 34epoch:train:301-400batch: iter_time=1.126e-04, forward_time=0.290, loss_ctc=65.025, loss_att=49.530, acc=0.715, loss=54.178, backward_time=0.307, grad_norm=79.814, clip=100.000, loss_scale=2.900e+31, optim_step_time=0.139, optim0_lr0=6.961e-05, train_time=1.494 +[gpua001:0/64] 2023-12-14 07:40:08,499 (trainer:737) INFO: 34epoch:train:401-500batch: iter_time=1.038e-04, forward_time=0.149, loss_ctc=66.151, loss_att=54.234, acc=0.713, loss=57.809, backward_time=0.284, grad_norm=80.665, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.961e-05, train_time=1.286 +[gpua001:0/64] 2023-12-14 07:42:40,675 (trainer:737) INFO: 34epoch:train:501-600batch: iter_time=9.549e-05, forward_time=0.147, loss_ctc=63.430, loss_att=51.517, acc=0.725, loss=55.091, backward_time=0.299, grad_norm=65.301, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.960e-05, train_time=1.522 +[gpua001:0/64] 2023-12-14 07:45:11,597 (trainer:737) INFO: 34epoch:train:601-700batch: iter_time=0.002, forward_time=0.149, loss_ctc=65.052, loss_att=50.904, acc=0.734, loss=55.148, backward_time=0.294, grad_norm=69.379, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.959e-05, train_time=1.509 +[gpua001:0/64] 2023-12-14 07:47:45,653 (trainer:737) INFO: 34epoch:train:701-800batch: iter_time=1.513e-04, forward_time=0.227, loss_ctc=74.556, loss_att=60.507, acc=0.719, loss=64.722, backward_time=0.321, grad_norm=71.838, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.959e-05, train_time=1.540 +[gpua001:0/64] 2023-12-14 07:47:55,924 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 07:50:05,368 (trainer:737) INFO: 34epoch:train:801-900batch: iter_time=1.022e-04, forward_time=0.149, loss_ctc=65.577, loss_att=54.248, acc=0.727, loss=57.647, backward_time=0.295, grad_norm=68.540, clip=100.000, loss_scale=2.172e+31, optim_step_time=0.135, optim0_lr0=6.958e-05, train_time=1.397 +[gpua001:0/64] 2023-12-14 07:52:47,766 (trainer:737) INFO: 34epoch:train:901-1000batch: iter_time=1.038e-04, forward_time=0.150, loss_ctc=66.809, loss_att=49.025, acc=0.725, loss=54.360, backward_time=0.292, grad_norm=80.952, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.957e-05, train_time=1.624 +[gpua001:0/64] 2023-12-14 07:55:07,668 (trainer:737) INFO: 34epoch:train:1001-1100batch: iter_time=1.024e-04, forward_time=0.149, loss_ctc=62.387, loss_att=46.757, acc=0.734, loss=51.446, backward_time=0.294, grad_norm=98.983, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.957e-05, train_time=1.399 +[gpua001:0/64] 2023-12-14 07:57:46,338 (trainer:737) INFO: 34epoch:train:1101-1200batch: iter_time=1.031e-04, forward_time=0.170, loss_ctc=60.567, loss_att=50.785, acc=0.732, loss=53.719, backward_time=0.289, grad_norm=66.693, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.956e-05, train_time=1.586 +[gpua001:0/64] 2023-12-14 07:59:22,288 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-14 07:59:41,222 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 07:59:44,757 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 07:59:44,757 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-14 07:59:44,762 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 08:04:33,057 (trainer:737) INFO: 34epoch:train:1201-1300batch: iter_time=2.597, forward_time=0.187, loss_ctc=61.979, loss_att=52.451, acc=0.732, loss=55.310, backward_time=0.323, grad_norm=111.679, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.955e-05, train_time=4.068 +[gpua001:0/64] 2023-12-14 08:06:41,662 (trainer:737) INFO: 34epoch:train:1301-1400batch: iter_time=8.291e-05, forward_time=0.148, loss_ctc=68.848, loss_att=57.890, acc=0.708, loss=61.177, backward_time=0.277, grad_norm=69.015, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.954e-05, train_time=1.286 +[gpua001:0/64] 2023-12-14 08:08:57,119 (trainer:737) INFO: 34epoch:train:1401-1500batch: iter_time=8.753e-05, forward_time=0.149, loss_ctc=62.183, loss_att=45.549, acc=0.740, loss=50.539, backward_time=0.278, grad_norm=60.278, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.954e-05, train_time=1.354 +[gpua001:0/64] 2023-12-14 08:11:25,084 (trainer:737) INFO: 34epoch:train:1501-1600batch: iter_time=8.493e-05, forward_time=0.149, loss_ctc=75.690, loss_att=59.006, acc=0.710, loss=64.011, backward_time=0.294, grad_norm=70.603, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.953e-05, train_time=1.480 +[gpua001:0/64] 2023-12-14 08:13:54,609 (trainer:737) INFO: 34epoch:train:1601-1700batch: iter_time=9.051e-05, forward_time=0.148, loss_ctc=59.889, loss_att=44.909, acc=0.735, loss=49.403, backward_time=0.292, grad_norm=74.668, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.952e-05, train_time=1.495 +[gpua001:0/64] 2023-12-14 08:16:41,491 (trainer:737) INFO: 34epoch:train:1701-1800batch: iter_time=8.655e-04, forward_time=0.165, loss_ctc=64.121, loss_att=55.223, acc=0.707, loss=57.893, backward_time=0.292, grad_norm=61.290, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.952e-05, train_time=1.667 +[gpua001:0/64] 2023-12-14 08:19:10,177 (trainer:737) INFO: 34epoch:train:1801-1900batch: iter_time=9.076e-05, forward_time=0.223, loss_ctc=59.112, loss_att=46.348, acc=0.735, loss=50.177, backward_time=0.315, grad_norm=62.514, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.951e-05, train_time=1.488 +[gpua001:0/64] 2023-12-14 08:22:15,246 (trainer:737) INFO: 34epoch:train:1901-2000batch: iter_time=8.844e-05, forward_time=0.148, loss_ctc=71.009, loss_att=51.872, acc=0.733, loss=57.613, backward_time=0.343, grad_norm=84.772, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.950e-05, train_time=1.850 +[gpua001:0/64] 2023-12-14 08:24:33,021 (trainer:737) INFO: 34epoch:train:2001-2100batch: iter_time=8.326e-05, forward_time=0.146, loss_ctc=67.161, loss_att=60.270, acc=0.708, loss=62.338, backward_time=0.298, grad_norm=64.039, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.950e-05, train_time=1.378 +[gpua001:0/64] 2023-12-14 08:26:53,956 (trainer:737) INFO: 34epoch:train:2101-2200batch: iter_time=8.325e-05, forward_time=0.149, loss_ctc=70.846, loss_att=54.519, acc=0.717, loss=59.417, backward_time=0.289, grad_norm=75.926, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.949e-05, train_time=1.409 +[gpua001:0/64] 2023-12-14 08:29:21,397 (trainer:737) INFO: 34epoch:train:2201-2300batch: iter_time=8.504e-05, forward_time=0.147, loss_ctc=59.876, loss_att=45.852, acc=0.724, loss=50.059, backward_time=0.311, grad_norm=66.711, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.948e-05, train_time=1.474 +[gpua001:0/64] 2023-12-14 08:31:38,776 (trainer:737) INFO: 34epoch:train:2301-2400batch: iter_time=2.790e-04, forward_time=0.148, loss_ctc=58.403, loss_att=49.358, acc=0.724, loss=52.072, backward_time=0.282, grad_norm=73.438, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.947e-05, train_time=1.374 +[gpua001:0/64] 2023-12-14 08:34:01,049 (trainer:737) INFO: 34epoch:train:2401-2500batch: iter_time=2.795e-04, forward_time=0.149, loss_ctc=62.404, loss_att=47.538, acc=0.728, loss=51.998, backward_time=0.282, grad_norm=74.858, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.947e-05, train_time=1.422 +[gpua001:0/64] 2023-12-14 08:34:21,084 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-14 08:34:39,449 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 08:34:42,943 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 08:34:42,943 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-14 08:34:42,947 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 08:40:57,308 (trainer:737) INFO: 34epoch:train:2501-2600batch: iter_time=2.871, forward_time=0.205, loss_ctc=65.842, loss_att=57.440, acc=0.728, loss=59.961, backward_time=0.287, grad_norm=64.166, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.946e-05, train_time=4.162 +[gpua001:0/64] 2023-12-14 08:43:03,066 (trainer:737) INFO: 34epoch:train:2601-2700batch: iter_time=8.690e-05, forward_time=0.148, loss_ctc=63.405, loss_att=47.571, acc=0.742, loss=52.321, backward_time=0.283, grad_norm=57.241, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.945e-05, train_time=1.257 +[gpua001:0/64] 2023-12-14 08:45:15,007 (trainer:737) INFO: 34epoch:train:2701-2800batch: iter_time=9.478e-05, forward_time=0.148, loss_ctc=70.354, loss_att=54.409, acc=0.728, loss=59.192, backward_time=0.283, grad_norm=66.735, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.945e-05, train_time=1.319 +[gpua001:0/64] 2023-12-14 08:48:22,138 (trainer:737) INFO: 34epoch:train:2801-2900batch: iter_time=9.760e-05, forward_time=0.155, loss_ctc=63.649, loss_att=48.461, acc=0.722, loss=53.018, backward_time=0.292, grad_norm=64.193, clip=100.000, loss_scale=3.894e+31, optim_step_time=0.136, optim0_lr0=6.944e-05, train_time=1.871 +[gpua001:0/64] 2023-12-14 08:50:59,098 (trainer:737) INFO: 34epoch:train:2901-3000batch: iter_time=9.375e-05, forward_time=0.282, loss_ctc=64.422, loss_att=53.362, acc=0.720, loss=56.680, backward_time=0.309, grad_norm=66.821, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.943e-05, train_time=1.570 +[gpua001:0/64] 2023-12-14 08:53:33,459 (trainer:737) INFO: 34epoch:train:3001-3100batch: iter_time=9.340e-05, forward_time=0.149, loss_ctc=62.768, loss_att=51.090, acc=0.730, loss=54.594, backward_time=0.291, grad_norm=60.990, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.943e-05, train_time=1.543 +[gpua001:0/64] 2023-12-14 08:56:03,054 (trainer:737) INFO: 34epoch:train:3101-3200batch: iter_time=8.908e-05, forward_time=0.148, loss_ctc=64.493, loss_att=50.426, acc=0.739, loss=54.646, backward_time=0.305, grad_norm=61.487, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.942e-05, train_time=1.496 +[gpua001:0/64] 2023-12-14 08:58:40,358 (trainer:737) INFO: 34epoch:train:3201-3300batch: iter_time=8.856e-05, forward_time=0.148, loss_ctc=72.369, loss_att=59.373, acc=0.727, loss=63.272, backward_time=0.344, grad_norm=77.475, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.941e-05, train_time=1.573 +[gpua001:0/64] 2023-12-14 09:01:29,518 (trainer:737) INFO: 34epoch:train:3301-3400batch: iter_time=3.489e-04, forward_time=0.156, loss_ctc=64.681, loss_att=53.144, acc=0.732, loss=56.605, backward_time=0.305, grad_norm=55.725, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.940e-05, train_time=1.691 +[gpua001:0/64] 2023-12-14 09:04:20,616 (trainer:737) INFO: 34epoch:train:3401-3500batch: iter_time=9.756e-05, forward_time=0.264, loss_ctc=65.936, loss_att=48.241, acc=0.730, loss=53.549, backward_time=0.382, grad_norm=61.167, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=6.940e-05, train_time=1.711 +[gpua001:0/64] 2023-12-14 09:07:12,243 (trainer:737) INFO: 34epoch:train:3501-3600batch: iter_time=9.719e-05, forward_time=0.150, loss_ctc=60.826, loss_att=46.020, acc=0.738, loss=50.462, backward_time=0.332, grad_norm=63.428, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.939e-05, train_time=1.716 +[gpua001:0/64] 2023-12-14 09:10:01,822 (trainer:737) INFO: 34epoch:train:3601-3700batch: iter_time=8.913e-05, forward_time=0.149, loss_ctc=59.958, loss_att=50.340, acc=0.738, loss=53.226, backward_time=0.305, grad_norm=53.798, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.938e-05, train_time=1.696 +[gpua001:0/64] 2023-12-14 09:11:30,947 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-14 09:11:49,636 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 09:11:53,135 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 09:11:53,135 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-14 09:11:53,138 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 09:17:50,494 (trainer:737) INFO: 34epoch:train:3701-3800batch: iter_time=3.327, forward_time=0.181, loss_ctc=61.063, loss_att=50.499, acc=0.742, loss=53.668, backward_time=0.289, grad_norm=60.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.938e-05, train_time=4.686 +[gpua001:0/64] 2023-12-14 09:19:53,744 (trainer:737) INFO: 34epoch:train:3801-3900batch: iter_time=9.151e-05, forward_time=0.149, loss_ctc=67.483, loss_att=56.262, acc=0.724, loss=59.628, backward_time=0.279, grad_norm=69.557, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.937e-05, train_time=1.233 +[gpua001:0/64] 2023-12-14 09:21:57,826 (trainer:737) INFO: 34epoch:train:3901-4000batch: iter_time=9.139e-05, forward_time=0.148, loss_ctc=61.567, loss_att=44.727, acc=0.746, loss=49.779, backward_time=0.278, grad_norm=56.516, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.936e-05, train_time=1.241 +[gpua001:0/64] 2023-12-14 09:24:33,083 (trainer:737) INFO: 34epoch:train:4001-4100batch: iter_time=9.966e-05, forward_time=0.149, loss_ctc=74.839, loss_att=58.924, acc=0.714, loss=63.699, backward_time=0.284, grad_norm=96.401, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.936e-05, train_time=1.552 +[gpua001:0/64] 2023-12-14 09:27:18,594 (trainer:737) INFO: 34epoch:train:4101-4200batch: iter_time=8.772e-05, forward_time=0.166, loss_ctc=59.018, loss_att=44.697, acc=0.738, loss=48.994, backward_time=0.306, grad_norm=85.724, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.935e-05, train_time=1.655 +[gpua001:0/64] 2023-12-14 09:29:41,735 (trainer:737) INFO: 34epoch:train:4201-4300batch: iter_time=0.004, forward_time=0.230, loss_ctc=63.737, loss_att=54.293, acc=0.719, loss=57.126, backward_time=0.320, grad_norm=73.356, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.934e-05, train_time=1.431 +[gpua001:0/64] 2023-12-14 09:32:23,495 (trainer:737) INFO: 34epoch:train:4301-4400batch: iter_time=8.936e-05, forward_time=0.148, loss_ctc=59.387, loss_att=45.985, acc=0.743, loss=50.005, backward_time=0.293, grad_norm=79.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.934e-05, train_time=1.617 +[gpua001:0/64] 2023-12-14 09:35:03,124 (trainer:737) INFO: 34epoch:train:4401-4500batch: iter_time=8.884e-05, forward_time=0.149, loss_ctc=70.279, loss_att=52.573, acc=0.735, loss=57.885, backward_time=0.320, grad_norm=94.109, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.933e-05, train_time=1.596 +[gpua001:0/64] 2023-12-14 09:37:10,540 (trainer:737) INFO: 34epoch:train:4501-4600batch: iter_time=8.697e-05, forward_time=0.148, loss_ctc=66.765, loss_att=59.679, acc=0.725, loss=61.805, backward_time=0.282, grad_norm=65.211, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.932e-05, train_time=1.274 +[gpua001:0/64] 2023-12-14 09:39:19,352 (trainer:737) INFO: 34epoch:train:4601-4700batch: iter_time=8.921e-05, forward_time=0.149, loss_ctc=70.696, loss_att=54.027, acc=0.731, loss=59.028, backward_time=0.283, grad_norm=70.292, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.931e-05, train_time=1.288 +[gpua001:0/64] 2023-12-14 09:41:52,655 (trainer:737) INFO: 34epoch:train:4701-4800batch: iter_time=8.933e-05, forward_time=0.251, loss_ctc=59.556, loss_att=45.141, acc=0.738, loss=49.465, backward_time=0.333, grad_norm=74.743, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.931e-05, train_time=1.532 +[gpua001:0/64] 2023-12-14 09:44:40,510 (trainer:737) INFO: 34epoch:train:4801-4900batch: iter_time=9.446e-05, forward_time=0.169, loss_ctc=57.454, loss_att=47.845, acc=0.737, loss=50.728, backward_time=0.303, grad_norm=62.349, clip=100.000, loss_scale=7.788e+31, optim_step_time=0.135, optim0_lr0=6.930e-05, train_time=1.679 +[gpua001:0/64] 2023-12-14 09:47:14,676 (trainer:737) INFO: 34epoch:train:4901-5000batch: iter_time=9.317e-05, forward_time=0.148, loss_ctc=62.094, loss_att=48.318, acc=0.736, loss=52.451, backward_time=0.284, grad_norm=68.470, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.929e-05, train_time=1.542 +[gpua001:0/64] 2023-12-14 09:47:34,704 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-14 09:47:53,137 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 09:47:56,608 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 09:47:56,609 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-14 09:47:56,612 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 09:54:24,782 (trainer:737) INFO: 34epoch:train:5001-5100batch: iter_time=2.886, forward_time=0.196, loss_ctc=65.451, loss_att=57.221, acc=0.725, loss=59.690, backward_time=0.293, grad_norm=71.249, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.929e-05, train_time=4.301 +[gpua001:0/64] 2023-12-14 09:56:37,486 (trainer:737) INFO: 34epoch:train:5101-5200batch: iter_time=8.514e-05, forward_time=0.149, loss_ctc=63.591, loss_att=47.464, acc=0.738, loss=52.302, backward_time=0.278, grad_norm=59.860, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.928e-05, train_time=1.327 +[gpua001:0/64] 2023-12-14 09:58:49,386 (trainer:737) INFO: 34epoch:train:5201-5300batch: iter_time=8.402e-05, forward_time=0.176, loss_ctc=69.303, loss_att=54.362, acc=0.726, loss=58.844, backward_time=0.285, grad_norm=62.575, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=6.927e-05, train_time=1.317 +[gpua001:0/64] 2023-12-14 10:01:09,246 (trainer:737) INFO: 34epoch:train:5301-5400batch: iter_time=8.753e-05, forward_time=0.148, loss_ctc=63.486, loss_att=47.436, acc=0.726, loss=52.251, backward_time=0.281, grad_norm=93.833, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.927e-05, train_time=1.399 +[gpua001:0/64] 2023-12-14 10:03:27,080 (trainer:737) INFO: 34epoch:train:5401-5500batch: iter_time=8.977e-05, forward_time=0.149, loss_ctc=64.650, loss_att=53.467, acc=0.718, loss=56.822, backward_time=0.308, grad_norm=154.965, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.926e-05, train_time=1.379 +[gpua001:0/64] 2023-12-14 10:04:15,076 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 10:05:55,625 (trainer:737) INFO: 34epoch:train:5501-5600batch: iter_time=8.741e-05, forward_time=0.168, loss_ctc=62.364, loss_att=50.992, acc=0.720, loss=54.403, backward_time=0.309, grad_norm=96.976, clip=100.000, loss_scale=5.368e+31, optim_step_time=0.136, optim0_lr0=6.925e-05, train_time=1.485 +[gpua001:0/64] 2023-12-14 10:08:23,002 (trainer:737) INFO: 34epoch:train:5601-5700batch: iter_time=9.105e-05, forward_time=0.196, loss_ctc=63.777, loss_att=49.914, acc=0.740, loss=54.073, backward_time=0.301, grad_norm=90.685, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.925e-05, train_time=1.474 +[gpua001:0/64] 2023-12-14 10:10:32,350 (trainer:737) INFO: 34epoch:train:5701-5800batch: iter_time=9.041e-05, forward_time=0.148, loss_ctc=72.289, loss_att=57.375, acc=0.724, loss=61.849, backward_time=0.279, grad_norm=70.950, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.924e-05, train_time=1.293 +[gpua001:0/64] 2023-12-14 10:12:57,713 (trainer:737) INFO: 34epoch:train:5801-5900batch: iter_time=8.503e-05, forward_time=0.159, loss_ctc=64.302, loss_att=53.758, acc=0.716, loss=56.921, backward_time=0.309, grad_norm=91.084, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.923e-05, train_time=1.453 +[gpua001:0/64] 2023-12-14 10:15:36,505 (trainer:737) INFO: 34epoch:train:5901-6000batch: iter_time=8.714e-05, forward_time=0.148, loss_ctc=64.666, loss_att=47.560, acc=0.726, loss=52.692, backward_time=0.299, grad_norm=81.636, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.922e-05, train_time=1.587 +[gpua001:0/64] 2023-12-14 10:18:06,368 (trainer:737) INFO: 34epoch:train:6001-6100batch: iter_time=8.860e-05, forward_time=0.148, loss_ctc=59.920, loss_att=45.878, acc=0.732, loss=50.091, backward_time=0.296, grad_norm=100.475, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.922e-05, train_time=1.499 +[gpua001:0/64] 2023-12-14 10:20:29,820 (trainer:737) INFO: 34epoch:train:6101-6200batch: iter_time=8.336e-05, forward_time=0.189, loss_ctc=59.656, loss_att=48.950, acc=0.736, loss=52.162, backward_time=0.292, grad_norm=88.398, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.921e-05, train_time=1.434 +[gpua001:0/64] 2023-12-14 10:21:58,758 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-14 10:22:17,536 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 10:22:21,006 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 10:22:21,006 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-14 10:22:21,012 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 10:27:00,070 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 10:27:29,496 (trainer:737) INFO: 34epoch:train:6201-6300batch: iter_time=2.866, forward_time=0.180, loss_ctc=61.715, loss_att=51.482, acc=0.730, loss=54.552, backward_time=0.287, grad_norm=78.849, clip=100.000, loss_scale=3.565e+31, optim_step_time=0.136, optim0_lr0=6.920e-05, train_time=4.196 +[gpua001:0/64] 2023-12-14 10:29:33,891 (trainer:737) INFO: 34epoch:train:6301-6400batch: iter_time=8.336e-05, forward_time=0.151, loss_ctc=67.297, loss_att=55.693, acc=0.717, loss=59.174, backward_time=0.280, grad_norm=69.890, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.920e-05, train_time=1.244 +[gpua001:0/64] 2023-12-14 10:31:36,770 (trainer:737) INFO: 34epoch:train:6401-6500batch: iter_time=8.575e-05, forward_time=0.148, loss_ctc=61.190, loss_att=44.201, acc=0.746, loss=49.298, backward_time=0.279, grad_norm=72.851, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.919e-05, train_time=1.229 +[gpua001:0/64] 2023-12-14 10:33:53,912 (trainer:737) INFO: 34epoch:train:6501-6600batch: iter_time=8.605e-05, forward_time=0.153, loss_ctc=74.594, loss_att=58.159, acc=0.714, loss=63.089, backward_time=0.303, grad_norm=82.563, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.918e-05, train_time=1.371 +[gpua001:0/64] 2023-12-14 10:36:40,884 (trainer:737) INFO: 34epoch:train:6601-6700batch: iter_time=9.618e-05, forward_time=0.165, loss_ctc=58.800, loss_att=44.158, acc=0.740, loss=48.551, backward_time=0.295, grad_norm=67.588, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.918e-05, train_time=1.669 +[gpua001:0/64] 2023-12-14 10:39:13,846 (trainer:737) INFO: 34epoch:train:6701-6800batch: iter_time=9.594e-05, forward_time=0.184, loss_ctc=63.317, loss_att=53.814, acc=0.712, loss=56.665, backward_time=0.286, grad_norm=88.974, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.917e-05, train_time=1.529 +[gpua001:0/64] 2023-12-14 10:41:48,723 (trainer:737) INFO: 34epoch:train:6801-6900batch: iter_time=3.351e-04, forward_time=0.174, loss_ctc=58.319, loss_att=45.380, acc=0.739, loss=49.262, backward_time=0.291, grad_norm=101.225, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.916e-05, train_time=1.548 +[gpua001:0/64] 2023-12-14 10:44:20,742 (trainer:737) INFO: 34epoch:train:6901-7000batch: iter_time=9.172e-05, forward_time=0.168, loss_ctc=69.921, loss_att=50.711, acc=0.739, loss=56.474, backward_time=0.304, grad_norm=82.927, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.916e-05, train_time=1.520 +[gpua001:0/64] 2023-12-14 10:46:44,644 (trainer:737) INFO: 34epoch:train:7001-7100batch: iter_time=8.906e-05, forward_time=0.147, loss_ctc=66.485, loss_att=59.603, acc=0.712, loss=61.668, backward_time=0.281, grad_norm=68.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.915e-05, train_time=1.439 +[gpua001:0/64] 2023-12-14 10:49:09,154 (trainer:737) INFO: 34epoch:train:7101-7200batch: iter_time=9.145e-05, forward_time=0.153, loss_ctc=69.720, loss_att=53.499, acc=0.721, loss=58.365, backward_time=0.285, grad_norm=72.326, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.914e-05, train_time=1.445 +[gpua001:0/64] 2023-12-14 10:51:36,842 (trainer:737) INFO: 34epoch:train:7201-7300batch: iter_time=8.683e-05, forward_time=0.147, loss_ctc=59.173, loss_att=45.314, acc=0.729, loss=49.472, backward_time=0.290, grad_norm=59.383, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.913e-05, train_time=1.477 +[gpua001:0/64] 2023-12-14 10:53:53,431 (trainer:737) INFO: 34epoch:train:7301-7400batch: iter_time=0.002, forward_time=0.177, loss_ctc=57.083, loss_att=47.821, acc=0.732, loss=50.600, backward_time=0.293, grad_norm=65.895, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.913e-05, train_time=1.366 +[gpua001:0/64] 2023-12-14 10:56:18,075 (trainer:737) INFO: 34epoch:train:7401-7500batch: iter_time=8.837e-05, forward_time=0.157, loss_ctc=62.246, loss_att=47.362, acc=0.729, loss=51.828, backward_time=0.306, grad_norm=84.329, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.912e-05, train_time=1.446 +[gpua001:0/64] 2023-12-14 10:56:38,296 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-14 10:56:56,542 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 10:57:00,027 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 10:57:00,027 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-14 10:57:00,030 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 11:03:37,710 (trainer:737) INFO: 34epoch:train:7501-7600batch: iter_time=2.974, forward_time=0.178, loss_ctc=65.498, loss_att=57.138, acc=0.734, loss=59.646, backward_time=0.287, grad_norm=85.215, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.911e-05, train_time=4.395 +[gpua001:0/64] 2023-12-14 11:05:46,315 (trainer:737) INFO: 34epoch:train:7601-7700batch: iter_time=8.410e-05, forward_time=0.152, loss_ctc=62.489, loss_att=46.781, acc=0.748, loss=51.493, backward_time=0.282, grad_norm=89.513, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.911e-05, train_time=1.287 +[gpua001:0/64] 2023-12-14 11:08:11,751 (trainer:737) INFO: 34epoch:train:7701-7800batch: iter_time=9.152e-05, forward_time=0.173, loss_ctc=69.375, loss_att=54.171, acc=0.728, loss=58.732, backward_time=0.305, grad_norm=106.697, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.910e-05, train_time=1.454 +[gpua001:0/64] 2023-12-14 11:10:18,716 (trainer:737) INFO: 34epoch:train:7801-7900batch: iter_time=8.764e-05, forward_time=0.147, loss_ctc=62.975, loss_att=47.851, acc=0.728, loss=52.388, backward_time=0.280, grad_norm=92.015, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.909e-05, train_time=1.269 +[gpua001:0/64] 2023-12-14 11:12:46,500 (trainer:737) INFO: 34epoch:train:7901-8000batch: iter_time=8.525e-05, forward_time=0.169, loss_ctc=63.419, loss_att=52.406, acc=0.725, loss=55.709, backward_time=0.299, grad_norm=100.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.909e-05, train_time=1.478 +[gpua001:0/64] 2023-12-14 11:15:16,326 (trainer:737) INFO: 34epoch:train:8001-8100batch: iter_time=8.681e-05, forward_time=0.190, loss_ctc=62.750, loss_att=51.262, acc=0.731, loss=54.709, backward_time=0.306, grad_norm=74.708, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.908e-05, train_time=1.498 +[gpua001:0/64] 2023-12-14 11:17:30,026 (trainer:737) INFO: 34epoch:train:8101-8200batch: iter_time=8.369e-05, forward_time=0.151, loss_ctc=63.845, loss_att=49.764, acc=0.743, loss=53.989, backward_time=0.282, grad_norm=82.196, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.907e-05, train_time=1.337 +[gpua001:0/64] 2023-12-14 11:20:15,793 (trainer:737) INFO: 34epoch:train:8201-8300batch: iter_time=8.606e-05, forward_time=0.152, loss_ctc=72.182, loss_att=59.237, acc=0.728, loss=63.120, backward_time=0.301, grad_norm=79.802, clip=100.000, loss_scale=2.515e+31, optim_step_time=0.135, optim0_lr0=6.907e-05, train_time=1.658 +[gpua001:0/64] 2023-12-14 11:22:49,302 (trainer:737) INFO: 34epoch:train:8301-8400batch: iter_time=8.469e-05, forward_time=0.147, loss_ctc=64.186, loss_att=53.419, acc=0.731, loss=56.649, backward_time=0.335, grad_norm=142.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.906e-05, train_time=1.535 +[gpua001:0/64] 2023-12-14 11:25:06,033 (trainer:737) INFO: 34epoch:train:8401-8500batch: iter_time=8.119e-05, forward_time=0.150, loss_ctc=65.009, loss_att=47.463, acc=0.735, loss=52.727, backward_time=0.281, grad_norm=80.146, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.905e-05, train_time=1.367 +[gpua001:0/64] 2023-12-14 11:27:32,571 (trainer:737) INFO: 34epoch:train:8501-8600batch: iter_time=8.591e-05, forward_time=0.201, loss_ctc=59.720, loss_att=44.778, acc=0.745, loss=49.260, backward_time=0.300, grad_norm=72.954, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.905e-05, train_time=1.465 +[gpua001:0/64] 2023-12-14 11:29:58,602 (trainer:737) INFO: 34epoch:train:8601-8700batch: iter_time=9.908e-05, forward_time=0.172, loss_ctc=59.350, loss_att=49.105, acc=0.743, loss=52.179, backward_time=0.290, grad_norm=68.101, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.904e-05, train_time=1.460 +[gpua001:0/64] 2023-12-14 11:31:24,529 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-14 11:31:43,142 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 11:31:46,614 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 11:31:46,614 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-14 11:31:46,617 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 11:37:14,372 (trainer:737) INFO: 34epoch:train:8701-8800batch: iter_time=3.042, forward_time=0.173, loss_ctc=60.955, loss_att=51.145, acc=0.738, loss=54.088, backward_time=0.293, grad_norm=97.134, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.903e-05, train_time=4.357 +[gpua001:0/64] 2023-12-14 11:39:17,764 (trainer:737) INFO: 34epoch:train:8801-8900batch: iter_time=8.154e-05, forward_time=0.161, loss_ctc=67.228, loss_att=56.517, acc=0.714, loss=59.730, backward_time=0.296, grad_norm=69.154, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.902e-05, train_time=1.234 +[gpua001:0/64] 2023-12-14 11:41:45,719 (trainer:737) INFO: 34epoch:train:8901-9000batch: iter_time=8.343e-05, forward_time=0.150, loss_ctc=61.102, loss_att=44.310, acc=0.746, loss=49.348, backward_time=0.308, grad_norm=56.626, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.902e-05, train_time=1.479 +[gpua001:0/64] 2023-12-14 11:44:04,319 (trainer:737) INFO: 34epoch:train:9001-9100batch: iter_time=8.364e-05, forward_time=0.148, loss_ctc=74.392, loss_att=58.069, acc=0.715, loss=62.966, backward_time=0.288, grad_norm=81.633, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.901e-05, train_time=1.386 +[gpua001:0/64] 2023-12-14 11:46:38,499 (trainer:737) INFO: 34epoch:train:9101-9200batch: iter_time=8.434e-05, forward_time=0.148, loss_ctc=58.792, loss_att=44.381, acc=0.739, loss=48.705, backward_time=0.305, grad_norm=63.625, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.900e-05, train_time=1.542 +[gpua001:0/64] 2023-12-14 11:49:06,238 (trainer:737) INFO: 34epoch:train:9201-9300batch: iter_time=8.347e-05, forward_time=0.200, loss_ctc=63.450, loss_att=54.197, acc=0.712, loss=56.973, backward_time=0.298, grad_norm=66.207, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.900e-05, train_time=1.477 +[gpua001:0/64] 2023-12-14 11:51:30,907 (trainer:737) INFO: 34epoch:train:9301-9400batch: iter_time=8.256e-05, forward_time=0.188, loss_ctc=58.740, loss_att=45.497, acc=0.740, loss=49.470, backward_time=0.313, grad_norm=71.685, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.899e-05, train_time=1.447 +[gpua001:0/64] 2023-12-14 11:54:14,510 (trainer:737) INFO: 34epoch:train:9401-9500batch: iter_time=8.177e-05, forward_time=0.170, loss_ctc=69.877, loss_att=50.833, acc=0.739, loss=56.546, backward_time=0.324, grad_norm=70.537, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.898e-05, train_time=1.636 +[gpua001:0/64] 2023-12-14 11:56:44,265 (trainer:737) INFO: 34epoch:train:9501-9600batch: iter_time=8.470e-05, forward_time=0.147, loss_ctc=66.141, loss_att=59.451, acc=0.712, loss=61.458, backward_time=0.302, grad_norm=81.274, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.898e-05, train_time=1.498 +[gpua001:0/64] 2023-12-14 11:59:03,491 (trainer:737) INFO: 34epoch:train:9601-9700batch: iter_time=8.264e-05, forward_time=0.166, loss_ctc=69.888, loss_att=53.717, acc=0.720, loss=58.568, backward_time=0.306, grad_norm=71.456, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.897e-05, train_time=1.392 +[gpua001:0/64] 2023-12-14 12:01:38,678 (trainer:737) INFO: 34epoch:train:9701-9800batch: iter_time=8.743e-05, forward_time=0.158, loss_ctc=58.885, loss_att=45.140, acc=0.731, loss=49.264, backward_time=0.309, grad_norm=103.707, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.896e-05, train_time=1.551 +[gpua001:0/64] 2023-12-14 12:03:55,396 (trainer:737) INFO: 34epoch:train:9801-9900batch: iter_time=8.433e-05, forward_time=0.168, loss_ctc=57.054, loss_att=47.912, acc=0.733, loss=50.655, backward_time=0.296, grad_norm=62.688, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.896e-05, train_time=1.367 +[gpua001:0/64] 2023-12-14 12:06:36,001 (trainer:737) INFO: 34epoch:train:9901-10000batch: iter_time=8.024e-05, forward_time=0.153, loss_ctc=61.561, loss_att=46.946, acc=0.732, loss=51.330, backward_time=0.295, grad_norm=81.680, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.895e-05, train_time=1.606 +[gpua001:0/64] 2023-12-14 12:06:56,026 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-14 12:07:14,499 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 12:07:17,990 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 12:07:17,990 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-14 12:07:17,993 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 12:17:44,963 (trainer:737) INFO: 34epoch:train:10001-10100batch: iter_time=5.400, forward_time=0.201, loss_ctc=65.099, loss_att=56.366, acc=0.735, loss=58.986, backward_time=0.285, grad_norm=84.119, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.894e-05, train_time=6.689 +[gpua001:0/64] 2023-12-14 12:20:24,159 (trainer:737) INFO: 34epoch:train:10101-10200batch: iter_time=0.002, forward_time=0.414, loss_ctc=62.836, loss_att=46.560, acc=0.749, loss=51.442, backward_time=0.336, grad_norm=55.167, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.145, optim0_lr0=6.894e-05, train_time=1.591 +[gpua001:0/64] 2023-12-14 12:23:52,928 (trainer:737) INFO: 34epoch:train:10201-10300batch: iter_time=0.002, forward_time=0.353, loss_ctc=69.600, loss_att=54.439, acc=0.728, loss=58.987, backward_time=0.388, grad_norm=81.067, clip=100.000, loss_scale=5.030e+31, optim_step_time=0.143, optim0_lr0=6.893e-05, train_time=2.086 +[gpua001:0/64] 2023-12-14 12:26:49,005 (trainer:737) INFO: 34epoch:train:10301-10400batch: iter_time=0.005, forward_time=0.417, loss_ctc=62.852, loss_att=47.680, acc=0.728, loss=52.231, backward_time=0.374, grad_norm=77.466, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.153, optim0_lr0=6.892e-05, train_time=1.761 +[gpua001:0/64] 2023-12-14 12:29:40,083 (trainer:737) INFO: 34epoch:train:10401-10500batch: iter_time=7.590e-04, forward_time=0.273, loss_ctc=63.133, loss_att=52.341, acc=0.724, loss=55.579, backward_time=0.372, grad_norm=66.960, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.145, optim0_lr0=6.892e-05, train_time=1.711 +[gpua001:0/64] 2023-12-14 12:32:28,157 (trainer:737) INFO: 34epoch:train:10501-10600batch: iter_time=0.007, forward_time=0.439, loss_ctc=62.233, loss_att=51.017, acc=0.731, loss=54.382, backward_time=0.373, grad_norm=59.879, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=6.891e-05, train_time=1.676 +[gpua001:0/64] 2023-12-14 12:35:39,888 (trainer:737) INFO: 34epoch:train:10601-10700batch: iter_time=0.001, forward_time=0.437, loss_ctc=63.092, loss_att=49.460, acc=0.744, loss=53.550, backward_time=0.415, grad_norm=70.421, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.152, optim0_lr0=6.890e-05, train_time=1.917 +[gpua001:0/64] 2023-12-14 12:39:07,224 (trainer:737) INFO: 34epoch:train:10701-10800batch: iter_time=0.003, forward_time=0.637, loss_ctc=71.332, loss_att=58.660, acc=0.729, loss=62.462, backward_time=0.507, grad_norm=62.078, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.153, optim0_lr0=6.890e-05, train_time=2.070 +[gpua001:0/64] 2023-12-14 12:42:23,502 (trainer:737) INFO: 34epoch:train:10801-10900batch: iter_time=0.001, forward_time=0.491, loss_ctc=64.201, loss_att=53.654, acc=0.731, loss=56.818, backward_time=0.398, grad_norm=68.768, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.149, optim0_lr0=6.889e-05, train_time=1.961 +[gpua001:0/64] 2023-12-14 12:44:57,759 (trainer:737) INFO: 34epoch:train:10901-11000batch: iter_time=8.864e-05, forward_time=0.148, loss_ctc=64.279, loss_att=47.295, acc=0.737, loss=52.390, backward_time=0.286, grad_norm=72.384, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=6.888e-05, train_time=1.545 +[gpua001:0/64] 2023-12-14 12:45:00,142 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 12:47:57,288 (trainer:737) INFO: 34epoch:train:11001-11100batch: iter_time=9.007e-05, forward_time=0.148, loss_ctc=59.467, loss_att=44.421, acc=0.746, loss=48.935, backward_time=0.338, grad_norm=104.151, clip=100.000, loss_scale=4.097e+31, optim_step_time=0.135, optim0_lr0=6.887e-05, train_time=1.795 +[gpua001:0/64] 2023-12-14 12:50:38,724 (trainer:737) INFO: 34epoch:train:11101-11200batch: iter_time=6.969e-04, forward_time=0.280, loss_ctc=59.362, loss_att=49.550, acc=0.741, loss=52.494, backward_time=0.318, grad_norm=60.117, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.150, optim0_lr0=6.887e-05, train_time=1.613 +[gpua001:0/64] 2023-12-14 12:52:01,173 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-14 12:52:20,143 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 12:52:23,673 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 12:52:23,673 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-14 12:52:23,677 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 12:57:53,126 (trainer:737) INFO: 34epoch:train:11201-11300batch: iter_time=3.052, forward_time=0.194, loss_ctc=60.618, loss_att=49.772, acc=0.746, loss=53.026, backward_time=0.284, grad_norm=60.293, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.886e-05, train_time=4.344 +[gpua001:0/64] 2023-12-14 13:00:25,367 (trainer:737) INFO: 34epoch:train:11301-11400batch: iter_time=8.650e-05, forward_time=0.150, loss_ctc=67.396, loss_att=55.130, acc=0.730, loss=58.810, backward_time=0.364, grad_norm=68.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.885e-05, train_time=1.522 +[gpua001:0/64] 2023-12-14 13:03:07,117 (trainer:737) INFO: 34epoch:train:11401-11500batch: iter_time=5.254e-04, forward_time=0.205, loss_ctc=61.457, loss_att=44.709, acc=0.749, loss=49.733, backward_time=0.372, grad_norm=52.941, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.885e-05, train_time=1.617 +[gpua001:0/64] 2023-12-14 13:05:38,432 (trainer:737) INFO: 34epoch:train:11501-11600batch: iter_time=7.990e-05, forward_time=0.147, loss_ctc=74.078, loss_att=58.320, acc=0.717, loss=63.047, backward_time=0.301, grad_norm=72.381, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.884e-05, train_time=1.513 +[gpua001:0/64] 2023-12-14 13:08:13,717 (trainer:737) INFO: 34epoch:train:11601-11700batch: iter_time=8.343e-05, forward_time=0.148, loss_ctc=58.546, loss_att=44.230, acc=0.743, loss=48.524, backward_time=0.323, grad_norm=56.998, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.883e-05, train_time=1.553 +[gpua001:0/64] 2023-12-14 13:11:06,489 (trainer:737) INFO: 34epoch:train:11701-11800batch: iter_time=8.598e-05, forward_time=0.210, loss_ctc=63.416, loss_att=54.019, acc=0.721, loss=56.838, backward_time=0.325, grad_norm=74.636, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.883e-05, train_time=1.727 +[gpua001:0/64] 2023-12-14 13:13:32,908 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 13:13:49,846 (trainer:737) INFO: 34epoch:train:11801-11900batch: iter_time=8.686e-05, forward_time=0.148, loss_ctc=58.058, loss_att=45.009, acc=0.747, loss=48.924, backward_time=0.304, grad_norm=85.643, clip=100.000, loss_scale=3.831e+31, optim_step_time=0.135, optim0_lr0=6.882e-05, train_time=1.633 +[gpua001:0/64] 2023-12-14 13:16:52,341 (trainer:737) INFO: 34epoch:train:11901-12000batch: iter_time=5.012e-04, forward_time=0.202, loss_ctc=69.200, loss_att=52.098, acc=0.739, loss=57.229, backward_time=0.421, grad_norm=78.142, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.881e-05, train_time=1.824 +[gpua001:0/64] 2023-12-14 13:19:24,674 (trainer:737) INFO: 34epoch:train:12001-12100batch: iter_time=0.002, forward_time=0.255, loss_ctc=66.000, loss_att=59.243, acc=0.725, loss=61.270, backward_time=0.315, grad_norm=82.335, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.881e-05, train_time=1.524 +[gpua001:0/64] 2023-12-14 13:22:06,159 (trainer:737) INFO: 34epoch:train:12101-12200batch: iter_time=8.724e-05, forward_time=0.296, loss_ctc=69.772, loss_att=54.176, acc=0.732, loss=58.855, backward_time=0.367, grad_norm=80.201, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.155, optim0_lr0=6.880e-05, train_time=1.615 +[gpua001:0/64] 2023-12-14 13:23:09,544 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-14 13:24:47,111 (trainer:737) INFO: 34epoch:train:12201-12300batch: iter_time=9.231e-04, forward_time=0.213, loss_ctc=58.878, loss_att=44.489, acc=0.742, loss=48.806, backward_time=0.355, grad_norm=67.529, clip=100.000, loss_scale=1.465e+31, optim_step_time=0.138, optim0_lr0=6.879e-05, train_time=1.609 +[gpua001:0/64] 2023-12-14 13:27:49,097 (trainer:737) INFO: 34epoch:train:12301-12400batch: iter_time=2.484e-04, forward_time=0.191, loss_ctc=56.452, loss_att=46.517, acc=0.743, loss=49.498, backward_time=0.369, grad_norm=74.000, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.141, optim0_lr0=6.879e-05, train_time=1.820 +[gpua001:0/64] 2023-12-14 13:31:23,544 (trainer:737) INFO: 34epoch:train:12401-12500batch: iter_time=0.002, forward_time=0.425, loss_ctc=61.931, loss_att=47.831, acc=0.741, loss=52.061, backward_time=0.346, grad_norm=89.827, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.156, optim0_lr0=6.878e-05, train_time=2.140 +[gpua001:0/64] 2023-12-14 13:31:43,918 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-14 13:32:02,481 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 13:32:05,959 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 13:32:05,959 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-14 13:32:05,963 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 13:39:05,955 (trainer:737) INFO: 34epoch:train:12501-12600batch: iter_time=3.355, forward_time=0.181, loss_ctc=65.036, loss_att=57.704, acc=0.725, loss=59.904, backward_time=0.282, grad_norm=108.859, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.877e-05, train_time=4.626 +[gpua001:0/64] 2023-12-14 13:41:28,871 (trainer:737) INFO: 34epoch:train:12601-12700batch: iter_time=8.733e-05, forward_time=0.148, loss_ctc=62.808, loss_att=46.516, acc=0.743, loss=51.403, backward_time=0.281, grad_norm=107.449, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.877e-05, train_time=1.429 +[gpua001:0/64] 2023-12-14 13:44:17,506 (trainer:737) INFO: 34epoch:train:12701-12800batch: iter_time=8.436e-05, forward_time=0.278, loss_ctc=69.221, loss_att=53.841, acc=0.731, loss=58.455, backward_time=0.369, grad_norm=72.050, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.144, optim0_lr0=6.876e-05, train_time=1.686 +[gpua001:0/64] 2023-12-14 13:47:14,468 (trainer:737) INFO: 34epoch:train:12801-12900batch: iter_time=9.004e-05, forward_time=0.150, loss_ctc=62.848, loss_att=47.354, acc=0.727, loss=52.002, backward_time=0.301, grad_norm=132.175, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.875e-05, train_time=1.769 +[gpua001:0/64] 2023-12-14 13:49:42,204 (trainer:737) INFO: 34epoch:train:12901-13000batch: iter_time=9.056e-05, forward_time=0.147, loss_ctc=62.806, loss_att=52.552, acc=0.721, loss=55.628, backward_time=0.321, grad_norm=62.246, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.875e-05, train_time=1.477 +[gpua001:0/64] 2023-12-14 13:52:22,444 (trainer:737) INFO: 34epoch:train:13001-13100batch: iter_time=8.672e-05, forward_time=0.147, loss_ctc=62.253, loss_att=50.827, acc=0.721, loss=54.255, backward_time=0.343, grad_norm=70.922, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.874e-05, train_time=1.602 +[gpua001:0/64] 2023-12-14 13:55:17,521 (trainer:737) INFO: 34epoch:train:13101-13200batch: iter_time=8.712e-05, forward_time=0.253, loss_ctc=63.124, loss_att=48.903, acc=0.744, loss=53.169, backward_time=0.361, grad_norm=69.752, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.143, optim0_lr0=6.873e-05, train_time=1.751 +[gpua001:0/64] 2023-12-14 13:58:05,322 (trainer:737) INFO: 34epoch:train:13201-13300batch: iter_time=8.499e-05, forward_time=0.147, loss_ctc=71.253, loss_att=56.693, acc=0.726, loss=61.061, backward_time=0.297, grad_norm=69.442, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.873e-05, train_time=1.678 +[gpua001:0/64] 2023-12-14 14:00:55,255 (trainer:737) INFO: 34epoch:train:13301-13400batch: iter_time=8.376e-05, forward_time=0.149, loss_ctc=63.519, loss_att=52.988, acc=0.721, loss=56.147, backward_time=0.335, grad_norm=73.889, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.872e-05, train_time=1.699 +[gpua001:0/64] 2023-12-14 14:03:46,405 (trainer:737) INFO: 34epoch:train:13401-13500batch: iter_time=8.609e-05, forward_time=0.147, loss_ctc=64.463, loss_att=47.567, acc=0.729, loss=52.636, backward_time=0.387, grad_norm=74.206, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.871e-05, train_time=1.711 +[gpua001:0/64] 2023-12-14 14:06:15,752 (trainer:737) INFO: 34epoch:train:13501-13600batch: iter_time=9.136e-05, forward_time=0.235, loss_ctc=59.613, loss_att=45.862, acc=0.732, loss=49.987, backward_time=0.310, grad_norm=73.956, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.871e-05, train_time=1.493 +[gpua001:0/64] 2023-12-14 14:08:36,250 (trainer:737) INFO: 34epoch:train:13601-13700batch: iter_time=8.801e-05, forward_time=0.148, loss_ctc=59.043, loss_att=48.619, acc=0.740, loss=51.746, backward_time=0.293, grad_norm=63.744, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.870e-05, train_time=1.405 +[gpua001:0/64] 2023-12-14 14:10:13,180 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-14 14:10:31,985 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 14:10:35,528 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 14:10:35,528 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-14 14:10:35,531 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-14 14:15:55,094 (trainer:737) INFO: 34epoch:train:13701-13800batch: iter_time=2.967, forward_time=0.179, loss_ctc=60.743, loss_att=50.171, acc=0.735, loss=53.342, backward_time=0.296, grad_norm=91.409, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.869e-05, train_time=4.388 +[gpua001:0/64] 2023-12-14 14:18:02,496 (trainer:737) INFO: 34epoch:train:13801-13900batch: iter_time=0.006, forward_time=0.158, loss_ctc=66.649, loss_att=54.889, acc=0.722, loss=58.417, backward_time=0.281, grad_norm=74.200, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.869e-05, train_time=1.273 +[gpua001:0/64] 2023-12-14 14:20:39,282 (trainer:737) INFO: 34epoch:train:13901-14000batch: iter_time=9.474e-05, forward_time=0.260, loss_ctc=60.584, loss_att=43.775, acc=0.749, loss=48.818, backward_time=0.346, grad_norm=64.067, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.868e-05, train_time=1.568 +[gpua001:0/64] 2023-12-14 14:23:04,960 (trainer:737) INFO: 34epoch:train:14001-14100batch: iter_time=1.027e-04, forward_time=0.149, loss_ctc=74.037, loss_att=57.415, acc=0.718, loss=62.401, backward_time=0.294, grad_norm=77.220, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.867e-05, train_time=1.456 +[gpua001:0/64] 2023-12-14 14:25:31,191 (trainer:737) INFO: 34epoch:train:14101-14200batch: iter_time=9.623e-05, forward_time=0.178, loss_ctc=58.006, loss_att=43.551, acc=0.742, loss=47.888, backward_time=0.294, grad_norm=63.253, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.866e-05, train_time=1.462 +[gpua001:0/64] 2023-12-14 14:27:51,344 (trainer:737) INFO: 34epoch:train:14201-14300batch: iter_time=8.831e-05, forward_time=0.240, loss_ctc=62.937, loss_att=53.447, acc=0.714, loss=56.294, backward_time=0.322, grad_norm=66.694, clip=100.000, loss_scale=1.572e+31, optim_step_time=0.138, optim0_lr0=6.866e-05, train_time=1.401 +[gpua001:0/64] 2023-12-14 14:30:31,190 (trainer:737) INFO: 34epoch:train:14301-14400batch: iter_time=8.335e-05, forward_time=0.147, loss_ctc=58.008, loss_att=44.957, acc=0.743, loss=48.872, backward_time=0.284, grad_norm=62.087, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.865e-05, train_time=1.599 +[gpua001:0/64] 2023-12-14 14:33:24,144 (trainer:737) INFO: 34epoch:train:14401-14500batch: iter_time=8.588e-05, forward_time=0.154, loss_ctc=69.489, loss_att=50.562, acc=0.740, loss=56.240, backward_time=0.310, grad_norm=68.005, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.864e-05, train_time=1.729 +[gpua001:0/64] 2023-12-14 14:36:20,674 (trainer:737) INFO: 34epoch:train:14501-14600batch: iter_time=9.531e-05, forward_time=0.235, loss_ctc=65.852, loss_att=59.537, acc=0.713, loss=61.432, backward_time=0.318, grad_norm=64.712, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.864e-05, train_time=1.763 +[gpua001:0/64] 2023-12-14 14:39:09,721 (trainer:737) INFO: 34epoch:train:14601-14700batch: iter_time=9.591e-05, forward_time=0.164, loss_ctc=69.343, loss_att=53.178, acc=0.723, loss=58.027, backward_time=0.347, grad_norm=89.774, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.863e-05, train_time=1.692 +[gpua001:0/64] 2023-12-14 14:41:20,689 (trainer:737) INFO: 34epoch:train:14701-14800batch: iter_time=9.333e-05, forward_time=0.153, loss_ctc=58.873, loss_att=45.011, acc=0.731, loss=49.170, backward_time=0.299, grad_norm=82.303, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.862e-05, train_time=1.310 +[gpua001:0/64] 2023-12-14 14:43:35,240 (trainer:737) INFO: 34epoch:train:14801-14900batch: iter_time=9.534e-05, forward_time=0.174, loss_ctc=56.751, loss_att=48.077, acc=0.732, loss=50.679, backward_time=0.287, grad_norm=68.728, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.862e-05, train_time=1.345 +[gpua001:0/64] 2023-12-14 14:46:04,741 (trainer:737) INFO: 34epoch:train:14901-15000batch: iter_time=9.566e-05, forward_time=0.242, loss_ctc=61.599, loss_att=46.800, acc=0.733, loss=51.240, backward_time=0.314, grad_norm=75.493, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.861e-05, train_time=1.494 +[gpua001:0/64] 2023-12-14 15:13:45,371 (trainer:343) INFO: 34epoch results: [train] iter_time=0.254, forward_time=0.188, loss_ctc=64.196, loss_att=51.014, acc=0.730, loss=54.969, backward_time=0.310, grad_norm=76.156, clip=100.000, loss_scale=3.303e+31, optim_step_time=0.137, optim0_lr0=6.912e-05, train_time=1.767, time=7 hours, 22 minutes and 14.34 seconds, total_count=510000, gpu_max_cached_mem_GB=38.227, [valid] loss_ctc=33.912, cer_ctc=0.176, loss_att=34.593, acc=0.719, cer=0.240, wer=0.990, loss=34.389, time=27 minutes and 14.83 seconds, total_count=158814, gpu_max_cached_mem_GB=38.227 +[gpua001:0/64] 2023-12-14 15:14:05,744 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua001:0/64] 2023-12-14 15:14:05,753 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/29epoch.pth +[gpua001:0/64] 2023-12-14 15:14:05,755 (trainer:272) INFO: 35/40epoch started. Estimated time to finish: 2 days, 1 hour and 22 minutes +[gpua001:0/64] 2023-12-14 15:14:06,540 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-14 15:14:24,405 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-14 15:14:27,802 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-14 15:14:27,802 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-14 15:14:27,806 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +srun: Job step aborted: Waiting up to 32 seconds for job step to finish. +slurmstepd: error: *** STEP 2746992.0 ON gpua001 CANCELLED AT 2023-12-14T15:15:15 *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.5.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.5.log new file mode 100644 index 0000000000000000000000000000000000000000..28fc836aa84fed3df9dee29ae5293e36dd8258eb --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.5.log @@ -0,0 +1,3809 @@ +# Running on gpua001.delta.ncsa.illinois.edu +# Started at Mon Dec 11 10:45:14 CST 2023 +# SLURMD_NODENAME=gpua001 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2744254 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1702485895 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2744254 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[001,006-008,031,033-034,037,046-047,056-057,082,091,093-094]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1702313095 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[001,006-008,031,033-034,037,046-047,056-057,082,091,093-094]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=1989186 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua001 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_0376c069-284d-4201-97e5-7148d984a414 +[gpua001:0/64] 2023-12-11 10:50:54,853 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua001:0/64] 2023-12-11 10:50:55,707 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua001:0/64] 2023-12-11 10:50:55,739 (s2t:464) INFO: Vocabulary size: 50002 +[gpua001:0/64] 2023-12-11 10:51:10,180 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua001:0/64] 2023-12-11 10:51:10,194 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua001:0/64] 2023-12-11 10:51:10,194 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua001:0/64] 2023-12-11 10:51:10,194 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua001:0/64] 2023-12-11 10:51:10,211 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua001:0/64] 2023-12-11 10:51:15,539 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 10:51:16,443 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 10:51:16,443 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua001:0/64] 2023-12-11 10:51:16,444 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 10:51:45,894 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua001:1989293:1989293 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> +gpua001:1989293:1989293 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua001:1989293:1989293 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua001:0/64] 2023-12-11 10:51:53,165 (trainer:284) INFO: 26/40epoch started +[gpua001:0/64] 2023-12-11 10:51:53,224 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-11 10:52:10,654 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 10:52:13,929 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 10:52:13,929 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-11 10:52:13,932 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua034:2843969:2843969 [1] NCCL INFO cudaDriverVersion 12020 +gpua034:2843969:2843969 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.34<0> +gpua034:2843969:2843969 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua034:2843969:2844045 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.34<0> +gpua034:2843969:2844045 [1] NCCL INFO Using network IB +gpua034:2843969:2844045 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua034:2843969:2844045 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua034:2843969:2844045 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua034:2843969:2844045 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua034:2843969:2844045 [1] NCCL INFO Connected all rings +gpua034:2843969:2844045 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua034:2843969:2844045 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua034:2843969:2844045 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua034:2843969:2844045 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua034:2843969:2844045 [1] NCCL INFO Connected all trees +gpua034:2843969:2844045 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua034:2843969:2844045 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua034:2843969:2844045 [1] NCCL INFO comm 0x9c6f7370 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua034:2843971:2843971 [3] NCCL INFO cudaDriverVersion 12020 +gpua034:2843971:2843971 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.34<0> +gpua034:2843971:2843971 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua034:2843971:2844046 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.34<0> +gpua034:2843971:2844046 [3] NCCL INFO Using network IB +gpua034:2843971:2844046 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua034:2843971:2844046 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua034:2843971:2844046 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua034:2843971:2844046 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua034:2843971:2844046 [3] NCCL INFO Connected all rings +gpua034:2843971:2844046 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua034:2843971:2844046 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua034:2843971:2844046 [3] NCCL INFO Connected all trees +gpua034:2843971:2844046 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua034:2843971:2844046 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua034:2843971:2844046 [3] NCCL INFO comm 0x17504330 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua034:2843968:2843968 [0] NCCL INFO cudaDriverVersion 12020 +gpua034:2843968:2843968 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.34<0> +gpua034:2843968:2843968 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua034:2843968:2844047 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.34<0> +gpua034:2843968:2844047 [0] NCCL INFO Using network IB +gpua034:2843968:2844047 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua034:2843968:2844047 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua034:2843968:2844047 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua034:2843968:2844047 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua034:2843968:2844047 [0] NCCL INFO Connected all rings +gpua034:2843968:2844047 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua034:2843968:2844047 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua034:2843968:2844047 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua034:2843968:2844047 [0] NCCL INFO Connected all trees +gpua034:2843968:2844047 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua034:2843968:2844047 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua034:2843968:2844047 [0] NCCL INFO comm 0xf0dda50 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua034:2843970:2843970 [2] NCCL INFO cudaDriverVersion 12020 +gpua034:2843970:2843970 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.34<0> +gpua034:2843970:2843970 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua034:2843970:2844044 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.34<0> +gpua034:2843970:2844044 [2] NCCL INFO Using network IB +gpua034:2843970:2844044 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua034:2843970:2844044 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua034:2843970:2844044 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua034:2843970:2844044 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua034:2843970:2844044 [2] NCCL INFO Connected all rings +gpua034:2843970:2844044 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua034:2843970:2844044 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua034:2843970:2844044 [2] NCCL INFO Connected all trees +gpua034:2843970:2844044 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua034:2843970:2844044 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua034:2843970:2844044 [2] NCCL INFO comm 0x30e0a8f0 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua046:1095498:1095498 [3] NCCL INFO cudaDriverVersion 12020 +gpua046:1095498:1095498 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> +gpua046:1095498:1095498 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua046:1095498:1095569 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> +gpua046:1095498:1095569 [3] NCCL INFO Using network IB +gpua046:1095498:1095569 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua046:1095498:1095569 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua046:1095498:1095569 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua046:1095498:1095569 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua046:1095498:1095569 [3] NCCL INFO Connected all rings +gpua046:1095498:1095569 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua046:1095498:1095569 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua046:1095498:1095569 [3] NCCL INFO Connected all trees +gpua046:1095498:1095569 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua046:1095498:1095569 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua046:1095498:1095569 [3] NCCL INFO comm 0xfb708d0 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua091:609432:609432 [0] NCCL INFO cudaDriverVersion 12020 +gpua091:609432:609432 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.91<0> +gpua091:609432:609432 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua091:609432:609503 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.91<0> +gpua091:609432:609503 [0] NCCL INFO Using network IB +gpua091:609432:609503 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua091:609432:609503 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua091:609432:609503 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua091:609432:609503 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua091:609432:609503 [0] NCCL INFO Connected all rings +gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua091:609432:609503 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua091:609432:609503 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua091:609432:609503 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua091:609432:609503 [0] NCCL INFO Connected all trees +gpua091:609432:609503 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua091:609432:609503 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua091:609432:609503 [0] NCCL INFO comm 0xe8f6ae60 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua091:609433:609433 [1] NCCL INFO cudaDriverVersion 12020 +gpua091:609433:609433 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.91<0> +gpua091:609433:609433 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua091:609433:609505 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.91<0> +gpua091:609433:609505 [1] NCCL INFO Using network IB +gpua091:609433:609505 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua091:609433:609505 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua091:609433:609505 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua091:609433:609505 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua091:609433:609505 [1] NCCL INFO Connected all rings +gpua091:609433:609505 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua091:609433:609505 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua091:609433:609505 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua091:609433:609505 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua091:609433:609505 [1] NCCL INFO Connected all trees +gpua091:609433:609505 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua091:609433:609505 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua091:609433:609505 [1] NCCL INFO comm 0xe148f20 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua091:609434:609434 [2] NCCL INFO cudaDriverVersion 12020 +gpua091:609434:609434 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.91<0> +gpua091:609434:609434 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua091:609434:609506 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.91<0> +gpua091:609434:609506 [2] NCCL INFO Using network IB +gpua091:609434:609506 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua091:609434:609506 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua091:609434:609506 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua091:609434:609506 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua091:609434:609506 [2] NCCL INFO Connected all rings +gpua091:609434:609506 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua091:609434:609506 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua091:609434:609506 [2] NCCL INFO Connected all trees +gpua091:609434:609506 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua091:609434:609506 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua091:609434:609506 [2] NCCL INFO comm 0x90ff44f0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua093:765100:765100 [2] NCCL INFO cudaDriverVersion 12020 +gpua093:765100:765100 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> +gpua093:765100:765100 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua093:765100:765178 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> +gpua093:765100:765178 [2] NCCL INFO Using network IB +gpua093:765100:765178 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua093:765100:765178 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua093:765100:765178 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua093:765100:765178 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua093:765100:765178 [2] NCCL INFO Connected all rings +gpua093:765100:765178 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua093:765100:765178 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua093:765100:765178 [2] NCCL INFO Connected all trees +gpua093:765100:765178 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua093:765100:765178 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua093:765100:765178 [2] NCCL INFO comm 0xe6014860 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:1028650:1028650 [2] NCCL INFO cudaDriverVersion 12020 +gpua031:1028650:1028650 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1028650:1028650 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1028650:1028729 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1028650:1028729 [2] NCCL INFO Using network IB +gpua031:1028650:1028729 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua031:1028650:1028729 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua031:1028650:1028729 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua031:1028650:1028729 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua031:1028650:1028729 [2] NCCL INFO Connected all rings +gpua031:1028650:1028729 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua031:1028650:1028729 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua031:1028650:1028729 [2] NCCL INFO Connected all trees +gpua031:1028650:1028729 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1028650:1028729 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1028650:1028729 [2] NCCL INFO comm 0x9e479ca0 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua037:2013665:2013665 [3] NCCL INFO cudaDriverVersion 12020 +gpua037:2013665:2013665 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> +gpua037:2013665:2013665 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua037:2013665:2013740 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> +gpua037:2013665:2013740 [3] NCCL INFO Using network IB +gpua037:2013665:2013740 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua037:2013665:2013740 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua037:2013665:2013740 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua037:2013665:2013740 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua037:2013665:2013740 [3] NCCL INFO Connected all rings +gpua037:2013665:2013740 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua037:2013665:2013740 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua037:2013665:2013740 [3] NCCL INFO Connected all trees +gpua037:2013665:2013740 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua037:2013665:2013740 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua037:2013665:2013740 [3] NCCL INFO comm 0x9d12e790 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua031:1028651:1028651 [3] NCCL INFO cudaDriverVersion 12020 +gpua031:1028651:1028651 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1028651:1028651 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1028651:1028728 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1028651:1028728 [3] NCCL INFO Using network IB +gpua031:1028651:1028728 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua031:1028651:1028728 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua031:1028651:1028728 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua031:1028651:1028728 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua031:1028651:1028728 [3] NCCL INFO Connected all rings +gpua031:1028651:1028728 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua031:1028651:1028728 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua007:648245:648245 [1] NCCL INFO cudaDriverVersion 12020 +gpua007:648245:648245 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:648245:648245 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:648245:648331 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:648245:648331 [1] NCCL INFO Using network IB +gpua007:648245:648331 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua007:648245:648331 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua007:648245:648331 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua007:648245:648331 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua007:648245:648331 [1] NCCL INFO Connected all rings +gpua007:648245:648331 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua007:648245:648331 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua031:1028651:1028728 [3] NCCL INFO Connected all trees +gpua031:1028651:1028728 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1028651:1028728 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1028651:1028728 [3] NCCL INFO comm 0x179ef120 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua007:648245:648331 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua007:648245:648331 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua007:648245:648331 [1] NCCL INFO Connected all trees +gpua007:648245:648331 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:648245:648331 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:648245:648331 [1] NCCL INFO comm 0x98c6be0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua007:648244:648244 [0] NCCL INFO cudaDriverVersion 12020 +gpua007:648244:648244 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:648244:648244 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:648244:648332 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:648244:648332 [0] NCCL INFO Using network IB +gpua007:648244:648332 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua007:648244:648332 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua007:648244:648332 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua007:648244:648332 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua007:648244:648332 [0] NCCL INFO Connected all rings +gpua007:648244:648332 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua007:648244:648332 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua007:648244:648332 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua007:648244:648332 [0] NCCL INFO Connected all trees +gpua007:648244:648332 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:648244:648332 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:648244:648332 [0] NCCL INFO comm 0x9b18c910 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua057:762656:762656 [1] NCCL INFO cudaDriverVersion 12020 +gpua057:762656:762656 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:762656:762656 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:762656:762727 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:762656:762727 [1] NCCL INFO Using network IB +gpua057:762656:762727 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua057:762656:762727 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua057:762656:762727 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:762656:762727 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:762656:762727 [1] NCCL INFO Connected all rings +gpua057:762656:762727 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua057:762656:762727 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua093:765098:765098 [0] NCCL INFO cudaDriverVersion 12020 +gpua093:765098:765098 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> +gpua093:765098:765098 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua093:765098:765180 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> +gpua093:765098:765180 [0] NCCL INFO Using network IB +gpua093:765098:765180 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua093:765098:765180 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua093:765098:765180 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua093:765098:765180 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua093:765098:765180 [0] NCCL INFO Connected all rings +gpua057:762656:762727 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:762656:762727 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:762656:762727 [1] NCCL INFO Connected all trees +gpua057:762656:762727 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:762656:762727 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:762656:762727 [1] NCCL INFO comm 0x9aa04f70 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua093:765098:765180 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua093:765098:765180 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua093:765098:765180 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua093:765098:765180 [0] NCCL INFO Connected all trees +gpua093:765098:765180 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua093:765098:765180 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua093:765098:765180 [0] NCCL INFO comm 0x2e51e530 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:648246:648246 [2] NCCL INFO cudaDriverVersion 12020 +gpua007:648246:648246 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:648246:648246 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:648246:648330 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:648246:648330 [2] NCCL INFO Using network IB +gpua007:648246:648330 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua007:648246:648330 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua007:648246:648330 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua007:648246:648330 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua007:648246:648330 [2] NCCL INFO Connected all rings +gpua007:648246:648330 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua007:648246:648330 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua037:2013663:2013663 [1] NCCL INFO cudaDriverVersion 12020 +gpua037:2013663:2013663 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> +gpua037:2013663:2013663 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua037:2013663:2013737 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> +gpua037:2013663:2013737 [1] NCCL INFO Using network IB +gpua037:2013663:2013737 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua037:2013663:2013737 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua037:2013663:2013737 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua037:2013663:2013737 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua037:2013663:2013737 [1] NCCL INFO Connected all rings +gpua037:2013663:2013737 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua037:2013663:2013737 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua007:648246:648330 [2] NCCL INFO Connected all trees +gpua007:648246:648330 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:648246:648330 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:648246:648330 [2] NCCL INFO comm 0xe3edc60 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua037:2013663:2013737 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua037:2013663:2013737 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua037:2013663:2013737 [1] NCCL INFO Connected all trees +gpua037:2013663:2013737 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua037:2013663:2013737 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua037:2013663:2013737 [1] NCCL INFO comm 0xcb455a0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua047:1156455:1156455 [2] NCCL INFO cudaDriverVersion 12020 +gpua047:1156455:1156455 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1156455:1156455 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1156455:1156540 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1156455:1156540 [2] NCCL INFO Using network IB +gpua047:1156455:1156540 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua047:1156455:1156540 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua047:1156455:1156540 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua047:1156455:1156540 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua047:1156455:1156540 [2] NCCL INFO Connected all rings +gpua047:1156455:1156540 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua047:1156455:1156540 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua047:1156455:1156540 [2] NCCL INFO Connected all trees +gpua047:1156455:1156540 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1156455:1156540 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1156455:1156540 [2] NCCL INFO comm 0xe219e920 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:1028649:1028649 [1] NCCL INFO cudaDriverVersion 12020 +gpua031:1028649:1028649 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1028649:1028649 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1028649:1028724 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1028649:1028724 [1] NCCL INFO Using network IB +gpua031:1028649:1028724 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua031:1028649:1028724 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua031:1028649:1028724 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua031:1028649:1028724 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua031:1028649:1028724 [1] NCCL INFO Connected all rings +gpua031:1028649:1028724 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua031:1028649:1028724 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua031:1028649:1028724 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua031:1028649:1028724 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua031:1028649:1028724 [1] NCCL INFO Connected all trees +gpua031:1028649:1028724 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1028649:1028724 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1028649:1028724 [1] NCCL INFO comm 0x154a9d10 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua057:762658:762658 [3] NCCL INFO cudaDriverVersion 12020 +gpua057:762658:762658 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:762658:762658 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:762658:762728 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:762658:762728 [3] NCCL INFO Using network IB +gpua057:762658:762728 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua057:762658:762728 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua057:762658:762728 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:762658:762728 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:762658:762728 [3] NCCL INFO Connected all rings +gpua057:762658:762728 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua057:762658:762728 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua046:1095496:1095496 [1] NCCL INFO cudaDriverVersion 12020 +gpua046:1095496:1095496 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> +gpua046:1095496:1095496 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua046:1095496:1095566 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> +gpua046:1095496:1095566 [1] NCCL INFO Using network IB +gpua046:1095496:1095566 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua046:1095496:1095566 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua046:1095496:1095566 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua046:1095496:1095566 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua046:1095496:1095566 [1] NCCL INFO Connected all rings +gpua046:1095496:1095566 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua046:1095496:1095566 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua057:762658:762728 [3] NCCL INFO Connected all trees +gpua057:762658:762728 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:762658:762728 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:762658:762728 [3] NCCL INFO comm 0x2ddfc710 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua094:2342545:2342545 [3] NCCL INFO cudaDriverVersion 12020 +gpua094:2342545:2342545 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.94<0> +gpua094:2342545:2342545 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua094:2342545:2342615 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.94<0> +gpua094:2342545:2342615 [3] NCCL INFO Using network IB +gpua094:2342545:2342615 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua094:2342545:2342615 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua094:2342545:2342615 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua094:2342545:2342615 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua094:2342545:2342615 [3] NCCL INFO Connected all rings +gpua094:2342545:2342615 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua094:2342545:2342615 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua046:1095496:1095566 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua046:1095496:1095566 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua046:1095496:1095566 [1] NCCL INFO Connected all trees +gpua046:1095496:1095566 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua046:1095496:1095566 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua046:1095496:1095566 [1] NCCL INFO comm 0x9a75b700 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua094:2342545:2342615 [3] NCCL INFO Connected all trees +gpua094:2342545:2342615 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua094:2342545:2342615 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua094:2342545:2342615 [3] NCCL INFO comm 0x98b14db0 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua094:2342543:2342543 [1] NCCL INFO cudaDriverVersion 12020 +gpua094:2342543:2342543 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.94<0> +gpua094:2342543:2342543 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua094:2342543:2342614 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.94<0> +gpua094:2342543:2342614 [1] NCCL INFO Using network IB +gpua094:2342543:2342614 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua094:2342543:2342614 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua094:2342543:2342614 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua094:2342543:2342614 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua094:2342543:2342614 [1] NCCL INFO Connected all rings +gpua094:2342543:2342614 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua094:2342543:2342614 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua094:2342543:2342614 [1] NCCL INFO Connected all trees +gpua094:2342543:2342614 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua094:2342543:2342614 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua094:2342543:2342614 [1] NCCL INFO comm 0x1a7cd9a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:869171:869171 [2] NCCL INFO cudaDriverVersion 12020 +gpua082:869171:869171 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:869171:869171 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:869171:869246 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:869171:869246 [2] NCCL INFO Using network IB +gpua082:869171:869246 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua082:869171:869246 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua082:869171:869246 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:869171:869246 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:869171:869246 [2] NCCL INFO Connected all rings +gpua082:869171:869246 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:869171:869246 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:869171:869246 [2] NCCL INFO Connected all trees +gpua082:869171:869246 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:869171:869246 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:869171:869246 [2] NCCL INFO comm 0x11c51160 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua037:2013664:2013664 [2] NCCL INFO cudaDriverVersion 12020 +gpua037:2013664:2013664 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> +gpua037:2013664:2013664 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua037:2013664:2013739 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> +gpua037:2013664:2013739 [2] NCCL INFO Using network IB +gpua037:2013664:2013739 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua037:2013664:2013739 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua037:2013664:2013739 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua037:2013664:2013739 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua037:2013664:2013739 [2] NCCL INFO Connected all rings +gpua037:2013664:2013739 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua037:2013664:2013739 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua037:2013664:2013739 [2] NCCL INFO Connected all trees +gpua037:2013664:2013739 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua037:2013664:2013739 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua037:2013664:2013739 [2] NCCL INFO comm 0xe4516fa0 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua007:648247:648247 [3] NCCL INFO cudaDriverVersion 12020 +gpua007:648247:648247 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:648247:648247 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:648247:648329 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:648247:648329 [3] NCCL INFO Using network IB +gpua007:648247:648329 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua007:648247:648329 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua007:648247:648329 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua007:648247:648329 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua007:648247:648329 [3] NCCL INFO Connected all rings +gpua007:648247:648329 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua007:648247:648329 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua007:648247:648329 [3] NCCL INFO Connected all trees +gpua007:648247:648329 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:648247:648329 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:648247:648329 [3] NCCL INFO comm 0x1d8907f0 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua006:3043759:3043759 [2] NCCL INFO cudaDriverVersion 12020 +gpua006:3043759:3043759 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:3043759:3043759 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:3043759:3043822 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:3043759:3043822 [2] NCCL INFO Using network IB +gpua006:3043759:3043822 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua006:3043759:3043822 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua006:3043759:3043822 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua006:3043759:3043822 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua006:3043759:3043822 [2] NCCL INFO Connected all rings +gpua006:3043759:3043822 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua006:3043759:3043822 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua006:3043759:3043822 [2] NCCL INFO Connected all trees +gpua006:3043759:3043822 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:3043759:3043822 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:3043759:3043822 [2] NCCL INFO comm 0x9cce6290 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua056:1415344:1415344 [1] NCCL INFO cudaDriverVersion 12020 +gpua056:1415344:1415344 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1415344:1415344 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1415344:1415423 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1415344:1415423 [1] NCCL INFO Using network IB +gpua056:1415344:1415423 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua056:1415344:1415423 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua056:1415344:1415423 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1415344:1415423 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1415344:1415423 [1] NCCL INFO Connected all rings +gpua056:1415344:1415423 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua056:1415344:1415423 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua056:1415344:1415423 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1415344:1415423 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1415344:1415423 [1] NCCL INFO Connected all trees +gpua056:1415344:1415423 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1415344:1415423 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1415344:1415423 [1] NCCL INFO comm 0x36d3d9a0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua033:1192777:1192777 [1] NCCL INFO cudaDriverVersion 12020 +gpua033:1192777:1192777 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:1192777:1192777 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:1192777:1192858 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:1192777:1192858 [1] NCCL INFO Using network IB +gpua033:1192777:1192858 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua033:1192777:1192858 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua033:1192777:1192858 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua033:1192777:1192858 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua033:1192777:1192858 [1] NCCL INFO Connected all rings +gpua033:1192777:1192858 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua033:1192777:1192858 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua033:1192777:1192858 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua033:1192777:1192858 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua033:1192777:1192858 [1] NCCL INFO Connected all trees +gpua033:1192777:1192858 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:1192777:1192858 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:1192777:1192858 [1] NCCL INFO comm 0x110984d0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua056:1415346:1415346 [3] NCCL INFO cudaDriverVersion 12020 +gpua056:1415346:1415346 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1415346:1415346 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1415346:1415418 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1415346:1415418 [3] NCCL INFO Using network IB +gpua056:1415346:1415418 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua056:1415346:1415418 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua056:1415346:1415418 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1415346:1415418 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1415346:1415418 [3] NCCL INFO Connected all rings +gpua056:1415346:1415418 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua056:1415346:1415418 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua033:1192779:1192779 [3] NCCL INFO cudaDriverVersion 12020 +gpua033:1192779:1192779 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:1192779:1192779 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:1192779:1192861 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:1192779:1192861 [3] NCCL INFO Using network IB +gpua033:1192779:1192861 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua033:1192779:1192861 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua033:1192779:1192861 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua033:1192779:1192861 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua033:1192779:1192861 [3] NCCL INFO Connected all rings +gpua033:1192779:1192861 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua033:1192779:1192861 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua056:1415346:1415418 [3] NCCL INFO Connected all trees +gpua056:1415346:1415418 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1415346:1415418 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1415346:1415418 [3] NCCL INFO comm 0xac69e40 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua057:762657:762657 [2] NCCL INFO cudaDriverVersion 12020 +gpua057:762657:762657 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:762657:762657 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:762657:762729 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:762657:762729 [2] NCCL INFO Using network IB +gpua057:762657:762729 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua057:762657:762729 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua057:762657:762729 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:762657:762729 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:762657:762729 [2] NCCL INFO Connected all rings +gpua057:762657:762729 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:762657:762729 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua033:1192779:1192861 [3] NCCL INFO Connected all trees +gpua033:1192779:1192861 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:1192779:1192861 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:1192779:1192861 [3] NCCL INFO comm 0xdfc0b60 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua057:762657:762729 [2] NCCL INFO Connected all trees +gpua057:762657:762729 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:762657:762729 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:762657:762729 [2] NCCL INFO comm 0x2c2daa20 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua057:762655:762655 [0] NCCL INFO cudaDriverVersion 12020 +gpua057:762655:762655 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:762655:762655 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:762655:762726 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:762655:762726 [0] NCCL INFO Using network IB +gpua057:762655:762726 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua057:762655:762726 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua057:762655:762726 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:762655:762726 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:762655:762726 [0] NCCL INFO Connected all rings +gpua057:762655:762726 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua057:762655:762726 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua057:762655:762726 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua057:762655:762726 [0] NCCL INFO Connected all trees +gpua057:762655:762726 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:762655:762726 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:762655:762726 [0] NCCL INFO comm 0x1c433d40 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua001:1989293:1989363 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> +gpua001:1989293:1989363 [0] NCCL INFO Using network IB +gpua001:1989293:1989363 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua001:1989293:1989363 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua001:1989293:1989363 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua001:1989293:1989363 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua001:1989293:1989363 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua001:1989293:1989363 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua001:1989293:1989363 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua001:1989293:1989363 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua001:1989293:1989363 [0] NCCL INFO Connected all rings +gpua001:1989293:1989363 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua001:1989293:1989363 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua001:1989293:1989363 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua001:1989293:1989363 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua001:1989293:1989363 [0] NCCL INFO Connected all trees +gpua001:1989293:1989363 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua001:1989293:1989363 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua001:1989293:1989363 [0] NCCL INFO comm 0xb8b1310 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua006:3043760:3043760 [3] NCCL INFO cudaDriverVersion 12020 +gpua006:3043760:3043760 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:3043760:3043760 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:3043760:3043820 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:3043760:3043820 [3] NCCL INFO Using network IB +gpua006:3043760:3043820 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua006:3043760:3043820 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua006:3043760:3043820 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua006:3043760:3043820 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua006:3043760:3043820 [3] NCCL INFO Connected all rings +gpua006:3043760:3043820 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua006:3043760:3043820 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua046:1095497:1095497 [2] NCCL INFO cudaDriverVersion 12020 +gpua046:1095497:1095497 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> +gpua046:1095497:1095497 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua046:1095497:1095567 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> +gpua046:1095497:1095567 [2] NCCL INFO Using network IB +gpua046:1095497:1095567 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua046:1095497:1095567 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua046:1095497:1095567 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua046:1095497:1095567 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua046:1095497:1095567 [2] NCCL INFO Connected all rings +gpua046:1095497:1095567 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua046:1095497:1095567 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua006:3043760:3043820 [3] NCCL INFO Connected all trees +gpua006:3043760:3043820 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:3043760:3043820 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:3043760:3043820 [3] NCCL INFO comm 0xc536df0 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua046:1095497:1095567 [2] NCCL INFO Connected all trees +gpua046:1095497:1095567 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua046:1095497:1095567 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua046:1095497:1095567 [2] NCCL INFO comm 0x1eeea080 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua006:3043758:3043758 [1] NCCL INFO cudaDriverVersion 12020 +gpua006:3043758:3043758 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:3043758:3043758 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:3043758:3043823 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:3043758:3043823 [1] NCCL INFO Using network IB +gpua006:3043758:3043823 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua006:3043758:3043823 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua006:3043758:3043823 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua006:3043758:3043823 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua006:3043758:3043823 [1] NCCL INFO Connected all rings +gpua006:3043758:3043823 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua006:3043758:3043823 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua094:2342544:2342544 [2] NCCL INFO cudaDriverVersion 12020 +gpua094:2342544:2342544 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.94<0> +gpua094:2342544:2342544 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua094:2342544:2342612 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.94<0> +gpua094:2342544:2342612 [2] NCCL INFO Using network IB +gpua094:2342544:2342612 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua094:2342544:2342612 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua094:2342544:2342612 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua094:2342544:2342612 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua094:2342544:2342612 [2] NCCL INFO Connected all rings +gpua094:2342544:2342612 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua094:2342544:2342612 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua006:3043758:3043823 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua006:3043758:3043823 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua006:3043758:3043823 [1] NCCL INFO Connected all trees +gpua006:3043758:3043823 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:3043758:3043823 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:3043758:3043823 [1] NCCL INFO comm 0x4b74bc20 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua094:2342544:2342612 [2] NCCL INFO Connected all trees +gpua094:2342544:2342612 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua094:2342544:2342612 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua094:2342544:2342612 [2] NCCL INFO comm 0x9c3eaf10 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua006:3043757:3043757 [0] NCCL INFO cudaDriverVersion 12020 +gpua006:3043757:3043757 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:3043757:3043757 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:3043757:3043821 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:3043757:3043821 [0] NCCL INFO Using network IB +gpua006:3043757:3043821 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua006:3043757:3043821 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua006:3043757:3043821 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3043757:3043821 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua006:3043757:3043821 [0] NCCL INFO Connected all rings +gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3043757:3043821 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3043757:3043821 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua006:3043757:3043821 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua006:3043757:3043821 [0] NCCL INFO Connected all trees +gpua006:3043757:3043821 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:3043757:3043821 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:3043757:3043821 [0] NCCL INFO comm 0xdbf8bb0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua001:1989295:1989295 [2] NCCL INFO cudaDriverVersion 12020 +gpua001:1989295:1989295 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> +gpua001:1989295:1989295 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua001:1989295:1989365 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> +gpua001:1989295:1989365 [2] NCCL INFO Using network IB +gpua001:1989295:1989365 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua001:1989295:1989365 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua001:1989295:1989365 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua001:1989295:1989365 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua001:1989295:1989365 [2] NCCL INFO Connected all rings +gpua001:1989295:1989365 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua001:1989295:1989365 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua082:869172:869172 [3] NCCL INFO cudaDriverVersion 12020 +gpua082:869172:869172 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:869172:869172 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:869172:869250 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:869172:869250 [3] NCCL INFO Using network IB +gpua082:869172:869250 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua082:869172:869250 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua082:869172:869250 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:869172:869250 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:869172:869250 [3] NCCL INFO Connected all rings +gpua082:869172:869250 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua082:869172:869250 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua001:1989295:1989365 [2] NCCL INFO Connected all trees +gpua001:1989295:1989365 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua001:1989295:1989365 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua001:1989295:1989365 [2] NCCL INFO comm 0xe4ea3c0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:869172:869250 [3] NCCL INFO Connected all trees +gpua082:869172:869250 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:869172:869250 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:869172:869250 [3] NCCL INFO comm 0xe24c160 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua046:1095495:1095495 [0] NCCL INFO cudaDriverVersion 12020 +gpua046:1095495:1095495 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.46<0> +gpua046:1095495:1095495 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua046:1095495:1095568 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.46<0> +gpua046:1095495:1095568 [0] NCCL INFO Using network IB +gpua046:1095495:1095568 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua046:1095495:1095568 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1095495:1095568 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua046:1095495:1095568 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua046:1095495:1095568 [0] NCCL INFO Connected all rings +gpua046:1095495:1095568 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua046:1095495:1095568 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1095495:1095568 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua046:1095495:1095568 [0] NCCL INFO Connected all trees +gpua046:1095495:1095568 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua046:1095495:1095568 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua046:1095495:1095568 [0] NCCL INFO comm 0x1346a160 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua047:1156454:1156454 [1] NCCL INFO cudaDriverVersion 12020 +gpua047:1156454:1156454 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1156454:1156454 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1156454:1156538 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1156454:1156538 [1] NCCL INFO Using network IB +gpua047:1156454:1156538 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua047:1156454:1156538 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua047:1156454:1156538 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua047:1156454:1156538 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua047:1156454:1156538 [1] NCCL INFO Connected all rings +gpua047:1156454:1156538 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua047:1156454:1156538 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua047:1156454:1156538 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua047:1156454:1156538 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua047:1156454:1156538 [1] NCCL INFO Connected all trees +gpua047:1156454:1156538 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1156454:1156538 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1156454:1156538 [1] NCCL INFO comm 0xd8b8ce0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua093:765101:765101 [3] NCCL INFO cudaDriverVersion 12020 +gpua093:765101:765101 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> +gpua093:765101:765101 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua093:765101:765181 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> +gpua093:765101:765181 [3] NCCL INFO Using network IB +gpua093:765101:765181 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua093:765101:765181 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua093:765101:765181 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua093:765101:765181 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua093:765101:765181 [3] NCCL INFO Connected all rings +gpua093:765101:765181 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua093:765101:765181 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua047:1156456:1156456 [3] NCCL INFO cudaDriverVersion 12020 +gpua047:1156456:1156456 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1156456:1156456 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1156456:1156539 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1156456:1156539 [3] NCCL INFO Using network IB +gpua047:1156456:1156539 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua047:1156456:1156539 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua047:1156456:1156539 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua047:1156456:1156539 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua047:1156456:1156539 [3] NCCL INFO Connected all rings +gpua047:1156456:1156539 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua047:1156456:1156539 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua093:765101:765181 [3] NCCL INFO Connected all trees +gpua093:765101:765181 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua093:765101:765181 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua093:765101:765181 [3] NCCL INFO comm 0xec682c10 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua047:1156456:1156539 [3] NCCL INFO Connected all trees +gpua047:1156456:1156539 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1156456:1156539 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1156456:1156539 [3] NCCL INFO comm 0x2236ba20 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua082:869170:869170 [1] NCCL INFO cudaDriverVersion 12020 +gpua082:869170:869170 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:869170:869170 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:869170:869248 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:869170:869248 [1] NCCL INFO Using network IB +gpua082:869170:869248 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua082:869170:869248 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua082:869170:869248 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:869170:869248 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:869170:869248 [1] NCCL INFO Connected all rings +gpua082:869170:869248 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua082:869170:869248 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua082:869170:869248 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:869170:869248 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:869170:869248 [1] NCCL INFO Connected all trees +gpua082:869170:869248 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:869170:869248 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:869170:869248 [1] NCCL INFO comm 0x94b71090 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua008:2018089:2018089 [0] NCCL INFO cudaDriverVersion 12020 +gpua008:2018089:2018089 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2018089:2018089 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2018089:2018155 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2018089:2018155 [0] NCCL INFO Using network IB +gpua008:2018089:2018155 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua008:2018089:2018155 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua008:2018089:2018155 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2018089:2018155 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua008:2018089:2018155 [0] NCCL INFO Connected all rings +gpua008:2018089:2018155 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua008:2018089:2018155 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua008:2018089:2018155 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua008:2018089:2018155 [0] NCCL INFO Connected all trees +gpua008:2018089:2018155 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2018089:2018155 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2018089:2018155 [0] NCCL INFO comm 0x119308b0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua037:2013662:2013662 [0] NCCL INFO cudaDriverVersion 12020 +gpua037:2013662:2013662 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.37<0> +gpua037:2013662:2013662 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua037:2013662:2013738 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.37<0> +gpua037:2013662:2013738 [0] NCCL INFO Using network IB +gpua037:2013662:2013738 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua037:2013662:2013738 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua037:2013662:2013738 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua037:2013662:2013738 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua037:2013662:2013738 [0] NCCL INFO Connected all rings +gpua037:2013662:2013738 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua037:2013662:2013738 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua037:2013662:2013738 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua037:2013662:2013738 [0] NCCL INFO Connected all trees +gpua037:2013662:2013738 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua037:2013662:2013738 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua037:2013662:2013738 [0] NCCL INFO comm 0x932173c0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua008:2018091:2018091 [2] NCCL INFO cudaDriverVersion 12020 +gpua008:2018091:2018091 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2018091:2018091 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2018091:2018156 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2018091:2018156 [2] NCCL INFO Using network IB +gpua008:2018091:2018156 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua008:2018091:2018156 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua008:2018091:2018156 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua008:2018091:2018156 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua008:2018091:2018156 [2] NCCL INFO Connected all rings +gpua008:2018091:2018156 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua008:2018091:2018156 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua008:2018091:2018156 [2] NCCL INFO Connected all trees +gpua008:2018091:2018156 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2018091:2018156 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2018091:2018156 [2] NCCL INFO comm 0x22cd98c0 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua094:2342542:2342542 [0] NCCL INFO cudaDriverVersion 12020 +gpua094:2342542:2342542 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.94<0> +gpua094:2342542:2342542 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua094:2342542:2342613 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.94<0> +gpua094:2342542:2342613 [0] NCCL INFO Using network IB +gpua094:2342542:2342613 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua094:2342542:2342613 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua094:2342542:2342613 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua094:2342542:2342613 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua094:2342542:2342613 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua094:2342542:2342613 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua094:2342542:2342613 [0] NCCL INFO Connected all rings +gpua094:2342542:2342613 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua094:2342542:2342613 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua094:2342542:2342613 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua094:2342542:2342613 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua094:2342542:2342613 [0] NCCL INFO Connected all trees +gpua094:2342542:2342613 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua094:2342542:2342613 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua094:2342542:2342613 [0] NCCL INFO comm 0x1d94fc50 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1415343:1415343 [0] NCCL INFO cudaDriverVersion 12020 +gpua056:1415343:1415343 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1415343:1415343 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1415343:1415420 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1415343:1415420 [0] NCCL INFO Using network IB +gpua056:1415343:1415420 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua056:1415343:1415420 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1415343:1415420 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1415343:1415420 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1415343:1415420 [0] NCCL INFO Connected all rings +gpua047:1156453:1156453 [0] NCCL INFO cudaDriverVersion 12020 +gpua047:1156453:1156453 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.47<0> +gpua047:1156453:1156453 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua047:1156453:1156537 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.47<0> +gpua047:1156453:1156537 [0] NCCL INFO Using network IB +gpua047:1156453:1156537 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua047:1156453:1156537 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua047:1156453:1156537 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1156453:1156537 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua047:1156453:1156537 [0] NCCL INFO Connected all rings +gpua056:1415343:1415420 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1415343:1415420 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1415343:1415420 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua056:1415343:1415420 [0] NCCL INFO Connected all trees +gpua056:1415343:1415420 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1415343:1415420 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1415343:1415420 [0] NCCL INFO comm 0x9b6a6e50 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1156453:1156537 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1156453:1156537 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua047:1156453:1156537 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua047:1156453:1156537 [0] NCCL INFO Connected all trees +gpua047:1156453:1156537 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua047:1156453:1156537 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua047:1156453:1156537 [0] NCCL INFO comm 0x141e1f60 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1415345:1415345 [2] NCCL INFO cudaDriverVersion 12020 +gpua056:1415345:1415345 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1415345:1415345 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1415345:1415421 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1415345:1415421 [2] NCCL INFO Using network IB +gpua056:1415345:1415421 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua056:1415345:1415421 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua056:1415345:1415421 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1415345:1415421 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1415345:1415421 [2] NCCL INFO Connected all rings +gpua056:1415345:1415421 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1415345:1415421 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1415345:1415421 [2] NCCL INFO Connected all trees +gpua056:1415345:1415421 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1415345:1415421 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1415345:1415421 [2] NCCL INFO comm 0x1103a0e0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:1028648:1028648 [0] NCCL INFO cudaDriverVersion 12020 +gpua031:1028648:1028648 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:1028648:1028648 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:1028648:1028725 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:1028648:1028725 [0] NCCL INFO Using network IB +gpua031:1028648:1028725 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua031:1028648:1028725 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua031:1028648:1028725 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua031:1028648:1028725 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua031:1028648:1028725 [0] NCCL INFO Connected all rings +gpua031:1028648:1028725 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua031:1028648:1028725 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua031:1028648:1028725 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua031:1028648:1028725 [0] NCCL INFO Connected all trees +gpua031:1028648:1028725 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:1028648:1028725 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:1028648:1028725 [0] NCCL INFO comm 0xce63ae0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua093:765099:765099 [1] NCCL INFO cudaDriverVersion 12020 +gpua093:765099:765099 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> +gpua093:765099:765099 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua093:765099:765179 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> +gpua093:765099:765179 [1] NCCL INFO Using network IB +gpua093:765099:765179 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua093:765099:765179 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua093:765099:765179 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua093:765099:765179 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua093:765099:765179 [1] NCCL INFO Connected all rings +gpua093:765099:765179 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua093:765099:765179 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua093:765099:765179 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua093:765099:765179 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua093:765099:765179 [1] NCCL INFO Connected all trees +gpua093:765099:765179 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua093:765099:765179 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua093:765099:765179 [1] NCCL INFO comm 0x9a52b9d0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua008:2018090:2018090 [1] NCCL INFO cudaDriverVersion 12020 +gpua008:2018090:2018090 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2018090:2018090 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2018090:2018154 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2018090:2018154 [1] NCCL INFO Using network IB +gpua008:2018090:2018154 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua008:2018090:2018154 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua008:2018090:2018154 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua008:2018090:2018154 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua008:2018090:2018154 [1] NCCL INFO Connected all rings +gpua008:2018090:2018154 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua008:2018090:2018154 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua008:2018090:2018154 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua008:2018090:2018154 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua008:2018090:2018154 [1] NCCL INFO Connected all trees +gpua008:2018090:2018154 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2018090:2018154 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2018090:2018154 [1] NCCL INFO comm 0xdd8cabc0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua008:2018092:2018092 [3] NCCL INFO cudaDriverVersion 12020 +gpua008:2018092:2018092 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.8<0> +gpua008:2018092:2018092 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua008:2018092:2018157 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.8<0> +gpua008:2018092:2018157 [3] NCCL INFO Using network IB +gpua008:2018092:2018157 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua008:2018092:2018157 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua008:2018092:2018157 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua008:2018092:2018157 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua008:2018092:2018157 [3] NCCL INFO Connected all rings +gpua008:2018092:2018157 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua008:2018092:2018157 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua008:2018092:2018157 [3] NCCL INFO Connected all trees +gpua008:2018092:2018157 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua008:2018092:2018157 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua008:2018092:2018157 [3] NCCL INFO comm 0x1226bde0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua033:1192778:1192778 [2] NCCL INFO cudaDriverVersion 12020 +gpua033:1192778:1192778 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:1192778:1192778 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:1192778:1192864 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:1192778:1192864 [2] NCCL INFO Using network IB +gpua033:1192778:1192864 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua033:1192778:1192864 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua033:1192778:1192864 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua033:1192778:1192864 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua033:1192778:1192864 [2] NCCL INFO Connected all rings +gpua033:1192778:1192864 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua033:1192778:1192864 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua033:1192778:1192864 [2] NCCL INFO Connected all trees +gpua033:1192778:1192864 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:1192778:1192864 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:1192778:1192864 [2] NCCL INFO comm 0x1e20e5b0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua033:1192776:1192776 [0] NCCL INFO cudaDriverVersion 12020 +gpua033:1192776:1192776 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:1192776:1192776 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:1192776:1192860 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:1192776:1192860 [0] NCCL INFO Using network IB +gpua033:1192776:1192860 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua033:1192776:1192860 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua033:1192776:1192860 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua033:1192776:1192860 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua033:1192776:1192860 [0] NCCL INFO Connected all rings +gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua033:1192776:1192860 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua033:1192776:1192860 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua033:1192776:1192860 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua033:1192776:1192860 [0] NCCL INFO Connected all trees +gpua033:1192776:1192860 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:1192776:1192860 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:1192776:1192860 [0] NCCL INFO comm 0x16384c70 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua001:1989294:1989294 [1] NCCL INFO cudaDriverVersion 12020 +gpua001:1989294:1989294 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> +gpua001:1989294:1989294 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua001:1989294:1989366 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> +gpua001:1989294:1989366 [1] NCCL INFO Using network IB +gpua001:1989294:1989366 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua001:1989294:1989366 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua001:1989294:1989366 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua001:1989294:1989366 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua001:1989294:1989366 [1] NCCL INFO Connected all rings +gpua001:1989294:1989366 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua001:1989294:1989366 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua001:1989294:1989366 [1] NCCL INFO Connected all trees +gpua001:1989294:1989366 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua001:1989294:1989366 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua001:1989294:1989366 [1] NCCL INFO comm 0xfb76ec0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua091:609435:609435 [3] NCCL INFO cudaDriverVersion 12020 +gpua091:609435:609435 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.91<0> +gpua091:609435:609435 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua091:609435:609504 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.91<0> +gpua091:609435:609504 [3] NCCL INFO Using network IB +gpua091:609435:609504 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua091:609435:609504 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua091:609435:609504 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua091:609435:609504 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua091:609435:609504 [3] NCCL INFO Connected all rings +gpua091:609435:609504 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua091:609435:609504 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua091:609435:609504 [3] NCCL INFO Connected all trees +gpua091:609435:609504 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua091:609435:609504 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua091:609435:609504 [3] NCCL INFO comm 0xa8cb610 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua001:1989296:1989296 [3] NCCL INFO cudaDriverVersion 12020 +gpua001:1989296:1989296 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.1<0> +gpua001:1989296:1989296 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua001:1989296:1989364 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.1<0> +gpua001:1989296:1989364 [3] NCCL INFO Using network IB +gpua001:1989296:1989364 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua001:1989296:1989364 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua001:1989296:1989364 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua001:1989296:1989364 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua001:1989296:1989364 [3] NCCL INFO Connected all rings +gpua001:1989296:1989364 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua001:1989296:1989364 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua001:1989296:1989364 [3] NCCL INFO Connected all trees +gpua001:1989296:1989364 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua001:1989296:1989364 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua001:1989296:1989364 [3] NCCL INFO comm 0xedae2aa0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua082:869169:869169 [0] NCCL INFO cudaDriverVersion 12020 +gpua082:869169:869169 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:869169:869169 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:869169:869244 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:869169:869244 [0] NCCL INFO Using network IB +gpua082:869169:869244 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua082:869169:869244 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:869169:869244 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:869169:869244 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:869169:869244 [0] NCCL INFO Connected all rings +gpua082:869169:869244 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua082:869169:869244 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:869169:869244 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:869169:869244 [0] NCCL INFO Connected all trees +gpua082:869169:869244 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:869169:869244 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:869169:869244 [0] NCCL INFO comm 0xa671bd60 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +[gpua001:0/64] 2023-12-11 11:02:10,529 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua001:0/64] 2023-12-11 11:03:51,121 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-11 11:05:17,253 (trainer:737) INFO: 26epoch:train:1-100batch: iter_time=5.087, forward_time=0.241, loss_ctc=62.741, loss_att=53.285, acc=0.698, loss=56.122, backward_time=0.407, grad_norm=81.328, clip=100.000, loss_scale=1.629e+31, optim_step_time=0.134, optim0_lr0=8.000e-05, train_time=8.040 +[gpua001:0/64] 2023-12-11 11:09:55,519 (trainer:737) INFO: 26epoch:train:101-200batch: iter_time=8.601e-05, forward_time=0.141, loss_ctc=66.285, loss_att=47.878, acc=0.715, loss=53.400, backward_time=0.496, grad_norm=74.847, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.129, optim0_lr0=7.999e-05, train_time=2.783 +[gpua001:0/64] 2023-12-11 11:14:43,295 (trainer:737) INFO: 26epoch:train:201-300batch: iter_time=8.708e-05, forward_time=0.203, loss_ctc=67.211, loss_att=54.000, acc=0.711, loss=57.964, backward_time=0.477, grad_norm=81.176, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.998e-05, train_time=2.877 +[gpua001:0/64] 2023-12-11 11:18:57,682 (trainer:737) INFO: 26epoch:train:301-400batch: iter_time=9.385e-05, forward_time=0.167, loss_ctc=68.308, loss_att=57.428, acc=0.717, loss=60.692, backward_time=0.457, grad_norm=95.730, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.997e-05, train_time=2.544 +[gpua001:0/64] 2023-12-11 11:22:57,808 (trainer:737) INFO: 26epoch:train:401-500batch: iter_time=8.904e-05, forward_time=0.143, loss_ctc=64.940, loss_att=48.558, acc=0.718, loss=53.473, backward_time=0.368, grad_norm=97.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.996e-05, train_time=2.401 +[gpua001:0/64] 2023-12-11 11:27:08,761 (trainer:737) INFO: 26epoch:train:501-600batch: iter_time=9.440e-05, forward_time=0.142, loss_ctc=70.744, loss_att=57.844, acc=0.714, loss=61.714, backward_time=0.440, grad_norm=76.618, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.995e-05, train_time=2.509 +[gpua001:0/64] 2023-12-11 11:31:36,782 (trainer:737) INFO: 26epoch:train:601-700batch: iter_time=9.023e-05, forward_time=0.197, loss_ctc=65.872, loss_att=53.220, acc=0.711, loss=57.015, backward_time=0.451, grad_norm=74.209, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.994e-05, train_time=2.680 +[gpua001:0/64] 2023-12-11 11:36:06,363 (trainer:737) INFO: 26epoch:train:701-800batch: iter_time=8.682e-05, forward_time=0.143, loss_ctc=66.793, loss_att=53.658, acc=0.709, loss=57.598, backward_time=0.413, grad_norm=82.363, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=7.993e-05, train_time=2.696 +[gpua001:0/64] 2023-12-11 11:40:27,945 (trainer:737) INFO: 26epoch:train:801-900batch: iter_time=8.431e-05, forward_time=0.143, loss_ctc=67.818, loss_att=52.073, acc=0.724, loss=56.797, backward_time=0.346, grad_norm=152.814, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=7.992e-05, train_time=2.616 +[gpua001:0/64] 2023-12-11 11:44:04,729 (trainer:737) INFO: 26epoch:train:901-1000batch: iter_time=8.529e-05, forward_time=0.143, loss_ctc=84.557, loss_att=66.859, acc=0.693, loss=72.168, backward_time=0.372, grad_norm=119.509, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.130, optim0_lr0=7.991e-05, train_time=2.168 +[gpua001:0/64] 2023-12-11 11:47:59,247 (trainer:737) INFO: 26epoch:train:1001-1100batch: iter_time=1.807e-04, forward_time=0.188, loss_ctc=63.870, loss_att=51.894, acc=0.697, loss=55.487, backward_time=0.400, grad_norm=70.772, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.990e-05, train_time=2.344 +[gpua001:0/64] 2023-12-11 11:51:30,204 (trainer:737) INFO: 26epoch:train:1101-1200batch: iter_time=8.205e-05, forward_time=0.182, loss_ctc=74.161, loss_att=57.177, acc=0.697, loss=62.272, backward_time=0.427, grad_norm=70.843, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.989e-05, train_time=2.110 +[gpua001:0/64] 2023-12-11 11:53:32,916 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-11 11:53:50,713 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 11:53:54,097 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 11:53:54,097 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-11 11:53:54,174 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 12:02:10,993 (trainer:737) INFO: 26epoch:train:1201-1300batch: iter_time=2.647, forward_time=0.191, loss_ctc=62.809, loss_att=51.277, acc=0.716, loss=54.736, backward_time=0.346, grad_norm=68.633, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.987e-05, train_time=6.407 +[gpua001:0/64] 2023-12-11 12:04:59,095 (trainer:737) INFO: 26epoch:train:1301-1400batch: iter_time=7.795e-05, forward_time=0.146, loss_ctc=61.787, loss_att=44.915, acc=0.720, loss=49.977, backward_time=0.310, grad_norm=63.159, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.986e-05, train_time=1.681 +[gpua001:0/64] 2023-12-11 12:07:26,444 (trainer:737) INFO: 26epoch:train:1401-1500batch: iter_time=7.376e-05, forward_time=0.147, loss_ctc=65.516, loss_att=48.760, acc=0.736, loss=53.787, backward_time=0.295, grad_norm=140.289, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.985e-05, train_time=1.473 +[gpua001:0/64] 2023-12-11 12:09:56,599 (trainer:737) INFO: 26epoch:train:1501-1600batch: iter_time=7.994e-05, forward_time=0.145, loss_ctc=68.441, loss_att=52.717, acc=0.720, loss=57.434, backward_time=0.317, grad_norm=68.139, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.984e-05, train_time=1.501 +[gpua001:0/64] 2023-12-11 12:12:46,517 (trainer:737) INFO: 26epoch:train:1601-1700batch: iter_time=7.889e-05, forward_time=0.145, loss_ctc=66.316, loss_att=56.756, acc=0.720, loss=59.624, backward_time=0.388, grad_norm=56.978, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.983e-05, train_time=1.699 +[gpua001:0/64] 2023-12-11 12:15:25,872 (trainer:737) INFO: 26epoch:train:1701-1800batch: iter_time=8.285e-05, forward_time=0.145, loss_ctc=64.099, loss_att=51.486, acc=0.728, loss=55.270, backward_time=0.352, grad_norm=71.854, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=7.982e-05, train_time=1.593 +[gpua001:0/64] 2023-12-11 12:18:37,358 (trainer:737) INFO: 26epoch:train:1801-1900batch: iter_time=7.999e-05, forward_time=0.223, loss_ctc=67.768, loss_att=56.558, acc=0.726, loss=59.921, backward_time=0.375, grad_norm=78.775, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.981e-05, train_time=1.915 +[gpua001:0/64] 2023-12-11 12:21:34,467 (trainer:737) INFO: 26epoch:train:1901-2000batch: iter_time=6.670e-04, forward_time=0.192, loss_ctc=68.059, loss_att=52.814, acc=0.726, loss=57.387, backward_time=0.368, grad_norm=61.932, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.980e-05, train_time=1.770 +[gpua001:0/64] 2023-12-11 12:23:45,939 (trainer:737) INFO: 26epoch:train:2001-2100batch: iter_time=8.761e-05, forward_time=0.146, loss_ctc=61.247, loss_att=45.431, acc=0.734, loss=50.176, backward_time=0.288, grad_norm=70.248, clip=100.000, loss_scale=1.410e+31, optim_step_time=0.131, optim0_lr0=7.979e-05, train_time=1.315 +[gpua001:0/64] 2023-12-11 12:26:30,269 (trainer:737) INFO: 26epoch:train:2101-2200batch: iter_time=8.323e-05, forward_time=0.146, loss_ctc=87.902, loss_att=68.475, acc=0.706, loss=74.303, backward_time=0.318, grad_norm=114.605, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.978e-05, train_time=1.643 +[gpua001:0/64] 2023-12-11 12:29:16,817 (trainer:737) INFO: 26epoch:train:2201-2300batch: iter_time=8.797e-05, forward_time=0.146, loss_ctc=62.660, loss_att=50.713, acc=0.707, loss=54.297, backward_time=0.315, grad_norm=71.258, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.977e-05, train_time=1.665 +[gpua001:0/64] 2023-12-11 12:31:58,526 (trainer:737) INFO: 26epoch:train:2301-2400batch: iter_time=9.107e-05, forward_time=0.145, loss_ctc=68.421, loss_att=56.338, acc=0.708, loss=59.963, backward_time=0.302, grad_norm=71.861, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.976e-05, train_time=1.617 +[gpua001:0/64] 2023-12-11 12:34:50,634 (trainer:737) INFO: 26epoch:train:2401-2500batch: iter_time=7.878e-05, forward_time=0.145, loss_ctc=63.061, loss_att=48.494, acc=0.720, loss=52.864, backward_time=0.315, grad_norm=77.981, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.975e-05, train_time=1.721 +[gpua001:0/64] 2023-12-11 12:35:10,661 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-11 12:35:28,712 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 12:35:32,259 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 12:35:32,259 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-11 12:35:32,262 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 12:41:17,324 (trainer:737) INFO: 26epoch:train:2501-2600batch: iter_time=2.533, forward_time=0.191, loss_ctc=62.453, loss_att=50.943, acc=0.708, loss=54.396, backward_time=0.291, grad_norm=77.256, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.974e-05, train_time=3.867 +[gpua001:0/64] 2023-12-11 12:43:19,275 (trainer:737) INFO: 26epoch:train:2601-2700batch: iter_time=7.754e-05, forward_time=0.145, loss_ctc=65.363, loss_att=46.364, acc=0.722, loss=52.064, backward_time=0.280, grad_norm=57.872, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.973e-05, train_time=1.219 +[gpua001:0/64] 2023-12-11 12:45:48,718 (trainer:737) INFO: 26epoch:train:2701-2800batch: iter_time=7.884e-05, forward_time=0.145, loss_ctc=64.885, loss_att=51.815, acc=0.721, loss=55.736, backward_time=0.299, grad_norm=65.465, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.972e-05, train_time=1.494 +[gpua001:0/64] 2023-12-11 12:47:57,201 (trainer:737) INFO: 26epoch:train:2801-2900batch: iter_time=7.966e-05, forward_time=0.148, loss_ctc=66.448, loss_att=56.005, acc=0.723, loss=59.138, backward_time=0.280, grad_norm=67.296, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.971e-05, train_time=1.285 +[gpua001:0/64] 2023-12-11 12:50:00,304 (trainer:737) INFO: 26epoch:train:2901-3000batch: iter_time=7.746e-05, forward_time=0.145, loss_ctc=63.391, loss_att=47.147, acc=0.726, loss=52.020, backward_time=0.281, grad_norm=70.469, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.969e-05, train_time=1.231 +[gpua001:0/64] 2023-12-11 12:52:16,363 (trainer:737) INFO: 26epoch:train:3001-3100batch: iter_time=8.201e-05, forward_time=0.144, loss_ctc=69.905, loss_att=57.449, acc=0.716, loss=61.186, backward_time=0.288, grad_norm=97.069, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.968e-05, train_time=1.360 +[gpua001:0/64] 2023-12-11 12:54:41,166 (trainer:737) INFO: 26epoch:train:3101-3200batch: iter_time=8.018e-05, forward_time=0.145, loss_ctc=64.811, loss_att=52.511, acc=0.716, loss=56.201, backward_time=0.288, grad_norm=76.820, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.967e-05, train_time=1.448 +[gpua001:0/64] 2023-12-11 12:57:16,551 (trainer:737) INFO: 26epoch:train:3201-3300batch: iter_time=7.918e-05, forward_time=0.145, loss_ctc=66.062, loss_att=53.307, acc=0.710, loss=57.134, backward_time=0.286, grad_norm=54.362, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.966e-05, train_time=1.554 +[gpua001:0/64] 2023-12-11 12:59:41,116 (trainer:737) INFO: 26epoch:train:3301-3400batch: iter_time=8.376e-05, forward_time=0.145, loss_ctc=66.191, loss_att=51.218, acc=0.728, loss=55.710, backward_time=0.303, grad_norm=82.370, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.965e-05, train_time=1.445 +[gpua001:0/64] 2023-12-11 13:02:22,423 (trainer:737) INFO: 26epoch:train:3401-3500batch: iter_time=7.797e-05, forward_time=0.147, loss_ctc=80.065, loss_att=63.903, acc=0.699, loss=68.752, backward_time=0.296, grad_norm=108.448, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.964e-05, train_time=1.613 +[gpua001:0/64] 2023-12-11 13:04:44,005 (trainer:737) INFO: 26epoch:train:3501-3600batch: iter_time=7.921e-05, forward_time=0.153, loss_ctc=62.360, loss_att=51.013, acc=0.704, loss=54.417, backward_time=0.298, grad_norm=54.214, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.963e-05, train_time=1.416 +[gpua001:0/64] 2023-12-11 13:07:20,260 (trainer:737) INFO: 26epoch:train:3601-3700batch: iter_time=8.107e-05, forward_time=0.213, loss_ctc=71.362, loss_att=56.389, acc=0.701, loss=60.881, backward_time=0.305, grad_norm=66.277, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.962e-05, train_time=1.562 +[gpua001:0/64] 2023-12-11 13:08:50,785 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-11 13:09:09,171 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 13:09:12,566 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 13:09:12,566 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-11 13:09:12,616 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 13:18:26,512 (trainer:737) INFO: 26epoch:train:3701-3800batch: iter_time=2.723, forward_time=0.155, loss_ctc=61.942, loss_att=49.994, acc=0.720, loss=53.579, backward_time=0.312, grad_norm=59.389, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.961e-05, train_time=6.662 +[gpua001:0/64] 2023-12-11 13:21:09,607 (trainer:737) INFO: 26epoch:train:3801-3900batch: iter_time=7.225e-05, forward_time=0.145, loss_ctc=60.375, loss_att=43.646, acc=0.721, loss=48.664, backward_time=0.344, grad_norm=56.424, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.960e-05, train_time=1.631 +[gpua001:0/64] 2023-12-11 13:23:59,150 (trainer:737) INFO: 26epoch:train:3901-4000batch: iter_time=8.100e-05, forward_time=0.145, loss_ctc=64.628, loss_att=48.405, acc=0.735, loss=53.272, backward_time=0.348, grad_norm=91.686, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.959e-05, train_time=1.695 +[gpua001:0/64] 2023-12-11 13:26:54,395 (trainer:737) INFO: 26epoch:train:4001-4100batch: iter_time=8.248e-05, forward_time=0.145, loss_ctc=67.339, loss_att=51.827, acc=0.720, loss=56.480, backward_time=0.323, grad_norm=63.597, clip=100.000, loss_scale=2.819e+31, optim_step_time=0.131, optim0_lr0=7.958e-05, train_time=1.752 +[gpua001:0/64] 2023-12-11 13:29:51,069 (trainer:737) INFO: 26epoch:train:4101-4200batch: iter_time=8.314e-05, forward_time=0.145, loss_ctc=66.097, loss_att=57.035, acc=0.716, loss=59.753, backward_time=0.330, grad_norm=57.035, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.957e-05, train_time=1.767 +[gpua001:0/64] 2023-12-11 13:32:35,914 (trainer:737) INFO: 26epoch:train:4201-4300batch: iter_time=8.150e-05, forward_time=0.145, loss_ctc=63.519, loss_att=50.444, acc=0.724, loss=54.366, backward_time=0.298, grad_norm=62.042, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.956e-05, train_time=1.648 +[gpua001:0/64] 2023-12-11 13:35:39,180 (trainer:737) INFO: 26epoch:train:4301-4400batch: iter_time=7.925e-05, forward_time=0.144, loss_ctc=66.361, loss_att=55.637, acc=0.723, loss=58.854, backward_time=0.349, grad_norm=66.321, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.955e-05, train_time=1.832 +[gpua001:0/64] 2023-12-11 13:36:50,060 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-11 13:38:48,948 (trainer:737) INFO: 26epoch:train:4401-4500batch: iter_time=7.963e-05, forward_time=0.165, loss_ctc=68.014, loss_att=52.242, acc=0.721, loss=56.973, backward_time=0.329, grad_norm=85.542, clip=100.000, loss_scale=2.848e+31, optim_step_time=0.132, optim0_lr0=7.954e-05, train_time=1.897 +[gpua001:0/64] 2023-12-11 13:41:56,446 (trainer:737) INFO: 26epoch:train:4501-4600batch: iter_time=7.860e-05, forward_time=0.195, loss_ctc=60.514, loss_att=44.686, acc=0.734, loss=49.434, backward_time=0.361, grad_norm=54.408, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.953e-05, train_time=1.875 +[gpua001:0/64] 2023-12-11 13:45:07,048 (trainer:737) INFO: 26epoch:train:4601-4700batch: iter_time=8.088e-05, forward_time=0.155, loss_ctc=83.797, loss_att=66.986, acc=0.703, loss=72.029, backward_time=0.357, grad_norm=93.681, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.952e-05, train_time=1.906 +[gpua001:0/64] 2023-12-11 13:47:47,681 (trainer:737) INFO: 26epoch:train:4701-4800batch: iter_time=8.125e-05, forward_time=0.144, loss_ctc=61.468, loss_att=49.526, acc=0.706, loss=53.108, backward_time=0.368, grad_norm=71.387, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.951e-05, train_time=1.606 +[gpua001:0/64] 2023-12-11 13:50:24,237 (trainer:737) INFO: 26epoch:train:4801-4900batch: iter_time=7.979e-05, forward_time=0.144, loss_ctc=67.575, loss_att=55.220, acc=0.707, loss=58.927, backward_time=0.343, grad_norm=72.596, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.950e-05, train_time=1.565 +[gpua001:0/64] 2023-12-11 13:53:19,565 (trainer:737) INFO: 26epoch:train:4901-5000batch: iter_time=7.913e-05, forward_time=0.144, loss_ctc=62.291, loss_att=48.147, acc=0.719, loss=52.390, backward_time=0.304, grad_norm=65.118, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.948e-05, train_time=1.753 +[gpua001:0/64] 2023-12-11 13:53:39,797 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-11 13:53:57,740 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 13:54:01,164 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 13:54:01,164 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-11 13:54:01,182 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 14:04:16,411 (trainer:737) INFO: 26epoch:train:5001-5100batch: iter_time=2.811, forward_time=0.146, loss_ctc=61.405, loss_att=51.754, acc=0.716, loss=54.649, backward_time=0.327, grad_norm=112.000, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.947e-05, train_time=6.568 +[gpua001:0/64] 2023-12-11 14:11:59,900 (trainer:737) INFO: 26epoch:train:5101-5200batch: iter_time=8.554e-05, forward_time=0.146, loss_ctc=65.071, loss_att=45.546, acc=0.734, loss=51.403, backward_time=0.671, grad_norm=58.536, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.946e-05, train_time=4.635 +[gpua001:0/64] 2023-12-11 14:18:37,067 (trainer:737) INFO: 26epoch:train:5201-5300batch: iter_time=8.659e-05, forward_time=0.146, loss_ctc=64.601, loss_att=52.627, acc=0.726, loss=56.219, backward_time=0.749, grad_norm=76.698, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.945e-05, train_time=3.971 +[gpua001:0/64] 2023-12-11 14:25:10,142 (trainer:737) INFO: 26epoch:train:5301-5400batch: iter_time=8.501e-05, forward_time=0.167, loss_ctc=66.281, loss_att=55.537, acc=0.731, loss=58.760, backward_time=0.718, grad_norm=56.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.944e-05, train_time=3.931 +[gpua001:0/64] 2023-12-11 14:29:53,524 (trainer:737) INFO: 26epoch:train:5401-5500batch: iter_time=8.428e-05, forward_time=0.192, loss_ctc=62.859, loss_att=47.025, acc=0.733, loss=51.775, backward_time=0.417, grad_norm=68.152, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=7.943e-05, train_time=2.834 +[gpua001:0/64] 2023-12-11 14:33:50,206 (trainer:737) INFO: 26epoch:train:5501-5600batch: iter_time=8.925e-05, forward_time=0.166, loss_ctc=69.789, loss_att=57.280, acc=0.728, loss=61.033, backward_time=0.474, grad_norm=77.065, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.942e-05, train_time=2.366 +[gpua001:0/64] 2023-12-11 14:36:18,965 (trainer:737) INFO: 26epoch:train:5601-5700batch: iter_time=8.223e-05, forward_time=0.146, loss_ctc=64.025, loss_att=52.366, acc=0.727, loss=55.864, backward_time=0.305, grad_norm=54.273, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.941e-05, train_time=1.488 +[gpua001:0/64] 2023-12-11 14:39:25,540 (trainer:737) INFO: 26epoch:train:5701-5800batch: iter_time=8.328e-05, forward_time=0.146, loss_ctc=64.332, loss_att=52.315, acc=0.723, loss=55.920, backward_time=0.317, grad_norm=55.893, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.940e-05, train_time=1.866 +[gpua001:0/64] 2023-12-11 14:42:28,932 (trainer:737) INFO: 26epoch:train:5801-5900batch: iter_time=8.241e-05, forward_time=0.146, loss_ctc=66.161, loss_att=50.566, acc=0.741, loss=55.244, backward_time=0.339, grad_norm=52.920, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.939e-05, train_time=1.834 +[gpua001:0/64] 2023-12-11 14:44:46,885 (trainer:737) INFO: 26epoch:train:5901-6000batch: iter_time=8.274e-05, forward_time=0.146, loss_ctc=79.194, loss_att=65.642, acc=0.705, loss=69.708, backward_time=0.290, grad_norm=99.111, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.938e-05, train_time=1.379 +[gpua001:0/64] 2023-12-11 14:47:47,105 (trainer:737) INFO: 26epoch:train:6001-6100batch: iter_time=8.402e-05, forward_time=0.146, loss_ctc=61.959, loss_att=51.292, acc=0.713, loss=54.492, backward_time=0.343, grad_norm=63.359, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.937e-05, train_time=1.802 +[gpua001:0/64] 2023-12-11 14:50:31,610 (trainer:737) INFO: 26epoch:train:6101-6200batch: iter_time=9.107e-05, forward_time=0.145, loss_ctc=69.613, loss_att=55.245, acc=0.713, loss=59.556, backward_time=0.318, grad_norm=64.721, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.936e-05, train_time=1.645 +[gpua001:0/64] 2023-12-11 14:52:16,708 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-11 14:52:34,759 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 14:52:38,160 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 14:52:38,160 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-11 14:52:38,250 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 15:00:18,275 (trainer:737) INFO: 26epoch:train:6201-6300batch: iter_time=2.967, forward_time=0.205, loss_ctc=62.304, loss_att=49.767, acc=0.725, loss=53.528, backward_time=0.297, grad_norm=61.943, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.935e-05, train_time=5.866 +[gpua001:0/64] 2023-12-11 15:02:19,331 (trainer:737) INFO: 26epoch:train:6301-6400batch: iter_time=7.586e-05, forward_time=0.147, loss_ctc=60.358, loss_att=43.703, acc=0.728, loss=48.699, backward_time=0.282, grad_norm=52.636, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.934e-05, train_time=1.210 +[gpua001:0/64] 2023-12-11 15:05:20,427 (trainer:737) INFO: 26epoch:train:6401-6500batch: iter_time=8.101e-05, forward_time=0.146, loss_ctc=64.764, loss_att=47.981, acc=0.742, loss=53.016, backward_time=0.319, grad_norm=56.500, clip=100.000, loss_scale=3.225e+31, optim_step_time=0.131, optim0_lr0=7.933e-05, train_time=1.811 +[gpua001:0/64] 2023-12-11 15:07:54,781 (trainer:737) INFO: 26epoch:train:6501-6600batch: iter_time=8.217e-05, forward_time=0.145, loss_ctc=67.592, loss_att=52.695, acc=0.723, loss=57.164, backward_time=0.321, grad_norm=58.208, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.932e-05, train_time=1.543 +[gpua001:0/64] 2023-12-11 15:10:27,559 (trainer:737) INFO: 26epoch:train:6601-6700batch: iter_time=8.063e-05, forward_time=0.146, loss_ctc=65.269, loss_att=57.107, acc=0.723, loss=59.556, backward_time=0.317, grad_norm=54.405, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.931e-05, train_time=1.528 +[gpua001:0/64] 2023-12-11 15:13:24,529 (trainer:737) INFO: 26epoch:train:6701-6800batch: iter_time=8.112e-05, forward_time=0.146, loss_ctc=63.109, loss_att=50.644, acc=0.733, loss=54.383, backward_time=0.363, grad_norm=61.698, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.930e-05, train_time=1.769 +[gpua001:0/64] 2023-12-11 15:16:09,229 (trainer:737) INFO: 26epoch:train:6801-6900batch: iter_time=8.330e-05, forward_time=0.146, loss_ctc=66.540, loss_att=54.554, acc=0.734, loss=58.150, backward_time=0.309, grad_norm=58.220, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.929e-05, train_time=1.647 +[gpua001:0/64] 2023-12-11 15:18:35,527 (trainer:737) INFO: 26epoch:train:6901-7000batch: iter_time=8.108e-05, forward_time=0.148, loss_ctc=67.746, loss_att=52.569, acc=0.728, loss=57.122, backward_time=0.298, grad_norm=59.248, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.928e-05, train_time=1.463 +[gpua001:0/64] 2023-12-11 15:21:48,688 (trainer:737) INFO: 26epoch:train:7001-7100batch: iter_time=2.728e-04, forward_time=0.214, loss_ctc=60.326, loss_att=44.974, acc=0.738, loss=49.580, backward_time=0.334, grad_norm=55.909, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.927e-05, train_time=1.930 +[gpua001:0/64] 2023-12-11 15:24:27,762 (trainer:737) INFO: 26epoch:train:7101-7200batch: iter_time=7.827e-05, forward_time=0.196, loss_ctc=81.759, loss_att=68.130, acc=0.710, loss=72.218, backward_time=0.324, grad_norm=93.710, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.926e-05, train_time=1.591 +[gpua001:0/64] 2023-12-11 15:26:45,162 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-11 15:27:12,403 (trainer:737) INFO: 26epoch:train:7201-7300batch: iter_time=7.983e-05, forward_time=0.145, loss_ctc=60.896, loss_att=49.324, acc=0.715, loss=52.796, backward_time=0.353, grad_norm=62.379, clip=100.000, loss_scale=3.749e+31, optim_step_time=0.131, optim0_lr0=7.925e-05, train_time=1.646 +[gpua001:0/64] 2023-12-11 15:29:57,504 (trainer:737) INFO: 26epoch:train:7301-7400batch: iter_time=8.346e-05, forward_time=0.146, loss_ctc=66.472, loss_att=55.085, acc=0.715, loss=58.501, backward_time=0.325, grad_norm=67.639, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.923e-05, train_time=1.651 +[gpua001:0/64] 2023-12-11 15:32:44,023 (trainer:737) INFO: 26epoch:train:7401-7500batch: iter_time=7.784e-05, forward_time=0.145, loss_ctc=61.818, loss_att=47.819, acc=0.724, loss=52.019, backward_time=0.343, grad_norm=55.426, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.922e-05, train_time=1.665 +[gpua001:0/64] 2023-12-11 15:33:04,053 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-11 15:33:22,316 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 15:33:25,785 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 15:33:25,785 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-11 15:33:25,789 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 15:44:00,052 (trainer:737) INFO: 26epoch:train:7501-7600batch: iter_time=3.091, forward_time=0.145, loss_ctc=61.356, loss_att=49.465, acc=0.721, loss=53.032, backward_time=0.282, grad_norm=61.676, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.921e-05, train_time=6.760 +[gpua001:0/64] 2023-12-11 15:46:25,379 (trainer:737) INFO: 26epoch:train:7601-7700batch: iter_time=7.696e-05, forward_time=0.145, loss_ctc=64.493, loss_att=44.960, acc=0.736, loss=50.820, backward_time=0.299, grad_norm=64.215, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.920e-05, train_time=1.453 +[gpua001:0/64] 2023-12-11 15:48:35,489 (trainer:737) INFO: 26epoch:train:7701-7800batch: iter_time=7.838e-05, forward_time=0.145, loss_ctc=64.566, loss_att=51.893, acc=0.727, loss=55.695, backward_time=0.286, grad_norm=77.165, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.919e-05, train_time=1.301 +[gpua001:0/64] 2023-12-11 15:51:25,732 (trainer:737) INFO: 26epoch:train:7801-7900batch: iter_time=0.002, forward_time=0.190, loss_ctc=66.526, loss_att=55.662, acc=0.733, loss=58.921, backward_time=0.317, grad_norm=78.790, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.918e-05, train_time=1.702 +[gpua001:0/64] 2023-12-11 15:54:13,903 (trainer:737) INFO: 26epoch:train:7901-8000batch: iter_time=7.736e-05, forward_time=0.215, loss_ctc=61.696, loss_att=46.000, acc=0.737, loss=50.709, backward_time=0.338, grad_norm=65.119, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.917e-05, train_time=1.681 +[gpua001:0/64] 2023-12-11 15:56:57,701 (trainer:737) INFO: 26epoch:train:8001-8100batch: iter_time=7.941e-05, forward_time=0.146, loss_ctc=68.771, loss_att=56.371, acc=0.731, loss=60.091, backward_time=0.308, grad_norm=59.900, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.916e-05, train_time=1.638 +[gpua001:0/64] 2023-12-11 15:59:33,861 (trainer:737) INFO: 26epoch:train:8101-8200batch: iter_time=7.808e-05, forward_time=0.146, loss_ctc=63.600, loss_att=51.385, acc=0.731, loss=55.050, backward_time=0.300, grad_norm=65.830, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.915e-05, train_time=1.561 +[gpua001:0/64] 2023-12-11 16:02:00,302 (trainer:737) INFO: 26epoch:train:8201-8300batch: iter_time=8.023e-05, forward_time=0.145, loss_ctc=64.243, loss_att=51.877, acc=0.724, loss=55.587, backward_time=0.305, grad_norm=172.395, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.914e-05, train_time=1.464 +[gpua001:0/64] 2023-12-11 16:05:06,659 (trainer:737) INFO: 26epoch:train:8301-8400batch: iter_time=8.311e-05, forward_time=0.146, loss_ctc=66.324, loss_att=50.424, acc=0.742, loss=55.194, backward_time=0.336, grad_norm=101.533, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.913e-05, train_time=1.863 +[gpua001:0/64] 2023-12-11 16:07:48,636 (trainer:737) INFO: 26epoch:train:8401-8500batch: iter_time=7.947e-05, forward_time=0.146, loss_ctc=77.633, loss_att=63.454, acc=0.707, loss=67.708, backward_time=0.302, grad_norm=95.904, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.912e-05, train_time=1.620 +[gpua001:0/64] 2023-12-11 16:10:10,179 (trainer:737) INFO: 26epoch:train:8501-8600batch: iter_time=7.806e-05, forward_time=0.146, loss_ctc=61.690, loss_att=50.645, acc=0.716, loss=53.958, backward_time=0.312, grad_norm=72.776, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.911e-05, train_time=1.415 +[gpua001:0/64] 2023-12-11 16:12:52,132 (trainer:737) INFO: 26epoch:train:8601-8700batch: iter_time=8.157e-05, forward_time=0.145, loss_ctc=70.331, loss_att=55.175, acc=0.714, loss=59.722, backward_time=0.333, grad_norm=68.553, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.910e-05, train_time=1.619 +[gpua001:0/64] 2023-12-11 16:14:39,897 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-11 16:14:58,146 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 16:15:01,773 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 16:15:01,773 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-11 16:15:01,776 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 16:21:11,921 (trainer:737) INFO: 26epoch:train:8701-8800batch: iter_time=3.054, forward_time=0.181, loss_ctc=61.345, loss_att=50.597, acc=0.721, loss=53.821, backward_time=0.302, grad_norm=65.630, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.909e-05, train_time=4.998 +[gpua001:0/64] 2023-12-11 16:23:32,504 (trainer:737) INFO: 26epoch:train:8801-8900batch: iter_time=7.716e-05, forward_time=0.145, loss_ctc=60.226, loss_att=43.759, acc=0.724, loss=48.699, backward_time=0.295, grad_norm=101.378, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.908e-05, train_time=1.406 +[gpua001:0/64] 2023-12-11 16:25:50,383 (trainer:737) INFO: 26epoch:train:8901-9000batch: iter_time=8.144e-05, forward_time=0.146, loss_ctc=64.269, loss_att=48.304, acc=0.737, loss=53.094, backward_time=0.295, grad_norm=66.961, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.907e-05, train_time=1.379 +[gpua001:0/64] 2023-12-11 16:28:38,801 (trainer:737) INFO: 26epoch:train:9001-9100batch: iter_time=8.695e-05, forward_time=0.146, loss_ctc=66.064, loss_att=51.489, acc=0.723, loss=55.862, backward_time=0.317, grad_norm=62.951, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.906e-05, train_time=1.684 +[gpua001:0/64] 2023-12-11 16:31:18,097 (trainer:737) INFO: 26epoch:train:9101-9200batch: iter_time=8.490e-05, forward_time=0.146, loss_ctc=65.146, loss_att=56.134, acc=0.721, loss=58.838, backward_time=0.297, grad_norm=52.020, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=7.905e-05, train_time=1.593 +[gpua001:0/64] 2023-12-11 16:34:12,529 (trainer:737) INFO: 26epoch:train:9201-9300batch: iter_time=8.869e-05, forward_time=0.163, loss_ctc=62.417, loss_att=50.865, acc=0.725, loss=54.330, backward_time=0.345, grad_norm=57.702, clip=100.000, loss_scale=2.332e+31, optim_step_time=0.131, optim0_lr0=7.904e-05, train_time=1.744 +[gpua001:0/64] 2023-12-11 16:36:56,871 (trainer:737) INFO: 26epoch:train:9301-9400batch: iter_time=8.815e-05, forward_time=0.146, loss_ctc=65.676, loss_att=54.984, acc=0.725, loss=58.192, backward_time=0.302, grad_norm=59.237, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.903e-05, train_time=1.643 +[gpua001:0/64] 2023-12-11 16:39:24,412 (trainer:737) INFO: 26epoch:train:9401-9500batch: iter_time=8.895e-05, forward_time=0.146, loss_ctc=67.134, loss_att=52.392, acc=0.721, loss=56.814, backward_time=0.329, grad_norm=76.918, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.902e-05, train_time=1.475 +[gpua001:0/64] 2023-12-11 16:42:24,058 (trainer:737) INFO: 26epoch:train:9501-9600batch: iter_time=8.874e-05, forward_time=0.225, loss_ctc=59.768, loss_att=44.488, acc=0.735, loss=49.072, backward_time=0.362, grad_norm=61.583, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.901e-05, train_time=1.796 +[gpua001:0/64] 2023-12-11 16:44:44,719 (trainer:737) INFO: 26epoch:train:9601-9700batch: iter_time=8.892e-05, forward_time=0.179, loss_ctc=84.007, loss_att=67.606, acc=0.703, loss=72.526, backward_time=0.296, grad_norm=120.145, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.900e-05, train_time=1.406 +[gpua001:0/64] 2023-12-11 16:47:23,580 (trainer:737) INFO: 26epoch:train:9701-9800batch: iter_time=8.217e-05, forward_time=0.145, loss_ctc=60.815, loss_att=48.984, acc=0.709, loss=52.533, backward_time=0.342, grad_norm=78.143, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.899e-05, train_time=1.588 +[gpua001:0/64] 2023-12-11 16:50:23,678 (trainer:737) INFO: 26epoch:train:9801-9900batch: iter_time=8.197e-05, forward_time=0.146, loss_ctc=66.447, loss_att=55.024, acc=0.708, loss=58.451, backward_time=0.361, grad_norm=71.297, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.130, optim0_lr0=7.898e-05, train_time=1.801 +[gpua001:0/64] 2023-12-11 16:52:39,791 (trainer:737) INFO: 26epoch:train:9901-10000batch: iter_time=8.053e-05, forward_time=0.144, loss_ctc=61.298, loss_att=47.796, acc=0.722, loss=51.847, backward_time=0.311, grad_norm=60.758, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.897e-05, train_time=1.361 +[gpua001:0/64] 2023-12-11 16:52:59,820 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-11 16:53:18,237 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 16:53:21,697 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 16:53:21,698 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-11 16:53:21,701 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 17:04:19,137 (trainer:737) INFO: 26epoch:train:10001-10100batch: iter_time=3.116, forward_time=0.210, loss_ctc=61.414, loss_att=49.393, acc=0.716, loss=52.999, backward_time=0.285, grad_norm=60.263, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.896e-05, train_time=6.993 +[gpua001:0/64] 2023-12-11 17:06:20,676 (trainer:737) INFO: 26epoch:train:10101-10200batch: iter_time=8.272e-05, forward_time=0.144, loss_ctc=64.166, loss_att=45.189, acc=0.729, loss=50.882, backward_time=0.277, grad_norm=55.773, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.895e-05, train_time=1.215 +[gpua001:0/64] 2023-12-11 17:08:42,429 (trainer:737) INFO: 26epoch:train:10201-10300batch: iter_time=8.212e-05, forward_time=0.145, loss_ctc=63.814, loss_att=51.119, acc=0.726, loss=54.927, backward_time=0.298, grad_norm=55.272, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.894e-05, train_time=1.417 +[gpua001:0/64] 2023-12-11 17:11:28,112 (trainer:737) INFO: 26epoch:train:10301-10400batch: iter_time=8.507e-05, forward_time=0.151, loss_ctc=66.500, loss_att=55.591, acc=0.728, loss=58.864, backward_time=0.310, grad_norm=69.750, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.893e-05, train_time=1.657 +[gpua001:0/64] 2023-12-11 17:14:13,676 (trainer:737) INFO: 26epoch:train:10401-10500batch: iter_time=7.947e-05, forward_time=0.180, loss_ctc=62.275, loss_att=46.400, acc=0.731, loss=51.163, backward_time=0.320, grad_norm=217.082, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.892e-05, train_time=1.655 +[gpua001:0/64] 2023-12-11 17:16:32,309 (trainer:737) INFO: 26epoch:train:10501-10600batch: iter_time=9.046e-05, forward_time=0.145, loss_ctc=68.699, loss_att=56.009, acc=0.725, loss=59.816, backward_time=0.285, grad_norm=58.239, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.891e-05, train_time=1.386 +[gpua001:0/64] 2023-12-11 17:19:44,148 (trainer:737) INFO: 26epoch:train:10601-10700batch: iter_time=8.238e-05, forward_time=0.145, loss_ctc=63.704, loss_att=50.931, acc=0.723, loss=54.763, backward_time=0.344, grad_norm=67.523, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.890e-05, train_time=1.918 +[gpua001:0/64] 2023-12-11 17:22:18,878 (trainer:737) INFO: 26epoch:train:10701-10800batch: iter_time=8.228e-05, forward_time=0.145, loss_ctc=64.531, loss_att=52.028, acc=0.719, loss=55.779, backward_time=0.308, grad_norm=65.243, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.888e-05, train_time=1.547 +[gpua001:0/64] 2023-12-11 17:25:08,796 (trainer:737) INFO: 26epoch:train:10801-10900batch: iter_time=8.291e-05, forward_time=0.146, loss_ctc=66.145, loss_att=50.518, acc=0.734, loss=55.206, backward_time=0.329, grad_norm=62.070, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.887e-05, train_time=1.699 +[gpua001:0/64] 2023-12-11 17:28:16,851 (trainer:737) INFO: 26epoch:train:10901-11000batch: iter_time=8.192e-05, forward_time=0.153, loss_ctc=77.275, loss_att=63.587, acc=0.704, loss=67.694, backward_time=0.354, grad_norm=97.834, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.886e-05, train_time=1.880 +[gpua001:0/64] 2023-12-11 17:30:32,311 (trainer:737) INFO: 26epoch:train:11001-11100batch: iter_time=1.454e-04, forward_time=0.205, loss_ctc=61.806, loss_att=50.485, acc=0.709, loss=53.881, backward_time=0.316, grad_norm=62.330, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.885e-05, train_time=1.354 +[gpua001:0/64] 2023-12-11 17:33:08,417 (trainer:737) INFO: 26epoch:train:11101-11200batch: iter_time=8.310e-05, forward_time=0.146, loss_ctc=69.522, loss_att=54.820, acc=0.709, loss=59.231, backward_time=0.301, grad_norm=79.491, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.884e-05, train_time=1.561 +[gpua001:0/64] 2023-12-11 17:34:37,114 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-11 17:34:55,093 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 17:34:58,508 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 17:34:58,508 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-11 17:34:58,522 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 17:44:25,053 (trainer:737) INFO: 26epoch:train:11201-11300batch: iter_time=3.073, forward_time=0.194, loss_ctc=61.297, loss_att=50.045, acc=0.728, loss=53.421, backward_time=0.299, grad_norm=59.556, clip=100.000, loss_scale=4.665e+31, optim_step_time=0.137, optim0_lr0=7.883e-05, train_time=6.766 +[gpua001:0/64] 2023-12-11 17:46:25,881 (trainer:737) INFO: 26epoch:train:11301-11400batch: iter_time=8.017e-05, forward_time=0.146, loss_ctc=59.624, loss_att=43.350, acc=0.730, loss=48.232, backward_time=0.279, grad_norm=55.095, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.882e-05, train_time=1.208 +[gpua001:0/64] 2023-12-11 17:49:06,087 (trainer:737) INFO: 26epoch:train:11401-11500batch: iter_time=8.216e-05, forward_time=0.145, loss_ctc=64.423, loss_att=48.283, acc=0.743, loss=53.125, backward_time=0.303, grad_norm=56.971, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.881e-05, train_time=1.602 +[gpua001:0/64] 2023-12-11 17:51:47,169 (trainer:737) INFO: 26epoch:train:11501-11600batch: iter_time=8.378e-05, forward_time=0.219, loss_ctc=66.146, loss_att=52.111, acc=0.725, loss=56.321, backward_time=0.369, grad_norm=58.832, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=7.880e-05, train_time=1.610 +[gpua001:0/64] 2023-12-11 17:54:22,615 (trainer:737) INFO: 26epoch:train:11601-11700batch: iter_time=8.397e-05, forward_time=0.145, loss_ctc=64.471, loss_att=56.117, acc=0.725, loss=58.624, backward_time=0.309, grad_norm=52.961, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.879e-05, train_time=1.554 +[gpua001:0/64] 2023-12-11 17:56:01,356 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-11 17:56:50,397 (trainer:737) INFO: 26epoch:train:11701-11800batch: iter_time=8.419e-05, forward_time=0.202, loss_ctc=62.637, loss_att=50.405, acc=0.737, loss=54.074, backward_time=0.316, grad_norm=67.294, clip=100.000, loss_scale=6.884e+31, optim_step_time=0.134, optim0_lr0=7.878e-05, train_time=1.478 +[gpua001:0/64] 2023-12-11 17:59:52,455 (trainer:737) INFO: 26epoch:train:11801-11900batch: iter_time=3.133e-04, forward_time=0.202, loss_ctc=66.383, loss_att=54.692, acc=0.735, loss=58.199, backward_time=0.320, grad_norm=68.054, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.877e-05, train_time=1.818 +[gpua001:0/64] 2023-12-11 18:02:39,070 (trainer:737) INFO: 26epoch:train:11901-12000batch: iter_time=8.342e-05, forward_time=0.149, loss_ctc=67.301, loss_att=52.174, acc=0.731, loss=56.712, backward_time=0.332, grad_norm=65.740, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.876e-05, train_time=1.667 +[gpua001:0/64] 2023-12-11 18:05:03,024 (trainer:737) INFO: 26epoch:train:12001-12100batch: iter_time=7.978e-05, forward_time=0.145, loss_ctc=59.581, loss_att=44.748, acc=0.741, loss=49.198, backward_time=0.289, grad_norm=56.731, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.875e-05, train_time=1.439 +[gpua001:0/64] 2023-12-11 18:07:47,624 (trainer:737) INFO: 26epoch:train:12101-12200batch: iter_time=0.001, forward_time=0.250, loss_ctc=84.603, loss_att=65.774, acc=0.713, loss=71.422, backward_time=0.334, grad_norm=90.081, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.874e-05, train_time=1.646 +[gpua001:0/64] 2023-12-11 18:10:34,414 (trainer:737) INFO: 26epoch:train:12201-12300batch: iter_time=7.989e-05, forward_time=0.151, loss_ctc=61.116, loss_att=49.541, acc=0.716, loss=53.014, backward_time=0.309, grad_norm=69.176, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.873e-05, train_time=1.667 +[gpua001:0/64] 2023-12-11 18:13:28,949 (trainer:737) INFO: 26epoch:train:12301-12400batch: iter_time=8.379e-05, forward_time=0.145, loss_ctc=65.961, loss_att=55.475, acc=0.717, loss=58.621, backward_time=0.342, grad_norm=67.011, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.872e-05, train_time=1.746 +[gpua001:0/64] 2023-12-11 18:16:01,121 (trainer:737) INFO: 26epoch:train:12401-12500batch: iter_time=9.536e-05, forward_time=0.146, loss_ctc=61.321, loss_att=47.753, acc=0.727, loss=51.824, backward_time=0.305, grad_norm=63.760, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.871e-05, train_time=1.521 +[gpua001:0/64] 2023-12-11 18:16:21,147 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-11 18:16:39,659 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 18:16:43,040 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 18:16:43,040 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-11 18:16:43,043 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 18:25:04,005 (trainer:737) INFO: 26epoch:train:12501-12600batch: iter_time=2.981, forward_time=0.244, loss_ctc=61.187, loss_att=49.362, acc=0.725, loss=52.910, backward_time=0.291, grad_norm=70.908, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.870e-05, train_time=5.429 +[gpua001:0/64] 2023-12-11 18:27:05,132 (trainer:737) INFO: 26epoch:train:12601-12700batch: iter_time=7.892e-05, forward_time=0.145, loss_ctc=63.658, loss_att=44.693, acc=0.738, loss=50.383, backward_time=0.277, grad_norm=54.116, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.869e-05, train_time=1.211 +[gpua001:0/64] 2023-12-11 18:29:18,577 (trainer:737) INFO: 26epoch:train:12701-12800batch: iter_time=7.883e-05, forward_time=0.185, loss_ctc=64.157, loss_att=52.203, acc=0.727, loss=55.789, backward_time=0.283, grad_norm=59.637, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.868e-05, train_time=1.334 +[gpua001:0/64] 2023-12-11 18:32:03,558 (trainer:737) INFO: 26epoch:train:12801-12900batch: iter_time=8.006e-05, forward_time=0.145, loss_ctc=65.971, loss_att=55.495, acc=0.733, loss=58.637, backward_time=0.311, grad_norm=61.193, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.867e-05, train_time=1.648 +[gpua001:0/64] 2023-12-11 18:35:01,016 (trainer:737) INFO: 26epoch:train:12901-13000batch: iter_time=8.965e-05, forward_time=0.146, loss_ctc=61.791, loss_att=46.210, acc=0.736, loss=50.884, backward_time=0.326, grad_norm=67.568, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.866e-05, train_time=1.776 +[gpua001:0/64] 2023-12-11 18:38:10,473 (trainer:737) INFO: 26epoch:train:13001-13100batch: iter_time=8.451e-05, forward_time=0.145, loss_ctc=68.524, loss_att=56.251, acc=0.733, loss=59.933, backward_time=0.363, grad_norm=60.850, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.865e-05, train_time=1.894 +[gpua001:0/64] 2023-12-11 18:41:06,542 (trainer:737) INFO: 26epoch:train:13101-13200batch: iter_time=8.731e-05, forward_time=0.224, loss_ctc=63.681, loss_att=50.708, acc=0.736, loss=54.600, backward_time=0.304, grad_norm=64.191, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.155, optim0_lr0=7.864e-05, train_time=1.760 +[gpua001:0/64] 2023-12-11 18:43:42,444 (trainer:737) INFO: 26epoch:train:13201-13300batch: iter_time=8.778e-05, forward_time=0.151, loss_ctc=63.681, loss_att=51.912, acc=0.725, loss=55.443, backward_time=0.330, grad_norm=54.221, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.863e-05, train_time=1.559 +[gpua001:0/64] 2023-12-11 18:46:27,940 (trainer:737) INFO: 26epoch:train:13301-13400batch: iter_time=8.349e-05, forward_time=0.150, loss_ctc=65.758, loss_att=50.426, acc=0.743, loss=55.026, backward_time=0.323, grad_norm=84.472, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.862e-05, train_time=1.655 +[gpua001:0/64] 2023-12-11 18:49:27,503 (trainer:737) INFO: 26epoch:train:13401-13500batch: iter_time=8.861e-05, forward_time=0.170, loss_ctc=76.605, loss_att=62.951, acc=0.710, loss=67.047, backward_time=0.351, grad_norm=97.263, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.861e-05, train_time=1.795 +[gpua001:0/64] 2023-12-11 18:51:42,532 (trainer:737) INFO: 26epoch:train:13501-13600batch: iter_time=8.240e-05, forward_time=0.145, loss_ctc=61.276, loss_att=51.086, acc=0.715, loss=54.143, backward_time=0.280, grad_norm=85.502, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.860e-05, train_time=1.350 +[gpua001:0/64] 2023-12-11 18:54:27,061 (trainer:737) INFO: 26epoch:train:13601-13700batch: iter_time=8.272e-05, forward_time=0.146, loss_ctc=69.105, loss_att=55.526, acc=0.714, loss=59.600, backward_time=0.330, grad_norm=63.542, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=7.859e-05, train_time=1.643 +[gpua001:0/64] 2023-12-11 18:56:09,560 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-11 18:56:27,962 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 18:56:31,481 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 18:56:31,481 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-11 18:56:31,484 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 19:05:20,903 (trainer:737) INFO: 26epoch:train:13701-13800batch: iter_time=3.234, forward_time=0.205, loss_ctc=61.269, loss_att=50.397, acc=0.722, loss=53.659, backward_time=0.299, grad_norm=58.617, clip=100.000, loss_scale=5.273e+31, optim_step_time=0.133, optim0_lr0=7.858e-05, train_time=6.540 +[gpua001:0/64] 2023-12-11 19:07:20,851 (trainer:737) INFO: 26epoch:train:13801-13900batch: iter_time=8.258e-05, forward_time=0.144, loss_ctc=59.903, loss_att=43.545, acc=0.725, loss=48.452, backward_time=0.278, grad_norm=64.990, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.857e-05, train_time=1.199 +[gpua001:0/64] 2023-12-11 19:09:21,689 (trainer:737) INFO: 26epoch:train:13901-14000batch: iter_time=7.675e-05, forward_time=0.145, loss_ctc=63.723, loss_att=48.073, acc=0.741, loss=52.768, backward_time=0.281, grad_norm=55.227, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.856e-05, train_time=1.208 +[gpua001:0/64] 2023-12-11 19:12:02,823 (trainer:737) INFO: 26epoch:train:14001-14100batch: iter_time=8.128e-05, forward_time=0.162, loss_ctc=65.876, loss_att=51.313, acc=0.721, loss=55.682, backward_time=0.311, grad_norm=71.082, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.855e-05, train_time=1.611 +[gpua001:0/64] 2023-12-11 19:15:33,673 (trainer:737) INFO: 26epoch:train:14101-14200batch: iter_time=8.379e-05, forward_time=0.144, loss_ctc=64.002, loss_att=55.505, acc=0.725, loss=58.054, backward_time=0.363, grad_norm=71.065, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.854e-05, train_time=2.108 +[gpua001:0/64] 2023-12-11 19:18:09,457 (trainer:737) INFO: 26epoch:train:14201-14300batch: iter_time=8.465e-05, forward_time=0.145, loss_ctc=62.599, loss_att=50.744, acc=0.726, loss=54.300, backward_time=0.314, grad_norm=59.546, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.853e-05, train_time=1.556 +[gpua001:0/64] 2023-12-11 19:20:44,818 (trainer:737) INFO: 26epoch:train:14301-14400batch: iter_time=8.253e-05, forward_time=0.149, loss_ctc=65.747, loss_att=54.868, acc=0.724, loss=58.132, backward_time=0.300, grad_norm=61.658, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.852e-05, train_time=1.555 +[gpua001:0/64] 2023-12-11 19:23:24,276 (trainer:737) INFO: 26epoch:train:14401-14500batch: iter_time=8.158e-05, forward_time=0.145, loss_ctc=67.164, loss_att=51.886, acc=0.722, loss=56.470, backward_time=0.341, grad_norm=60.884, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.851e-05, train_time=1.594 +[gpua001:0/64] 2023-12-11 19:25:50,130 (trainer:737) INFO: 26epoch:train:14501-14600batch: iter_time=7.911e-05, forward_time=0.185, loss_ctc=59.828, loss_att=44.429, acc=0.736, loss=49.049, backward_time=0.311, grad_norm=54.433, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=7.850e-05, train_time=1.458 +[gpua001:0/64] 2023-12-11 19:28:46,121 (trainer:737) INFO: 26epoch:train:14601-14700batch: iter_time=7.995e-05, forward_time=0.190, loss_ctc=83.336, loss_att=67.404, acc=0.702, loss=72.184, backward_time=0.371, grad_norm=88.426, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=7.849e-05, train_time=1.760 +[gpua001:0/64] 2023-12-11 19:30:57,341 (trainer:737) INFO: 26epoch:train:14701-14800batch: iter_time=7.698e-05, forward_time=0.148, loss_ctc=60.702, loss_att=48.993, acc=0.709, loss=52.506, backward_time=0.295, grad_norm=77.888, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.131, optim0_lr0=7.848e-05, train_time=1.312 +[gpua001:0/64] 2023-12-11 19:33:06,941 (trainer:737) INFO: 26epoch:train:14801-14900batch: iter_time=8.130e-05, forward_time=0.144, loss_ctc=65.498, loss_att=54.693, acc=0.708, loss=57.935, backward_time=0.278, grad_norm=120.834, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.130, optim0_lr0=7.847e-05, train_time=1.296 +[gpua001:0/64] 2023-12-11 19:33:49,866 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-11 19:35:47,884 (trainer:737) INFO: 26epoch:train:14901-15000batch: iter_time=8.295e-05, forward_time=0.144, loss_ctc=61.280, loss_att=47.832, acc=0.723, loss=51.866, backward_time=0.309, grad_norm=77.687, clip=100.000, loss_scale=5.368e+31, optim_step_time=0.131, optim0_lr0=7.846e-05, train_time=1.609 +[gpua001:0/64] 2023-12-11 20:02:00,059 (trainer:343) INFO: 26epoch results: [train] iter_time=0.249, forward_time=0.160, loss_ctc=65.932, loss_att=52.365, acc=0.722, loss=56.435, backward_time=0.335, grad_norm=73.030, clip=100.000, loss_scale=3.276e+31, optim_step_time=0.132, optim0_lr0=7.922e-05, train_time=2.095, time=8 hours, 44 minutes and 18.67 seconds, total_count=390000, gpu_max_cached_mem_GB=34.965, [valid] loss_ctc=36.434, cer_ctc=0.187, loss_att=34.762, acc=0.720, cer=0.295, wer=0.955, loss=35.264, time=25 minutes and 48.04 seconds, total_count=121446, gpu_max_cached_mem_GB=34.965 +[gpua001:0/64] 2023-12-11 20:02:24,317 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua001:0/64] 2023-12-11 20:02:24,324 (trainer:272) INFO: 27/40epoch started. Estimated time to finish: 5 days, 8 hours and 27 minutes +[gpua001:0/64] 2023-12-11 20:02:24,336 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-11 20:02:41,728 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 20:02:47,045 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 20:02:47,045 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-11 20:02:47,065 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 20:13:15,481 (trainer:737) INFO: 27epoch:train:1-100batch: iter_time=2.837, forward_time=0.196, loss_ctc=68.705, loss_att=54.866, acc=0.706, loss=59.018, backward_time=0.289, grad_norm=74.156, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.845e-05, train_time=6.511 +[gpua001:0/64] 2023-12-11 20:14:09,138 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-11 20:15:58,452 (trainer:737) INFO: 27epoch:train:101-200batch: iter_time=7.518e-05, forward_time=0.147, loss_ctc=65.402, loss_att=55.562, acc=0.721, loss=58.514, backward_time=0.304, grad_norm=63.431, clip=100.000, loss_scale=2.581e+31, optim_step_time=0.134, optim0_lr0=7.844e-05, train_time=1.629 +[gpua001:0/64] 2023-12-11 20:18:37,808 (trainer:737) INFO: 27epoch:train:201-300batch: iter_time=7.898e-05, forward_time=0.147, loss_ctc=68.290, loss_att=59.386, acc=0.713, loss=62.057, backward_time=0.323, grad_norm=67.783, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.843e-05, train_time=1.593 +[gpua001:0/64] 2023-12-11 20:25:16,938 (trainer:737) INFO: 27epoch:train:301-400batch: iter_time=8.560e-05, forward_time=0.147, loss_ctc=72.160, loss_att=53.938, acc=0.729, loss=59.405, backward_time=0.604, grad_norm=69.645, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.842e-05, train_time=3.991 +[gpua001:0/64] 2023-12-11 20:34:13,535 (trainer:737) INFO: 27epoch:train:401-500batch: iter_time=9.338e-05, forward_time=0.148, loss_ctc=68.198, loss_att=56.464, acc=0.738, loss=59.984, backward_time=0.788, grad_norm=83.085, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.841e-05, train_time=5.366 +[gpua001:0/64] 2023-12-11 20:37:48,109 (trainer:737) INFO: 27epoch:train:501-600batch: iter_time=8.892e-05, forward_time=0.146, loss_ctc=66.390, loss_att=51.073, acc=0.737, loss=55.668, backward_time=0.426, grad_norm=64.616, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.840e-05, train_time=2.145 +[gpua001:0/64] 2023-12-11 20:41:31,605 (trainer:737) INFO: 27epoch:train:601-700batch: iter_time=8.488e-05, forward_time=0.146, loss_ctc=71.658, loss_att=54.552, acc=0.723, loss=59.683, backward_time=0.333, grad_norm=57.889, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.839e-05, train_time=2.235 +[gpua001:0/64] 2023-12-11 20:44:20,855 (trainer:737) INFO: 27epoch:train:701-800batch: iter_time=9.331e-05, forward_time=0.147, loss_ctc=65.808, loss_att=53.499, acc=0.711, loss=57.192, backward_time=0.333, grad_norm=78.663, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.838e-05, train_time=1.692 +[gpua001:0/64] 2023-12-11 20:47:34,533 (trainer:737) INFO: 27epoch:train:801-900batch: iter_time=8.930e-05, forward_time=0.191, loss_ctc=80.015, loss_att=55.301, acc=0.723, loss=62.715, backward_time=0.374, grad_norm=81.719, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.837e-05, train_time=1.937 +[gpua001:0/64] 2023-12-11 20:51:01,616 (trainer:737) INFO: 27epoch:train:901-1000batch: iter_time=8.439e-05, forward_time=0.201, loss_ctc=73.003, loss_att=63.899, acc=0.697, loss=66.630, backward_time=0.399, grad_norm=83.504, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.836e-05, train_time=2.071 +[gpua001:0/64] 2023-12-11 20:54:19,534 (trainer:737) INFO: 27epoch:train:1001-1100batch: iter_time=7.755e-05, forward_time=0.146, loss_ctc=67.679, loss_att=50.589, acc=0.718, loss=55.716, backward_time=0.371, grad_norm=63.700, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.835e-05, train_time=1.979 +[gpua001:0/64] 2023-12-11 20:57:37,860 (trainer:737) INFO: 27epoch:train:1101-1200batch: iter_time=8.111e-05, forward_time=0.146, loss_ctc=68.755, loss_att=53.864, acc=0.714, loss=58.331, backward_time=0.336, grad_norm=72.661, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.834e-05, train_time=1.983 +[gpua001:0/64] 2023-12-11 20:59:45,421 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-11 21:00:03,776 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 21:00:07,158 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 21:00:07,158 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-11 21:00:07,161 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 21:08:51,854 (trainer:737) INFO: 27epoch:train:1201-1300batch: iter_time=3.148, forward_time=0.146, loss_ctc=68.637, loss_att=52.737, acc=0.723, loss=57.507, backward_time=0.348, grad_norm=69.966, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.833e-05, train_time=6.740 +[gpua001:0/64] 2023-12-11 21:10:54,001 (trainer:737) INFO: 27epoch:train:1301-1400batch: iter_time=7.680e-05, forward_time=0.146, loss_ctc=70.138, loss_att=57.831, acc=0.702, loss=61.523, backward_time=0.283, grad_norm=67.164, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.832e-05, train_time=1.221 +[gpua001:0/64] 2023-12-11 21:12:58,265 (trainer:737) INFO: 27epoch:train:1401-1500batch: iter_time=7.692e-05, forward_time=0.147, loss_ctc=65.525, loss_att=53.269, acc=0.715, loss=56.946, backward_time=0.281, grad_norm=57.229, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.831e-05, train_time=1.242 +[gpua001:0/64] 2023-12-11 21:15:42,319 (trainer:737) INFO: 27epoch:train:1501-1600batch: iter_time=8.776e-05, forward_time=0.147, loss_ctc=67.788, loss_att=57.422, acc=0.715, loss=60.532, backward_time=0.302, grad_norm=60.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.830e-05, train_time=1.640 +[gpua001:0/64] 2023-12-11 21:18:23,345 (trainer:737) INFO: 27epoch:train:1601-1700batch: iter_time=8.737e-05, forward_time=0.146, loss_ctc=73.946, loss_att=61.342, acc=0.716, loss=65.123, backward_time=0.307, grad_norm=63.238, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.829e-05, train_time=1.610 +[gpua001:0/64] 2023-12-11 21:21:19,728 (trainer:737) INFO: 27epoch:train:1701-1800batch: iter_time=8.769e-05, forward_time=0.146, loss_ctc=62.532, loss_att=43.958, acc=0.748, loss=49.530, backward_time=0.339, grad_norm=57.431, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.828e-05, train_time=1.764 +[gpua001:0/64] 2023-12-11 21:23:28,401 (trainer:737) INFO: 27epoch:train:1801-1900batch: iter_time=8.044e-05, forward_time=0.147, loss_ctc=74.115, loss_att=60.780, acc=0.716, loss=64.781, backward_time=0.288, grad_norm=60.533, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.827e-05, train_time=1.287 +[gpua001:0/64] 2023-12-11 21:26:30,249 (trainer:737) INFO: 27epoch:train:1901-2000batch: iter_time=7.927e-05, forward_time=0.181, loss_ctc=65.917, loss_att=48.278, acc=0.711, loss=53.570, backward_time=0.335, grad_norm=84.304, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.826e-05, train_time=1.818 +[gpua001:0/64] 2023-12-11 21:29:54,029 (trainer:737) INFO: 27epoch:train:2001-2100batch: iter_time=7.928e-05, forward_time=0.185, loss_ctc=75.135, loss_att=56.357, acc=0.708, loss=61.990, backward_time=0.351, grad_norm=87.864, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.825e-05, train_time=2.038 +[gpua001:0/64] 2023-12-11 21:32:16,142 (trainer:737) INFO: 27epoch:train:2101-2200batch: iter_time=8.053e-05, forward_time=0.146, loss_ctc=71.038, loss_att=56.006, acc=0.711, loss=60.516, backward_time=0.295, grad_norm=79.505, clip=100.000, loss_scale=3.489e+31, optim_step_time=0.133, optim0_lr0=7.824e-05, train_time=1.421 +[gpua001:0/64] 2023-12-11 21:34:48,913 (trainer:737) INFO: 27epoch:train:2201-2300batch: iter_time=7.860e-05, forward_time=0.146, loss_ctc=64.010, loss_att=53.377, acc=0.709, loss=56.567, backward_time=0.323, grad_norm=72.331, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.823e-05, train_time=1.527 +[gpua001:0/64] 2023-12-11 21:37:29,306 (trainer:737) INFO: 27epoch:train:2301-2400batch: iter_time=8.100e-05, forward_time=0.146, loss_ctc=70.857, loss_att=53.296, acc=0.709, loss=58.565, backward_time=0.306, grad_norm=60.832, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.822e-05, train_time=1.604 +[gpua001:0/64] 2023-12-11 21:39:58,361 (trainer:737) INFO: 27epoch:train:2401-2500batch: iter_time=7.898e-05, forward_time=0.146, loss_ctc=68.405, loss_att=55.674, acc=0.718, loss=59.494, backward_time=0.299, grad_norm=89.006, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.821e-05, train_time=1.490 +[gpua001:0/64] 2023-12-11 21:40:18,390 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-11 21:40:36,536 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 21:40:40,168 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 21:40:40,168 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-11 21:40:40,172 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 21:46:58,797 (trainer:737) INFO: 27epoch:train:2501-2600batch: iter_time=2.701, forward_time=0.167, loss_ctc=67.709, loss_att=53.563, acc=0.712, loss=57.807, backward_time=0.283, grad_norm=68.620, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.820e-05, train_time=4.204 +[gpua001:0/64] 2023-12-11 21:49:00,125 (trainer:737) INFO: 27epoch:train:2601-2700batch: iter_time=8.791e-05, forward_time=0.146, loss_ctc=64.558, loss_att=54.354, acc=0.729, loss=57.415, backward_time=0.279, grad_norm=57.801, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.819e-05, train_time=1.213 +[gpua001:0/64] 2023-12-11 21:51:58,941 (trainer:737) INFO: 27epoch:train:2701-2800batch: iter_time=9.127e-05, forward_time=0.179, loss_ctc=67.047, loss_att=58.244, acc=0.718, loss=60.885, backward_time=0.316, grad_norm=59.736, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=7.818e-05, train_time=1.788 +[gpua001:0/64] 2023-12-11 21:54:06,451 (trainer:737) INFO: 27epoch:train:2801-2900batch: iter_time=9.926e-05, forward_time=0.148, loss_ctc=71.322, loss_att=52.854, acc=0.736, loss=58.394, backward_time=0.280, grad_norm=57.285, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.817e-05, train_time=1.275 +[gpua001:0/64] 2023-12-11 21:56:27,020 (trainer:737) INFO: 27epoch:train:2901-3000batch: iter_time=9.240e-05, forward_time=0.148, loss_ctc=67.221, loss_att=55.690, acc=0.743, loss=59.149, backward_time=0.282, grad_norm=89.574, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.816e-05, train_time=1.405 +[gpua001:0/64] 2023-12-11 21:58:58,032 (trainer:737) INFO: 27epoch:train:3001-3100batch: iter_time=8.836e-05, forward_time=0.149, loss_ctc=65.968, loss_att=50.390, acc=0.741, loss=55.063, backward_time=0.297, grad_norm=65.697, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.815e-05, train_time=1.510 +[gpua001:0/64] 2023-12-11 22:01:29,763 (trainer:737) INFO: 27epoch:train:3101-3200batch: iter_time=9.727e-05, forward_time=0.171, loss_ctc=70.087, loss_att=53.449, acc=0.727, loss=58.441, backward_time=0.348, grad_norm=68.253, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=7.814e-05, train_time=1.517 +[gpua001:0/64] 2023-12-11 22:04:17,008 (trainer:737) INFO: 27epoch:train:3201-3300batch: iter_time=0.001, forward_time=0.148, loss_ctc=65.114, loss_att=52.886, acc=0.716, loss=56.554, backward_time=0.374, grad_norm=92.043, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.813e-05, train_time=1.673 +[gpua001:0/64] 2023-12-11 22:06:58,444 (trainer:737) INFO: 27epoch:train:3301-3400batch: iter_time=8.882e-05, forward_time=0.147, loss_ctc=75.664, loss_att=53.967, acc=0.731, loss=60.476, backward_time=0.295, grad_norm=72.075, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.812e-05, train_time=1.614 +[gpua001:0/64] 2023-12-11 22:10:00,765 (trainer:737) INFO: 27epoch:train:3401-3500batch: iter_time=0.001, forward_time=0.208, loss_ctc=66.979, loss_att=62.711, acc=0.700, loss=63.991, backward_time=0.336, grad_norm=77.697, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=7.811e-05, train_time=1.823 +[gpua001:0/64] 2023-12-11 22:12:36,028 (trainer:737) INFO: 27epoch:train:3501-3600batch: iter_time=9.072e-05, forward_time=0.148, loss_ctc=66.281, loss_att=49.617, acc=0.722, loss=54.616, backward_time=0.312, grad_norm=88.819, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.810e-05, train_time=1.552 +[gpua001:0/64] 2023-12-11 22:14:49,063 (trainer:737) INFO: 27epoch:train:3601-3700batch: iter_time=8.844e-05, forward_time=0.149, loss_ctc=66.941, loss_att=53.091, acc=0.719, loss=57.246, backward_time=0.293, grad_norm=61.769, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.809e-05, train_time=1.330 +[gpua001:0/64] 2023-12-11 22:16:27,242 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-11 22:16:45,375 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 22:16:48,806 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 22:16:48,807 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-11 22:16:48,826 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 22:22:32,937 (trainer:737) INFO: 27epoch:train:3701-3800batch: iter_time=3.115, forward_time=0.177, loss_ctc=68.090, loss_att=52.174, acc=0.728, loss=56.949, backward_time=0.336, grad_norm=64.102, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.808e-05, train_time=4.638 +[gpua001:0/64] 2023-12-11 22:24:45,714 (trainer:737) INFO: 27epoch:train:3801-3900batch: iter_time=8.018e-05, forward_time=0.147, loss_ctc=69.379, loss_att=57.178, acc=0.708, loss=60.838, backward_time=0.286, grad_norm=63.274, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.807e-05, train_time=1.328 +[gpua001:0/64] 2023-12-11 22:26:55,035 (trainer:737) INFO: 27epoch:train:3901-4000batch: iter_time=8.465e-05, forward_time=0.147, loss_ctc=64.071, loss_att=51.896, acc=0.721, loss=55.549, backward_time=0.289, grad_norm=54.053, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.806e-05, train_time=1.293 +[gpua001:0/64] 2023-12-11 22:29:13,225 (trainer:737) INFO: 27epoch:train:4001-4100batch: iter_time=8.102e-05, forward_time=0.146, loss_ctc=67.612, loss_att=57.512, acc=0.717, loss=60.542, backward_time=0.283, grad_norm=57.702, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.805e-05, train_time=1.382 +[gpua001:0/64] 2023-12-11 22:31:30,326 (trainer:737) INFO: 27epoch:train:4101-4200batch: iter_time=8.528e-05, forward_time=0.150, loss_ctc=73.822, loss_att=60.781, acc=0.719, loss=64.693, backward_time=0.282, grad_norm=63.316, clip=100.000, loss_scale=6.977e+31, optim_step_time=0.133, optim0_lr0=7.804e-05, train_time=1.371 +[gpua001:0/64] 2023-12-11 22:35:13,672 (trainer:737) INFO: 27epoch:train:4201-4300batch: iter_time=8.866e-05, forward_time=0.176, loss_ctc=61.698, loss_att=42.999, acc=0.754, loss=48.609, backward_time=0.375, grad_norm=52.574, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=7.803e-05, train_time=2.233 +[gpua001:0/64] 2023-12-11 22:38:11,195 (trainer:737) INFO: 27epoch:train:4301-4400batch: iter_time=7.218e-04, forward_time=0.213, loss_ctc=73.306, loss_att=59.408, acc=0.720, loss=63.577, backward_time=0.374, grad_norm=60.743, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=7.802e-05, train_time=1.774 +[gpua001:0/64] 2023-12-11 22:40:30,329 (trainer:737) INFO: 27epoch:train:4401-4500batch: iter_time=8.013e-05, forward_time=0.146, loss_ctc=65.424, loss_att=47.548, acc=0.713, loss=52.911, backward_time=0.297, grad_norm=60.363, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.801e-05, train_time=1.393 +[gpua001:0/64] 2023-12-11 22:42:37,033 (trainer:737) INFO: 27epoch:train:4501-4600batch: iter_time=8.472e-05, forward_time=0.146, loss_ctc=71.929, loss_att=54.820, acc=0.712, loss=59.953, backward_time=0.284, grad_norm=67.083, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.800e-05, train_time=1.267 +[gpua001:0/64] 2023-12-11 22:44:39,729 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-11 22:44:43,319 (trainer:737) INFO: 27epoch:train:4601-4700batch: iter_time=8.147e-05, forward_time=0.146, loss_ctc=69.619, loss_att=55.987, acc=0.712, loss=60.077, backward_time=0.281, grad_norm=86.931, clip=100.000, loss_scale=7.990e+31, optim_step_time=0.133, optim0_lr0=7.799e-05, train_time=1.263 +[gpua001:0/64] 2023-12-11 22:47:18,956 (trainer:737) INFO: 27epoch:train:4701-4800batch: iter_time=7.657e-05, forward_time=0.146, loss_ctc=61.738, loss_att=52.799, acc=0.713, loss=55.481, backward_time=0.297, grad_norm=70.243, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.798e-05, train_time=1.556 +[gpua001:0/64] 2023-12-11 22:49:44,689 (trainer:737) INFO: 27epoch:train:4801-4900batch: iter_time=8.161e-05, forward_time=0.146, loss_ctc=70.411, loss_att=52.763, acc=0.714, loss=58.057, backward_time=0.290, grad_norm=62.787, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.797e-05, train_time=1.457 +[gpua001:0/64] 2023-12-11 22:53:04,835 (trainer:737) INFO: 27epoch:train:4901-5000batch: iter_time=8.052e-05, forward_time=0.146, loss_ctc=67.956, loss_att=55.080, acc=0.722, loss=58.943, backward_time=0.358, grad_norm=64.780, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.796e-05, train_time=2.001 +[gpua001:0/64] 2023-12-11 22:53:24,863 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-11 22:53:43,628 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 22:53:47,008 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 22:53:47,008 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-11 22:53:47,011 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 23:02:52,501 (trainer:737) INFO: 27epoch:train:5001-5100batch: iter_time=4.494, forward_time=0.203, loss_ctc=66.919, loss_att=52.663, acc=0.719, loss=56.940, backward_time=0.294, grad_norm=84.261, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.795e-05, train_time=5.876 +[gpua001:0/64] 2023-12-11 23:04:56,594 (trainer:737) INFO: 27epoch:train:5101-5200batch: iter_time=7.685e-05, forward_time=0.149, loss_ctc=64.588, loss_att=53.406, acc=0.733, loss=56.761, backward_time=0.285, grad_norm=78.006, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.794e-05, train_time=1.241 +[gpua001:0/64] 2023-12-11 23:07:05,497 (trainer:737) INFO: 27epoch:train:5201-5300batch: iter_time=8.156e-05, forward_time=0.164, loss_ctc=66.695, loss_att=57.362, acc=0.724, loss=60.162, backward_time=0.283, grad_norm=58.009, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.793e-05, train_time=1.287 +[gpua001:0/64] 2023-12-11 23:09:15,166 (trainer:737) INFO: 27epoch:train:5301-5400batch: iter_time=8.469e-05, forward_time=0.147, loss_ctc=70.783, loss_att=52.850, acc=0.736, loss=58.230, backward_time=0.282, grad_norm=59.750, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.792e-05, train_time=1.298 +[gpua001:0/64] 2023-12-11 23:11:24,644 (trainer:737) INFO: 27epoch:train:5401-5500batch: iter_time=8.263e-05, forward_time=0.147, loss_ctc=66.540, loss_att=55.261, acc=0.745, loss=58.645, backward_time=0.287, grad_norm=57.547, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.791e-05, train_time=1.295 +[gpua001:0/64] 2023-12-11 23:13:49,939 (trainer:737) INFO: 27epoch:train:5501-5600batch: iter_time=8.211e-05, forward_time=0.146, loss_ctc=65.086, loss_att=49.806, acc=0.745, loss=54.390, backward_time=0.311, grad_norm=57.194, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.790e-05, train_time=1.453 +[gpua001:0/64] 2023-12-11 23:16:27,404 (trainer:737) INFO: 27epoch:train:5601-5700batch: iter_time=8.499e-05, forward_time=0.147, loss_ctc=70.024, loss_att=52.952, acc=0.731, loss=58.074, backward_time=0.343, grad_norm=69.232, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.789e-05, train_time=1.574 +[gpua001:0/64] 2023-12-11 23:18:59,378 (trainer:737) INFO: 27epoch:train:5701-5800batch: iter_time=7.884e-05, forward_time=0.149, loss_ctc=64.318, loss_att=52.040, acc=0.719, loss=55.723, backward_time=0.313, grad_norm=65.850, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.788e-05, train_time=1.520 +[gpua001:0/64] 2023-12-11 23:22:20,625 (trainer:737) INFO: 27epoch:train:5801-5900batch: iter_time=8.281e-05, forward_time=0.147, loss_ctc=75.300, loss_att=53.416, acc=0.733, loss=59.981, backward_time=0.386, grad_norm=74.970, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.787e-05, train_time=2.012 +[gpua001:0/64] 2023-12-11 23:24:51,542 (trainer:737) INFO: 27epoch:train:5901-6000batch: iter_time=8.748e-05, forward_time=0.147, loss_ctc=66.553, loss_att=62.672, acc=0.705, loss=63.837, backward_time=0.293, grad_norm=110.672, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.786e-05, train_time=1.509 +[gpua001:0/64] 2023-12-11 23:26:52,210 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-11 23:27:17,591 (trainer:737) INFO: 27epoch:train:6001-6100batch: iter_time=8.350e-05, forward_time=0.149, loss_ctc=65.455, loss_att=49.028, acc=0.726, loss=53.956, backward_time=0.304, grad_norm=89.392, clip=100.000, loss_scale=3.708e+31, optim_step_time=0.132, optim0_lr0=7.785e-05, train_time=1.460 +[gpua001:0/64] 2023-12-11 23:29:44,536 (trainer:737) INFO: 27epoch:train:6101-6200batch: iter_time=9.005e-05, forward_time=0.224, loss_ctc=65.879, loss_att=52.134, acc=0.721, loss=56.257, backward_time=0.317, grad_norm=66.837, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.784e-05, train_time=1.469 +[gpua001:0/64] 2023-12-11 23:31:09,653 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-11 23:31:28,245 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-11 23:31:31,685 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-11 23:31:31,685 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-11 23:31:31,690 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-11 23:40:36,489 (trainer:737) INFO: 27epoch:train:6201-6300batch: iter_time=3.198, forward_time=0.167, loss_ctc=67.831, loss_att=51.303, acc=0.733, loss=56.262, backward_time=0.283, grad_norm=77.996, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.783e-05, train_time=6.519 +[gpua001:0/64] 2023-12-11 23:42:50,138 (trainer:737) INFO: 27epoch:train:6301-6400batch: iter_time=7.803e-05, forward_time=0.148, loss_ctc=68.980, loss_att=56.876, acc=0.719, loss=60.507, backward_time=0.284, grad_norm=65.896, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.782e-05, train_time=1.336 +[gpua001:0/64] 2023-12-11 23:45:06,805 (trainer:737) INFO: 27epoch:train:6401-6500batch: iter_time=7.885e-05, forward_time=0.147, loss_ctc=63.648, loss_att=50.990, acc=0.734, loss=54.787, backward_time=0.284, grad_norm=62.621, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.781e-05, train_time=1.366 +[gpua001:0/64] 2023-12-11 23:47:08,684 (trainer:737) INFO: 27epoch:train:6501-6600batch: iter_time=8.255e-05, forward_time=0.148, loss_ctc=67.831, loss_att=56.807, acc=0.727, loss=60.114, backward_time=0.283, grad_norm=53.702, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.780e-05, train_time=1.219 +[gpua001:0/64] 2023-12-11 23:49:51,914 (trainer:737) INFO: 27epoch:train:6601-6700batch: iter_time=8.299e-05, forward_time=0.147, loss_ctc=73.780, loss_att=60.573, acc=0.732, loss=64.535, backward_time=0.293, grad_norm=56.627, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.779e-05, train_time=1.632 +[gpua001:0/64] 2023-12-11 23:52:47,867 (trainer:737) INFO: 27epoch:train:6701-6800batch: iter_time=8.216e-05, forward_time=0.147, loss_ctc=62.086, loss_att=43.278, acc=0.758, loss=48.921, backward_time=0.378, grad_norm=46.283, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.778e-05, train_time=1.759 +[gpua001:0/64] 2023-12-11 23:55:01,140 (trainer:737) INFO: 27epoch:train:6801-6900batch: iter_time=8.073e-05, forward_time=0.155, loss_ctc=72.977, loss_att=58.877, acc=0.735, loss=63.107, backward_time=0.286, grad_norm=59.454, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.777e-05, train_time=1.333 +[gpua001:0/64] 2023-12-11 23:58:00,775 (trainer:737) INFO: 27epoch:train:6901-7000batch: iter_time=8.363e-05, forward_time=0.190, loss_ctc=64.746, loss_att=47.499, acc=0.729, loss=52.673, backward_time=0.316, grad_norm=51.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.776e-05, train_time=1.795 +[gpua001:0/64] 2023-12-12 00:00:28,765 (trainer:737) INFO: 27epoch:train:7001-7100batch: iter_time=9.169e-05, forward_time=0.176, loss_ctc=71.490, loss_att=55.413, acc=0.719, loss=60.236, backward_time=0.318, grad_norm=63.258, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.775e-05, train_time=1.480 +[gpua001:0/64] 2023-12-12 00:02:59,362 (trainer:737) INFO: 27epoch:train:7101-7200batch: iter_time=8.495e-05, forward_time=0.172, loss_ctc=67.406, loss_att=55.478, acc=0.722, loss=59.057, backward_time=0.328, grad_norm=74.151, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.774e-05, train_time=1.504 +[gpua001:0/64] 2023-12-12 00:06:05,112 (trainer:737) INFO: 27epoch:train:7201-7300batch: iter_time=8.461e-05, forward_time=0.149, loss_ctc=61.263, loss_att=53.375, acc=0.720, loss=55.741, backward_time=0.310, grad_norm=120.042, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.773e-05, train_time=1.859 +[gpua001:0/64] 2023-12-12 00:08:38,175 (trainer:737) INFO: 27epoch:train:7301-7400batch: iter_time=8.569e-05, forward_time=0.148, loss_ctc=69.802, loss_att=52.141, acc=0.723, loss=57.440, backward_time=0.313, grad_norm=63.502, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.773e-05, train_time=1.530 +[gpua001:0/64] 2023-12-12 00:10:54,358 (trainer:737) INFO: 27epoch:train:7401-7500batch: iter_time=8.307e-05, forward_time=0.148, loss_ctc=67.646, loss_att=54.985, acc=0.728, loss=58.783, backward_time=0.285, grad_norm=55.166, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.772e-05, train_time=1.362 +[gpua001:0/64] 2023-12-12 00:11:14,387 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-12 00:11:32,758 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 00:11:36,347 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 00:11:36,347 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-12 00:11:36,350 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 00:24:00,253 (trainer:737) INFO: 27epoch:train:7501-7600batch: iter_time=3.139, forward_time=0.220, loss_ctc=66.310, loss_att=52.171, acc=0.715, loss=56.412, backward_time=0.414, grad_norm=75.465, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.771e-05, train_time=7.859 +[gpua001:0/64] 2023-12-12 00:27:54,259 (trainer:737) INFO: 27epoch:train:7601-7700batch: iter_time=8.127e-05, forward_time=0.183, loss_ctc=63.947, loss_att=54.362, acc=0.716, loss=57.238, backward_time=0.449, grad_norm=56.685, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.770e-05, train_time=2.340 +[gpua001:0/64] 2023-12-12 00:31:52,977 (trainer:737) INFO: 27epoch:train:7701-7800batch: iter_time=8.333e-05, forward_time=0.174, loss_ctc=65.711, loss_att=57.515, acc=0.716, loss=59.973, backward_time=0.426, grad_norm=58.099, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.769e-05, train_time=2.387 +[gpua001:0/64] 2023-12-12 00:36:31,570 (trainer:737) INFO: 27epoch:train:7801-7900batch: iter_time=8.796e-05, forward_time=0.148, loss_ctc=70.585, loss_att=52.504, acc=0.733, loss=57.928, backward_time=0.372, grad_norm=55.519, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.768e-05, train_time=2.786 +[gpua001:0/64] 2023-12-12 00:40:05,209 (trainer:737) INFO: 27epoch:train:7901-8000batch: iter_time=8.322e-05, forward_time=0.164, loss_ctc=66.244, loss_att=54.890, acc=0.743, loss=58.296, backward_time=0.436, grad_norm=57.734, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.767e-05, train_time=2.136 +[gpua001:0/64] 2023-12-12 00:43:52,952 (trainer:737) INFO: 27epoch:train:8001-8100batch: iter_time=8.289e-05, forward_time=0.147, loss_ctc=64.945, loss_att=50.026, acc=0.738, loss=54.501, backward_time=0.362, grad_norm=48.861, clip=100.000, loss_scale=2.373e+31, optim_step_time=0.134, optim0_lr0=7.766e-05, train_time=2.278 +[gpua001:0/64] 2023-12-12 00:47:37,189 (trainer:737) INFO: 27epoch:train:8101-8200batch: iter_time=8.411e-05, forward_time=0.149, loss_ctc=69.774, loss_att=54.054, acc=0.715, loss=58.770, backward_time=0.480, grad_norm=55.357, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.765e-05, train_time=2.242 +[gpua001:0/64] 2023-12-12 00:50:59,907 (trainer:737) INFO: 27epoch:train:8201-8300batch: iter_time=9.827e-04, forward_time=0.176, loss_ctc=64.746, loss_att=51.021, acc=0.715, loss=55.138, backward_time=0.378, grad_norm=58.452, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=7.764e-05, train_time=2.027 +[gpua001:0/64] 2023-12-12 00:53:55,455 (trainer:737) INFO: 27epoch:train:8301-8400batch: iter_time=9.449e-05, forward_time=0.146, loss_ctc=73.950, loss_att=53.054, acc=0.726, loss=59.323, backward_time=0.309, grad_norm=67.293, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.763e-05, train_time=1.755 +[gpua001:0/64] 2023-12-12 00:56:44,060 (trainer:737) INFO: 27epoch:train:8401-8500batch: iter_time=8.987e-05, forward_time=0.146, loss_ctc=65.882, loss_att=59.486, acc=0.707, loss=61.404, backward_time=0.337, grad_norm=67.132, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.762e-05, train_time=1.686 +[gpua001:0/64] 2023-12-12 01:00:43,405 (trainer:737) INFO: 27epoch:train:8501-8600batch: iter_time=8.684e-05, forward_time=0.171, loss_ctc=65.014, loss_att=49.319, acc=0.717, loss=54.028, backward_time=0.390, grad_norm=62.235, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.761e-05, train_time=2.393 +[gpua001:0/64] 2023-12-12 01:04:00,700 (trainer:737) INFO: 27epoch:train:8601-8700batch: iter_time=9.181e-05, forward_time=0.147, loss_ctc=65.496, loss_att=51.919, acc=0.722, loss=55.992, backward_time=0.381, grad_norm=59.718, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.760e-05, train_time=1.973 +[gpua001:0/64] 2023-12-12 01:06:26,059 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-12 01:06:44,669 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 01:06:48,308 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 01:06:48,308 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-12 01:06:48,428 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 01:18:22,570 (trainer:737) INFO: 27epoch:train:8701-8800batch: iter_time=3.763, forward_time=0.161, loss_ctc=67.080, loss_att=50.863, acc=0.729, loss=55.728, backward_time=0.330, grad_norm=57.528, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.759e-05, train_time=8.618 +[gpua001:0/64] 2023-12-12 01:20:59,770 (trainer:737) INFO: 27epoch:train:8801-8900batch: iter_time=8.235e-05, forward_time=0.148, loss_ctc=68.590, loss_att=55.975, acc=0.710, loss=59.759, backward_time=0.308, grad_norm=74.415, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.758e-05, train_time=1.572 +[gpua001:0/64] 2023-12-12 01:23:05,494 (trainer:737) INFO: 27epoch:train:8901-9000batch: iter_time=8.407e-05, forward_time=0.148, loss_ctc=63.315, loss_att=51.003, acc=0.726, loss=54.697, backward_time=0.290, grad_norm=63.873, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.757e-05, train_time=1.257 +[gpua001:0/64] 2023-12-12 01:25:40,531 (trainer:737) INFO: 27epoch:train:9001-9100batch: iter_time=9.256e-05, forward_time=0.148, loss_ctc=67.188, loss_att=56.683, acc=0.720, loss=59.834, backward_time=0.300, grad_norm=59.360, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.756e-05, train_time=1.550 +[gpua001:0/64] 2023-12-12 01:28:37,533 (trainer:737) INFO: 27epoch:train:9101-9200batch: iter_time=0.005, forward_time=0.213, loss_ctc=73.430, loss_att=61.063, acc=0.719, loss=64.773, backward_time=0.321, grad_norm=77.119, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.755e-05, train_time=1.770 +[gpua001:0/64] 2023-12-12 01:31:12,724 (trainer:737) INFO: 27epoch:train:9201-9300batch: iter_time=8.974e-05, forward_time=0.147, loss_ctc=61.491, loss_att=42.713, acc=0.759, loss=48.346, backward_time=0.290, grad_norm=50.881, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.754e-05, train_time=1.552 +[gpua001:0/64] 2023-12-12 01:33:38,105 (trainer:737) INFO: 27epoch:train:9301-9400batch: iter_time=9.063e-05, forward_time=0.150, loss_ctc=72.487, loss_att=59.306, acc=0.723, loss=63.260, backward_time=0.299, grad_norm=58.613, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.753e-05, train_time=1.454 +[gpua001:0/64] 2023-12-12 01:37:03,616 (trainer:737) INFO: 27epoch:train:9401-9500batch: iter_time=8.565e-05, forward_time=0.176, loss_ctc=64.805, loss_att=47.013, acc=0.716, loss=52.351, backward_time=0.363, grad_norm=67.436, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.752e-05, train_time=2.055 +[gpua001:0/64] 2023-12-12 01:39:22,069 (trainer:737) INFO: 27epoch:train:9501-9600batch: iter_time=8.825e-05, forward_time=0.149, loss_ctc=70.838, loss_att=54.402, acc=0.716, loss=59.333, backward_time=0.284, grad_norm=60.617, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.751e-05, train_time=1.384 +[gpua001:0/64] 2023-12-12 01:42:24,074 (trainer:737) INFO: 27epoch:train:9601-9700batch: iter_time=8.960e-05, forward_time=0.151, loss_ctc=66.144, loss_att=54.904, acc=0.718, loss=58.276, backward_time=0.339, grad_norm=69.158, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.750e-05, train_time=1.820 +[gpua001:0/64] 2023-12-12 01:44:51,012 (trainer:737) INFO: 27epoch:train:9701-9800batch: iter_time=8.873e-05, forward_time=0.157, loss_ctc=60.545, loss_att=52.161, acc=0.717, loss=54.676, backward_time=0.314, grad_norm=69.603, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.749e-05, train_time=1.468 +[gpua001:0/64] 2023-12-12 01:47:16,383 (trainer:737) INFO: 27epoch:train:9801-9900batch: iter_time=9.055e-05, forward_time=0.147, loss_ctc=68.319, loss_att=51.647, acc=0.716, loss=56.649, backward_time=0.293, grad_norm=75.051, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.748e-05, train_time=1.454 +[gpua001:0/64] 2023-12-12 01:49:45,094 (trainer:737) INFO: 27epoch:train:9901-10000batch: iter_time=9.412e-05, forward_time=0.147, loss_ctc=67.164, loss_att=54.674, acc=0.726, loss=58.421, backward_time=0.331, grad_norm=62.064, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.747e-05, train_time=1.487 +[gpua001:0/64] 2023-12-12 01:50:05,415 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-12 01:50:23,805 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 01:50:27,190 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 01:50:27,191 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-12 01:50:27,194 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 01:57:33,960 (trainer:737) INFO: 27epoch:train:10001-10100batch: iter_time=3.256, forward_time=0.194, loss_ctc=66.414, loss_att=50.392, acc=0.720, loss=55.199, backward_time=0.294, grad_norm=62.169, clip=100.000, loss_scale=4.746e+31, optim_step_time=0.134, optim0_lr0=7.746e-05, train_time=4.688 +[gpua001:0/64] 2023-12-12 01:59:55,121 (trainer:737) INFO: 27epoch:train:10101-10200batch: iter_time=7.687e-05, forward_time=0.146, loss_ctc=63.815, loss_att=53.204, acc=0.719, loss=56.388, backward_time=0.290, grad_norm=58.221, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.745e-05, train_time=1.412 +[gpua001:0/64] 2023-12-12 02:02:03,477 (trainer:737) INFO: 27epoch:train:10201-10300batch: iter_time=7.676e-05, forward_time=0.146, loss_ctc=66.336, loss_att=57.157, acc=0.718, loss=59.911, backward_time=0.296, grad_norm=64.539, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.744e-05, train_time=1.283 +[gpua001:0/64] 2023-12-12 02:04:29,427 (trainer:737) INFO: 27epoch:train:10301-10400batch: iter_time=8.056e-05, forward_time=0.175, loss_ctc=70.272, loss_att=51.948, acc=0.732, loss=57.445, backward_time=0.304, grad_norm=85.978, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=7.743e-05, train_time=1.459 +[gpua001:0/64] 2023-12-12 02:07:18,857 (trainer:737) INFO: 27epoch:train:10401-10500batch: iter_time=8.364e-05, forward_time=0.148, loss_ctc=66.100, loss_att=54.524, acc=0.743, loss=57.997, backward_time=0.313, grad_norm=53.977, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.742e-05, train_time=1.694 +[gpua001:0/64] 2023-12-12 02:10:34,679 (trainer:737) INFO: 27epoch:train:10501-10600batch: iter_time=0.004, forward_time=0.148, loss_ctc=64.714, loss_att=49.456, acc=0.739, loss=54.034, backward_time=0.412, grad_norm=100.567, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.741e-05, train_time=1.958 +[gpua001:0/64] 2023-12-12 02:13:16,254 (trainer:737) INFO: 27epoch:train:10601-10700batch: iter_time=8.031e-05, forward_time=0.146, loss_ctc=69.339, loss_att=53.340, acc=0.716, loss=58.140, backward_time=0.291, grad_norm=82.184, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=7.740e-05, train_time=1.616 +[gpua001:0/64] 2023-12-12 02:15:12,943 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 02:15:55,583 (trainer:737) INFO: 27epoch:train:10701-10800batch: iter_time=8.416e-05, forward_time=0.164, loss_ctc=64.609, loss_att=50.640, acc=0.717, loss=54.830, backward_time=0.297, grad_norm=117.753, clip=100.000, loss_scale=6.843e+31, optim_step_time=0.134, optim0_lr0=7.739e-05, train_time=1.592 +[gpua001:0/64] 2023-12-12 02:18:39,480 (trainer:737) INFO: 27epoch:train:10801-10900batch: iter_time=8.784e-05, forward_time=0.146, loss_ctc=74.073, loss_att=53.011, acc=0.728, loss=59.330, backward_time=0.313, grad_norm=71.593, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.739e-05, train_time=1.640 +[gpua001:0/64] 2023-12-12 02:20:18,115 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 02:21:09,801 (trainer:737) INFO: 27epoch:train:10901-11000batch: iter_time=8.478e-05, forward_time=0.174, loss_ctc=63.290, loss_att=60.285, acc=0.706, loss=61.187, backward_time=0.287, grad_norm=65.434, clip=100.000, loss_scale=3.380e+31, optim_step_time=0.134, optim0_lr0=7.738e-05, train_time=1.503 +[gpua001:0/64] 2023-12-12 02:23:40,660 (trainer:737) INFO: 27epoch:train:11001-11100batch: iter_time=8.853e-05, forward_time=0.176, loss_ctc=64.646, loss_att=48.394, acc=0.719, loss=53.270, backward_time=0.314, grad_norm=57.767, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.737e-05, train_time=1.508 +[gpua001:0/64] 2023-12-12 02:26:13,239 (trainer:737) INFO: 27epoch:train:11101-11200batch: iter_time=8.275e-05, forward_time=0.146, loss_ctc=64.973, loss_att=51.764, acc=0.721, loss=55.727, backward_time=0.297, grad_norm=104.156, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.736e-05, train_time=1.526 +[gpua001:0/64] 2023-12-12 02:27:39,798 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-12 02:27:58,308 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 02:28:01,700 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 02:28:01,700 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-12 02:28:01,732 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 02:40:59,397 (trainer:737) INFO: 27epoch:train:11201-11300batch: iter_time=3.699, forward_time=0.194, loss_ctc=67.516, loss_att=52.385, acc=0.729, loss=56.925, backward_time=0.329, grad_norm=112.942, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.735e-05, train_time=8.861 +[gpua001:0/64] 2023-12-12 02:43:40,692 (trainer:737) INFO: 27epoch:train:11301-11400batch: iter_time=7.752e-05, forward_time=0.146, loss_ctc=69.227, loss_att=57.570, acc=0.720, loss=61.067, backward_time=0.318, grad_norm=59.692, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.734e-05, train_time=1.613 +[gpua001:0/64] 2023-12-12 02:47:24,252 (trainer:737) INFO: 27epoch:train:11401-11500batch: iter_time=7.745e-05, forward_time=0.158, loss_ctc=63.835, loss_att=51.204, acc=0.738, loss=54.994, backward_time=0.471, grad_norm=51.465, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.733e-05, train_time=2.235 +[gpua001:0/64] 2023-12-12 02:50:35,712 (trainer:737) INFO: 27epoch:train:11501-11600batch: iter_time=8.514e-05, forward_time=0.146, loss_ctc=66.913, loss_att=56.826, acc=0.729, loss=59.852, backward_time=0.352, grad_norm=56.264, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.732e-05, train_time=1.914 +[gpua001:0/64] 2023-12-12 02:53:46,784 (trainer:737) INFO: 27epoch:train:11601-11700batch: iter_time=8.341e-05, forward_time=0.147, loss_ctc=72.273, loss_att=60.394, acc=0.733, loss=63.958, backward_time=0.355, grad_norm=52.583, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.731e-05, train_time=1.911 +[gpua001:0/64] 2023-12-12 02:57:39,283 (trainer:737) INFO: 27epoch:train:11701-11800batch: iter_time=8.065e-05, forward_time=0.189, loss_ctc=61.698, loss_att=43.482, acc=0.758, loss=48.947, backward_time=0.446, grad_norm=53.000, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.730e-05, train_time=2.325 +[gpua001:0/64] 2023-12-12 03:02:16,326 (trainer:737) INFO: 27epoch:train:11801-11900batch: iter_time=8.478e-05, forward_time=0.149, loss_ctc=72.494, loss_att=58.859, acc=0.737, loss=62.949, backward_time=0.470, grad_norm=76.587, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.729e-05, train_time=2.770 +[gpua001:0/64] 2023-12-12 03:05:31,800 (trainer:737) INFO: 27epoch:train:11901-12000batch: iter_time=7.962e-05, forward_time=0.149, loss_ctc=64.697, loss_att=47.375, acc=0.730, loss=52.571, backward_time=0.356, grad_norm=56.684, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.728e-05, train_time=1.955 +[gpua001:0/64] 2023-12-12 03:08:57,324 (trainer:737) INFO: 27epoch:train:12001-12100batch: iter_time=7.770e-05, forward_time=0.147, loss_ctc=70.067, loss_att=54.748, acc=0.722, loss=59.344, backward_time=0.403, grad_norm=73.654, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.727e-05, train_time=2.055 +[gpua001:0/64] 2023-12-12 03:13:07,161 (trainer:737) INFO: 27epoch:train:12101-12200batch: iter_time=8.042e-05, forward_time=0.197, loss_ctc=66.016, loss_att=55.106, acc=0.724, loss=58.379, backward_time=0.438, grad_norm=62.799, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.726e-05, train_time=2.498 +[gpua001:0/64] 2023-12-12 03:16:46,054 (trainer:737) INFO: 27epoch:train:12201-12300batch: iter_time=8.191e-05, forward_time=0.147, loss_ctc=60.791, loss_att=52.915, acc=0.726, loss=55.278, backward_time=0.384, grad_norm=66.623, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.725e-05, train_time=2.189 +[gpua001:0/64] 2023-12-12 03:20:43,656 (trainer:737) INFO: 27epoch:train:12301-12400batch: iter_time=8.209e-05, forward_time=0.147, loss_ctc=67.831, loss_att=50.901, acc=0.727, loss=55.980, backward_time=0.424, grad_norm=55.340, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.724e-05, train_time=2.376 +[gpua001:0/64] 2023-12-12 03:24:41,944 (trainer:737) INFO: 27epoch:train:12401-12500batch: iter_time=8.047e-05, forward_time=0.167, loss_ctc=67.329, loss_att=55.310, acc=0.730, loss=58.916, backward_time=0.354, grad_norm=89.716, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.723e-05, train_time=2.383 +[gpua001:0/64] 2023-12-12 03:25:01,973 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-12 03:25:20,525 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 03:25:23,969 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 03:25:23,969 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-12 03:25:23,972 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 03:35:51,206 (trainer:737) INFO: 27epoch:train:12501-12600batch: iter_time=3.062, forward_time=0.189, loss_ctc=66.233, loss_att=51.694, acc=0.716, loss=56.055, backward_time=0.293, grad_norm=98.617, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.722e-05, train_time=6.692 +[gpua001:0/64] 2023-12-12 03:38:34,359 (trainer:737) INFO: 27epoch:train:12601-12700batch: iter_time=8.328e-05, forward_time=0.146, loss_ctc=63.542, loss_att=53.189, acc=0.720, loss=56.295, backward_time=0.334, grad_norm=60.999, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.721e-05, train_time=1.632 +[gpua001:0/64] 2023-12-12 03:41:05,081 (trainer:737) INFO: 27epoch:train:12701-12800batch: iter_time=8.420e-05, forward_time=0.146, loss_ctc=65.991, loss_att=57.255, acc=0.716, loss=59.876, backward_time=0.294, grad_norm=75.442, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.720e-05, train_time=1.507 +[gpua001:0/64] 2023-12-12 03:43:45,858 (trainer:737) INFO: 27epoch:train:12801-12900batch: iter_time=8.059e-05, forward_time=0.146, loss_ctc=70.293, loss_att=51.922, acc=0.735, loss=57.433, backward_time=0.301, grad_norm=103.417, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.719e-05, train_time=1.608 +[gpua001:0/64] 2023-12-12 03:46:33,884 (trainer:737) INFO: 27epoch:train:12901-13000batch: iter_time=8.461e-05, forward_time=0.162, loss_ctc=65.869, loss_att=54.594, acc=0.743, loss=57.977, backward_time=0.346, grad_norm=73.493, clip=100.000, loss_scale=2.698e+31, optim_step_time=0.133, optim0_lr0=7.718e-05, train_time=1.680 +[gpua001:0/64] 2023-12-12 03:49:23,306 (trainer:737) INFO: 27epoch:train:13001-13100batch: iter_time=8.416e-05, forward_time=0.161, loss_ctc=64.484, loss_att=49.437, acc=0.740, loss=53.951, backward_time=0.326, grad_norm=61.221, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.717e-05, train_time=1.694 +[gpua001:0/64] 2023-12-12 03:52:17,029 (trainer:737) INFO: 27epoch:train:13101-13200batch: iter_time=8.389e-05, forward_time=0.146, loss_ctc=68.991, loss_att=52.942, acc=0.718, loss=57.757, backward_time=0.373, grad_norm=58.408, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.716e-05, train_time=1.737 +[gpua001:0/64] 2023-12-12 03:55:12,850 (trainer:737) INFO: 27epoch:train:13201-13300batch: iter_time=8.387e-05, forward_time=0.158, loss_ctc=63.763, loss_att=50.238, acc=0.718, loss=54.296, backward_time=0.317, grad_norm=78.396, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.715e-05, train_time=1.758 +[gpua001:0/64] 2023-12-12 03:59:19,725 (trainer:737) INFO: 27epoch:train:13301-13400batch: iter_time=8.201e-05, forward_time=0.149, loss_ctc=73.661, loss_att=52.780, acc=0.728, loss=59.044, backward_time=0.353, grad_norm=105.768, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.714e-05, train_time=2.469 +[gpua001:0/64] 2023-12-12 04:01:53,026 (trainer:737) INFO: 27epoch:train:13401-13500batch: iter_time=8.240e-05, forward_time=0.189, loss_ctc=65.038, loss_att=59.392, acc=0.710, loss=61.086, backward_time=0.338, grad_norm=79.402, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.714e-05, train_time=1.533 +[gpua001:0/64] 2023-12-12 04:04:50,799 (trainer:737) INFO: 27epoch:train:13501-13600batch: iter_time=8.588e-05, forward_time=0.148, loss_ctc=64.677, loss_att=48.825, acc=0.720, loss=53.581, backward_time=0.313, grad_norm=59.905, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.713e-05, train_time=1.777 +[gpua001:0/64] 2023-12-12 04:06:06,446 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 04:07:46,420 (trainer:737) INFO: 27epoch:train:13601-13700batch: iter_time=8.596e-05, forward_time=0.147, loss_ctc=65.143, loss_att=51.846, acc=0.721, loss=55.835, backward_time=0.336, grad_norm=72.643, clip=100.000, loss_scale=2.950e+31, optim_step_time=0.132, optim0_lr0=7.712e-05, train_time=1.756 +[gpua001:0/64] 2023-12-12 04:09:26,806 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-12 04:09:45,095 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 04:09:48,500 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 04:09:48,500 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-12 04:09:48,527 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 04:18:49,964 (trainer:737) INFO: 27epoch:train:13701-13800batch: iter_time=3.400, forward_time=0.186, loss_ctc=67.122, loss_att=51.838, acc=0.731, loss=56.423, backward_time=0.296, grad_norm=120.346, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.711e-05, train_time=6.635 +[gpua001:0/64] 2023-12-12 04:20:57,543 (trainer:737) INFO: 27epoch:train:13801-13900batch: iter_time=8.232e-05, forward_time=0.148, loss_ctc=68.170, loss_att=56.262, acc=0.724, loss=59.834, backward_time=0.282, grad_norm=80.338, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.710e-05, train_time=1.276 +[gpua001:0/64] 2023-12-12 04:23:56,862 (trainer:737) INFO: 27epoch:train:13901-14000batch: iter_time=8.191e-05, forward_time=0.147, loss_ctc=63.147, loss_att=51.124, acc=0.738, loss=54.731, backward_time=0.303, grad_norm=62.184, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.709e-05, train_time=1.793 +[gpua001:0/64] 2023-12-12 04:26:34,364 (trainer:737) INFO: 27epoch:train:14001-14100batch: iter_time=8.355e-05, forward_time=0.163, loss_ctc=65.957, loss_att=56.139, acc=0.731, loss=59.085, backward_time=0.293, grad_norm=60.587, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.708e-05, train_time=1.575 +[gpua001:0/64] 2023-12-12 04:29:08,284 (trainer:737) INFO: 27epoch:train:14101-14200batch: iter_time=8.281e-05, forward_time=0.184, loss_ctc=73.332, loss_att=60.883, acc=0.733, loss=64.618, backward_time=0.330, grad_norm=70.285, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.707e-05, train_time=1.539 +[gpua001:0/64] 2023-12-12 04:31:34,342 (trainer:737) INFO: 27epoch:train:14201-14300batch: iter_time=8.109e-05, forward_time=0.174, loss_ctc=61.000, loss_att=42.889, acc=0.760, loss=48.322, backward_time=0.302, grad_norm=52.813, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.706e-05, train_time=1.460 +[gpua001:0/64] 2023-12-12 04:34:58,627 (trainer:737) INFO: 27epoch:train:14301-14400batch: iter_time=8.195e-05, forward_time=0.148, loss_ctc=71.962, loss_att=58.382, acc=0.737, loss=62.456, backward_time=0.344, grad_norm=72.219, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.705e-05, train_time=2.043 +[gpua001:0/64] 2023-12-12 04:38:24,331 (trainer:737) INFO: 27epoch:train:14401-14500batch: iter_time=8.416e-05, forward_time=0.189, loss_ctc=64.410, loss_att=47.343, acc=0.731, loss=52.463, backward_time=0.349, grad_norm=60.562, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.704e-05, train_time=2.057 +[gpua001:0/64] 2023-12-12 04:40:59,596 (trainer:737) INFO: 27epoch:train:14501-14600batch: iter_time=8.434e-05, forward_time=0.147, loss_ctc=70.975, loss_att=54.831, acc=0.722, loss=59.675, backward_time=0.287, grad_norm=60.276, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.703e-05, train_time=1.553 +[gpua001:0/64] 2023-12-12 04:43:34,084 (trainer:737) INFO: 27epoch:train:14601-14700batch: iter_time=8.353e-05, forward_time=0.149, loss_ctc=66.844, loss_att=54.697, acc=0.725, loss=58.341, backward_time=0.294, grad_norm=65.407, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.702e-05, train_time=1.545 +[gpua001:0/64] 2023-12-12 04:45:42,724 (trainer:737) INFO: 27epoch:train:14701-14800batch: iter_time=8.232e-05, forward_time=0.162, loss_ctc=61.353, loss_att=53.105, acc=0.727, loss=55.579, backward_time=0.289, grad_norm=63.707, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.701e-05, train_time=1.286 +[gpua001:0/64] 2023-12-12 04:48:42,800 (trainer:737) INFO: 27epoch:train:14801-14900batch: iter_time=8.134e-05, forward_time=0.147, loss_ctc=68.602, loss_att=51.065, acc=0.725, loss=56.326, backward_time=0.367, grad_norm=65.033, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.700e-05, train_time=1.801 +[gpua001:0/64] 2023-12-12 04:51:54,851 (trainer:737) INFO: 27epoch:train:14901-15000batch: iter_time=8.053e-05, forward_time=0.176, loss_ctc=67.033, loss_att=55.143, acc=0.731, loss=58.710, backward_time=0.350, grad_norm=70.860, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.699e-05, train_time=1.920 +[gpua001:0/64] 2023-12-12 05:19:29,125 (trainer:343) INFO: 27epoch results: [train] iter_time=0.266, forward_time=0.159, loss_ctc=67.550, loss_att=53.720, acc=0.724, loss=57.869, backward_time=0.333, grad_norm=69.144, clip=100.000, loss_scale=3.401e+31, optim_step_time=0.134, optim0_lr0=7.771e-05, train_time=2.118, time=8 hours, 49 minutes and 54.45 seconds, total_count=405000, gpu_max_cached_mem_GB=37.930, [valid] loss_ctc=35.594, cer_ctc=0.184, loss_att=33.134, acc=0.720, cer=0.320, wer=0.975, loss=33.872, time=27 minutes and 10.19 seconds, total_count=126117, gpu_max_cached_mem_GB=37.930 +[gpua001:0/64] 2023-12-12 05:19:47,862 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua001:0/64] 2023-12-12 05:19:47,932 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/21epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/22epoch.pth +[gpua001:0/64] 2023-12-12 05:19:48,025 (trainer:272) INFO: 28/40epoch started. Estimated time to finish: 5 days, 1 minute and 25.99 seconds +[gpua001:0/64] 2023-12-12 05:19:48,157 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-12 05:20:05,630 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 05:20:08,923 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 05:20:08,923 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-12 05:20:08,926 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 05:30:14,004 (trainer:737) INFO: 28epoch:train:1-100batch: iter_time=2.779, forward_time=0.200, loss_ctc=74.165, loss_att=56.783, acc=0.704, loss=61.998, backward_time=0.292, grad_norm=70.102, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.698e-05, train_time=6.259 +[gpua001:0/64] 2023-12-12 05:32:34,101 (trainer:737) INFO: 28epoch:train:101-200batch: iter_time=7.966e-05, forward_time=0.147, loss_ctc=80.621, loss_att=62.063, acc=0.717, loss=67.630, backward_time=0.297, grad_norm=75.031, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.697e-05, train_time=1.401 +[gpua001:0/64] 2023-12-12 05:35:22,660 (trainer:737) INFO: 28epoch:train:201-300batch: iter_time=7.805e-05, forward_time=0.147, loss_ctc=70.543, loss_att=55.191, acc=0.696, loss=59.797, backward_time=0.291, grad_norm=73.542, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.696e-05, train_time=1.685 +[gpua001:0/64] 2023-12-12 05:37:51,538 (trainer:737) INFO: 28epoch:train:301-400batch: iter_time=8.415e-05, forward_time=0.145, loss_ctc=67.763, loss_att=54.381, acc=0.709, loss=58.396, backward_time=0.315, grad_norm=73.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.695e-05, train_time=1.489 +[gpua001:0/64] 2023-12-12 05:40:43,282 (trainer:737) INFO: 28epoch:train:401-500batch: iter_time=8.613e-05, forward_time=0.146, loss_ctc=83.095, loss_att=71.978, acc=0.705, loss=75.313, backward_time=0.346, grad_norm=74.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.694e-05, train_time=1.717 +[gpua001:0/64] 2023-12-12 05:43:07,367 (trainer:737) INFO: 28epoch:train:501-600batch: iter_time=8.060e-05, forward_time=0.157, loss_ctc=77.014, loss_att=61.250, acc=0.717, loss=65.979, backward_time=0.295, grad_norm=86.554, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.694e-05, train_time=1.440 +[gpua001:0/64] 2023-12-12 05:46:00,927 (trainer:737) INFO: 28epoch:train:601-700batch: iter_time=8.843e-05, forward_time=0.160, loss_ctc=62.403, loss_att=48.964, acc=0.719, loss=52.996, backward_time=0.357, grad_norm=85.657, clip=100.000, loss_scale=3.123e+31, optim_step_time=0.133, optim0_lr0=7.693e-05, train_time=1.736 +[gpua001:0/64] 2023-12-12 05:48:54,479 (trainer:737) INFO: 28epoch:train:701-800batch: iter_time=8.613e-05, forward_time=0.161, loss_ctc=63.180, loss_att=47.823, acc=0.719, loss=52.430, backward_time=0.343, grad_norm=107.742, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.692e-05, train_time=1.735 +[gpua001:0/64] 2023-12-12 05:51:31,765 (trainer:737) INFO: 28epoch:train:801-900batch: iter_time=8.508e-05, forward_time=0.185, loss_ctc=65.418, loss_att=56.127, acc=0.716, loss=58.915, backward_time=0.335, grad_norm=78.371, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.691e-05, train_time=1.573 +[gpua001:0/64] 2023-12-12 05:54:00,982 (trainer:737) INFO: 28epoch:train:901-1000batch: iter_time=8.479e-05, forward_time=0.146, loss_ctc=61.628, loss_att=43.950, acc=0.734, loss=49.253, backward_time=0.305, grad_norm=53.382, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.690e-05, train_time=1.492 +[gpua001:0/64] 2023-12-12 05:56:44,714 (trainer:737) INFO: 28epoch:train:1001-1100batch: iter_time=8.116e-05, forward_time=0.149, loss_ctc=61.272, loss_att=48.003, acc=0.718, loss=51.984, backward_time=0.322, grad_norm=59.733, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.689e-05, train_time=1.637 +[gpua001:0/64] 2023-12-12 05:59:22,009 (trainer:737) INFO: 28epoch:train:1101-1200batch: iter_time=8.400e-05, forward_time=0.146, loss_ctc=65.765, loss_att=49.458, acc=0.719, loss=54.350, backward_time=0.315, grad_norm=68.475, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.688e-05, train_time=1.573 +[gpua001:0/64] 2023-12-12 06:00:04,251 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 06:00:59,527 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-12 06:01:17,637 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 06:01:21,055 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 06:01:21,056 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-12 06:01:21,061 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 06:07:14,595 (trainer:737) INFO: 28epoch:train:1201-1300batch: iter_time=3.074, forward_time=0.146, loss_ctc=63.406, loss_att=49.752, acc=0.721, loss=53.848, backward_time=0.288, grad_norm=70.461, clip=100.000, loss_scale=2.581e+31, optim_step_time=0.133, optim0_lr0=7.687e-05, train_time=4.726 +[gpua001:0/64] 2023-12-12 06:09:24,006 (trainer:737) INFO: 28epoch:train:1301-1400batch: iter_time=7.839e-05, forward_time=0.153, loss_ctc=85.240, loss_att=63.857, acc=0.709, loss=70.271, backward_time=0.290, grad_norm=91.840, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.686e-05, train_time=1.294 +[gpua001:0/64] 2023-12-12 06:12:17,309 (trainer:737) INFO: 28epoch:train:1401-1500batch: iter_time=7.593e-05, forward_time=0.236, loss_ctc=70.356, loss_att=52.246, acc=0.725, loss=57.679, backward_time=0.410, grad_norm=76.111, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=7.685e-05, train_time=1.733 +[gpua001:0/64] 2023-12-12 06:13:13,799 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 06:14:42,456 (trainer:737) INFO: 28epoch:train:1501-1600batch: iter_time=8.166e-05, forward_time=0.162, loss_ctc=64.696, loss_att=53.929, acc=0.699, loss=57.159, backward_time=0.319, grad_norm=59.251, clip=100.000, loss_scale=1.403e+31, optim_step_time=0.135, optim0_lr0=7.684e-05, train_time=1.451 +[gpua001:0/64] 2023-12-12 06:17:05,001 (trainer:737) INFO: 28epoch:train:1601-1700batch: iter_time=7.912e-05, forward_time=0.146, loss_ctc=80.272, loss_att=63.572, acc=0.708, loss=68.582, backward_time=0.282, grad_norm=74.617, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.683e-05, train_time=1.425 +[gpua001:0/64] 2023-12-12 06:19:16,326 (trainer:737) INFO: 28epoch:train:1701-1800batch: iter_time=8.241e-05, forward_time=0.149, loss_ctc=72.197, loss_att=64.281, acc=0.707, loss=66.656, backward_time=0.284, grad_norm=73.673, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.682e-05, train_time=1.313 +[gpua001:0/64] 2023-12-12 06:21:59,599 (trainer:737) INFO: 28epoch:train:1801-1900batch: iter_time=7.757e-05, forward_time=0.148, loss_ctc=74.345, loss_att=59.774, acc=0.719, loss=64.145, backward_time=0.315, grad_norm=80.014, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.681e-05, train_time=1.633 +[gpua001:0/64] 2023-12-12 06:24:40,429 (trainer:737) INFO: 28epoch:train:1901-2000batch: iter_time=8.350e-05, forward_time=0.146, loss_ctc=62.256, loss_att=48.854, acc=0.729, loss=52.875, backward_time=0.304, grad_norm=75.243, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.680e-05, train_time=1.608 +[gpua001:0/64] 2023-12-12 06:27:40,855 (trainer:737) INFO: 28epoch:train:2001-2100batch: iter_time=8.703e-05, forward_time=0.147, loss_ctc=57.028, loss_att=44.844, acc=0.724, loss=48.499, backward_time=0.326, grad_norm=61.648, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.679e-05, train_time=1.804 +[gpua001:0/64] 2023-12-12 06:30:09,653 (trainer:737) INFO: 28epoch:train:2101-2200batch: iter_time=8.222e-05, forward_time=0.146, loss_ctc=62.928, loss_att=52.638, acc=0.717, loss=55.725, backward_time=0.295, grad_norm=75.050, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.678e-05, train_time=1.488 +[gpua001:0/64] 2023-12-12 06:32:42,013 (trainer:737) INFO: 28epoch:train:2201-2300batch: iter_time=7.785e-05, forward_time=0.152, loss_ctc=65.498, loss_att=45.195, acc=0.734, loss=51.286, backward_time=0.305, grad_norm=84.996, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.677e-05, train_time=1.523 +[gpua001:0/64] 2023-12-12 06:35:10,091 (trainer:737) INFO: 28epoch:train:2301-2400batch: iter_time=8.532e-05, forward_time=0.149, loss_ctc=61.485, loss_att=48.384, acc=0.717, loss=52.314, backward_time=0.304, grad_norm=111.717, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.677e-05, train_time=1.480 +[gpua001:0/64] 2023-12-12 06:37:49,961 (trainer:737) INFO: 28epoch:train:2401-2500batch: iter_time=7.356e-05, forward_time=0.309, loss_ctc=64.581, loss_att=50.852, acc=0.724, loss=54.971, backward_time=0.313, grad_norm=234.682, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.676e-05, train_time=1.599 +[gpua001:0/64] 2023-12-12 06:38:10,233 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-12 06:38:28,403 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 06:38:31,769 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 06:38:31,769 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-12 06:38:31,774 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 06:46:15,267 (trainer:737) INFO: 28epoch:train:2501-2600batch: iter_time=3.452, forward_time=0.149, loss_ctc=72.805, loss_att=55.603, acc=0.709, loss=60.763, backward_time=0.285, grad_norm=98.341, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.675e-05, train_time=5.053 +[gpua001:0/64] 2023-12-12 06:49:07,045 (trainer:737) INFO: 28epoch:train:2601-2700batch: iter_time=8.400e-05, forward_time=0.154, loss_ctc=79.122, loss_att=59.891, acc=0.725, loss=65.660, backward_time=0.334, grad_norm=84.138, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.674e-05, train_time=1.718 +[gpua001:0/64] 2023-12-12 06:51:30,259 (trainer:737) INFO: 28epoch:train:2701-2800batch: iter_time=8.307e-05, forward_time=0.146, loss_ctc=69.258, loss_att=53.301, acc=0.702, loss=58.088, backward_time=0.299, grad_norm=125.004, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.673e-05, train_time=1.432 +[gpua001:0/64] 2023-12-12 06:53:36,387 (trainer:737) INFO: 28epoch:train:2801-2900batch: iter_time=8.090e-05, forward_time=0.146, loss_ctc=66.954, loss_att=52.659, acc=0.715, loss=56.948, backward_time=0.280, grad_norm=168.458, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.672e-05, train_time=1.261 +[gpua001:0/64] 2023-12-12 06:56:29,953 (trainer:737) INFO: 28epoch:train:2901-3000batch: iter_time=8.412e-05, forward_time=0.147, loss_ctc=80.805, loss_att=70.699, acc=0.708, loss=73.731, backward_time=0.351, grad_norm=126.358, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.671e-05, train_time=1.735 +[gpua001:0/64] 2023-12-12 06:59:03,626 (trainer:737) INFO: 28epoch:train:3001-3100batch: iter_time=8.237e-05, forward_time=0.147, loss_ctc=75.753, loss_att=60.895, acc=0.718, loss=65.352, backward_time=0.295, grad_norm=83.389, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.670e-05, train_time=1.537 +[gpua001:0/64] 2023-12-12 07:01:45,016 (trainer:737) INFO: 28epoch:train:3101-3200batch: iter_time=8.200e-05, forward_time=0.157, loss_ctc=60.956, loss_att=48.019, acc=0.722, loss=51.900, backward_time=0.305, grad_norm=140.541, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.669e-05, train_time=1.614 +[gpua001:0/64] 2023-12-12 07:04:02,785 (trainer:737) INFO: 28epoch:train:3201-3300batch: iter_time=8.120e-05, forward_time=0.156, loss_ctc=62.236, loss_att=47.095, acc=0.722, loss=51.637, backward_time=0.286, grad_norm=89.297, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.668e-05, train_time=1.377 +[gpua001:0/64] 2023-12-12 07:06:38,592 (trainer:737) INFO: 28epoch:train:3301-3400batch: iter_time=0.003, forward_time=0.278, loss_ctc=64.914, loss_att=55.608, acc=0.718, loss=58.400, backward_time=0.329, grad_norm=71.291, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.667e-05, train_time=1.558 +[gpua001:0/64] 2023-12-12 07:09:00,202 (trainer:737) INFO: 28epoch:train:3401-3500batch: iter_time=7.898e-05, forward_time=0.147, loss_ctc=60.043, loss_att=43.323, acc=0.737, loss=48.339, backward_time=0.287, grad_norm=90.072, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.666e-05, train_time=1.416 +[gpua001:0/64] 2023-12-12 07:11:23,799 (trainer:737) INFO: 28epoch:train:3501-3600batch: iter_time=8.116e-05, forward_time=0.146, loss_ctc=60.578, loss_att=47.240, acc=0.720, loss=51.241, backward_time=0.301, grad_norm=81.169, clip=100.000, loss_scale=1.633e+31, optim_step_time=0.133, optim0_lr0=7.665e-05, train_time=1.436 +[gpua001:0/64] 2023-12-12 07:13:49,259 (trainer:737) INFO: 28epoch:train:3601-3700batch: iter_time=9.105e-04, forward_time=0.153, loss_ctc=65.078, loss_att=48.264, acc=0.724, loss=53.308, backward_time=0.317, grad_norm=104.139, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.664e-05, train_time=1.451 +[gpua001:0/64] 2023-12-12 07:15:26,657 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-12 07:15:45,105 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 07:15:48,490 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 07:15:48,490 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-12 07:15:48,542 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 07:21:28,918 (trainer:737) INFO: 28epoch:train:3701-3800batch: iter_time=2.796, forward_time=0.146, loss_ctc=62.804, loss_att=49.273, acc=0.722, loss=53.332, backward_time=0.290, grad_norm=68.476, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.663e-05, train_time=4.596 +[gpua001:0/64] 2023-12-12 07:23:33,021 (trainer:737) INFO: 28epoch:train:3801-3900batch: iter_time=7.683e-05, forward_time=0.149, loss_ctc=83.118, loss_att=63.772, acc=0.710, loss=69.575, backward_time=0.282, grad_norm=108.852, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.662e-05, train_time=1.241 +[gpua001:0/64] 2023-12-12 07:25:41,973 (trainer:737) INFO: 28epoch:train:3901-4000batch: iter_time=8.114e-05, forward_time=0.146, loss_ctc=70.155, loss_att=52.026, acc=0.725, loss=57.465, backward_time=0.281, grad_norm=68.057, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.662e-05, train_time=1.289 +[gpua001:0/64] 2023-12-12 07:27:59,085 (trainer:737) INFO: 28epoch:train:4001-4100batch: iter_time=8.743e-05, forward_time=0.146, loss_ctc=64.515, loss_att=53.548, acc=0.704, loss=56.838, backward_time=0.296, grad_norm=93.155, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.661e-05, train_time=1.371 +[gpua001:0/64] 2023-12-12 07:30:20,026 (trainer:737) INFO: 28epoch:train:4101-4200batch: iter_time=8.265e-05, forward_time=0.146, loss_ctc=80.207, loss_att=63.866, acc=0.710, loss=68.768, backward_time=0.284, grad_norm=72.562, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.660e-05, train_time=1.409 +[gpua001:0/64] 2023-12-12 07:32:30,394 (trainer:737) INFO: 28epoch:train:4201-4300batch: iter_time=8.203e-05, forward_time=0.155, loss_ctc=71.422, loss_att=63.337, acc=0.711, loss=65.763, backward_time=0.291, grad_norm=61.953, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.659e-05, train_time=1.303 +[gpua001:0/64] 2023-12-12 07:35:03,954 (trainer:737) INFO: 28epoch:train:4301-4400batch: iter_time=8.736e-05, forward_time=0.150, loss_ctc=73.194, loss_att=58.444, acc=0.721, loss=62.869, backward_time=0.313, grad_norm=71.141, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.658e-05, train_time=1.535 +[gpua001:0/64] 2023-12-12 07:38:17,281 (trainer:737) INFO: 28epoch:train:4401-4500batch: iter_time=8.496e-05, forward_time=0.289, loss_ctc=61.784, loss_att=47.657, acc=0.730, loss=51.895, backward_time=0.390, grad_norm=61.508, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.657e-05, train_time=1.933 +[gpua001:0/64] 2023-12-12 07:41:15,280 (trainer:737) INFO: 28epoch:train:4501-4600batch: iter_time=7.949e-05, forward_time=0.146, loss_ctc=56.485, loss_att=44.327, acc=0.728, loss=47.974, backward_time=0.356, grad_norm=56.842, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.656e-05, train_time=1.780 +[gpua001:0/64] 2023-12-12 07:43:36,974 (trainer:737) INFO: 28epoch:train:4601-4700batch: iter_time=8.613e-05, forward_time=0.146, loss_ctc=62.484, loss_att=52.334, acc=0.717, loss=55.379, backward_time=0.295, grad_norm=76.930, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.655e-05, train_time=1.417 +[gpua001:0/64] 2023-12-12 07:45:56,942 (trainer:737) INFO: 28epoch:train:4701-4800batch: iter_time=8.344e-05, forward_time=0.153, loss_ctc=64.629, loss_att=44.794, acc=0.736, loss=50.745, backward_time=0.284, grad_norm=158.046, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.654e-05, train_time=1.399 +[gpua001:0/64] 2023-12-12 07:48:33,723 (trainer:737) INFO: 28epoch:train:4801-4900batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=61.660, loss_att=48.279, acc=0.718, loss=52.293, backward_time=0.301, grad_norm=235.886, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.653e-05, train_time=1.568 +[gpua001:0/64] 2023-12-12 07:50:59,086 (trainer:737) INFO: 28epoch:train:4901-5000batch: iter_time=8.345e-05, forward_time=0.146, loss_ctc=64.567, loss_att=50.278, acc=0.729, loss=54.565, backward_time=0.295, grad_norm=63.139, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.652e-05, train_time=1.453 +[gpua001:0/64] 2023-12-12 07:51:19,114 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-12 07:51:37,494 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 07:51:40,860 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 07:51:40,860 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-12 07:51:40,955 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 07:59:07,283 (trainer:737) INFO: 28epoch:train:5001-5100batch: iter_time=3.407, forward_time=0.153, loss_ctc=72.460, loss_att=55.620, acc=0.711, loss=60.672, backward_time=0.284, grad_norm=128.649, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.651e-05, train_time=4.882 +[gpua001:0/64] 2023-12-12 08:02:10,791 (trainer:737) INFO: 28epoch:train:5101-5200batch: iter_time=7.866e-05, forward_time=0.148, loss_ctc=77.483, loss_att=59.320, acc=0.725, loss=64.769, backward_time=0.335, grad_norm=79.031, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.650e-05, train_time=1.835 +[gpua001:0/64] 2023-12-12 08:04:25,020 (trainer:737) INFO: 28epoch:train:5201-5300batch: iter_time=7.570e-05, forward_time=0.157, loss_ctc=69.276, loss_att=52.801, acc=0.706, loss=57.744, backward_time=0.291, grad_norm=77.264, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.649e-05, train_time=1.342 +[gpua001:0/64] 2023-12-12 08:07:04,759 (trainer:737) INFO: 28epoch:train:5301-5400batch: iter_time=7.864e-05, forward_time=0.252, loss_ctc=66.344, loss_att=52.606, acc=0.716, loss=56.727, backward_time=0.332, grad_norm=69.418, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.648e-05, train_time=1.597 +[gpua001:0/64] 2023-12-12 08:09:29,534 (trainer:737) INFO: 28epoch:train:5401-5500batch: iter_time=8.681e-05, forward_time=0.146, loss_ctc=80.110, loss_att=70.618, acc=0.710, loss=73.466, backward_time=0.304, grad_norm=83.880, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.647e-05, train_time=1.447 +[gpua001:0/64] 2023-12-12 08:12:22,537 (trainer:737) INFO: 28epoch:train:5501-5600batch: iter_time=8.040e-05, forward_time=0.147, loss_ctc=74.910, loss_att=60.198, acc=0.721, loss=64.611, backward_time=0.302, grad_norm=71.063, clip=100.000, loss_scale=3.265e+31, optim_step_time=0.133, optim0_lr0=7.647e-05, train_time=1.731 +[gpua001:0/64] 2023-12-12 08:15:11,373 (trainer:737) INFO: 28epoch:train:5601-5700batch: iter_time=7.746e-05, forward_time=0.157, loss_ctc=59.158, loss_att=47.122, acc=0.724, loss=50.733, backward_time=0.319, grad_norm=71.136, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.646e-05, train_time=1.688 +[gpua001:0/64] 2023-12-12 08:18:24,898 (trainer:737) INFO: 28epoch:train:5701-5800batch: iter_time=8.356e-05, forward_time=0.155, loss_ctc=60.813, loss_att=46.493, acc=0.726, loss=50.789, backward_time=0.352, grad_norm=79.574, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.645e-05, train_time=1.935 +[gpua001:0/64] 2023-12-12 08:20:44,784 (trainer:737) INFO: 28epoch:train:5801-5900batch: iter_time=8.192e-05, forward_time=0.146, loss_ctc=64.229, loss_att=54.690, acc=0.720, loss=57.551, backward_time=0.328, grad_norm=66.964, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.644e-05, train_time=1.399 +[gpua001:0/64] 2023-12-12 08:23:07,692 (trainer:737) INFO: 28epoch:train:5901-6000batch: iter_time=8.359e-05, forward_time=0.146, loss_ctc=59.772, loss_att=43.173, acc=0.738, loss=48.152, backward_time=0.305, grad_norm=87.337, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.643e-05, train_time=1.429 +[gpua001:0/64] 2023-12-12 08:25:38,452 (trainer:737) INFO: 28epoch:train:6001-6100batch: iter_time=7.869e-05, forward_time=0.146, loss_ctc=60.713, loss_att=46.782, acc=0.723, loss=50.961, backward_time=0.339, grad_norm=83.655, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.642e-05, train_time=1.507 +[gpua001:0/64] 2023-12-12 08:28:06,599 (trainer:737) INFO: 28epoch:train:6101-6200batch: iter_time=7.813e-05, forward_time=0.153, loss_ctc=65.199, loss_att=48.179, acc=0.724, loss=53.285, backward_time=0.289, grad_norm=92.107, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.641e-05, train_time=1.481 +[gpua001:0/64] 2023-12-12 08:29:32,735 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-12 08:29:50,930 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 08:29:54,639 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 08:29:54,639 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-12 08:29:54,642 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 08:35:11,057 (trainer:737) INFO: 28epoch:train:6201-6300batch: iter_time=2.836, forward_time=0.201, loss_ctc=63.141, loss_att=50.262, acc=0.725, loss=54.125, backward_time=0.289, grad_norm=67.417, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.640e-05, train_time=4.244 +[gpua001:0/64] 2023-12-12 08:37:14,271 (trainer:737) INFO: 28epoch:train:6301-6400batch: iter_time=7.700e-05, forward_time=0.148, loss_ctc=82.929, loss_att=67.127, acc=0.714, loss=71.868, backward_time=0.283, grad_norm=101.875, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.639e-05, train_time=1.232 +[gpua001:0/64] 2023-12-12 08:40:03,495 (trainer:737) INFO: 28epoch:train:6401-6500batch: iter_time=7.948e-05, forward_time=0.148, loss_ctc=69.918, loss_att=53.761, acc=0.731, loss=58.608, backward_time=0.305, grad_norm=80.321, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.638e-05, train_time=1.692 +[gpua001:0/64] 2023-12-12 08:42:29,160 (trainer:737) INFO: 28epoch:train:6501-6600batch: iter_time=8.504e-05, forward_time=0.146, loss_ctc=63.411, loss_att=57.239, acc=0.704, loss=59.091, backward_time=0.289, grad_norm=88.844, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.637e-05, train_time=1.456 +[gpua001:0/64] 2023-12-12 08:44:55,360 (trainer:737) INFO: 28epoch:train:6601-6700batch: iter_time=8.257e-05, forward_time=0.146, loss_ctc=80.016, loss_att=65.523, acc=0.725, loss=69.871, backward_time=0.294, grad_norm=84.771, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=7.636e-05, train_time=1.462 +[gpua001:0/64] 2023-12-12 08:47:12,238 (trainer:737) INFO: 28epoch:train:6701-6800batch: iter_time=8.546e-05, forward_time=0.147, loss_ctc=71.232, loss_att=64.266, acc=0.717, loss=66.356, backward_time=0.290, grad_norm=88.832, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.635e-05, train_time=1.369 +[gpua001:0/64] 2023-12-12 08:49:36,595 (trainer:737) INFO: 28epoch:train:6801-6900batch: iter_time=8.757e-05, forward_time=0.147, loss_ctc=72.322, loss_att=59.307, acc=0.724, loss=63.211, backward_time=0.298, grad_norm=81.776, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.634e-05, train_time=1.443 +[gpua001:0/64] 2023-12-12 08:53:01,403 (trainer:737) INFO: 28epoch:train:6901-7000batch: iter_time=8.428e-05, forward_time=0.151, loss_ctc=61.537, loss_att=49.997, acc=0.729, loss=53.459, backward_time=0.368, grad_norm=79.382, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.634e-05, train_time=2.048 +[gpua001:0/64] 2023-12-12 08:55:29,895 (trainer:737) INFO: 28epoch:train:7001-7100batch: iter_time=7.966e-05, forward_time=0.149, loss_ctc=56.435, loss_att=44.289, acc=0.734, loss=47.933, backward_time=0.310, grad_norm=83.658, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.633e-05, train_time=1.485 +[gpua001:0/64] 2023-12-12 08:58:39,702 (trainer:737) INFO: 28epoch:train:7101-7200batch: iter_time=8.684e-05, forward_time=0.173, loss_ctc=62.320, loss_att=52.731, acc=0.736, loss=55.608, backward_time=0.360, grad_norm=58.144, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=7.632e-05, train_time=1.898 +[gpua001:0/64] 2023-12-12 08:58:46,129 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 08:59:18,791 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 08:59:20,701 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 09:01:07,933 (trainer:737) INFO: 28epoch:train:7201-7300batch: iter_time=8.351e-05, forward_time=0.166, loss_ctc=64.402, loss_att=45.223, acc=0.742, loss=50.977, backward_time=0.316, grad_norm=68.607, clip=100.000, loss_scale=9.148e+30, optim_step_time=0.134, optim0_lr0=7.631e-05, train_time=1.482 +[gpua001:0/64] 2023-12-12 09:03:17,508 (trainer:737) INFO: 28epoch:train:7301-7400batch: iter_time=8.671e-05, forward_time=0.148, loss_ctc=61.219, loss_att=49.368, acc=0.722, loss=52.923, backward_time=0.281, grad_norm=72.717, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.630e-05, train_time=1.296 +[gpua001:0/64] 2023-12-12 09:05:53,650 (trainer:737) INFO: 28epoch:train:7401-7500batch: iter_time=8.018e-05, forward_time=0.156, loss_ctc=63.975, loss_att=50.703, acc=0.736, loss=54.685, backward_time=0.361, grad_norm=160.966, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.629e-05, train_time=1.561 +[gpua001:0/64] 2023-12-12 09:06:13,678 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-12 09:06:32,079 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 09:06:35,488 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 09:06:35,488 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-12 09:06:35,491 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 09:13:22,991 (trainer:737) INFO: 28epoch:train:7501-7600batch: iter_time=3.126, forward_time=0.193, loss_ctc=71.945, loss_att=55.826, acc=0.719, loss=60.662, backward_time=0.288, grad_norm=224.915, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.628e-05, train_time=4.493 +[gpua001:0/64] 2023-12-12 09:15:30,009 (trainer:737) INFO: 28epoch:train:7601-7700batch: iter_time=7.919e-05, forward_time=0.147, loss_ctc=78.812, loss_att=61.743, acc=0.731, loss=66.864, backward_time=0.284, grad_norm=96.707, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.627e-05, train_time=1.270 +[gpua001:0/64] 2023-12-12 09:18:16,116 (trainer:737) INFO: 28epoch:train:7701-7800batch: iter_time=8.104e-05, forward_time=0.182, loss_ctc=68.824, loss_att=55.866, acc=0.715, loss=59.754, backward_time=0.335, grad_norm=85.804, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.626e-05, train_time=1.661 +[gpua001:0/64] 2023-12-12 09:20:39,822 (trainer:737) INFO: 28epoch:train:7801-7900batch: iter_time=8.210e-05, forward_time=0.147, loss_ctc=65.989, loss_att=53.849, acc=0.722, loss=57.491, backward_time=0.292, grad_norm=63.010, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.625e-05, train_time=1.437 +[gpua001:0/64] 2023-12-12 09:23:13,831 (trainer:737) INFO: 28epoch:train:7901-8000batch: iter_time=8.049e-05, forward_time=0.164, loss_ctc=79.785, loss_att=71.439, acc=0.724, loss=73.942, backward_time=0.312, grad_norm=75.533, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.624e-05, train_time=1.540 +[gpua001:0/64] 2023-12-12 09:25:37,244 (trainer:737) INFO: 28epoch:train:8001-8100batch: iter_time=8.097e-05, forward_time=0.148, loss_ctc=74.429, loss_att=61.085, acc=0.727, loss=65.088, backward_time=0.294, grad_norm=67.794, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.623e-05, train_time=1.434 +[gpua001:0/64] 2023-12-12 09:28:40,176 (trainer:737) INFO: 28epoch:train:8101-8200batch: iter_time=8.306e-05, forward_time=0.158, loss_ctc=59.387, loss_att=47.993, acc=0.726, loss=51.411, backward_time=0.336, grad_norm=89.461, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.622e-05, train_time=1.829 +[gpua001:0/64] 2023-12-12 09:31:09,292 (trainer:737) INFO: 28epoch:train:8201-8300batch: iter_time=8.469e-05, forward_time=0.146, loss_ctc=60.706, loss_att=48.435, acc=0.723, loss=52.117, backward_time=0.288, grad_norm=75.856, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.622e-05, train_time=1.491 +[gpua001:0/64] 2023-12-12 09:33:33,106 (trainer:737) INFO: 28epoch:train:8301-8400batch: iter_time=8.509e-05, forward_time=0.147, loss_ctc=63.874, loss_att=55.661, acc=0.734, loss=58.125, backward_time=0.316, grad_norm=66.788, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.621e-05, train_time=1.438 +[gpua001:0/64] 2023-12-12 09:36:31,240 (trainer:737) INFO: 28epoch:train:8401-8500batch: iter_time=8.965e-05, forward_time=0.147, loss_ctc=58.988, loss_att=42.931, acc=0.747, loss=47.748, backward_time=0.358, grad_norm=62.200, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.620e-05, train_time=1.781 +[gpua001:0/64] 2023-12-12 09:38:50,084 (trainer:737) INFO: 28epoch:train:8501-8600batch: iter_time=8.146e-05, forward_time=0.184, loss_ctc=60.152, loss_att=46.985, acc=0.731, loss=50.935, backward_time=0.300, grad_norm=77.059, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.619e-05, train_time=1.388 +[gpua001:0/64] 2023-12-12 09:41:25,415 (trainer:737) INFO: 28epoch:train:8601-8700batch: iter_time=7.975e-05, forward_time=0.154, loss_ctc=64.027, loss_att=48.647, acc=0.731, loss=53.261, backward_time=0.335, grad_norm=99.318, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=7.618e-05, train_time=1.553 +[gpua001:0/64] 2023-12-12 09:42:56,393 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-12 09:43:14,544 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 09:43:17,962 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 09:43:17,962 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-12 09:43:17,986 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 09:49:32,278 (trainer:737) INFO: 28epoch:train:8701-8800batch: iter_time=3.341, forward_time=0.271, loss_ctc=62.517, loss_att=49.422, acc=0.730, loss=53.350, backward_time=0.305, grad_norm=70.169, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.617e-05, train_time=4.868 +[gpua001:0/64] 2023-12-12 09:51:33,392 (trainer:737) INFO: 28epoch:train:8801-8900batch: iter_time=7.494e-05, forward_time=0.148, loss_ctc=82.201, loss_att=63.826, acc=0.720, loss=69.338, backward_time=0.282, grad_norm=106.677, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.616e-05, train_time=1.210 +[gpua001:0/64] 2023-12-12 09:54:01,594 (trainer:737) INFO: 28epoch:train:8901-9000batch: iter_time=7.685e-05, forward_time=0.146, loss_ctc=69.637, loss_att=52.279, acc=0.734, loss=57.487, backward_time=0.319, grad_norm=74.287, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.615e-05, train_time=1.482 +[gpua001:0/64] 2023-12-12 09:56:58,054 (trainer:737) INFO: 28epoch:train:9001-9100batch: iter_time=7.932e-05, forward_time=0.235, loss_ctc=63.461, loss_att=56.089, acc=0.707, loss=58.301, backward_time=0.353, grad_norm=70.999, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.147, optim0_lr0=7.614e-05, train_time=1.764 +[gpua001:0/64] 2023-12-12 09:59:28,710 (trainer:737) INFO: 28epoch:train:9101-9200batch: iter_time=7.887e-05, forward_time=0.147, loss_ctc=78.730, loss_att=63.943, acc=0.729, loss=68.379, backward_time=0.295, grad_norm=91.580, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.613e-05, train_time=1.506 +[gpua001:0/64] 2023-12-12 10:01:50,887 (trainer:737) INFO: 28epoch:train:9201-9300batch: iter_time=7.887e-05, forward_time=0.146, loss_ctc=70.707, loss_att=63.315, acc=0.719, loss=65.532, backward_time=0.301, grad_norm=68.556, clip=100.000, loss_scale=8.874e+30, optim_step_time=0.133, optim0_lr0=7.612e-05, train_time=1.422 +[gpua001:0/64] 2023-12-12 10:05:15,617 (trainer:737) INFO: 28epoch:train:9301-9400batch: iter_time=8.186e-05, forward_time=0.153, loss_ctc=72.330, loss_att=59.052, acc=0.728, loss=63.036, backward_time=0.391, grad_norm=70.176, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.611e-05, train_time=2.047 +[gpua001:0/64] 2023-12-12 10:08:25,215 (trainer:737) INFO: 28epoch:train:9401-9500batch: iter_time=8.556e-05, forward_time=0.147, loss_ctc=61.325, loss_att=49.871, acc=0.728, loss=53.308, backward_time=0.294, grad_norm=76.486, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.611e-05, train_time=1.896 +[gpua001:0/64] 2023-12-12 10:10:33,135 (trainer:737) INFO: 28epoch:train:9501-9600batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=55.777, loss_att=44.321, acc=0.734, loss=47.758, backward_time=0.282, grad_norm=63.917, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.610e-05, train_time=1.279 +[gpua001:0/64] 2023-12-12 10:13:10,340 (trainer:737) INFO: 28epoch:train:9601-9700batch: iter_time=0.002, forward_time=0.240, loss_ctc=61.784, loss_att=52.514, acc=0.735, loss=55.295, backward_time=0.320, grad_norm=80.582, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.146, optim0_lr0=7.609e-05, train_time=1.572 +[gpua001:0/64] 2023-12-12 10:15:54,291 (trainer:737) INFO: 28epoch:train:9701-9800batch: iter_time=7.768e-05, forward_time=0.146, loss_ctc=63.720, loss_att=44.476, acc=0.744, loss=50.249, backward_time=0.306, grad_norm=58.447, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.608e-05, train_time=1.639 +[gpua001:0/64] 2023-12-12 10:18:30,131 (trainer:737) INFO: 28epoch:train:9801-9900batch: iter_time=7.593e-05, forward_time=0.146, loss_ctc=61.015, loss_att=48.624, acc=0.725, loss=52.341, backward_time=0.291, grad_norm=63.157, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.607e-05, train_time=1.558 +[gpua001:0/64] 2023-12-12 10:20:58,028 (trainer:737) INFO: 28epoch:train:9901-10000batch: iter_time=8.031e-05, forward_time=0.146, loss_ctc=63.702, loss_att=50.304, acc=0.737, loss=54.323, backward_time=0.296, grad_norm=57.399, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.606e-05, train_time=1.479 +[gpua001:0/64] 2023-12-12 10:21:18,057 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-12 10:21:36,658 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 10:21:40,034 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 10:21:40,034 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-12 10:21:40,039 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 10:28:22,375 (trainer:737) INFO: 28epoch:train:10001-10100batch: iter_time=3.121, forward_time=0.187, loss_ctc=71.106, loss_att=56.564, acc=0.711, loss=60.927, backward_time=0.286, grad_norm=84.402, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.605e-05, train_time=4.443 +[gpua001:0/64] 2023-12-12 10:30:22,519 (trainer:737) INFO: 28epoch:train:10101-10200batch: iter_time=9.339e-05, forward_time=0.146, loss_ctc=77.426, loss_att=62.001, acc=0.726, loss=66.628, backward_time=0.281, grad_norm=104.446, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.604e-05, train_time=1.201 +[gpua001:0/64] 2023-12-12 10:33:00,574 (trainer:737) INFO: 28epoch:train:10201-10300batch: iter_time=8.752e-05, forward_time=0.146, loss_ctc=68.620, loss_att=53.752, acc=0.705, loss=58.213, backward_time=0.296, grad_norm=96.931, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.603e-05, train_time=1.580 +[gpua001:0/64] 2023-12-12 10:35:33,933 (trainer:737) INFO: 28epoch:train:10301-10400batch: iter_time=8.201e-05, forward_time=0.148, loss_ctc=65.583, loss_att=52.620, acc=0.719, loss=56.509, backward_time=0.319, grad_norm=63.337, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.602e-05, train_time=1.534 +[gpua001:0/64] 2023-12-12 10:38:26,030 (trainer:737) INFO: 28epoch:train:10401-10500batch: iter_time=7.841e-05, forward_time=0.239, loss_ctc=79.997, loss_att=70.421, acc=0.713, loss=73.294, backward_time=0.374, grad_norm=71.670, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.145, optim0_lr0=7.601e-05, train_time=1.721 +[gpua001:0/64] 2023-12-12 10:40:44,325 (trainer:737) INFO: 28epoch:train:10501-10600batch: iter_time=7.995e-05, forward_time=0.147, loss_ctc=73.658, loss_att=59.693, acc=0.724, loss=63.882, backward_time=0.282, grad_norm=76.010, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.600e-05, train_time=1.382 +[gpua001:0/64] 2023-12-12 10:44:20,289 (trainer:737) INFO: 28epoch:train:10601-10700batch: iter_time=8.527e-05, forward_time=0.146, loss_ctc=59.225, loss_att=47.356, acc=0.726, loss=50.917, backward_time=0.362, grad_norm=79.256, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.600e-05, train_time=2.160 +[gpua001:0/64] 2023-12-12 10:46:36,407 (trainer:737) INFO: 28epoch:train:10701-10800batch: iter_time=7.992e-05, forward_time=0.146, loss_ctc=60.257, loss_att=46.274, acc=0.729, loss=50.469, backward_time=0.283, grad_norm=138.497, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.599e-05, train_time=1.361 +[gpua001:0/64] 2023-12-12 10:49:11,429 (trainer:737) INFO: 28epoch:train:10801-10900batch: iter_time=8.162e-05, forward_time=0.147, loss_ctc=63.707, loss_att=55.064, acc=0.723, loss=57.657, backward_time=0.357, grad_norm=109.548, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.598e-05, train_time=1.550 +[gpua001:0/64] 2023-12-12 10:51:49,894 (trainer:737) INFO: 28epoch:train:10901-11000batch: iter_time=8.583e-05, forward_time=0.146, loss_ctc=59.040, loss_att=42.824, acc=0.739, loss=47.689, backward_time=0.303, grad_norm=127.066, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.597e-05, train_time=1.584 +[gpua001:0/64] 2023-12-12 10:54:32,436 (trainer:737) INFO: 28epoch:train:11001-11100batch: iter_time=9.135e-05, forward_time=0.195, loss_ctc=60.272, loss_att=46.907, acc=0.725, loss=50.916, backward_time=0.375, grad_norm=75.122, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.596e-05, train_time=1.625 +[gpua001:0/64] 2023-12-12 10:56:43,930 (trainer:737) INFO: 28epoch:train:11101-11200batch: iter_time=7.937e-05, forward_time=0.149, loss_ctc=64.147, loss_att=47.826, acc=0.728, loss=52.722, backward_time=0.283, grad_norm=83.938, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.595e-05, train_time=1.315 +[gpua001:0/64] 2023-12-12 10:58:28,236 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-12 10:58:47,002 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 10:58:50,400 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 10:58:50,400 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-12 10:58:50,403 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 11:05:02,591 (trainer:737) INFO: 28epoch:train:11201-11300batch: iter_time=3.419, forward_time=0.146, loss_ctc=62.448, loss_att=49.437, acc=0.730, loss=53.340, backward_time=0.298, grad_norm=71.542, clip=100.000, loss_scale=1.775e+31, optim_step_time=0.132, optim0_lr0=7.594e-05, train_time=4.986 +[gpua001:0/64] 2023-12-12 11:07:02,926 (trainer:737) INFO: 28epoch:train:11301-11400batch: iter_time=7.889e-05, forward_time=0.148, loss_ctc=82.043, loss_att=65.033, acc=0.721, loss=70.136, backward_time=0.281, grad_norm=105.072, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.593e-05, train_time=1.203 +[gpua001:0/64] 2023-12-12 11:10:01,346 (trainer:737) INFO: 28epoch:train:11401-11500batch: iter_time=7.971e-05, forward_time=0.315, loss_ctc=69.423, loss_att=52.729, acc=0.734, loss=57.737, backward_time=0.348, grad_norm=59.146, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.592e-05, train_time=1.784 +[gpua001:0/64] 2023-12-12 11:12:43,177 (trainer:737) INFO: 28epoch:train:11501-11600batch: iter_time=8.391e-05, forward_time=0.146, loss_ctc=63.372, loss_att=56.359, acc=0.707, loss=58.463, backward_time=0.349, grad_norm=66.522, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.591e-05, train_time=1.618 +[gpua001:0/64] 2023-12-12 11:15:22,414 (trainer:737) INFO: 28epoch:train:11601-11700batch: iter_time=7.982e-05, forward_time=0.148, loss_ctc=78.755, loss_att=64.212, acc=0.729, loss=68.575, backward_time=0.338, grad_norm=74.907, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.590e-05, train_time=1.592 +[gpua001:0/64] 2023-12-12 11:18:39,790 (trainer:737) INFO: 28epoch:train:11701-11800batch: iter_time=8.230e-05, forward_time=0.146, loss_ctc=70.233, loss_att=62.834, acc=0.721, loss=65.053, backward_time=0.385, grad_norm=67.558, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.589e-05, train_time=1.974 +[gpua001:0/64] 2023-12-12 11:21:22,719 (trainer:737) INFO: 28epoch:train:11801-11900batch: iter_time=8.205e-05, forward_time=0.146, loss_ctc=72.440, loss_att=59.514, acc=0.728, loss=63.392, backward_time=0.321, grad_norm=70.615, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.589e-05, train_time=1.629 +[gpua001:0/64] 2023-12-12 11:24:19,765 (trainer:737) INFO: 28epoch:train:11901-12000batch: iter_time=0.003, forward_time=0.252, loss_ctc=60.284, loss_att=48.972, acc=0.732, loss=52.366, backward_time=0.350, grad_norm=60.679, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.588e-05, train_time=1.770 +[gpua001:0/64] 2023-12-12 11:26:57,229 (trainer:737) INFO: 28epoch:train:12001-12100batch: iter_time=8.571e-05, forward_time=0.147, loss_ctc=55.122, loss_att=43.794, acc=0.739, loss=47.192, backward_time=0.346, grad_norm=52.319, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.587e-05, train_time=1.575 +[gpua001:0/64] 2023-12-12 11:29:33,418 (trainer:737) INFO: 28epoch:train:12101-12200batch: iter_time=8.438e-05, forward_time=0.147, loss_ctc=61.854, loss_att=52.169, acc=0.737, loss=55.075, backward_time=0.300, grad_norm=55.242, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.586e-05, train_time=1.562 +[gpua001:0/64] 2023-12-12 11:32:33,885 (trainer:737) INFO: 28epoch:train:12201-12300batch: iter_time=8.355e-05, forward_time=0.146, loss_ctc=63.870, loss_att=44.238, acc=0.747, loss=50.128, backward_time=0.323, grad_norm=92.548, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.585e-05, train_time=1.804 +[gpua001:0/64] 2023-12-12 11:35:51,301 (trainer:737) INFO: 28epoch:train:12301-12400batch: iter_time=8.144e-05, forward_time=0.147, loss_ctc=60.278, loss_att=48.653, acc=0.725, loss=52.141, backward_time=0.399, grad_norm=118.077, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.584e-05, train_time=1.974 +[gpua001:0/64] 2023-12-12 11:38:51,654 (trainer:737) INFO: 28epoch:train:12401-12500batch: iter_time=7.876e-05, forward_time=0.149, loss_ctc=63.722, loss_att=50.040, acc=0.740, loss=54.144, backward_time=0.331, grad_norm=69.309, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.583e-05, train_time=1.803 +[gpua001:0/64] 2023-12-12 11:39:11,683 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-12 11:39:29,922 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 11:39:33,373 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 11:39:33,374 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-12 11:39:33,390 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 11:46:40,504 (trainer:737) INFO: 28epoch:train:12501-12600batch: iter_time=3.343, forward_time=0.191, loss_ctc=70.734, loss_att=55.340, acc=0.719, loss=59.958, backward_time=0.290, grad_norm=83.806, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.582e-05, train_time=4.688 +[gpua001:0/64] 2023-12-12 11:48:48,939 (trainer:737) INFO: 28epoch:train:12601-12700batch: iter_time=8.249e-05, forward_time=0.147, loss_ctc=77.372, loss_att=60.528, acc=0.734, loss=65.581, backward_time=0.283, grad_norm=81.346, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.581e-05, train_time=1.285 +[gpua001:0/64] 2023-12-12 11:51:39,230 (trainer:737) INFO: 28epoch:train:12701-12800batch: iter_time=8.315e-05, forward_time=0.146, loss_ctc=68.508, loss_att=54.903, acc=0.717, loss=58.985, backward_time=0.316, grad_norm=76.992, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.580e-05, train_time=1.703 +[gpua001:0/64] 2023-12-12 11:54:54,189 (trainer:737) INFO: 28epoch:train:12801-12900batch: iter_time=8.323e-05, forward_time=0.146, loss_ctc=66.179, loss_att=53.517, acc=0.722, loss=57.315, backward_time=0.439, grad_norm=65.961, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.579e-05, train_time=1.949 +[gpua001:0/64] 2023-12-12 11:58:31,518 (trainer:737) INFO: 28epoch:train:12901-13000batch: iter_time=8.152e-05, forward_time=0.146, loss_ctc=79.158, loss_att=70.877, acc=0.726, loss=73.361, backward_time=0.390, grad_norm=84.787, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.579e-05, train_time=2.173 +[gpua001:0/64] 2023-12-12 12:01:20,664 (trainer:737) INFO: 28epoch:train:13001-13100batch: iter_time=8.450e-05, forward_time=0.147, loss_ctc=73.916, loss_att=59.390, acc=0.731, loss=63.748, backward_time=0.299, grad_norm=67.127, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.578e-05, train_time=1.691 +[gpua001:0/64] 2023-12-12 12:03:35,700 (trainer:737) INFO: 28epoch:train:13101-13200batch: iter_time=8.421e-05, forward_time=0.146, loss_ctc=58.989, loss_att=46.918, acc=0.734, loss=50.540, backward_time=0.290, grad_norm=87.517, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.577e-05, train_time=1.350 +[gpua001:0/64] 2023-12-12 12:05:59,948 (trainer:737) INFO: 28epoch:train:13201-13300batch: iter_time=8.409e-05, forward_time=0.146, loss_ctc=59.699, loss_att=47.814, acc=0.726, loss=51.379, backward_time=0.306, grad_norm=78.148, clip=100.000, loss_scale=3.549e+31, optim_step_time=0.133, optim0_lr0=7.576e-05, train_time=1.442 +[gpua001:0/64] 2023-12-12 12:06:44,241 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 12:08:31,471 (trainer:737) INFO: 28epoch:train:13301-13400batch: iter_time=8.179e-05, forward_time=0.153, loss_ctc=63.003, loss_att=54.570, acc=0.737, loss=57.100, backward_time=0.315, grad_norm=67.592, clip=100.000, loss_scale=2.643e+31, optim_step_time=0.133, optim0_lr0=7.575e-05, train_time=1.515 +[gpua001:0/64] 2023-12-12 12:11:55,387 (trainer:737) INFO: 28epoch:train:13401-13500batch: iter_time=8.375e-05, forward_time=0.248, loss_ctc=59.234, loss_att=42.193, acc=0.751, loss=47.305, backward_time=0.362, grad_norm=85.285, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=7.574e-05, train_time=2.039 +[gpua001:0/64] 2023-12-12 12:14:46,814 (trainer:737) INFO: 28epoch:train:13501-13600batch: iter_time=8.149e-05, forward_time=0.147, loss_ctc=60.269, loss_att=47.102, acc=0.732, loss=51.052, backward_time=0.358, grad_norm=68.730, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.573e-05, train_time=1.714 +[gpua001:0/64] 2023-12-12 12:17:51,616 (trainer:737) INFO: 28epoch:train:13601-13700batch: iter_time=8.419e-05, forward_time=0.146, loss_ctc=63.819, loss_att=47.849, acc=0.734, loss=52.640, backward_time=0.305, grad_norm=77.369, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.572e-05, train_time=1.848 +[gpua001:0/64] 2023-12-12 12:20:07,888 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-12 12:20:26,111 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 12:20:29,486 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 12:20:29,486 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-12 12:20:29,492 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 12:30:46,144 (trainer:737) INFO: 28epoch:train:13701-13800batch: iter_time=3.493, forward_time=0.146, loss_ctc=62.660, loss_att=49.331, acc=0.732, loss=53.330, backward_time=0.342, grad_norm=125.415, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.571e-05, train_time=7.745 +[gpua001:0/64] 2023-12-12 12:32:51,739 (trainer:737) INFO: 28epoch:train:13801-13900batch: iter_time=8.368e-05, forward_time=0.147, loss_ctc=82.575, loss_att=63.850, acc=0.721, loss=69.467, backward_time=0.283, grad_norm=85.548, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.570e-05, train_time=1.256 +[gpua001:0/64] 2023-12-12 12:35:03,444 (trainer:737) INFO: 28epoch:train:13901-14000batch: iter_time=8.650e-05, forward_time=0.147, loss_ctc=69.078, loss_att=51.837, acc=0.736, loss=57.009, backward_time=0.284, grad_norm=74.541, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.570e-05, train_time=1.317 +[gpua001:0/64] 2023-12-12 12:38:04,147 (trainer:737) INFO: 28epoch:train:14001-14100batch: iter_time=8.766e-05, forward_time=0.147, loss_ctc=63.117, loss_att=55.494, acc=0.709, loss=57.781, backward_time=0.310, grad_norm=135.915, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.569e-05, train_time=1.807 +[gpua001:0/64] 2023-12-12 12:41:43,736 (trainer:737) INFO: 28epoch:train:14101-14200batch: iter_time=8.138e-05, forward_time=0.183, loss_ctc=78.656, loss_att=63.110, acc=0.733, loss=67.774, backward_time=0.336, grad_norm=77.625, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.568e-05, train_time=2.196 +[gpua001:0/64] 2023-12-12 12:44:26,864 (trainer:737) INFO: 28epoch:train:14201-14300batch: iter_time=8.229e-05, forward_time=0.195, loss_ctc=70.754, loss_att=62.687, acc=0.722, loss=65.107, backward_time=0.343, grad_norm=68.059, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.567e-05, train_time=1.630 +[gpua001:0/64] 2023-12-12 12:47:38,154 (trainer:737) INFO: 28epoch:train:14301-14400batch: iter_time=7.521e-05, forward_time=0.150, loss_ctc=72.807, loss_att=58.822, acc=0.729, loss=63.017, backward_time=0.344, grad_norm=69.560, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.566e-05, train_time=1.913 +[gpua001:0/64] 2023-12-12 12:50:13,443 (trainer:737) INFO: 28epoch:train:14401-14500batch: iter_time=8.131e-05, forward_time=0.146, loss_ctc=60.656, loss_att=49.158, acc=0.733, loss=52.607, backward_time=0.324, grad_norm=67.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.565e-05, train_time=1.553 +[gpua001:0/64] 2023-12-12 12:53:15,951 (trainer:737) INFO: 28epoch:train:14501-14600batch: iter_time=8.415e-05, forward_time=0.147, loss_ctc=55.008, loss_att=43.183, acc=0.739, loss=46.731, backward_time=0.316, grad_norm=94.587, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.564e-05, train_time=1.825 +[gpua001:0/64] 2023-12-12 12:56:17,156 (trainer:737) INFO: 28epoch:train:14601-14700batch: iter_time=8.559e-05, forward_time=0.147, loss_ctc=61.497, loss_att=51.384, acc=0.740, loss=54.418, backward_time=0.345, grad_norm=87.355, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.563e-05, train_time=1.812 +[gpua001:0/64] 2023-12-12 12:59:29,104 (trainer:737) INFO: 28epoch:train:14701-14800batch: iter_time=7.942e-05, forward_time=0.146, loss_ctc=63.716, loss_att=44.404, acc=0.746, loss=50.197, backward_time=0.321, grad_norm=63.895, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.562e-05, train_time=1.919 +[gpua001:0/64] 2023-12-12 13:02:18,502 (trainer:737) INFO: 28epoch:train:14801-14900batch: iter_time=8.473e-05, forward_time=0.146, loss_ctc=60.519, loss_att=48.015, acc=0.727, loss=51.766, backward_time=0.338, grad_norm=66.578, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.561e-05, train_time=1.694 +[gpua001:0/64] 2023-12-12 13:04:53,588 (trainer:737) INFO: 28epoch:train:14901-15000batch: iter_time=8.184e-05, forward_time=0.147, loss_ctc=63.107, loss_att=49.471, acc=0.741, loss=53.562, backward_time=0.318, grad_norm=63.913, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.561e-05, train_time=1.551 +[gpua001:0/64] 2023-12-12 13:31:52,802 (trainer:343) INFO: 28epoch results: [train] iter_time=0.255, forward_time=0.161, loss_ctc=67.345, loss_att=53.704, acc=0.724, loss=57.796, backward_time=0.316, grad_norm=85.064, clip=100.000, loss_scale=1.873e+31, optim_step_time=0.134, optim0_lr0=7.629e-05, train_time=1.860, time=7 hours, 45 minutes and 29.75 seconds, total_count=420000, gpu_max_cached_mem_GB=37.930, [valid] loss_ctc=35.994, cer_ctc=0.186, loss_att=36.765, acc=0.705, cer=0.359, wer=0.997, loss=36.534, time=26 minutes and 34.82 seconds, total_count=130788, gpu_max_cached_mem_GB=37.930 +[gpua001:0/64] 2023-12-12 13:32:12,684 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua001:0/64] 2023-12-12 13:32:12,710 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/23epoch.pth +[gpua001:0/64] 2023-12-12 13:32:12,710 (trainer:272) INFO: 29/40epoch started. Estimated time to finish: 4 days, 10 hours and 41 minutes +[gpua001:0/64] 2023-12-12 13:32:12,720 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-12 13:32:29,949 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 13:32:33,485 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 13:32:33,485 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua001:0/64] 2023-12-12 13:32:33,488 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 13:40:13,108 (trainer:737) INFO: 29epoch:train:1-100batch: iter_time=3.052, forward_time=0.184, loss_ctc=51.778, loss_att=39.377, acc=0.730, loss=43.098, backward_time=0.290, grad_norm=121.313, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.560e-05, train_time=4.804 +[gpua001:0/64] 2023-12-12 13:42:15,213 (trainer:737) INFO: 29epoch:train:101-200batch: iter_time=7.940e-05, forward_time=0.146, loss_ctc=70.021, loss_att=55.755, acc=0.723, loss=60.035, backward_time=0.281, grad_norm=83.073, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.559e-05, train_time=1.221 +[gpua001:0/64] 2023-12-12 13:45:01,540 (trainer:737) INFO: 29epoch:train:201-300batch: iter_time=8.245e-05, forward_time=0.145, loss_ctc=69.898, loss_att=54.774, acc=0.714, loss=59.311, backward_time=0.311, grad_norm=262.291, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.558e-05, train_time=1.663 +[gpua001:0/64] 2023-12-12 13:47:15,413 (trainer:737) INFO: 29epoch:train:301-400batch: iter_time=9.157e-05, forward_time=0.146, loss_ctc=69.224, loss_att=59.754, acc=0.716, loss=62.595, backward_time=0.309, grad_norm=134.096, clip=100.000, loss_scale=3.428e+31, optim_step_time=0.133, optim0_lr0=7.557e-05, train_time=1.339 +[gpua001:0/64] 2023-12-12 13:49:36,833 (trainer:737) INFO: 29epoch:train:401-500batch: iter_time=8.280e-05, forward_time=0.148, loss_ctc=65.728, loss_att=49.093, acc=0.719, loss=54.084, backward_time=0.298, grad_norm=91.868, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.556e-05, train_time=1.414 +[gpua001:0/64] 2023-12-12 13:52:30,267 (trainer:737) INFO: 29epoch:train:501-600batch: iter_time=9.043e-05, forward_time=0.146, loss_ctc=71.489, loss_att=60.452, acc=0.723, loss=63.763, backward_time=0.410, grad_norm=69.842, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.555e-05, train_time=1.734 +[gpua001:0/64] 2023-12-12 13:55:02,202 (trainer:737) INFO: 29epoch:train:601-700batch: iter_time=8.661e-05, forward_time=0.148, loss_ctc=66.746, loss_att=55.070, acc=0.726, loss=58.573, backward_time=0.295, grad_norm=61.457, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.554e-05, train_time=1.519 +[gpua001:0/64] 2023-12-12 13:57:27,015 (trainer:737) INFO: 29epoch:train:701-800batch: iter_time=9.301e-05, forward_time=0.155, loss_ctc=69.745, loss_att=58.315, acc=0.722, loss=61.744, backward_time=0.314, grad_norm=77.099, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=7.553e-05, train_time=1.448 +[gpua001:0/64] 2023-12-12 14:00:30,541 (trainer:737) INFO: 29epoch:train:801-900batch: iter_time=8.506e-05, forward_time=0.205, loss_ctc=82.127, loss_att=71.364, acc=0.709, loss=74.593, backward_time=0.419, grad_norm=86.893, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=7.552e-05, train_time=1.835 +[gpua001:0/64] 2023-12-12 14:03:39,165 (trainer:737) INFO: 29epoch:train:901-1000batch: iter_time=8.854e-05, forward_time=0.147, loss_ctc=62.070, loss_att=49.825, acc=0.718, loss=53.498, backward_time=0.328, grad_norm=68.610, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.552e-05, train_time=1.886 +[gpua001:0/64] 2023-12-12 14:06:19,695 (trainer:737) INFO: 29epoch:train:1001-1100batch: iter_time=8.021e-05, forward_time=0.147, loss_ctc=74.110, loss_att=66.288, acc=0.699, loss=68.634, backward_time=0.315, grad_norm=61.507, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.551e-05, train_time=1.605 +[gpua001:0/64] 2023-12-12 14:08:46,649 (trainer:737) INFO: 29epoch:train:1101-1200batch: iter_time=8.267e-05, forward_time=0.146, loss_ctc=62.825, loss_att=51.839, acc=0.709, loss=55.135, backward_time=0.303, grad_norm=59.662, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.550e-05, train_time=1.469 +[gpua001:0/64] 2023-12-12 14:10:41,851 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua001:0/64] 2023-12-12 14:11:00,370 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 14:11:03,765 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 14:11:03,765 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua001:0/64] 2023-12-12 14:11:03,785 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 14:16:51,762 (trainer:737) INFO: 29epoch:train:1201-1300batch: iter_time=3.056, forward_time=0.147, loss_ctc=58.342, loss_att=44.617, acc=0.729, loss=48.735, backward_time=0.333, grad_norm=75.053, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=7.549e-05, train_time=4.851 +[gpua001:0/64] 2023-12-12 14:17:56,703 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 14:18:56,188 (trainer:737) INFO: 29epoch:train:1301-1400batch: iter_time=7.564e-05, forward_time=0.148, loss_ctc=58.167, loss_att=47.472, acc=0.724, loss=50.680, backward_time=0.279, grad_norm=93.577, clip=100.000, loss_scale=3.094e+31, optim_step_time=0.133, optim0_lr0=7.548e-05, train_time=1.244 +[gpua001:0/64] 2023-12-12 14:21:29,901 (trainer:737) INFO: 29epoch:train:1401-1500batch: iter_time=7.814e-05, forward_time=0.243, loss_ctc=72.881, loss_att=58.129, acc=0.707, loss=62.555, backward_time=0.320, grad_norm=99.387, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=7.547e-05, train_time=1.537 +[gpua001:0/64] 2023-12-12 14:21:49,563 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 14:23:14,022 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 14:23:48,808 (trainer:737) INFO: 29epoch:train:1501-1600batch: iter_time=7.768e-05, forward_time=0.146, loss_ctc=69.544, loss_att=56.182, acc=0.715, loss=60.190, backward_time=0.291, grad_norm=125.294, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.546e-05, train_time=1.389 +[gpua001:0/64] 2023-12-12 14:26:16,960 (trainer:737) INFO: 29epoch:train:1601-1700batch: iter_time=7.964e-05, forward_time=0.145, loss_ctc=56.511, loss_att=46.463, acc=0.711, loss=49.477, backward_time=0.291, grad_norm=105.676, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.545e-05, train_time=1.481 +[gpua001:0/64] 2023-12-12 14:29:12,543 (trainer:737) INFO: 29epoch:train:1701-1800batch: iter_time=8.016e-05, forward_time=0.147, loss_ctc=70.934, loss_att=54.254, acc=0.720, loss=59.258, backward_time=0.318, grad_norm=70.908, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.544e-05, train_time=1.756 +[gpua001:0/64] 2023-12-12 14:31:50,580 (trainer:737) INFO: 29epoch:train:1801-1900batch: iter_time=7.825e-05, forward_time=0.147, loss_ctc=71.180, loss_att=62.910, acc=0.719, loss=65.391, backward_time=0.292, grad_norm=92.503, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.543e-05, train_time=1.580 +[gpua001:0/64] 2023-12-12 14:34:47,664 (trainer:737) INFO: 29epoch:train:1901-2000batch: iter_time=7.900e-05, forward_time=0.148, loss_ctc=63.817, loss_att=52.463, acc=0.715, loss=55.869, backward_time=0.291, grad_norm=64.328, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.543e-05, train_time=1.771 +[gpua001:0/64] 2023-12-12 14:37:15,798 (trainer:737) INFO: 29epoch:train:2001-2100batch: iter_time=8.656e-05, forward_time=0.147, loss_ctc=74.419, loss_att=69.509, acc=0.707, loss=70.982, backward_time=0.309, grad_norm=92.774, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.542e-05, train_time=1.481 +[gpua001:0/64] 2023-12-12 14:39:49,831 (trainer:737) INFO: 29epoch:train:2101-2200batch: iter_time=8.174e-05, forward_time=0.146, loss_ctc=74.735, loss_att=57.054, acc=0.719, loss=62.358, backward_time=0.328, grad_norm=101.501, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.541e-05, train_time=1.540 +[gpua001:0/64] 2023-12-12 14:42:17,937 (trainer:737) INFO: 29epoch:train:2201-2300batch: iter_time=7.959e-05, forward_time=0.148, loss_ctc=64.236, loss_att=58.372, acc=0.699, loss=60.131, backward_time=0.324, grad_norm=65.337, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.540e-05, train_time=1.481 +[gpua001:0/64] 2023-12-12 14:44:47,890 (trainer:737) INFO: 29epoch:train:2301-2400batch: iter_time=8.023e-05, forward_time=0.146, loss_ctc=63.722, loss_att=49.972, acc=0.710, loss=54.097, backward_time=0.291, grad_norm=75.142, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.539e-05, train_time=1.499 +[gpua001:0/64] 2023-12-12 14:47:44,392 (trainer:737) INFO: 29epoch:train:2401-2500batch: iter_time=7.688e-05, forward_time=0.146, loss_ctc=64.125, loss_att=52.392, acc=0.728, loss=55.912, backward_time=0.321, grad_norm=90.330, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.538e-05, train_time=1.765 +[gpua001:0/64] 2023-12-12 14:48:04,421 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua001:0/64] 2023-12-12 14:48:22,527 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 14:48:26,156 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 14:48:26,157 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua001:0/64] 2023-12-12 14:48:26,160 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 14:55:05,160 (trainer:737) INFO: 29epoch:train:2501-2600batch: iter_time=3.008, forward_time=0.178, loss_ctc=51.436, loss_att=39.077, acc=0.735, loss=42.785, backward_time=0.287, grad_norm=90.257, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.537e-05, train_time=4.407 +[gpua001:0/64] 2023-12-12 14:57:06,173 (trainer:737) INFO: 29epoch:train:2601-2700batch: iter_time=7.896e-05, forward_time=0.147, loss_ctc=68.800, loss_att=54.910, acc=0.730, loss=59.077, backward_time=0.282, grad_norm=82.954, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.536e-05, train_time=1.210 +[gpua001:0/64] 2023-12-12 14:59:25,238 (trainer:737) INFO: 29epoch:train:2701-2800batch: iter_time=8.580e-05, forward_time=0.146, loss_ctc=67.074, loss_att=52.600, acc=0.720, loss=56.942, backward_time=0.285, grad_norm=80.799, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.535e-05, train_time=1.390 +[gpua001:0/64] 2023-12-12 15:01:43,118 (trainer:737) INFO: 29epoch:train:2801-2900batch: iter_time=8.230e-05, forward_time=0.146, loss_ctc=68.734, loss_att=59.186, acc=0.720, loss=62.051, backward_time=0.284, grad_norm=229.831, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.535e-05, train_time=1.379 +[gpua001:0/64] 2023-12-12 15:04:14,927 (trainer:737) INFO: 29epoch:train:2901-3000batch: iter_time=8.539e-05, forward_time=0.146, loss_ctc=64.330, loss_att=48.119, acc=0.727, loss=52.982, backward_time=0.300, grad_norm=80.066, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.534e-05, train_time=1.518 +[gpua001:0/64] 2023-12-12 15:07:14,488 (trainer:737) INFO: 29epoch:train:3001-3100batch: iter_time=8.132e-05, forward_time=0.147, loss_ctc=69.835, loss_att=59.794, acc=0.726, loss=62.806, backward_time=0.316, grad_norm=71.164, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.533e-05, train_time=1.795 +[gpua001:0/64] 2023-12-12 15:08:09,991 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 15:09:28,299 (trainer:737) INFO: 29epoch:train:3101-3200batch: iter_time=8.526e-05, forward_time=0.160, loss_ctc=66.320, loss_att=54.352, acc=0.730, loss=57.942, backward_time=0.283, grad_norm=57.008, clip=100.000, loss_scale=3.662e+30, optim_step_time=0.133, optim0_lr0=7.532e-05, train_time=1.337 +[gpua001:0/64] 2023-12-12 15:11:58,795 (trainer:737) INFO: 29epoch:train:3201-3300batch: iter_time=6.373e-04, forward_time=0.171, loss_ctc=67.401, loss_att=57.241, acc=0.730, loss=60.289, backward_time=0.319, grad_norm=62.578, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.531e-05, train_time=1.506 +[gpua001:0/64] 2023-12-12 15:15:05,139 (trainer:737) INFO: 29epoch:train:3301-3400batch: iter_time=8.063e-05, forward_time=0.225, loss_ctc=76.935, loss_att=67.577, acc=0.714, loss=70.384, backward_time=0.379, grad_norm=71.985, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.137, optim0_lr0=7.530e-05, train_time=1.863 +[gpua001:0/64] 2023-12-12 15:17:48,599 (trainer:737) INFO: 29epoch:train:3401-3500batch: iter_time=8.262e-05, forward_time=0.149, loss_ctc=60.180, loss_att=48.192, acc=0.725, loss=51.789, backward_time=0.299, grad_norm=67.247, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.529e-05, train_time=1.634 +[gpua001:0/64] 2023-12-12 15:20:03,089 (trainer:737) INFO: 29epoch:train:3501-3600batch: iter_time=8.413e-05, forward_time=0.146, loss_ctc=72.995, loss_att=64.962, acc=0.705, loss=67.372, backward_time=0.306, grad_norm=58.612, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.528e-05, train_time=1.345 +[gpua001:0/64] 2023-12-12 15:23:27,741 (trainer:737) INFO: 29epoch:train:3601-3700batch: iter_time=7.988e-05, forward_time=0.147, loss_ctc=61.787, loss_att=51.196, acc=0.715, loss=54.373, backward_time=0.339, grad_norm=282.340, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.527e-05, train_time=2.046 +[gpua001:0/64] 2023-12-12 15:24:58,167 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua001:0/64] 2023-12-12 15:25:16,765 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 15:25:20,176 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 15:25:20,176 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua001:0/64] 2023-12-12 15:25:20,226 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 15:32:44,527 (trainer:737) INFO: 29epoch:train:3701-3800batch: iter_time=2.775, forward_time=0.146, loss_ctc=58.188, loss_att=44.172, acc=0.736, loss=48.377, backward_time=0.472, grad_norm=72.416, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.527e-05, train_time=5.568 +[gpua001:0/64] 2023-12-12 15:36:45,059 (trainer:737) INFO: 29epoch:train:3801-3900batch: iter_time=8.362e-05, forward_time=0.147, loss_ctc=57.060, loss_att=46.064, acc=0.731, loss=49.363, backward_time=0.388, grad_norm=91.133, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.526e-05, train_time=2.405 +[gpua001:0/64] 2023-12-12 15:40:52,888 (trainer:737) INFO: 29epoch:train:3901-4000batch: iter_time=8.010e-05, forward_time=0.174, loss_ctc=71.376, loss_att=56.573, acc=0.714, loss=61.013, backward_time=0.375, grad_norm=83.308, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.143, optim0_lr0=7.525e-05, train_time=2.478 +[gpua001:0/64] 2023-12-12 15:46:15,856 (trainer:737) INFO: 29epoch:train:4001-4100batch: iter_time=8.648e-05, forward_time=0.148, loss_ctc=68.062, loss_att=54.625, acc=0.722, loss=58.656, backward_time=0.548, grad_norm=73.414, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.524e-05, train_time=3.229 +[gpua001:0/64] 2023-12-12 15:49:05,321 (trainer:737) INFO: 29epoch:train:4101-4200batch: iter_time=0.002, forward_time=0.178, loss_ctc=56.746, loss_att=45.757, acc=0.715, loss=49.053, backward_time=0.360, grad_norm=65.680, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=7.523e-05, train_time=1.694 +[gpua001:0/64] 2023-12-12 15:52:31,843 (trainer:737) INFO: 29epoch:train:4201-4300batch: iter_time=8.509e-05, forward_time=0.147, loss_ctc=69.762, loss_att=53.182, acc=0.725, loss=58.156, backward_time=0.399, grad_norm=65.461, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.522e-05, train_time=2.065 +[gpua001:0/64] 2023-12-12 15:55:35,865 (trainer:737) INFO: 29epoch:train:4301-4400batch: iter_time=8.230e-05, forward_time=0.147, loss_ctc=70.980, loss_att=62.315, acc=0.721, loss=64.915, backward_time=0.352, grad_norm=83.227, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=7.521e-05, train_time=1.840 +[gpua001:0/64] 2023-12-12 15:58:59,094 (trainer:737) INFO: 29epoch:train:4401-4500batch: iter_time=7.931e-05, forward_time=0.146, loss_ctc=62.430, loss_att=51.506, acc=0.718, loss=54.783, backward_time=0.357, grad_norm=89.696, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.520e-05, train_time=2.032 +[gpua001:0/64] 2023-12-12 16:01:48,754 (trainer:737) INFO: 29epoch:train:4501-4600batch: iter_time=8.511e-05, forward_time=0.147, loss_ctc=74.334, loss_att=68.926, acc=0.711, loss=70.548, backward_time=0.354, grad_norm=67.037, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.519e-05, train_time=1.696 +[gpua001:0/64] 2023-12-12 16:04:30,321 (trainer:737) INFO: 29epoch:train:4601-4700batch: iter_time=7.834e-05, forward_time=0.151, loss_ctc=72.256, loss_att=55.128, acc=0.722, loss=60.267, backward_time=0.303, grad_norm=75.095, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.519e-05, train_time=1.615 +[gpua001:0/64] 2023-12-12 16:07:07,862 (trainer:737) INFO: 29epoch:train:4701-4800batch: iter_time=8.303e-05, forward_time=0.146, loss_ctc=63.547, loss_att=58.045, acc=0.702, loss=59.695, backward_time=0.307, grad_norm=92.702, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.518e-05, train_time=1.575 +[gpua001:0/64] 2023-12-12 16:09:57,283 (trainer:737) INFO: 29epoch:train:4801-4900batch: iter_time=8.265e-05, forward_time=0.146, loss_ctc=64.129, loss_att=49.775, acc=0.713, loss=54.081, backward_time=0.305, grad_norm=65.200, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.517e-05, train_time=1.694 +[gpua001:0/64] 2023-12-12 16:12:33,549 (trainer:737) INFO: 29epoch:train:4901-5000batch: iter_time=7.871e-05, forward_time=0.146, loss_ctc=62.697, loss_att=51.749, acc=0.733, loss=55.033, backward_time=0.319, grad_norm=59.171, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=7.516e-05, train_time=1.562 +[gpua001:0/64] 2023-12-12 16:12:53,578 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua001:0/64] 2023-12-12 16:13:11,928 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 16:13:15,285 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 16:13:15,285 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua001:0/64] 2023-12-12 16:13:15,294 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 16:19:32,260 (trainer:737) INFO: 29epoch:train:5001-5100batch: iter_time=2.866, forward_time=0.206, loss_ctc=51.079, loss_att=38.990, acc=0.735, loss=42.617, backward_time=0.295, grad_norm=61.848, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.136, optim0_lr0=7.515e-05, train_time=4.187 +[gpua001:0/64] 2023-12-12 16:21:43,209 (trainer:737) INFO: 29epoch:train:5101-5200batch: iter_time=7.639e-05, forward_time=0.148, loss_ctc=67.762, loss_att=52.068, acc=0.730, loss=56.776, backward_time=0.285, grad_norm=57.094, clip=100.000, loss_scale=3.930e+30, optim_step_time=0.133, optim0_lr0=7.514e-05, train_time=1.309 +[gpua001:0/64] 2023-12-12 16:24:01,059 (trainer:737) INFO: 29epoch:train:5201-5300batch: iter_time=8.080e-05, forward_time=0.145, loss_ctc=66.241, loss_att=51.799, acc=0.719, loss=56.132, backward_time=0.285, grad_norm=65.862, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.513e-05, train_time=1.378 +[gpua001:0/64] 2023-12-12 16:26:36,646 (trainer:737) INFO: 29epoch:train:5301-5400batch: iter_time=8.210e-05, forward_time=0.147, loss_ctc=67.237, loss_att=57.362, acc=0.719, loss=60.324, backward_time=0.296, grad_norm=73.293, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.512e-05, train_time=1.556 +[gpua001:0/64] 2023-12-12 16:29:11,513 (trainer:737) INFO: 29epoch:train:5401-5500batch: iter_time=7.957e-05, forward_time=0.146, loss_ctc=63.351, loss_att=47.865, acc=0.718, loss=52.511, backward_time=0.313, grad_norm=65.045, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.512e-05, train_time=1.548 +[gpua001:0/64] 2023-12-12 16:31:34,526 (trainer:737) INFO: 29epoch:train:5501-5600batch: iter_time=8.060e-05, forward_time=0.146, loss_ctc=69.801, loss_att=59.356, acc=0.720, loss=62.489, backward_time=0.360, grad_norm=105.327, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.511e-05, train_time=1.430 +[gpua001:0/64] 2023-12-12 16:33:48,149 (trainer:737) INFO: 29epoch:train:5601-5700batch: iter_time=8.010e-05, forward_time=0.146, loss_ctc=65.875, loss_att=53.525, acc=0.722, loss=57.230, backward_time=0.285, grad_norm=71.176, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.510e-05, train_time=1.336 +[gpua001:0/64] 2023-12-12 16:36:22,411 (trainer:737) INFO: 29epoch:train:5701-5800batch: iter_time=7.979e-05, forward_time=0.148, loss_ctc=67.005, loss_att=56.972, acc=0.716, loss=59.982, backward_time=0.317, grad_norm=64.927, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.509e-05, train_time=1.542 +[gpua001:0/64] 2023-12-12 16:39:45,222 (trainer:737) INFO: 29epoch:train:5801-5900batch: iter_time=7.878e-05, forward_time=0.147, loss_ctc=75.556, loss_att=66.410, acc=0.717, loss=69.154, backward_time=0.349, grad_norm=86.561, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.508e-05, train_time=2.028 +[gpua001:0/64] 2023-12-12 16:42:20,365 (trainer:737) INFO: 29epoch:train:5901-6000batch: iter_time=7.811e-05, forward_time=0.147, loss_ctc=60.233, loss_att=48.219, acc=0.722, loss=51.823, backward_time=0.295, grad_norm=73.333, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.507e-05, train_time=1.551 +[gpua001:0/64] 2023-12-12 16:45:09,203 (trainer:737) INFO: 29epoch:train:6001-6100batch: iter_time=8.556e-05, forward_time=0.249, loss_ctc=72.240, loss_att=63.794, acc=0.702, loss=66.327, backward_time=0.348, grad_norm=58.652, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.142, optim0_lr0=7.506e-05, train_time=1.688 +[gpua001:0/64] 2023-12-12 16:47:13,755 (trainer:737) INFO: 29epoch:train:6101-6200batch: iter_time=8.112e-05, forward_time=0.147, loss_ctc=61.977, loss_att=51.130, acc=0.713, loss=54.384, backward_time=0.283, grad_norm=70.958, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.505e-05, train_time=1.245 +[gpua001:0/64] 2023-12-12 16:48:46,531 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua001:0/64] 2023-12-12 16:49:04,981 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 16:49:08,485 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 16:49:08,485 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua001:0/64] 2023-12-12 16:49:08,491 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 16:54:59,079 (trainer:737) INFO: 29epoch:train:6201-6300batch: iter_time=3.009, forward_time=0.147, loss_ctc=57.917, loss_att=44.100, acc=0.733, loss=48.245, backward_time=0.295, grad_norm=56.871, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.504e-05, train_time=4.653 +[gpua001:0/64] 2023-12-12 16:57:02,245 (trainer:737) INFO: 29epoch:train:6301-6400batch: iter_time=8.089e-05, forward_time=0.147, loss_ctc=57.336, loss_att=45.058, acc=0.736, loss=48.741, backward_time=0.283, grad_norm=76.847, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.504e-05, train_time=1.231 +[gpua001:0/64] 2023-12-12 16:59:51,393 (trainer:737) INFO: 29epoch:train:6401-6500batch: iter_time=8.165e-05, forward_time=0.147, loss_ctc=70.677, loss_att=54.399, acc=0.722, loss=59.282, backward_time=0.339, grad_norm=70.265, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.503e-05, train_time=1.691 +[gpua001:0/64] 2023-12-12 17:02:17,001 (trainer:737) INFO: 29epoch:train:6501-6600batch: iter_time=8.877e-05, forward_time=0.147, loss_ctc=68.685, loss_att=54.294, acc=0.722, loss=58.611, backward_time=0.346, grad_norm=86.330, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.502e-05, train_time=1.456 +[gpua001:0/64] 2023-12-12 17:04:39,394 (trainer:737) INFO: 29epoch:train:6601-6700batch: iter_time=9.248e-05, forward_time=0.147, loss_ctc=55.508, loss_att=44.295, acc=0.722, loss=47.659, backward_time=0.292, grad_norm=59.338, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.501e-05, train_time=1.424 +[gpua001:0/64] 2023-12-12 17:08:14,084 (trainer:737) INFO: 29epoch:train:6701-6800batch: iter_time=8.753e-05, forward_time=0.148, loss_ctc=69.943, loss_att=52.612, acc=0.726, loss=57.811, backward_time=0.348, grad_norm=65.198, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.500e-05, train_time=2.147 +[gpua001:0/64] 2023-12-12 17:11:09,629 (trainer:737) INFO: 29epoch:train:6801-6900batch: iter_time=8.231e-05, forward_time=0.154, loss_ctc=70.536, loss_att=61.449, acc=0.723, loss=64.175, backward_time=0.319, grad_norm=62.899, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.499e-05, train_time=1.755 +[gpua001:0/64] 2023-12-12 17:13:23,490 (trainer:737) INFO: 29epoch:train:6901-7000batch: iter_time=7.747e-05, forward_time=0.189, loss_ctc=62.566, loss_att=50.884, acc=0.721, loss=54.389, backward_time=0.336, grad_norm=60.988, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=7.498e-05, train_time=1.338 +[gpua001:0/64] 2023-12-12 17:16:25,799 (trainer:737) INFO: 29epoch:train:7001-7100batch: iter_time=8.654e-05, forward_time=0.185, loss_ctc=73.915, loss_att=68.509, acc=0.713, loss=70.131, backward_time=0.329, grad_norm=63.614, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=7.497e-05, train_time=1.822 +[gpua001:0/64] 2023-12-12 17:18:55,144 (trainer:737) INFO: 29epoch:train:7101-7200batch: iter_time=7.989e-05, forward_time=0.148, loss_ctc=71.016, loss_att=55.262, acc=0.723, loss=59.988, backward_time=0.335, grad_norm=74.570, clip=100.000, loss_scale=7.859e+30, optim_step_time=0.134, optim0_lr0=7.497e-05, train_time=1.494 +[gpua001:0/64] 2023-12-12 17:21:25,357 (trainer:737) INFO: 29epoch:train:7201-7300batch: iter_time=8.753e-05, forward_time=0.148, loss_ctc=63.253, loss_att=57.833, acc=0.701, loss=59.459, backward_time=0.355, grad_norm=72.826, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.496e-05, train_time=1.502 +[gpua001:0/64] 2023-12-12 17:23:59,990 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 17:24:24,232 (trainer:737) INFO: 29epoch:train:7301-7400batch: iter_time=8.681e-05, forward_time=0.147, loss_ctc=64.096, loss_att=49.217, acc=0.715, loss=53.680, backward_time=0.326, grad_norm=97.073, clip=100.000, loss_scale=9.322e+30, optim_step_time=0.134, optim0_lr0=7.495e-05, train_time=1.789 +[gpua001:0/64] 2023-12-12 17:27:03,985 (trainer:737) INFO: 29epoch:train:7401-7500batch: iter_time=8.237e-05, forward_time=0.147, loss_ctc=63.695, loss_att=51.954, acc=0.732, loss=55.476, backward_time=0.315, grad_norm=61.811, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.494e-05, train_time=1.597 +[gpua001:0/64] 2023-12-12 17:27:24,013 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua001:0/64] 2023-12-12 17:27:42,447 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 17:27:45,871 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 17:27:45,872 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-12 17:27:45,891 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 17:34:26,030 (trainer:737) INFO: 29epoch:train:7501-7600batch: iter_time=3.072, forward_time=0.201, loss_ctc=50.913, loss_att=38.861, acc=0.738, loss=42.477, backward_time=0.302, grad_norm=49.076, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.493e-05, train_time=4.420 +[gpua001:0/64] 2023-12-12 17:36:36,987 (trainer:737) INFO: 29epoch:train:7601-7700batch: iter_time=7.640e-05, forward_time=0.146, loss_ctc=67.835, loss_att=51.530, acc=0.733, loss=56.422, backward_time=0.292, grad_norm=54.281, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.492e-05, train_time=1.309 +[gpua001:0/64] 2023-12-12 17:38:58,017 (trainer:737) INFO: 29epoch:train:7701-7800batch: iter_time=7.725e-05, forward_time=0.145, loss_ctc=66.180, loss_att=51.204, acc=0.723, loss=55.697, backward_time=0.283, grad_norm=77.648, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.491e-05, train_time=1.410 +[gpua001:0/64] 2023-12-12 17:41:42,812 (trainer:737) INFO: 29epoch:train:7801-7900batch: iter_time=7.946e-05, forward_time=0.146, loss_ctc=67.300, loss_att=56.980, acc=0.719, loss=60.076, backward_time=0.320, grad_norm=66.242, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.490e-05, train_time=1.648 +[gpua001:0/64] 2023-12-12 17:44:32,656 (trainer:737) INFO: 29epoch:train:7901-8000batch: iter_time=7.953e-05, forward_time=0.146, loss_ctc=63.184, loss_att=47.438, acc=0.721, loss=52.161, backward_time=0.304, grad_norm=60.142, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.490e-05, train_time=1.698 +[gpua001:0/64] 2023-12-12 17:47:12,054 (trainer:737) INFO: 29epoch:train:8001-8100batch: iter_time=8.017e-05, forward_time=0.146, loss_ctc=69.916, loss_att=59.358, acc=0.722, loss=62.526, backward_time=0.316, grad_norm=62.766, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.489e-05, train_time=1.594 +[gpua001:0/64] 2023-12-12 17:49:33,363 (trainer:737) INFO: 29epoch:train:8101-8200batch: iter_time=7.683e-05, forward_time=0.148, loss_ctc=65.346, loss_att=53.360, acc=0.723, loss=56.955, backward_time=0.287, grad_norm=65.856, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.488e-05, train_time=1.413 +[gpua001:0/64] 2023-12-12 17:52:38,965 (trainer:737) INFO: 29epoch:train:8201-8300batch: iter_time=8.236e-05, forward_time=0.145, loss_ctc=66.748, loss_att=57.076, acc=0.717, loss=59.977, backward_time=0.320, grad_norm=69.097, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.487e-05, train_time=1.856 +[gpua001:0/64] 2023-12-12 17:55:12,087 (trainer:737) INFO: 29epoch:train:8301-8400batch: iter_time=8.115e-05, forward_time=0.146, loss_ctc=74.142, loss_att=65.654, acc=0.717, loss=68.200, backward_time=0.309, grad_norm=86.329, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.486e-05, train_time=1.531 +[gpua001:0/64] 2023-12-12 17:57:48,290 (trainer:737) INFO: 29epoch:train:8401-8500batch: iter_time=8.141e-05, forward_time=0.227, loss_ctc=59.542, loss_att=48.176, acc=0.721, loss=51.586, backward_time=0.346, grad_norm=61.974, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=7.485e-05, train_time=1.562 +[gpua001:0/64] 2023-12-12 18:01:00,218 (trainer:737) INFO: 29epoch:train:8501-8600batch: iter_time=2.104e-04, forward_time=0.154, loss_ctc=73.002, loss_att=64.335, acc=0.703, loss=66.935, backward_time=0.306, grad_norm=62.279, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=7.484e-05, train_time=1.919 +[gpua001:0/64] 2023-12-12 18:03:28,487 (trainer:737) INFO: 29epoch:train:8601-8700batch: iter_time=8.100e-05, forward_time=0.156, loss_ctc=60.883, loss_att=50.410, acc=0.716, loss=53.552, backward_time=0.293, grad_norm=58.606, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.483e-05, train_time=1.482 +[gpua001:0/64] 2023-12-12 18:05:10,011 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua001:0/64] 2023-12-12 18:05:28,296 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 18:05:31,729 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 18:05:31,729 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua001:0/64] 2023-12-12 18:05:31,775 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 18:11:21,199 (trainer:737) INFO: 29epoch:train:8701-8800batch: iter_time=3.167, forward_time=0.146, loss_ctc=57.143, loss_att=43.757, acc=0.734, loss=47.773, backward_time=0.292, grad_norm=56.600, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.483e-05, train_time=4.727 +[gpua001:0/64] 2023-12-12 18:13:21,893 (trainer:737) INFO: 29epoch:train:8801-8900batch: iter_time=7.974e-05, forward_time=0.146, loss_ctc=56.927, loss_att=44.671, acc=0.739, loss=48.348, backward_time=0.282, grad_norm=56.245, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.482e-05, train_time=1.207 +[gpua001:0/64] 2023-12-12 18:15:59,213 (trainer:737) INFO: 29epoch:train:8901-9000batch: iter_time=8.326e-05, forward_time=0.145, loss_ctc=70.806, loss_att=55.504, acc=0.722, loss=60.094, backward_time=0.282, grad_norm=73.215, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.481e-05, train_time=1.573 +[gpua001:0/64] 2023-12-12 18:18:58,837 (trainer:737) INFO: 29epoch:train:9001-9100batch: iter_time=8.423e-05, forward_time=0.207, loss_ctc=68.125, loss_att=54.267, acc=0.723, loss=58.424, backward_time=0.379, grad_norm=65.893, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=7.480e-05, train_time=1.796 +[gpua001:0/64] 2023-12-12 18:21:21,857 (trainer:737) INFO: 29epoch:train:9101-9200batch: iter_time=8.240e-05, forward_time=0.155, loss_ctc=55.152, loss_att=44.253, acc=0.721, loss=47.523, backward_time=0.300, grad_norm=55.165, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=7.479e-05, train_time=1.430 +[gpua001:0/64] 2023-12-12 18:24:07,154 (trainer:737) INFO: 29epoch:train:9201-9300batch: iter_time=8.022e-05, forward_time=0.155, loss_ctc=69.482, loss_att=52.411, acc=0.729, loss=57.532, backward_time=0.321, grad_norm=67.909, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=7.478e-05, train_time=1.653 +[gpua001:0/64] 2023-12-12 18:26:58,653 (trainer:737) INFO: 29epoch:train:9301-9400batch: iter_time=8.273e-05, forward_time=0.146, loss_ctc=70.040, loss_att=60.742, acc=0.727, loss=63.532, backward_time=0.308, grad_norm=53.548, clip=100.000, loss_scale=5.882e+30, optim_step_time=0.133, optim0_lr0=7.477e-05, train_time=1.715 +[gpua001:0/64] 2023-12-12 18:29:40,647 (trainer:737) INFO: 29epoch:train:9401-9500batch: iter_time=7.610e-05, forward_time=0.146, loss_ctc=62.033, loss_att=50.524, acc=0.723, loss=53.977, backward_time=0.335, grad_norm=60.862, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.476e-05, train_time=1.620 +[gpua001:0/64] 2023-12-12 18:32:08,142 (trainer:737) INFO: 29epoch:train:9501-9600batch: iter_time=7.530e-05, forward_time=0.146, loss_ctc=73.519, loss_att=67.934, acc=0.715, loss=69.609, backward_time=0.297, grad_norm=60.057, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.476e-05, train_time=1.475 +[gpua001:0/64] 2023-12-12 18:35:35,051 (trainer:737) INFO: 29epoch:train:9601-9700batch: iter_time=7.676e-05, forward_time=0.146, loss_ctc=70.593, loss_att=54.421, acc=0.724, loss=59.273, backward_time=0.359, grad_norm=76.133, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.475e-05, train_time=2.069 +[gpua001:0/64] 2023-12-12 18:38:28,475 (trainer:737) INFO: 29epoch:train:9701-9800batch: iter_time=8.264e-05, forward_time=0.146, loss_ctc=62.864, loss_att=57.325, acc=0.705, loss=58.986, backward_time=0.309, grad_norm=66.093, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.474e-05, train_time=1.734 +[gpua001:0/64] 2023-12-12 18:40:52,813 (trainer:737) INFO: 29epoch:train:9801-9900batch: iter_time=8.065e-05, forward_time=0.145, loss_ctc=62.910, loss_att=48.858, acc=0.718, loss=53.074, backward_time=0.303, grad_norm=56.837, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.473e-05, train_time=1.443 +[gpua001:0/64] 2023-12-12 18:43:34,006 (trainer:737) INFO: 29epoch:train:9901-10000batch: iter_time=0.003, forward_time=0.239, loss_ctc=62.508, loss_att=51.177, acc=0.735, loss=54.577, backward_time=0.318, grad_norm=55.922, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.472e-05, train_time=1.612 +[gpua001:0/64] 2023-12-12 18:43:54,035 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua001:0/64] 2023-12-12 18:44:12,307 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 18:44:15,705 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 18:44:15,705 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua001:0/64] 2023-12-12 18:44:15,708 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 18:51:11,948 (trainer:737) INFO: 29epoch:train:10001-10100batch: iter_time=3.217, forward_time=0.161, loss_ctc=50.312, loss_att=38.612, acc=0.742, loss=42.122, backward_time=0.281, grad_norm=51.720, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.471e-05, train_time=4.579 +[gpua001:0/64] 2023-12-12 18:53:21,727 (trainer:737) INFO: 29epoch:train:10101-10200batch: iter_time=7.919e-05, forward_time=0.147, loss_ctc=67.984, loss_att=54.865, acc=0.735, loss=58.801, backward_time=0.282, grad_norm=59.914, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.470e-05, train_time=1.298 +[gpua001:0/64] 2023-12-12 18:56:28,699 (trainer:737) INFO: 29epoch:train:10201-10300batch: iter_time=7.718e-05, forward_time=0.146, loss_ctc=65.951, loss_att=52.451, acc=0.725, loss=56.501, backward_time=0.335, grad_norm=68.275, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.469e-05, train_time=1.869 +[gpua001:0/64] 2023-12-12 18:59:42,443 (trainer:737) INFO: 29epoch:train:10301-10400batch: iter_time=7.897e-05, forward_time=0.146, loss_ctc=67.050, loss_att=58.575, acc=0.723, loss=61.118, backward_time=0.349, grad_norm=66.244, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.469e-05, train_time=1.937 +[gpua001:0/64] 2023-12-12 19:02:26,818 (trainer:737) INFO: 29epoch:train:10401-10500batch: iter_time=7.948e-05, forward_time=0.146, loss_ctc=63.367, loss_att=48.525, acc=0.727, loss=52.977, backward_time=0.314, grad_norm=64.427, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.468e-05, train_time=1.644 +[gpua001:0/64] 2023-12-12 19:05:28,327 (trainer:737) INFO: 29epoch:train:10501-10600batch: iter_time=8.589e-05, forward_time=0.147, loss_ctc=69.025, loss_att=59.720, acc=0.730, loss=62.511, backward_time=0.347, grad_norm=63.658, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.467e-05, train_time=1.815 +[gpua001:0/64] 2023-12-12 19:07:53,959 (trainer:737) INFO: 29epoch:train:10601-10700batch: iter_time=7.940e-05, forward_time=0.146, loss_ctc=64.563, loss_att=53.782, acc=0.733, loss=57.016, backward_time=0.321, grad_norm=56.405, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=7.466e-05, train_time=1.456 +[gpua001:0/64] 2023-12-12 19:10:51,125 (trainer:737) INFO: 29epoch:train:10701-10800batch: iter_time=8.404e-05, forward_time=0.161, loss_ctc=66.182, loss_att=57.136, acc=0.732, loss=59.850, backward_time=0.387, grad_norm=70.978, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.465e-05, train_time=1.771 +[gpua001:0/64] 2023-12-12 19:13:41,154 (trainer:737) INFO: 29epoch:train:10801-10900batch: iter_time=8.445e-05, forward_time=0.254, loss_ctc=74.625, loss_att=66.753, acc=0.719, loss=69.114, backward_time=0.345, grad_norm=75.513, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.464e-05, train_time=1.700 +[gpua001:0/64] 2023-12-12 19:16:23,032 (trainer:737) INFO: 29epoch:train:10901-11000batch: iter_time=8.542e-05, forward_time=0.146, loss_ctc=59.925, loss_att=47.817, acc=0.728, loss=51.449, backward_time=0.296, grad_norm=65.947, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.463e-05, train_time=1.619 +[gpua001:0/64] 2023-12-12 19:18:51,465 (trainer:737) INFO: 29epoch:train:11001-11100batch: iter_time=8.365e-05, forward_time=0.163, loss_ctc=72.215, loss_att=64.072, acc=0.710, loss=66.515, backward_time=0.304, grad_norm=61.260, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.463e-05, train_time=1.484 +[gpua001:0/64] 2023-12-12 19:21:38,510 (trainer:737) INFO: 29epoch:train:11101-11200batch: iter_time=8.545e-05, forward_time=0.146, loss_ctc=60.997, loss_att=50.880, acc=0.718, loss=53.915, backward_time=0.370, grad_norm=55.237, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=7.462e-05, train_time=1.670 +[gpua001:0/64] 2023-12-12 19:23:31,324 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua001:0/64] 2023-12-12 19:23:49,482 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 19:23:52,863 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 19:23:52,863 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua001:0/64] 2023-12-12 19:23:52,936 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 19:30:07,712 (trainer:737) INFO: 29epoch:train:11201-11300batch: iter_time=3.153, forward_time=0.192, loss_ctc=57.459, loss_att=43.663, acc=0.741, loss=47.802, backward_time=0.295, grad_norm=54.398, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=7.461e-05, train_time=5.092 +[gpua001:0/64] 2023-12-12 19:32:13,361 (trainer:737) INFO: 29epoch:train:11301-11400batch: iter_time=7.445e-05, forward_time=0.150, loss_ctc=57.225, loss_att=46.307, acc=0.745, loss=49.582, backward_time=0.280, grad_norm=52.846, clip=100.000, loss_scale=1.176e+31, optim_step_time=0.133, optim0_lr0=7.460e-05, train_time=1.257 +[gpua001:0/64] 2023-12-12 19:34:17,239 (trainer:737) INFO: 29epoch:train:11401-11500batch: iter_time=7.378e-05, forward_time=0.146, loss_ctc=70.490, loss_att=55.727, acc=0.725, loss=60.156, backward_time=0.281, grad_norm=72.755, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.459e-05, train_time=1.239 +[gpua001:0/64] 2023-12-12 19:37:07,027 (trainer:737) INFO: 29epoch:train:11501-11600batch: iter_time=9.113e-05, forward_time=0.167, loss_ctc=67.394, loss_att=53.579, acc=0.730, loss=57.724, backward_time=0.435, grad_norm=67.821, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.458e-05, train_time=1.698 +[gpua001:0/64] 2023-12-12 19:39:55,978 (trainer:737) INFO: 29epoch:train:11601-11700batch: iter_time=8.099e-05, forward_time=0.146, loss_ctc=55.455, loss_att=45.842, acc=0.729, loss=48.726, backward_time=0.332, grad_norm=52.723, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.457e-05, train_time=1.689 +[gpua001:0/64] 2023-12-12 19:42:12,875 (trainer:737) INFO: 29epoch:train:11701-11800batch: iter_time=8.630e-05, forward_time=0.147, loss_ctc=69.207, loss_att=52.879, acc=0.736, loss=57.777, backward_time=0.289, grad_norm=63.153, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.457e-05, train_time=1.369 +[gpua001:0/64] 2023-12-12 19:45:12,705 (trainer:737) INFO: 29epoch:train:11801-11900batch: iter_time=8.374e-05, forward_time=0.167, loss_ctc=69.724, loss_att=61.240, acc=0.736, loss=63.785, backward_time=0.443, grad_norm=51.707, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.456e-05, train_time=1.798 +[gpua001:0/64] 2023-12-12 19:48:24,557 (trainer:737) INFO: 29epoch:train:11901-12000batch: iter_time=8.389e-05, forward_time=0.175, loss_ctc=61.488, loss_att=50.559, acc=0.734, loss=53.838, backward_time=0.346, grad_norm=59.634, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.455e-05, train_time=1.918 +[gpua001:0/64] 2023-12-12 19:51:23,888 (trainer:737) INFO: 29epoch:train:12001-12100batch: iter_time=8.641e-05, forward_time=0.151, loss_ctc=73.576, loss_att=68.951, acc=0.724, loss=70.339, backward_time=0.345, grad_norm=62.656, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.454e-05, train_time=1.793 +[gpua001:0/64] 2023-12-12 19:54:07,223 (trainer:737) INFO: 29epoch:train:12101-12200batch: iter_time=0.002, forward_time=0.162, loss_ctc=70.915, loss_att=55.409, acc=0.730, loss=60.061, backward_time=0.311, grad_norm=72.634, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.453e-05, train_time=1.633 +[gpua001:0/64] 2023-12-12 19:56:55,002 (trainer:737) INFO: 29epoch:train:12201-12300batch: iter_time=8.464e-05, forward_time=0.155, loss_ctc=62.711, loss_att=57.491, acc=0.706, loss=59.057, backward_time=0.295, grad_norm=57.835, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.452e-05, train_time=1.678 +[gpua001:0/64] 2023-12-12 19:59:05,556 (trainer:737) INFO: 29epoch:train:12301-12400batch: iter_time=8.884e-05, forward_time=0.147, loss_ctc=62.407, loss_att=48.917, acc=0.722, loss=52.964, backward_time=0.303, grad_norm=53.883, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.451e-05, train_time=1.305 +[gpua001:0/64] 2023-12-12 20:01:46,844 (trainer:737) INFO: 29epoch:train:12401-12500batch: iter_time=8.402e-05, forward_time=0.167, loss_ctc=62.375, loss_att=51.352, acc=0.741, loss=54.659, backward_time=0.315, grad_norm=54.282, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.450e-05, train_time=1.613 +[gpua001:0/64] 2023-12-12 20:02:06,872 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua001:0/64] 2023-12-12 20:02:25,425 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 20:02:28,871 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 20:02:28,871 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua001:0/64] 2023-12-12 20:02:28,903 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 20:09:30,556 (trainer:737) INFO: 29epoch:train:12501-12600batch: iter_time=3.322, forward_time=0.200, loss_ctc=50.227, loss_att=37.998, acc=0.745, loss=41.667, backward_time=0.288, grad_norm=47.548, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.450e-05, train_time=4.637 +[gpua001:0/64] 2023-12-12 20:11:46,605 (trainer:737) INFO: 29epoch:train:12601-12700batch: iter_time=7.853e-05, forward_time=0.146, loss_ctc=67.720, loss_att=53.276, acc=0.738, loss=57.609, backward_time=0.320, grad_norm=56.129, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.449e-05, train_time=1.360 +[gpua001:0/64] 2023-12-12 20:14:09,219 (trainer:737) INFO: 29epoch:train:12701-12800batch: iter_time=8.171e-05, forward_time=0.145, loss_ctc=65.275, loss_att=51.683, acc=0.725, loss=55.761, backward_time=0.292, grad_norm=65.040, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.448e-05, train_time=1.426 +[gpua001:0/64] 2023-12-12 20:16:50,021 (trainer:737) INFO: 29epoch:train:12801-12900batch: iter_time=8.350e-05, forward_time=0.146, loss_ctc=66.398, loss_att=57.452, acc=0.726, loss=60.136, backward_time=0.304, grad_norm=80.916, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=7.447e-05, train_time=1.608 +[gpua001:0/64] 2023-12-12 20:19:52,807 (trainer:737) INFO: 29epoch:train:12901-13000batch: iter_time=9.011e-05, forward_time=0.147, loss_ctc=63.391, loss_att=47.895, acc=0.729, loss=52.544, backward_time=0.366, grad_norm=67.220, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.446e-05, train_time=1.828 +[gpua001:0/64] 2023-12-12 20:23:16,673 (trainer:737) INFO: 29epoch:train:13001-13100batch: iter_time=8.473e-05, forward_time=0.211, loss_ctc=69.155, loss_att=59.215, acc=0.730, loss=62.197, backward_time=0.381, grad_norm=63.061, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=7.445e-05, train_time=2.038 +[gpua001:0/64] 2023-12-12 20:25:27,491 (trainer:737) INFO: 29epoch:train:13101-13200batch: iter_time=8.129e-05, forward_time=0.151, loss_ctc=64.819, loss_att=53.599, acc=0.736, loss=56.965, backward_time=0.305, grad_norm=55.778, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.444e-05, train_time=1.308 +[gpua001:0/64] 2023-12-12 20:28:09,275 (trainer:737) INFO: 29epoch:train:13201-13300batch: iter_time=8.296e-05, forward_time=0.146, loss_ctc=65.919, loss_att=56.111, acc=0.735, loss=59.053, backward_time=0.306, grad_norm=67.795, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.444e-05, train_time=1.618 +[gpua001:0/64] 2023-12-12 20:31:34,282 (trainer:737) INFO: 29epoch:train:13301-13400batch: iter_time=8.076e-05, forward_time=0.147, loss_ctc=74.210, loss_att=66.742, acc=0.720, loss=68.983, backward_time=0.334, grad_norm=101.400, clip=100.000, loss_scale=2.353e+31, optim_step_time=0.133, optim0_lr0=7.443e-05, train_time=2.050 +[gpua001:0/64] 2023-12-12 20:32:13,646 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua001:0/64] 2023-12-12 20:33:54,109 (trainer:737) INFO: 29epoch:train:13401-13500batch: iter_time=7.667e-05, forward_time=0.147, loss_ctc=58.747, loss_att=47.010, acc=0.732, loss=50.531, backward_time=0.299, grad_norm=67.990, clip=100.000, loss_scale=2.602e+31, optim_step_time=0.133, optim0_lr0=7.442e-05, train_time=1.398 +[gpua001:0/64] 2023-12-12 20:36:34,366 (trainer:737) INFO: 29epoch:train:13501-13600batch: iter_time=8.213e-05, forward_time=0.147, loss_ctc=72.168, loss_att=64.507, acc=0.711, loss=66.805, backward_time=0.320, grad_norm=71.820, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.441e-05, train_time=1.602 +[gpua001:0/64] 2023-12-12 20:39:07,317 (trainer:737) INFO: 29epoch:train:13601-13700batch: iter_time=9.183e-05, forward_time=0.147, loss_ctc=60.134, loss_att=50.292, acc=0.720, loss=53.244, backward_time=0.296, grad_norm=54.455, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.440e-05, train_time=1.529 +[gpua001:0/64] 2023-12-12 20:40:49,283 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua001:0/64] 2023-12-12 20:41:07,394 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 20:41:10,792 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 20:41:10,792 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua001:0/64] 2023-12-12 20:41:10,796 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 20:47:21,415 (trainer:737) INFO: 29epoch:train:13701-13800batch: iter_time=3.337, forward_time=0.199, loss_ctc=57.108, loss_att=43.150, acc=0.744, loss=47.337, backward_time=0.353, grad_norm=58.302, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.439e-05, train_time=4.941 +[gpua001:0/64] 2023-12-12 20:49:23,615 (trainer:737) INFO: 29epoch:train:13801-13900batch: iter_time=8.233e-05, forward_time=0.147, loss_ctc=56.869, loss_att=46.053, acc=0.744, loss=49.298, backward_time=0.281, grad_norm=58.079, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.438e-05, train_time=1.222 +[gpua001:0/64] 2023-12-12 20:51:31,559 (trainer:737) INFO: 29epoch:train:13901-14000batch: iter_time=7.848e-05, forward_time=0.149, loss_ctc=70.818, loss_att=55.078, acc=0.726, loss=59.800, backward_time=0.281, grad_norm=73.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.438e-05, train_time=1.279 +[gpua001:0/64] 2023-12-12 20:54:04,082 (trainer:737) INFO: 29epoch:train:14001-14100batch: iter_time=8.653e-05, forward_time=0.147, loss_ctc=66.931, loss_att=53.388, acc=0.731, loss=57.451, backward_time=0.338, grad_norm=90.637, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.437e-05, train_time=1.525 +[gpua001:0/64] 2023-12-12 20:56:40,117 (trainer:737) INFO: 29epoch:train:14101-14200batch: iter_time=8.836e-05, forward_time=0.147, loss_ctc=55.558, loss_att=45.997, acc=0.725, loss=48.865, backward_time=0.321, grad_norm=68.655, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.436e-05, train_time=1.560 +[gpua001:0/64] 2023-12-12 21:00:03,313 (trainer:737) INFO: 29epoch:train:14201-14300batch: iter_time=8.903e-05, forward_time=0.146, loss_ctc=68.720, loss_att=52.560, acc=0.735, loss=57.408, backward_time=0.330, grad_norm=70.854, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.435e-05, train_time=2.032 +[gpua001:0/64] 2023-12-12 21:02:47,010 (trainer:737) INFO: 29epoch:train:14301-14400batch: iter_time=9.067e-05, forward_time=0.147, loss_ctc=69.973, loss_att=61.036, acc=0.734, loss=63.717, backward_time=0.302, grad_norm=59.628, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.434e-05, train_time=1.637 +[gpua001:0/64] 2023-12-12 21:06:19,321 (trainer:737) INFO: 29epoch:train:14401-14500batch: iter_time=8.765e-05, forward_time=0.206, loss_ctc=61.739, loss_att=50.637, acc=0.734, loss=53.968, backward_time=0.363, grad_norm=65.571, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.433e-05, train_time=2.122 +[gpua001:0/64] 2023-12-12 21:08:46,728 (trainer:737) INFO: 29epoch:train:14501-14600batch: iter_time=8.715e-05, forward_time=0.172, loss_ctc=72.411, loss_att=67.637, acc=0.727, loss=69.069, backward_time=0.323, grad_norm=74.274, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.432e-05, train_time=1.474 +[gpua001:0/64] 2023-12-12 21:11:06,562 (trainer:737) INFO: 29epoch:train:14601-14700batch: iter_time=8.878e-05, forward_time=0.147, loss_ctc=70.795, loss_att=55.635, acc=0.728, loss=60.183, backward_time=0.291, grad_norm=69.923, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.432e-05, train_time=1.398 +[gpua001:0/64] 2023-12-12 21:14:07,155 (trainer:737) INFO: 29epoch:train:14701-14800batch: iter_time=8.370e-05, forward_time=0.147, loss_ctc=62.587, loss_att=56.533, acc=0.712, loss=58.349, backward_time=0.338, grad_norm=59.007, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.431e-05, train_time=1.806 +[gpua001:0/64] 2023-12-12 21:16:29,686 (trainer:737) INFO: 29epoch:train:14801-14900batch: iter_time=8.670e-05, forward_time=0.147, loss_ctc=62.523, loss_att=49.041, acc=0.723, loss=53.085, backward_time=0.284, grad_norm=52.538, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.430e-05, train_time=1.425 +[gpua001:0/64] 2023-12-12 21:19:34,882 (trainer:737) INFO: 29epoch:train:14901-15000batch: iter_time=8.185e-05, forward_time=0.146, loss_ctc=62.255, loss_att=51.837, acc=0.740, loss=54.962, backward_time=0.319, grad_norm=55.265, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=7.429e-05, train_time=1.852 +[gpua001:0/64] 2023-12-12 21:46:27,894 (trainer:343) INFO: 29epoch results: [train] iter_time=0.247, forward_time=0.157, loss_ctc=65.530, loss_att=53.892, acc=0.723, loss=57.383, backward_time=0.321, grad_norm=73.861, clip=100.000, loss_scale=1.215e+31, optim_step_time=0.134, optim0_lr0=7.494e-05, train_time=1.869, time=7 hours, 47 minutes and 46.08 seconds, total_count=435000, gpu_max_cached_mem_GB=37.930, [valid] loss_ctc=35.152, cer_ctc=0.182, loss_att=33.373, acc=0.714, cer=0.355, wer=1.000, loss=33.907, time=26 minutes and 28.97 seconds, total_count=135459, gpu_max_cached_mem_GB=37.930 +[gpua001:0/64] 2023-12-12 21:46:49,851 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua001:0/64] 2023-12-12 21:46:49,957 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/24epoch.pth +[gpua001:0/64] 2023-12-12 21:46:50,092 (trainer:272) INFO: 30/40epoch started. Estimated time to finish: 4 days, 1 minute and 6.18 seconds +[gpua001:0/64] 2023-12-12 21:46:50,912 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua001:0/64] 2023-12-12 21:47:08,555 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua001:0/64] 2023-12-12 21:47:11,893 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua001:0/64] 2023-12-12 21:47:11,893 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua001:0/64] 2023-12-12 21:47:11,896 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua001:0/64] 2023-12-12 21:54:49,324 (trainer:737) INFO: 30epoch:train:1-100batch: iter_time=2.859, forward_time=0.213, loss_ctc=68.455, loss_att=59.290, acc=0.715, loss=62.040, backward_time=0.298, grad_norm=67.136, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.428e-05, train_time=4.785 +[gpua001:0/64] 2023-12-12 21:56:53,235 (trainer:737) INFO: 30epoch:train:101-200batch: iter_time=7.453e-05, forward_time=0.146, loss_ctc=65.741, loss_att=54.201, acc=0.717, loss=57.663, backward_time=0.283, grad_norm=89.660, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=7.427e-05, train_time=1.239 +srun: Job step aborted: Waiting up to 32 seconds for job step to finish. +slurmstepd: error: *** STEP 2744254.0 ON gpua001 CANCELLED AT 2023-12-12T21:58:32 *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.6.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.6.log new file mode 100644 index 0000000000000000000000000000000000000000..17cab6ac794016d6136a33d222044c587c906dc3 --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.6.log @@ -0,0 +1,4221 @@ +# Running on gpua002.delta.ncsa.illinois.edu +# Started at Sat Dec 9 09:02:51 CST 2023 +# SLURMD_NODENAME=gpua002 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2741609 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1702306953 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2741609 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1702134153 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=1018091 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua002 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_78a54bf9-3917-4548-8184-579272a5c02d +[gpua002:0/64] 2023-12-09 09:06:37,856 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua002:0/64] 2023-12-09 09:06:38,009 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua002:0/64] 2023-12-09 09:06:38,036 (s2t:464) INFO: Vocabulary size: 50002 +[gpua002:0/64] 2023-12-09 09:06:50,964 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua002:0/64] 2023-12-09 09:06:50,975 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua002:0/64] 2023-12-09 09:06:50,975 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua002:0/64] 2023-12-09 09:06:50,975 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua002:0/64] 2023-12-09 09:06:50,977 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua002:0/64] 2023-12-09 09:06:56,441 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 09:06:57,376 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 09:06:57,376 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua002:0/64] 2023-12-09 09:06:57,377 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 09:07:24,888 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua002:1018188:1018188 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:1018188:1018188 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:1018188:1018188 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua002:0/64] 2023-12-09 09:07:30,322 (trainer:284) INFO: 21/40epoch started +[gpua002:0/64] 2023-12-09 09:07:30,368 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-09 09:07:48,597 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 09:07:51,997 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 09:07:51,997 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-09 09:07:52,001 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua030:1121326:1121326 [2] NCCL INFO cudaDriverVersion 12020 +gpua030:1121326:1121326 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:1121326:1121326 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:1121326:1121400 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:1121326:1121400 [2] NCCL INFO Using network IB +gpua030:1121326:1121400 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua030:1121326:1121400 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua030:1121326:1121400 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua030:1121326:1121400 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua030:1121326:1121400 [2] NCCL INFO Connected all rings +gpua030:1121326:1121400 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua030:1121326:1121400 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua030:1121326:1121400 [2] NCCL INFO Connected all trees +gpua030:1121326:1121400 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:1121326:1121400 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:1121326:1121400 [2] NCCL INFO comm 0xec49e10 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua030:1121327:1121327 [3] NCCL INFO cudaDriverVersion 12020 +gpua030:1121327:1121327 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:1121327:1121327 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:1121327:1121401 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:1121327:1121401 [3] NCCL INFO Using network IB +gpua030:1121327:1121401 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua030:1121327:1121401 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua030:1121327:1121401 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua030:1121327:1121401 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua030:1121327:1121401 [3] NCCL INFO Connected all rings +gpua030:1121327:1121401 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua030:1121327:1121401 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua030:1121327:1121401 [3] NCCL INFO Connected all trees +gpua030:1121327:1121401 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:1121327:1121401 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:1121327:1121401 [3] NCCL INFO comm 0x1108f5c0 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:1121325:1121325 [1] NCCL INFO cudaDriverVersion 12020 +gpua030:1121325:1121325 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:1121325:1121325 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:1121325:1121402 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:1121325:1121402 [1] NCCL INFO Using network IB +gpua030:1121325:1121402 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua030:1121325:1121402 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua030:1121325:1121402 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua030:1121325:1121402 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua030:1121325:1121402 [1] NCCL INFO Connected all rings +gpua030:1121325:1121402 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua030:1121325:1121402 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua030:1121325:1121402 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua030:1121325:1121402 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua030:1121325:1121402 [1] NCCL INFO Connected all trees +gpua030:1121325:1121402 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:1121325:1121402 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:1121325:1121402 [1] NCCL INFO comm 0x93f79860 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua055:739846:739846 [2] NCCL INFO cudaDriverVersion 12020 +gpua055:739846:739846 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:739846:739846 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:739846:739914 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:739846:739914 [2] NCCL INFO Using network IB +gpua055:739846:739914 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua055:739846:739914 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua055:739846:739914 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua055:739846:739914 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua055:739846:739914 [2] NCCL INFO Connected all rings +gpua055:739846:739914 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua055:739846:739914 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua055:739846:739914 [2] NCCL INFO Connected all trees +gpua055:739846:739914 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:739846:739914 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:739846:739914 [2] NCCL INFO comm 0x92a4c940 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:739845:739845 [1] NCCL INFO cudaDriverVersion 12020 +gpua055:739845:739845 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:739845:739845 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:739845:739912 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:739845:739912 [1] NCCL INFO Using network IB +gpua055:739845:739912 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua055:739845:739912 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua055:739845:739912 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua055:739845:739912 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua055:739845:739912 [1] NCCL INFO Connected all rings +gpua055:739845:739912 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua055:739845:739912 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua055:739845:739912 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua055:739845:739912 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua055:739845:739912 [1] NCCL INFO Connected all trees +gpua055:739845:739912 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:739845:739912 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:739845:739912 [1] NCCL INFO comm 0x229546f0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua030:1121324:1121324 [0] NCCL INFO cudaDriverVersion 12020 +gpua030:1121324:1121324 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:1121324:1121324 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:1121324:1121399 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:1121324:1121399 [0] NCCL INFO Using network IB +gpua030:1121324:1121399 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua030:1121324:1121399 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:1121324:1121399 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua030:1121324:1121399 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua030:1121324:1121399 [0] NCCL INFO Connected all rings +gpua030:1121324:1121399 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua030:1121324:1121399 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:1121324:1121399 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua030:1121324:1121399 [0] NCCL INFO Connected all trees +gpua030:1121324:1121399 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:1121324:1121399 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:1121324:1121399 [0] NCCL INFO comm 0x4f98abf0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua055:739844:739844 [0] NCCL INFO cudaDriverVersion 12020 +gpua055:739844:739844 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:739844:739844 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:739844:739913 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:739844:739913 [0] NCCL INFO Using network IB +gpua055:739844:739913 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua055:739844:739913 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua055:739844:739913 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:739844:739913 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua055:739844:739913 [0] NCCL INFO Connected all rings +gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:739844:739913 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:739844:739913 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua055:739844:739913 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua055:739844:739913 [0] NCCL INFO Connected all trees +gpua055:739844:739913 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:739844:739913 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:739844:739913 [0] NCCL INFO comm 0xe9dfc30 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua055:739847:739847 [3] NCCL INFO cudaDriverVersion 12020 +gpua055:739847:739847 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:739847:739847 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:739847:739911 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:739847:739911 [3] NCCL INFO Using network IB +gpua055:739847:739911 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua055:739847:739911 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua055:739847:739911 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua055:739847:739911 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua055:739847:739911 [3] NCCL INFO Connected all rings +gpua055:739847:739911 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua055:739847:739911 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua055:739847:739911 [3] NCCL INFO Connected all trees +gpua055:739847:739911 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:739847:739911 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:739847:739911 [3] NCCL INFO comm 0xf5f9c10 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua002:1018191:1018191 [3] NCCL INFO cudaDriverVersion 12020 +gpua002:1018191:1018191 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:1018191:1018191 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:1018191:1018258 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:1018191:1018258 [3] NCCL INFO Using network IB +gpua002:1018191:1018258 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua002:1018191:1018258 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua002:1018191:1018258 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua002:1018191:1018258 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua002:1018191:1018258 [3] NCCL INFO Connected all rings +gpua002:1018191:1018258 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua002:1018191:1018258 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua002:1018191:1018258 [3] NCCL INFO Connected all trees +gpua002:1018191:1018258 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:1018191:1018258 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:1018191:1018258 [3] NCCL INFO comm 0xca636b0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua057:642419:642419 [2] NCCL INFO cudaDriverVersion 12020 +gpua057:642419:642419 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:642419:642419 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:642419:642478 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:642419:642478 [2] NCCL INFO Using network IB +gpua057:642419:642478 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua057:642419:642478 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua057:642419:642478 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:642419:642478 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:642419:642478 [2] NCCL INFO Connected all rings +gpua057:642419:642478 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:642419:642478 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:642419:642478 [2] NCCL INFO Connected all trees +gpua057:642419:642478 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:642419:642478 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:642419:642478 [2] NCCL INFO comm 0x1e33b180 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua085:1432990:1432990 [2] NCCL INFO cudaDriverVersion 12020 +gpua085:1432990:1432990 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1432990:1432990 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1432990:1433051 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1432990:1433051 [2] NCCL INFO Using network IB +gpua085:1432990:1433051 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua085:1432990:1433051 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua085:1432990:1433051 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua085:1432990:1433051 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua085:1432990:1433051 [2] NCCL INFO Connected all rings +gpua085:1432990:1433051 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua085:1432990:1433051 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua085:1432990:1433051 [2] NCCL INFO Connected all trees +gpua085:1432990:1433051 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1432990:1433051 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1432990:1433051 [2] NCCL INFO comm 0x105df350 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua006:2923519:2923519 [2] NCCL INFO cudaDriverVersion 12020 +gpua006:2923519:2923519 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2923519:2923519 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2923519:2923582 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2923519:2923582 [2] NCCL INFO Using network IB +gpua006:2923519:2923582 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua006:2923519:2923582 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua006:2923519:2923582 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua006:2923519:2923582 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua006:2923519:2923582 [2] NCCL INFO Connected all rings +gpua006:2923519:2923582 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua006:2923519:2923582 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua006:2923519:2923582 [2] NCCL INFO Connected all trees +gpua006:2923519:2923582 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2923519:2923582 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2923519:2923582 [2] NCCL INFO comm 0xeaf7cd20 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua006:2923517:2923517 [0] NCCL INFO cudaDriverVersion 12020 +gpua006:2923517:2923517 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2923517:2923517 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2923517:2923581 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2923517:2923581 [0] NCCL INFO Using network IB +gpua006:2923517:2923581 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua006:2923517:2923581 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2923517:2923581 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua006:2923517:2923581 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua006:2923517:2923581 [0] NCCL INFO Connected all rings +gpua057:642420:642420 [3] NCCL INFO cudaDriverVersion 12020 +gpua057:642420:642420 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:642420:642420 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:642420:642477 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:642420:642477 [3] NCCL INFO Using network IB +gpua057:642420:642477 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua057:642420:642477 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua057:642420:642477 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:642420:642477 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:642420:642477 [3] NCCL INFO Connected all rings +gpua057:642420:642477 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua057:642420:642477 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua006:2923517:2923581 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2923517:2923581 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2923517:2923581 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua006:2923517:2923581 [0] NCCL INFO Connected all trees +gpua006:2923517:2923581 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2923517:2923581 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2923517:2923581 [0] NCCL INFO comm 0xc8be5b0 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua057:642420:642477 [3] NCCL INFO Connected all trees +gpua057:642420:642477 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:642420:642477 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:642420:642477 [3] NCCL INFO comm 0x1d07c120 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:901445:901445 [3] NCCL INFO cudaDriverVersion 12020 +gpua086:901445:901445 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:901445:901445 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:901445:901518 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:901445:901518 [3] NCCL INFO Using network IB +gpua086:901445:901518 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua086:901445:901518 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua086:901445:901518 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua086:901445:901518 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua086:901445:901518 [3] NCCL INFO Connected all rings +gpua086:901445:901518 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua086:901445:901518 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua086:901445:901518 [3] NCCL INFO Connected all trees +gpua086:901445:901518 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:901445:901518 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:901445:901518 [3] NCCL INFO comm 0x9bada910 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua056:1295493:1295493 [3] NCCL INFO cudaDriverVersion 12020 +gpua056:1295493:1295493 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1295493:1295493 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1295493:1295551 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1295493:1295551 [3] NCCL INFO Using network IB +gpua056:1295493:1295551 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua056:1295493:1295551 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua056:1295493:1295551 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1295493:1295551 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1295493:1295551 [3] NCCL INFO Connected all rings +gpua056:1295493:1295551 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua056:1295493:1295551 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua056:1295493:1295551 [3] NCCL INFO Connected all trees +gpua056:1295493:1295551 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1295493:1295551 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1295493:1295551 [3] NCCL INFO comm 0x1a12daf0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua056:1295490:1295490 [0] NCCL INFO cudaDriverVersion 12020 +gpua056:1295490:1295490 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1295490:1295490 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1295490:1295550 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1295490:1295550 [0] NCCL INFO Using network IB +gpua056:1295490:1295550 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua056:1295490:1295550 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1295490:1295550 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1295490:1295550 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1295490:1295550 [0] NCCL INFO Connected all rings +gpua086:901443:901443 [1] NCCL INFO cudaDriverVersion 12020 +gpua086:901443:901443 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:901443:901443 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:901443:901517 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:901443:901517 [1] NCCL INFO Using network IB +gpua086:901443:901517 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua086:901443:901517 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua086:901443:901517 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua086:901443:901517 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua086:901443:901517 [1] NCCL INFO Connected all rings +gpua086:901443:901517 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua086:901443:901517 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua085:1432988:1432988 [0] NCCL INFO cudaDriverVersion 12020 +gpua085:1432988:1432988 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1432988:1432988 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1432988:1433052 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1432988:1433052 [0] NCCL INFO Using network IB +gpua085:1432988:1433052 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua085:1432988:1433052 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1432988:1433052 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua085:1432988:1433052 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua085:1432988:1433052 [0] NCCL INFO Connected all rings +gpua056:1295490:1295550 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1295490:1295550 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1295490:1295550 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua056:1295490:1295550 [0] NCCL INFO Connected all trees +gpua056:1295490:1295550 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1295490:1295550 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1295490:1295550 [0] NCCL INFO comm 0xe57ff10 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua086:901443:901517 [1] NCCL INFO Connected all trees +gpua086:901443:901517 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:901443:901517 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:901443:901517 [1] NCCL INFO comm 0x16a2b6a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua085:1432988:1433052 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua085:1432988:1433052 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1432988:1433052 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua085:1432988:1433052 [0] NCCL INFO Connected all trees +gpua085:1432988:1433052 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1432988:1433052 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1432988:1433052 [0] NCCL INFO comm 0x13f40bf0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:2607493:2607493 [3] NCCL INFO cudaDriverVersion 12020 +gpua005:2607493:2607493 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2607493:2607493 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2607493:2607558 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2607493:2607558 [3] NCCL INFO Using network IB +gpua005:2607493:2607558 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua005:2607493:2607558 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua005:2607493:2607558 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua005:2607493:2607558 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua005:2607493:2607558 [3] NCCL INFO Connected all rings +gpua005:2607493:2607558 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua005:2607493:2607558 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua005:2607493:2607558 [3] NCCL INFO Connected all trees +gpua005:2607493:2607558 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2607493:2607558 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2607493:2607558 [3] NCCL INFO comm 0x9433a9d0 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua006:2923518:2923518 [1] NCCL INFO cudaDriverVersion 12020 +gpua006:2923518:2923518 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2923518:2923518 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2923518:2923579 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2923518:2923579 [1] NCCL INFO Using network IB +gpua006:2923518:2923579 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua006:2923518:2923579 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua006:2923518:2923579 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua006:2923518:2923579 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua006:2923518:2923579 [1] NCCL INFO Connected all rings +gpua006:2923518:2923579 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua006:2923518:2923579 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua006:2923518:2923579 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua006:2923518:2923579 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua006:2923518:2923579 [1] NCCL INFO Connected all trees +gpua006:2923518:2923579 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2923518:2923579 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2923518:2923579 [1] NCCL INFO comm 0x239349f0 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua005:2607491:2607491 [1] NCCL INFO cudaDriverVersion 12020 +gpua005:2607491:2607491 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2607491:2607491 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2607491:2607556 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2607491:2607556 [1] NCCL INFO Using network IB +gpua005:2607491:2607556 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua005:2607491:2607556 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua005:2607491:2607556 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua005:2607491:2607556 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua005:2607491:2607556 [1] NCCL INFO Connected all rings +gpua005:2607491:2607556 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua005:2607491:2607556 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua031:906121:906121 [3] NCCL INFO cudaDriverVersion 12020 +gpua031:906121:906121 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:906121:906121 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:906121:906182 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:906121:906182 [3] NCCL INFO Using network IB +gpua031:906121:906182 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua031:906121:906182 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua031:906121:906182 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua031:906121:906182 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua031:906121:906182 [3] NCCL INFO Connected all rings +gpua031:906121:906182 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua031:906121:906182 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua054:552157:552157 [2] NCCL INFO cudaDriverVersion 12020 +gpua054:552157:552157 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:552157:552157 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:552157:552223 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:552157:552223 [2] NCCL INFO Using network IB +gpua054:552157:552223 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua054:552157:552223 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua054:552157:552223 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua054:552157:552223 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua054:552157:552223 [2] NCCL INFO Connected all rings +gpua054:552157:552223 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua054:552157:552223 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua005:2607491:2607556 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua005:2607491:2607556 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua005:2607491:2607556 [1] NCCL INFO Connected all trees +gpua005:2607491:2607556 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2607491:2607556 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2607491:2607556 [1] NCCL INFO comm 0xe86b570 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua056:1295492:1295492 [2] NCCL INFO cudaDriverVersion 12020 +gpua056:1295492:1295492 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1295492:1295492 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1295492:1295549 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1295492:1295549 [2] NCCL INFO Using network IB +gpua056:1295492:1295549 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua056:1295492:1295549 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua056:1295492:1295549 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1295492:1295549 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1295492:1295549 [2] NCCL INFO Connected all rings +gpua056:1295492:1295549 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1295492:1295549 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua086:901444:901444 [2] NCCL INFO cudaDriverVersion 12020 +gpua086:901444:901444 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:901444:901444 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:901444:901516 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:901444:901516 [2] NCCL INFO Using network IB +gpua086:901444:901516 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua086:901444:901516 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua086:901444:901516 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua086:901444:901516 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua086:901444:901516 [2] NCCL INFO Connected all rings +gpua086:901444:901516 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua086:901444:901516 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua031:906121:906182 [3] NCCL INFO Connected all trees +gpua031:906121:906182 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:906121:906182 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:906121:906182 [3] NCCL INFO comm 0xd356b50 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua054:552157:552223 [2] NCCL INFO Connected all trees +gpua054:552157:552223 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:552157:552223 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:552157:552223 [2] NCCL INFO comm 0x21d98c00 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua056:1295492:1295549 [2] NCCL INFO Connected all trees +gpua056:1295492:1295549 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1295492:1295549 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1295492:1295549 [2] NCCL INFO comm 0x11b01890 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua086:901444:901516 [2] NCCL INFO Connected all trees +gpua086:901444:901516 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:901444:901516 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:901444:901516 [2] NCCL INFO comm 0x2efa89d0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua054:552155:552155 [0] NCCL INFO cudaDriverVersion 12020 +gpua054:552155:552155 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:552155:552155 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:552155:552224 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:552155:552224 [0] NCCL INFO Using network IB +gpua054:552155:552224 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua054:552155:552224 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua054:552155:552224 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua054:552155:552224 [0] NCCL INFO Connected all rings +gpua056:1295491:1295491 [1] NCCL INFO cudaDriverVersion 12020 +gpua056:1295491:1295491 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1295491:1295491 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1295491:1295552 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1295491:1295552 [1] NCCL INFO Using network IB +gpua056:1295491:1295552 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua056:1295491:1295552 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua056:1295491:1295552 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1295491:1295552 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1295491:1295552 [1] NCCL INFO Connected all rings +gpua056:1295491:1295552 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua056:1295491:1295552 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:552155:552224 [0] NCCL INFO Connected all trees +gpua054:552155:552224 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:552155:552224 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:552155:552224 [0] NCCL INFO comm 0x15b0bdb0 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1295491:1295552 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1295491:1295552 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1295491:1295552 [1] NCCL INFO Connected all trees +gpua056:1295491:1295552 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1295491:1295552 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1295491:1295552 [1] NCCL INFO comm 0x141cd8e0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua085:1432989:1432989 [1] NCCL INFO cudaDriverVersion 12020 +gpua085:1432989:1432989 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1432989:1432989 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1432989:1433053 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1432989:1433053 [1] NCCL INFO Using network IB +gpua085:1432989:1433053 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua085:1432989:1433053 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua085:1432989:1433053 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua085:1432989:1433053 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua085:1432989:1433053 [1] NCCL INFO Connected all rings +gpua085:1432989:1433053 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua085:1432989:1433053 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua085:1432989:1433053 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua085:1432989:1433053 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua085:1432989:1433053 [1] NCCL INFO Connected all trees +gpua085:1432989:1433053 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1432989:1433053 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1432989:1433053 [1] NCCL INFO comm 0x14fa76d0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:744399:744399 [2] NCCL INFO cudaDriverVersion 12020 +gpua082:744399:744399 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:744399:744399 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:744399:744465 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:744399:744465 [2] NCCL INFO Using network IB +gpua082:744399:744465 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua082:744399:744465 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua082:744399:744465 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:744399:744465 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:744399:744465 [2] NCCL INFO Connected all rings +gpua082:744399:744465 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:744399:744465 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:744399:744465 [2] NCCL INFO Connected all trees +gpua082:744399:744465 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:744399:744465 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:744399:744465 [2] NCCL INFO comm 0xcb48540 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:744398:744398 [1] NCCL INFO cudaDriverVersion 12020 +gpua082:744398:744398 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:744398:744398 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:744398:744463 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:744398:744463 [1] NCCL INFO Using network IB +gpua082:744398:744463 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua082:744398:744463 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua082:744398:744463 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:744398:744463 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:744398:744463 [1] NCCL INFO Connected all rings +gpua082:744398:744463 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua082:744398:744463 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua023:771058:771058 [1] NCCL INFO cudaDriverVersion 12020 +gpua023:771058:771058 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:771058:771058 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:771058:771137 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:771058:771137 [1] NCCL INFO Using network IB +gpua023:771058:771137 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua023:771058:771137 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua023:771058:771137 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua023:771058:771137 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua023:771058:771137 [1] NCCL INFO Connected all rings +gpua023:771058:771137 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua023:771058:771137 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua005:2607492:2607492 [2] NCCL INFO cudaDriverVersion 12020 +gpua005:2607492:2607492 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2607492:2607492 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2607492:2607557 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2607492:2607557 [2] NCCL INFO Using network IB +gpua005:2607492:2607557 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua005:2607492:2607557 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua005:2607492:2607557 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua005:2607492:2607557 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua005:2607492:2607557 [2] NCCL INFO Connected all rings +gpua005:2607492:2607557 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua005:2607492:2607557 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua082:744398:744463 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:744398:744463 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:744398:744463 [1] NCCL INFO Connected all trees +gpua082:744398:744463 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:744398:744463 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:744398:744463 [1] NCCL INFO comm 0xe3ef56e0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua057:642418:642418 [1] NCCL INFO cudaDriverVersion 12020 +gpua057:642418:642418 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:642418:642418 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:642418:642480 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:642418:642480 [1] NCCL INFO Using network IB +gpua057:642418:642480 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua057:642418:642480 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua057:642418:642480 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:642418:642480 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:642418:642480 [1] NCCL INFO Connected all rings +gpua057:642418:642480 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua057:642418:642480 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua023:771058:771137 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua023:771058:771137 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua023:771058:771137 [1] NCCL INFO Connected all trees +gpua023:771058:771137 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:771058:771137 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:771058:771137 [1] NCCL INFO comm 0xdbce400 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua005:2607492:2607557 [2] NCCL INFO Connected all trees +gpua005:2607492:2607557 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2607492:2607557 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2607492:2607557 [2] NCCL INFO comm 0x11fdd450 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:744397:744397 [0] NCCL INFO cudaDriverVersion 12020 +gpua082:744397:744397 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:744397:744397 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:744397:744464 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:744397:744464 [0] NCCL INFO Using network IB +gpua082:744397:744464 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua082:744397:744464 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:744397:744464 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:744397:744464 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:744397:744464 [0] NCCL INFO Connected all rings +gpua057:642418:642480 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:642418:642480 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:642418:642480 [1] NCCL INFO Connected all trees +gpua057:642418:642480 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:642418:642480 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:642418:642480 [1] NCCL INFO comm 0x46cbc070 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:744397:744464 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua082:744397:744464 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:744397:744464 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:744397:744464 [0] NCCL INFO Connected all trees +gpua082:744397:744464 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:744397:744464 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:744397:744464 [0] NCCL INFO comm 0x2f020540 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua031:906118:906118 [0] NCCL INFO cudaDriverVersion 12020 +gpua031:906118:906118 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:906118:906118 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:906118:906184 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:906118:906184 [0] NCCL INFO Using network IB +gpua031:906118:906184 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua031:906118:906184 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua031:906118:906184 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua031:906118:906184 [0] NCCL INFO Connected all rings +gpua054:552156:552156 [1] NCCL INFO cudaDriverVersion 12020 +gpua054:552156:552156 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:552156:552156 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:552156:552226 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:552156:552226 [1] NCCL INFO Using network IB +gpua054:552156:552226 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua054:552156:552226 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua054:552156:552226 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua054:552156:552226 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua054:552156:552226 [1] NCCL INFO Connected all rings +gpua054:552156:552226 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua054:552156:552226 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua031:906118:906184 [0] NCCL INFO Connected all trees +gpua031:906118:906184 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:906118:906184 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:906118:906184 [0] NCCL INFO comm 0xb34ead0 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua054:552156:552226 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua054:552156:552226 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua054:552156:552226 [1] NCCL INFO Connected all trees +gpua054:552156:552226 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:552156:552226 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:552156:552226 [1] NCCL INFO comm 0x235f1050 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua006:2923520:2923520 [3] NCCL INFO cudaDriverVersion 12020 +gpua006:2923520:2923520 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2923520:2923520 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2923520:2923580 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2923520:2923580 [3] NCCL INFO Using network IB +gpua006:2923520:2923580 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua006:2923520:2923580 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua006:2923520:2923580 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2923520:2923580 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2923520:2923580 [3] NCCL INFO Connected all rings +gpua006:2923520:2923580 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua006:2923520:2923580 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua082:744400:744400 [3] NCCL INFO cudaDriverVersion 12020 +gpua082:744400:744400 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:744400:744400 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:744400:744466 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:744400:744466 [3] NCCL INFO Using network IB +gpua082:744400:744466 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua082:744400:744466 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua082:744400:744466 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:744400:744466 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:744400:744466 [3] NCCL INFO Connected all rings +gpua082:744400:744466 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua082:744400:744466 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua031:906120:906120 [2] NCCL INFO cudaDriverVersion 12020 +gpua031:906120:906120 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:906120:906120 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:906120:906185 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:906120:906185 [2] NCCL INFO Using network IB +gpua031:906120:906185 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua031:906120:906185 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua031:906120:906185 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua031:906120:906185 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua031:906120:906185 [2] NCCL INFO Connected all rings +gpua031:906120:906185 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua031:906120:906185 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua006:2923520:2923580 [3] NCCL INFO Connected all trees +gpua006:2923520:2923580 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2923520:2923580 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2923520:2923580 [3] NCCL INFO comm 0x92eaf2c0 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua082:744400:744466 [3] NCCL INFO Connected all trees +gpua082:744400:744466 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:744400:744466 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:744400:744466 [3] NCCL INFO comm 0xb9f4020 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua031:906120:906185 [2] NCCL INFO Connected all trees +gpua031:906120:906185 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:906120:906185 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:906120:906185 [2] NCCL INFO comm 0x12078bc0 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua083:2006755:2006755 [3] NCCL INFO cudaDriverVersion 12020 +gpua083:2006755:2006755 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:2006755:2006755 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:2006755:2006824 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:2006755:2006824 [3] NCCL INFO Using network IB +gpua083:2006755:2006824 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua083:2006755:2006824 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua083:2006755:2006824 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua083:2006755:2006824 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua083:2006755:2006824 [3] NCCL INFO Connected all rings +gpua083:2006755:2006824 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua083:2006755:2006824 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua031:906119:906119 [1] NCCL INFO cudaDriverVersion 12020 +gpua031:906119:906119 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:906119:906119 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:906119:906183 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:906119:906183 [1] NCCL INFO Using network IB +gpua031:906119:906183 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua031:906119:906183 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua031:906119:906183 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua031:906119:906183 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua031:906119:906183 [1] NCCL INFO Connected all rings +gpua031:906119:906183 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua031:906119:906183 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua057:642417:642417 [0] NCCL INFO cudaDriverVersion 12020 +gpua057:642417:642417 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:642417:642417 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:642417:642479 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:642417:642479 [0] NCCL INFO Using network IB +gpua057:642417:642479 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua057:642417:642479 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua057:642417:642479 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:642417:642479 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:642417:642479 [0] NCCL INFO Connected all rings +gpua083:2006755:2006824 [3] NCCL INFO Connected all trees +gpua083:2006755:2006824 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:2006755:2006824 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:2006755:2006824 [3] NCCL INFO comm 0x18c1c220 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua031:906119:906183 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua031:906119:906183 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua031:906119:906183 [1] NCCL INFO Connected all trees +gpua031:906119:906183 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:906119:906183 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:906119:906183 [1] NCCL INFO comm 0x2a096de0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua005:2607490:2607490 [0] NCCL INFO cudaDriverVersion 12020 +gpua005:2607490:2607490 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2607490:2607490 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2607490:2607555 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2607490:2607555 [0] NCCL INFO Using network IB +gpua005:2607490:2607555 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua005:2607490:2607555 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua005:2607490:2607555 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2607490:2607555 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua005:2607490:2607555 [0] NCCL INFO Connected all rings +gpua057:642417:642479 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua057:642417:642479 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua057:642417:642479 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua057:642417:642479 [0] NCCL INFO Connected all trees +gpua057:642417:642479 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:642417:642479 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:642417:642479 [0] NCCL INFO comm 0xe4f8f1e0 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2607490:2607555 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2607490:2607555 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2607490:2607555 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua005:2607490:2607555 [0] NCCL INFO Connected all trees +gpua005:2607490:2607555 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2607490:2607555 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2607490:2607555 [0] NCCL INFO comm 0x115870a0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua054:552158:552158 [3] NCCL INFO cudaDriverVersion 12020 +gpua054:552158:552158 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:552158:552158 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:552158:552225 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:552158:552225 [3] NCCL INFO Using network IB +gpua054:552158:552225 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua054:552158:552225 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua054:552158:552225 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua054:552158:552225 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua054:552158:552225 [3] NCCL INFO Connected all rings +gpua054:552158:552225 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua054:552158:552225 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua054:552158:552225 [3] NCCL INFO Connected all trees +gpua054:552158:552225 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:552158:552225 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:552158:552225 [3] NCCL INFO comm 0xc6cae90 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua007:528574:528574 [0] NCCL INFO cudaDriverVersion 12020 +gpua007:528574:528574 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:528574:528574 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:528574:528640 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:528574:528640 [0] NCCL INFO Using network IB +gpua007:528574:528640 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua007:528574:528640 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua007:528574:528640 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:528574:528640 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua007:528574:528640 [0] NCCL INFO Connected all rings +gpua007:528574:528640 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:528574:528640 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua007:528574:528640 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua007:528574:528640 [0] NCCL INFO Connected all trees +gpua007:528574:528640 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:528574:528640 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:528574:528640 [0] NCCL INFO comm 0x26a245d0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:528575:528575 [1] NCCL INFO cudaDriverVersion 12020 +gpua007:528575:528575 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:528575:528575 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:528575:528638 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:528575:528638 [1] NCCL INFO Using network IB +gpua007:528575:528638 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua007:528575:528638 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua007:528575:528638 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua007:528575:528638 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua007:528575:528638 [1] NCCL INFO Connected all rings +gpua007:528575:528638 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua007:528575:528638 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua007:528575:528638 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua007:528575:528638 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua007:528575:528638 [1] NCCL INFO Connected all trees +gpua007:528575:528638 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:528575:528638 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:528575:528638 [1] NCCL INFO comm 0x22087a20 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua007:528576:528576 [2] NCCL INFO cudaDriverVersion 12020 +gpua007:528576:528576 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:528576:528576 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:528576:528639 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:528576:528639 [2] NCCL INFO Using network IB +gpua007:528576:528639 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua007:528576:528639 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua007:528576:528639 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua007:528576:528639 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua007:528576:528639 [2] NCCL INFO Connected all rings +gpua007:528576:528639 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua007:528576:528639 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua007:528576:528639 [2] NCCL INFO Connected all trees +gpua007:528576:528639 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:528576:528639 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:528576:528639 [2] NCCL INFO comm 0x230fe1e0 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua007:528577:528577 [3] NCCL INFO cudaDriverVersion 12020 +gpua007:528577:528577 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:528577:528577 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:528577:528641 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:528577:528641 [3] NCCL INFO Using network IB +gpua007:528577:528641 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua007:528577:528641 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua007:528577:528641 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua007:528577:528641 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua007:528577:528641 [3] NCCL INFO Connected all rings +gpua007:528577:528641 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua007:528577:528641 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua083:2006753:2006753 [1] NCCL INFO cudaDriverVersion 12020 +gpua083:2006753:2006753 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:2006753:2006753 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:2006753:2006827 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:2006753:2006827 [1] NCCL INFO Using network IB +gpua083:2006753:2006827 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua083:2006753:2006827 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua083:2006753:2006827 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua083:2006753:2006827 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua083:2006753:2006827 [1] NCCL INFO Connected all rings +gpua083:2006753:2006827 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua083:2006753:2006827 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua007:528577:528641 [3] NCCL INFO Connected all trees +gpua007:528577:528641 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:528577:528641 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:528577:528641 [3] NCCL INFO comm 0x9c228510 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:2006753:2006827 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua083:2006753:2006827 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua083:2006753:2006827 [1] NCCL INFO Connected all trees +gpua083:2006753:2006827 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:2006753:2006827 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:2006753:2006827 [1] NCCL INFO comm 0x10f14950 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua083:2006752:2006752 [0] NCCL INFO cudaDriverVersion 12020 +gpua083:2006752:2006752 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:2006752:2006752 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:2006752:2006826 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:2006752:2006826 [0] NCCL INFO Using network IB +gpua083:2006752:2006826 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua083:2006752:2006826 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua083:2006752:2006826 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:2006752:2006826 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua083:2006752:2006826 [0] NCCL INFO Connected all rings +gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:2006752:2006826 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua083:2006752:2006826 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua083:2006752:2006826 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua083:2006752:2006826 [0] NCCL INFO Connected all trees +gpua083:2006752:2006826 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:2006752:2006826 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:2006752:2006826 [0] NCCL INFO comm 0x1162e8d0 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua022:877981:877981 [3] NCCL INFO cudaDriverVersion 12020 +gpua022:877981:877981 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:877981:877981 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:877981:878053 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:877981:878053 [3] NCCL INFO Using network IB +gpua022:877981:878053 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua022:877981:878053 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua022:877981:878053 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua022:877981:878053 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua022:877981:878053 [3] NCCL INFO Connected all rings +gpua022:877981:878053 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua022:877981:878053 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua022:877981:878053 [3] NCCL INFO Connected all trees +gpua022:877981:878053 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:877981:878053 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:877981:878053 [3] NCCL INFO comm 0xe73b1a80 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:2006754:2006754 [2] NCCL INFO cudaDriverVersion 12020 +gpua083:2006754:2006754 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:2006754:2006754 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:2006754:2006825 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:2006754:2006825 [2] NCCL INFO Using network IB +gpua083:2006754:2006825 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua083:2006754:2006825 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua083:2006754:2006825 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua083:2006754:2006825 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua083:2006754:2006825 [2] NCCL INFO Connected all rings +gpua083:2006754:2006825 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua083:2006754:2006825 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua083:2006754:2006825 [2] NCCL INFO Connected all trees +gpua083:2006754:2006825 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:2006754:2006825 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:2006754:2006825 [2] NCCL INFO comm 0x2405adc0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua002:1018189:1018189 [1] NCCL INFO cudaDriverVersion 12020 +gpua002:1018189:1018189 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:1018189:1018189 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:1018189:1018257 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:1018189:1018257 [1] NCCL INFO Using network IB +gpua002:1018189:1018257 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua002:1018189:1018257 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua002:1018189:1018257 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua002:1018189:1018257 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua002:1018189:1018257 [1] NCCL INFO Connected all rings +gpua002:1018189:1018257 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua002:1018189:1018257 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua002:1018189:1018257 [1] NCCL INFO Connected all trees +gpua002:1018189:1018257 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:1018189:1018257 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:1018189:1018257 [1] NCCL INFO comm 0x1a1f2fd0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua086:901442:901442 [0] NCCL INFO cudaDriverVersion 12020 +gpua086:901442:901442 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:901442:901442 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:901442:901515 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:901442:901515 [0] NCCL INFO Using network IB +gpua086:901442:901515 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua086:901442:901515 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua086:901442:901515 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:901442:901515 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:901442:901515 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua086:901442:901515 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua086:901442:901515 [0] NCCL INFO Connected all rings +gpua086:901442:901515 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:901442:901515 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:901442:901515 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua086:901442:901515 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua086:901442:901515 [0] NCCL INFO Connected all trees +gpua086:901442:901515 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:901442:901515 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:901442:901515 [0] NCCL INFO comm 0x23446e00 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua085:1432991:1432991 [3] NCCL INFO cudaDriverVersion 12020 +gpua085:1432991:1432991 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1432991:1432991 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1432991:1433054 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1432991:1433054 [3] NCCL INFO Using network IB +gpua085:1432991:1433054 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua085:1432991:1433054 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua085:1432991:1433054 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1432991:1433054 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1432991:1433054 [3] NCCL INFO Connected all rings +gpua085:1432991:1433054 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua085:1432991:1433054 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua085:1432991:1433054 [3] NCCL INFO Connected all trees +gpua085:1432991:1433054 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1432991:1433054 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1432991:1433054 [3] NCCL INFO comm 0xd95c110 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua002:1018190:1018190 [2] NCCL INFO cudaDriverVersion 12020 +gpua002:1018190:1018190 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:1018190:1018190 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:1018190:1018256 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:1018190:1018256 [2] NCCL INFO Using network IB +gpua002:1018190:1018256 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua002:1018190:1018256 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua002:1018190:1018256 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua002:1018190:1018256 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua002:1018190:1018256 [2] NCCL INFO Connected all rings +gpua002:1018190:1018256 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua002:1018190:1018256 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua002:1018190:1018256 [2] NCCL INFO Connected all trees +gpua002:1018190:1018256 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:1018190:1018256 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:1018190:1018256 [2] NCCL INFO comm 0x16c488a0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua023:771059:771059 [2] NCCL INFO cudaDriverVersion 12020 +gpua023:771059:771059 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:771059:771059 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:771059:771134 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:771059:771134 [2] NCCL INFO Using network IB +gpua023:771059:771134 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua023:771059:771134 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua023:771059:771134 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua023:771059:771134 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua023:771059:771134 [2] NCCL INFO Connected all rings +gpua023:771059:771134 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua023:771059:771134 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua023:771059:771134 [2] NCCL INFO Connected all trees +gpua023:771059:771134 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:771059:771134 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:771059:771134 [2] NCCL INFO comm 0x1011fed0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua002:1018188:1018255 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:1018188:1018255 [0] NCCL INFO Using network IB +gpua002:1018188:1018255 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua002:1018188:1018255 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua002:1018188:1018255 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua002:1018188:1018255 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua002:1018188:1018255 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:1018188:1018255 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:1018188:1018255 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua002:1018188:1018255 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua002:1018188:1018255 [0] NCCL INFO Connected all rings +gpua002:1018188:1018255 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua002:1018188:1018255 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:1018188:1018255 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua002:1018188:1018255 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:1018188:1018255 [0] NCCL INFO Connected all trees +gpua002:1018188:1018255 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:1018188:1018255 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:1018188:1018255 [0] NCCL INFO comm 0xea506250 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua022:877979:877979 [1] NCCL INFO cudaDriverVersion 12020 +gpua022:877979:877979 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:877979:877979 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:877979:878055 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:877979:878055 [1] NCCL INFO Using network IB +gpua022:877979:878055 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua022:877979:878055 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua022:877979:878055 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua022:877979:878055 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua022:877979:878055 [1] NCCL INFO Connected all rings +gpua022:877979:878055 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua022:877979:878055 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua022:877979:878055 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua022:877979:878055 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua022:877979:878055 [1] NCCL INFO Connected all trees +gpua022:877979:878055 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:877979:878055 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:877979:878055 [1] NCCL INFO comm 0x2b00b030 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua023:771057:771057 [0] NCCL INFO cudaDriverVersion 12020 +gpua023:771057:771057 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:771057:771057 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:771057:771135 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:771057:771135 [0] NCCL INFO Using network IB +gpua023:771057:771135 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua023:771057:771135 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua023:771057:771135 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:771057:771135 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua023:771057:771135 [0] NCCL INFO Connected all rings +gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:771057:771135 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua023:771057:771135 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua023:771057:771135 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua023:771057:771135 [0] NCCL INFO Connected all trees +gpua023:771057:771135 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:771057:771135 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:771057:771135 [0] NCCL INFO comm 0xe39b8a30 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua023:771060:771060 [3] NCCL INFO cudaDriverVersion 12020 +gpua023:771060:771060 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:771060:771060 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:771060:771136 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:771060:771136 [3] NCCL INFO Using network IB +gpua023:771060:771136 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua023:771060:771136 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua023:771060:771136 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua023:771060:771136 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua023:771060:771136 [3] NCCL INFO Connected all rings +gpua023:771060:771136 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua023:771060:771136 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua023:771060:771136 [3] NCCL INFO Connected all trees +gpua023:771060:771136 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:771060:771136 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:771060:771136 [3] NCCL INFO comm 0xe25f5e0 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua022:877978:877978 [0] NCCL INFO cudaDriverVersion 12020 +gpua022:877978:877978 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:877978:877978 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:877978:878054 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:877978:878054 [0] NCCL INFO Using network IB +gpua022:877978:878054 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua022:877978:878054 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:877978:878054 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua022:877978:878054 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua022:877978:878054 [0] NCCL INFO Connected all rings +gpua022:877978:878054 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua022:877978:878054 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:877978:878054 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:877978:878054 [0] NCCL INFO Connected all trees +gpua022:877978:878054 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:877978:878054 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:877978:878054 [0] NCCL INFO comm 0x120e0090 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua022:877980:877980 [2] NCCL INFO cudaDriverVersion 12020 +gpua022:877980:877980 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:877980:877980 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:877980:878052 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:877980:878052 [2] NCCL INFO Using network IB +gpua022:877980:878052 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua022:877980:878052 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua022:877980:878052 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua022:877980:878052 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua022:877980:878052 [2] NCCL INFO Connected all rings +gpua022:877980:878052 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua022:877980:878052 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua022:877980:878052 [2] NCCL INFO Connected all trees +gpua022:877980:878052 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:877980:878052 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:877980:878052 [2] NCCL INFO comm 0x1174b8a0 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +[gpua002:0/64] 2023-12-09 09:15:15,278 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua002:0/64] 2023-12-09 09:16:53,730 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 09:17:22,632 (trainer:737) INFO: 21epoch:train:1-100batch: iter_time=1.258, forward_time=0.236, loss_ctc=62.748, loss_att=51.801, acc=0.691, loss=55.085, backward_time=0.315, grad_norm=60.029, clip=100.000, loss_scale=7.130e+31, optim_step_time=0.136, optim0_lr0=8.944e-05, train_time=5.921 +[gpua002:0/64] 2023-12-09 09:19:31,028 (trainer:737) INFO: 21epoch:train:101-200batch: iter_time=8.060e-05, forward_time=0.143, loss_ctc=72.820, loss_att=56.456, acc=0.676, loss=61.365, backward_time=0.277, grad_norm=73.643, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.943e-05, train_time=1.285 +[gpua002:0/64] 2023-12-09 09:22:29,339 (trainer:737) INFO: 21epoch:train:201-300batch: iter_time=8.756e-05, forward_time=0.144, loss_ctc=76.777, loss_att=60.988, acc=0.700, loss=65.725, backward_time=0.333, grad_norm=74.647, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.941e-05, train_time=1.783 +[gpua002:0/64] 2023-12-09 09:25:47,511 (trainer:737) INFO: 21epoch:train:301-400batch: iter_time=8.487e-05, forward_time=0.143, loss_ctc=70.047, loss_att=55.658, acc=0.701, loss=59.974, backward_time=0.365, grad_norm=71.084, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.940e-05, train_time=1.981 +[gpua002:0/64] 2023-12-09 09:29:22,924 (trainer:737) INFO: 21epoch:train:401-500batch: iter_time=8.460e-05, forward_time=0.143, loss_ctc=70.808, loss_att=57.698, acc=0.687, loss=61.631, backward_time=0.335, grad_norm=72.738, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.938e-05, train_time=2.154 +[gpua002:0/64] 2023-12-09 09:33:02,739 (trainer:737) INFO: 21epoch:train:501-600batch: iter_time=8.361e-05, forward_time=0.145, loss_ctc=70.756, loss_att=50.272, acc=0.731, loss=56.417, backward_time=0.410, grad_norm=52.749, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.937e-05, train_time=2.198 +[gpua002:0/64] 2023-12-09 09:36:48,611 (trainer:737) INFO: 21epoch:train:601-700batch: iter_time=8.489e-05, forward_time=0.209, loss_ctc=63.743, loss_att=49.106, acc=0.707, loss=53.497, backward_time=0.417, grad_norm=58.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.935e-05, train_time=2.258 +[gpua002:0/64] 2023-12-09 09:40:15,340 (trainer:737) INFO: 21epoch:train:701-800batch: iter_time=8.428e-05, forward_time=0.154, loss_ctc=61.309, loss_att=48.937, acc=0.708, loss=52.648, backward_time=0.382, grad_norm=46.975, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.934e-05, train_time=2.065 +[gpua002:0/64] 2023-12-09 09:43:13,338 (trainer:737) INFO: 21epoch:train:801-900batch: iter_time=8.275e-05, forward_time=0.144, loss_ctc=80.841, loss_att=71.907, acc=0.680, loss=74.587, backward_time=0.345, grad_norm=62.008, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.932e-05, train_time=1.781 +[gpua002:0/64] 2023-12-09 09:47:00,789 (trainer:737) INFO: 21epoch:train:901-1000batch: iter_time=8.301e-05, forward_time=0.143, loss_ctc=73.654, loss_att=49.586, acc=0.715, loss=56.806, backward_time=0.425, grad_norm=65.476, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.931e-05, train_time=2.274 +[gpua002:0/64] 2023-12-09 09:50:13,345 (trainer:737) INFO: 21epoch:train:1001-1100batch: iter_time=8.046e-05, forward_time=0.143, loss_ctc=65.984, loss_att=53.190, acc=0.711, loss=57.028, backward_time=0.375, grad_norm=51.369, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.929e-05, train_time=1.925 +[gpua002:0/64] 2023-12-09 09:53:06,120 (trainer:737) INFO: 21epoch:train:1101-1200batch: iter_time=7.595e-05, forward_time=0.145, loss_ctc=66.798, loss_att=50.398, acc=0.719, loss=55.318, backward_time=0.329, grad_norm=54.142, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.928e-05, train_time=1.728 +[gpua002:0/64] 2023-12-09 09:55:01,923 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-09 09:55:20,973 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 09:55:24,573 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 09:55:24,573 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-09 09:55:24,576 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 10:02:39,628 (trainer:737) INFO: 21epoch:train:1201-1300batch: iter_time=3.068, forward_time=0.209, loss_ctc=60.605, loss_att=50.342, acc=0.698, loss=53.421, backward_time=0.351, grad_norm=62.632, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.926e-05, train_time=5.735 +[gpua002:0/64] 2023-12-09 10:04:53,622 (trainer:737) INFO: 21epoch:train:1301-1400batch: iter_time=8.126e-05, forward_time=0.158, loss_ctc=63.761, loss_att=54.531, acc=0.695, loss=57.300, backward_time=0.285, grad_norm=57.924, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.925e-05, train_time=1.339 +[gpua002:0/64] 2023-12-09 10:07:26,126 (trainer:737) INFO: 21epoch:train:1401-1500batch: iter_time=7.995e-05, forward_time=0.147, loss_ctc=69.158, loss_att=52.800, acc=0.714, loss=57.708, backward_time=0.279, grad_norm=59.531, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.923e-05, train_time=1.525 +[gpua002:0/64] 2023-12-09 10:10:12,077 (trainer:737) INFO: 21epoch:train:1501-1600batch: iter_time=8.073e-05, forward_time=0.145, loss_ctc=68.533, loss_att=53.540, acc=0.718, loss=58.038, backward_time=0.346, grad_norm=68.440, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.922e-05, train_time=1.659 +[gpua002:0/64] 2023-12-09 10:12:59,345 (trainer:737) INFO: 21epoch:train:1601-1700batch: iter_time=8.178e-05, forward_time=0.145, loss_ctc=69.702, loss_att=58.922, acc=0.708, loss=62.156, backward_time=0.298, grad_norm=153.525, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.920e-05, train_time=1.672 +[gpua002:0/64] 2023-12-09 10:16:12,791 (trainer:737) INFO: 21epoch:train:1701-1800batch: iter_time=8.227e-05, forward_time=0.145, loss_ctc=71.843, loss_att=56.548, acc=0.703, loss=61.137, backward_time=0.376, grad_norm=62.814, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.919e-05, train_time=1.934 +[gpua002:0/64] 2023-12-09 10:18:57,824 (trainer:737) INFO: 21epoch:train:1801-1900batch: iter_time=8.353e-05, forward_time=0.231, loss_ctc=68.572, loss_att=52.439, acc=0.730, loss=57.279, backward_time=0.353, grad_norm=57.311, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.917e-05, train_time=1.650 +[gpua002:0/64] 2023-12-09 10:20:58,256 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 10:21:27,733 (trainer:737) INFO: 21epoch:train:1901-2000batch: iter_time=7.871e-05, forward_time=0.156, loss_ctc=61.298, loss_att=49.338, acc=0.722, loss=52.926, backward_time=0.303, grad_norm=53.780, clip=100.000, loss_scale=3.565e+31, optim_step_time=0.133, optim0_lr0=8.916e-05, train_time=1.499 +[gpua002:0/64] 2023-12-09 10:23:35,901 (trainer:737) INFO: 21epoch:train:2001-2100batch: iter_time=7.956e-05, forward_time=0.153, loss_ctc=72.905, loss_att=58.618, acc=0.707, loss=62.904, backward_time=0.284, grad_norm=58.395, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.915e-05, train_time=1.282 +[gpua002:0/64] 2023-12-09 10:26:06,811 (trainer:737) INFO: 21epoch:train:2101-2200batch: iter_time=8.319e-05, forward_time=0.146, loss_ctc=69.704, loss_att=63.444, acc=0.697, loss=65.322, backward_time=0.295, grad_norm=60.936, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.913e-05, train_time=1.509 +[gpua002:0/64] 2023-12-09 10:28:52,583 (trainer:737) INFO: 21epoch:train:2201-2300batch: iter_time=8.323e-05, forward_time=0.146, loss_ctc=71.495, loss_att=47.652, acc=0.725, loss=54.805, backward_time=0.336, grad_norm=96.796, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.912e-05, train_time=1.658 +[gpua002:0/64] 2023-12-09 10:30:56,885 (trainer:737) INFO: 21epoch:train:2301-2400batch: iter_time=8.241e-05, forward_time=0.146, loss_ctc=62.927, loss_att=50.671, acc=0.725, loss=54.348, backward_time=0.277, grad_norm=55.803, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.910e-05, train_time=1.243 +[gpua002:0/64] 2023-12-09 10:33:12,295 (trainer:737) INFO: 21epoch:train:2401-2500batch: iter_time=7.855e-05, forward_time=0.145, loss_ctc=64.486, loss_att=52.995, acc=0.722, loss=56.443, backward_time=0.284, grad_norm=65.340, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.909e-05, train_time=1.354 +[gpua002:0/64] 2023-12-09 10:33:32,324 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-09 10:33:51,617 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 10:33:55,359 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 10:33:55,359 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-09 10:33:55,362 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 10:44:19,792 (trainer:737) INFO: 21epoch:train:2501-2600batch: iter_time=3.169, forward_time=0.145, loss_ctc=61.949, loss_att=50.674, acc=0.700, loss=54.057, backward_time=0.314, grad_norm=67.845, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.907e-05, train_time=6.675 +[gpua002:0/64] 2023-12-09 10:47:30,399 (trainer:737) INFO: 21epoch:train:2601-2700batch: iter_time=8.310e-05, forward_time=0.145, loss_ctc=68.562, loss_att=55.016, acc=0.683, loss=59.080, backward_time=0.394, grad_norm=65.393, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.906e-05, train_time=1.906 +[gpua002:0/64] 2023-12-09 10:50:18,281 (trainer:737) INFO: 21epoch:train:2701-2800batch: iter_time=8.500e-05, forward_time=0.145, loss_ctc=70.873, loss_att=59.753, acc=0.706, loss=63.089, backward_time=0.365, grad_norm=66.651, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.904e-05, train_time=1.679 +[gpua002:0/64] 2023-12-09 10:53:32,143 (trainer:737) INFO: 21epoch:train:2801-2900batch: iter_time=8.396e-05, forward_time=0.170, loss_ctc=68.225, loss_att=54.288, acc=0.708, loss=58.469, backward_time=0.377, grad_norm=81.042, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.903e-05, train_time=1.938 +[gpua002:0/64] 2023-12-09 10:56:44,080 (trainer:737) INFO: 21epoch:train:2901-3000batch: iter_time=8.572e-05, forward_time=0.201, loss_ctc=66.904, loss_att=55.991, acc=0.694, loss=59.265, backward_time=0.388, grad_norm=82.868, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.901e-05, train_time=1.919 +[gpua002:0/64] 2023-12-09 10:59:25,303 (trainer:737) INFO: 21epoch:train:3001-3100batch: iter_time=8.603e-05, forward_time=0.153, loss_ctc=69.383, loss_att=48.751, acc=0.737, loss=54.940, backward_time=0.300, grad_norm=52.223, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.900e-05, train_time=1.612 +[gpua002:0/64] 2023-12-09 11:01:44,647 (trainer:737) INFO: 21epoch:train:3101-3200batch: iter_time=8.371e-05, forward_time=0.146, loss_ctc=63.627, loss_att=48.476, acc=0.711, loss=53.022, backward_time=0.300, grad_norm=66.644, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.898e-05, train_time=1.393 +[gpua002:0/64] 2023-12-09 11:04:11,161 (trainer:737) INFO: 21epoch:train:3201-3300batch: iter_time=8.488e-05, forward_time=0.146, loss_ctc=60.924, loss_att=48.305, acc=0.714, loss=52.091, backward_time=0.294, grad_norm=53.510, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.897e-05, train_time=1.463 +[gpua002:0/64] 2023-12-09 11:06:19,438 (trainer:737) INFO: 21epoch:train:3301-3400batch: iter_time=8.587e-05, forward_time=0.147, loss_ctc=78.411, loss_att=71.630, acc=0.684, loss=73.664, backward_time=0.280, grad_norm=67.436, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.895e-05, train_time=1.284 +[gpua002:0/64] 2023-12-09 11:08:59,322 (trainer:737) INFO: 21epoch:train:3401-3500batch: iter_time=8.209e-05, forward_time=0.147, loss_ctc=69.554, loss_att=49.135, acc=0.719, loss=55.261, backward_time=0.292, grad_norm=60.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.894e-05, train_time=1.599 +[gpua002:0/64] 2023-12-09 11:11:50,942 (trainer:737) INFO: 21epoch:train:3501-3600batch: iter_time=8.506e-05, forward_time=0.145, loss_ctc=64.688, loss_att=51.928, acc=0.717, loss=55.756, backward_time=0.326, grad_norm=69.885, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.892e-05, train_time=1.716 +[gpua002:0/64] 2023-12-09 11:14:26,987 (trainer:737) INFO: 21epoch:train:3601-3700batch: iter_time=8.487e-05, forward_time=0.146, loss_ctc=64.929, loss_att=49.332, acc=0.724, loss=54.011, backward_time=0.331, grad_norm=57.607, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.891e-05, train_time=1.560 +[gpua002:0/64] 2023-12-09 11:16:12,422 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-09 11:16:31,985 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 11:16:35,605 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 11:16:35,605 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-09 11:16:35,608 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 11:25:29,390 (trainer:737) INFO: 21epoch:train:3701-3800batch: iter_time=3.464, forward_time=0.210, loss_ctc=60.082, loss_att=49.547, acc=0.703, loss=52.708, backward_time=0.353, grad_norm=53.311, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.890e-05, train_time=6.624 +[gpua002:0/64] 2023-12-09 11:28:33,755 (trainer:737) INFO: 21epoch:train:3801-3900batch: iter_time=7.990e-05, forward_time=0.145, loss_ctc=63.478, loss_att=53.336, acc=0.690, loss=56.379, backward_time=0.301, grad_norm=60.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=8.888e-05, train_time=1.843 +[gpua002:0/64] 2023-12-09 11:31:09,262 (trainer:737) INFO: 21epoch:train:3901-4000batch: iter_time=8.219e-05, forward_time=0.145, loss_ctc=67.612, loss_att=50.580, acc=0.708, loss=55.690, backward_time=0.348, grad_norm=71.724, clip=100.000, loss_scale=2.515e+31, optim_step_time=0.132, optim0_lr0=8.887e-05, train_time=1.555 +[gpua002:0/64] 2023-12-09 11:34:23,978 (trainer:737) INFO: 21epoch:train:4001-4100batch: iter_time=8.389e-05, forward_time=0.157, loss_ctc=68.380, loss_att=53.382, acc=0.713, loss=57.882, backward_time=0.439, grad_norm=70.424, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.885e-05, train_time=1.947 +[gpua002:0/64] 2023-12-09 11:37:25,650 (trainer:737) INFO: 21epoch:train:4101-4200batch: iter_time=8.393e-05, forward_time=0.147, loss_ctc=68.515, loss_att=58.373, acc=0.704, loss=61.415, backward_time=0.335, grad_norm=98.087, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.884e-05, train_time=1.817 +[gpua002:0/64] 2023-12-09 11:40:26,967 (trainer:737) INFO: 21epoch:train:4201-4300batch: iter_time=8.137e-05, forward_time=0.147, loss_ctc=70.541, loss_att=54.439, acc=0.704, loss=59.270, backward_time=0.330, grad_norm=58.250, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.882e-05, train_time=1.812 +[gpua002:0/64] 2023-12-09 11:43:31,757 (trainer:737) INFO: 21epoch:train:4301-4400batch: iter_time=8.111e-05, forward_time=0.145, loss_ctc=67.737, loss_att=50.381, acc=0.724, loss=55.588, backward_time=0.371, grad_norm=67.795, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.881e-05, train_time=1.849 +[gpua002:0/64] 2023-12-09 11:46:11,092 (trainer:737) INFO: 21epoch:train:4401-4500batch: iter_time=7.788e-05, forward_time=0.145, loss_ctc=60.514, loss_att=47.026, acc=0.720, loss=51.072, backward_time=0.317, grad_norm=57.351, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.879e-05, train_time=1.593 +[gpua002:0/64] 2023-12-09 11:48:51,334 (trainer:737) INFO: 21epoch:train:4501-4600batch: iter_time=8.291e-05, forward_time=0.145, loss_ctc=72.431, loss_att=58.077, acc=0.699, loss=62.383, backward_time=0.309, grad_norm=57.444, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.878e-05, train_time=1.602 +[gpua002:0/64] 2023-12-09 11:51:50,955 (trainer:737) INFO: 21epoch:train:4601-4700batch: iter_time=8.148e-05, forward_time=0.220, loss_ctc=68.542, loss_att=62.336, acc=0.699, loss=64.197, backward_time=0.348, grad_norm=61.604, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.876e-05, train_time=1.796 +[gpua002:0/64] 2023-12-09 11:55:24,376 (trainer:737) INFO: 21epoch:train:4701-4800batch: iter_time=8.418e-05, forward_time=0.158, loss_ctc=70.458, loss_att=47.585, acc=0.718, loss=54.447, backward_time=0.363, grad_norm=58.520, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.875e-05, train_time=2.134 +[gpua002:0/64] 2023-12-09 11:58:43,281 (trainer:737) INFO: 21epoch:train:4801-4900batch: iter_time=8.048e-05, forward_time=0.163, loss_ctc=63.054, loss_att=50.396, acc=0.722, loss=54.193, backward_time=0.404, grad_norm=54.825, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.873e-05, train_time=1.989 +[gpua002:0/64] 2023-12-09 12:01:33,371 (trainer:737) INFO: 21epoch:train:4901-5000batch: iter_time=7.773e-05, forward_time=0.145, loss_ctc=63.253, loss_att=51.229, acc=0.716, loss=54.836, backward_time=0.352, grad_norm=52.364, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=8.872e-05, train_time=1.701 +[gpua002:0/64] 2023-12-09 12:01:53,399 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-09 12:02:12,571 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 12:02:16,225 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 12:02:16,225 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-09 12:02:16,228 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 12:13:37,873 (trainer:737) INFO: 21epoch:train:5001-5100batch: iter_time=3.040, forward_time=0.161, loss_ctc=61.960, loss_att=51.030, acc=0.707, loss=54.309, backward_time=0.307, grad_norm=56.047, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.871e-05, train_time=7.245 +[gpua002:0/64] 2023-12-09 12:15:49,381 (trainer:737) INFO: 21epoch:train:5101-5200batch: iter_time=8.258e-05, forward_time=0.147, loss_ctc=68.126, loss_att=53.753, acc=0.704, loss=58.065, backward_time=0.282, grad_norm=66.685, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.869e-05, train_time=1.315 +[gpua002:0/64] 2023-12-09 12:18:42,164 (trainer:737) INFO: 21epoch:train:5201-5300batch: iter_time=8.752e-05, forward_time=0.146, loss_ctc=70.932, loss_att=61.319, acc=0.711, loss=64.203, backward_time=0.348, grad_norm=68.648, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.868e-05, train_time=1.728 +[gpua002:0/64] 2023-12-09 12:21:21,383 (trainer:737) INFO: 21epoch:train:5301-5400batch: iter_time=8.581e-05, forward_time=0.147, loss_ctc=66.879, loss_att=54.250, acc=0.711, loss=58.039, backward_time=0.328, grad_norm=79.704, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.866e-05, train_time=1.592 +[gpua002:0/64] 2023-12-09 12:24:16,454 (trainer:737) INFO: 21epoch:train:5401-5500batch: iter_time=8.913e-05, forward_time=0.216, loss_ctc=67.010, loss_att=56.649, acc=0.701, loss=59.757, backward_time=0.398, grad_norm=76.576, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.865e-05, train_time=1.750 +[gpua002:0/64] 2023-12-09 12:27:21,579 (trainer:737) INFO: 21epoch:train:5501-5600batch: iter_time=8.931e-05, forward_time=0.154, loss_ctc=69.803, loss_att=50.924, acc=0.738, loss=56.588, backward_time=0.385, grad_norm=54.811, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.863e-05, train_time=1.851 +[gpua002:0/64] 2023-12-09 12:30:24,341 (trainer:737) INFO: 21epoch:train:5601-5700batch: iter_time=8.503e-05, forward_time=0.145, loss_ctc=62.768, loss_att=48.642, acc=0.725, loss=52.880, backward_time=0.315, grad_norm=73.786, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.862e-05, train_time=1.827 +[gpua002:0/64] 2023-12-09 12:33:05,156 (trainer:737) INFO: 21epoch:train:5701-5800batch: iter_time=8.430e-05, forward_time=0.153, loss_ctc=60.207, loss_att=48.799, acc=0.725, loss=52.221, backward_time=0.337, grad_norm=47.453, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.860e-05, train_time=1.608 +[gpua002:0/64] 2023-12-09 12:36:04,831 (trainer:737) INFO: 21epoch:train:5801-5900batch: iter_time=8.567e-05, forward_time=0.146, loss_ctc=76.550, loss_att=70.915, acc=0.686, loss=72.606, backward_time=0.384, grad_norm=79.007, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.859e-05, train_time=1.796 +[gpua002:0/64] 2023-12-09 12:38:26,237 (trainer:737) INFO: 21epoch:train:5901-6000batch: iter_time=8.498e-05, forward_time=0.147, loss_ctc=68.759, loss_att=49.223, acc=0.727, loss=55.084, backward_time=0.296, grad_norm=60.240, clip=100.000, loss_scale=5.030e+31, optim_step_time=0.133, optim0_lr0=8.858e-05, train_time=1.413 +[gpua002:0/64] 2023-12-09 12:41:25,246 (trainer:737) INFO: 21epoch:train:6001-6100batch: iter_time=8.467e-05, forward_time=0.145, loss_ctc=65.230, loss_att=51.757, acc=0.726, loss=55.799, backward_time=0.359, grad_norm=52.933, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.856e-05, train_time=1.790 +[gpua002:0/64] 2023-12-09 12:44:17,142 (trainer:737) INFO: 21epoch:train:6101-6200batch: iter_time=8.891e-05, forward_time=0.146, loss_ctc=65.619, loss_att=50.496, acc=0.732, loss=55.033, backward_time=0.345, grad_norm=63.653, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.855e-05, train_time=1.719 +[gpua002:0/64] 2023-12-09 12:46:07,298 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-09 12:46:26,607 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 12:46:30,135 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 12:46:30,135 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-09 12:46:30,138 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 12:56:40,267 (trainer:737) INFO: 21epoch:train:6201-6300batch: iter_time=2.887, forward_time=0.208, loss_ctc=59.396, loss_att=49.655, acc=0.710, loss=52.577, backward_time=0.336, grad_norm=52.634, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.853e-05, train_time=7.431 +[gpua002:0/64] 2023-12-09 12:59:20,707 (trainer:737) INFO: 21epoch:train:6301-6400batch: iter_time=8.360e-05, forward_time=0.151, loss_ctc=62.688, loss_att=53.239, acc=0.704, loss=56.074, backward_time=0.316, grad_norm=61.785, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.852e-05, train_time=1.604 +[gpua002:0/64] 2023-12-09 13:01:24,306 (trainer:737) INFO: 21epoch:train:6401-6500batch: iter_time=8.380e-05, forward_time=0.147, loss_ctc=67.097, loss_att=52.264, acc=0.720, loss=56.714, backward_time=0.278, grad_norm=69.610, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.850e-05, train_time=1.236 +[gpua002:0/64] 2023-12-09 13:03:44,967 (trainer:737) INFO: 21epoch:train:6501-6600batch: iter_time=8.566e-05, forward_time=0.158, loss_ctc=68.620, loss_att=53.834, acc=0.720, loss=58.270, backward_time=0.290, grad_norm=67.992, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.849e-05, train_time=1.406 +[gpua002:0/64] 2023-12-09 13:07:13,495 (trainer:737) INFO: 21epoch:train:6601-6700batch: iter_time=8.584e-05, forward_time=0.145, loss_ctc=67.392, loss_att=58.028, acc=0.709, loss=60.837, backward_time=0.317, grad_norm=80.984, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.847e-05, train_time=2.085 +[gpua002:0/64] 2023-12-09 13:09:54,460 (trainer:737) INFO: 21epoch:train:6701-6800batch: iter_time=8.465e-05, forward_time=0.153, loss_ctc=70.107, loss_att=54.758, acc=0.712, loss=59.363, backward_time=0.302, grad_norm=67.774, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.846e-05, train_time=1.609 +[gpua002:0/64] 2023-12-09 13:12:16,690 (trainer:737) INFO: 21epoch:train:6801-6900batch: iter_time=8.790e-05, forward_time=0.146, loss_ctc=67.396, loss_att=51.858, acc=0.733, loss=56.519, backward_time=0.291, grad_norm=66.355, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.845e-05, train_time=1.422 +[gpua002:0/64] 2023-12-09 13:14:43,327 (trainer:737) INFO: 21epoch:train:6901-7000batch: iter_time=8.423e-05, forward_time=0.146, loss_ctc=60.412, loss_att=48.178, acc=0.728, loss=51.848, backward_time=0.317, grad_norm=54.753, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.843e-05, train_time=1.466 +[gpua002:0/64] 2023-12-09 13:17:19,083 (trainer:737) INFO: 21epoch:train:7001-7100batch: iter_time=8.653e-05, forward_time=0.146, loss_ctc=71.587, loss_att=57.072, acc=0.715, loss=61.426, backward_time=0.351, grad_norm=54.647, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.842e-05, train_time=1.558 +[gpua002:0/64] 2023-12-09 13:20:28,195 (trainer:737) INFO: 21epoch:train:7101-7200batch: iter_time=8.510e-05, forward_time=0.145, loss_ctc=68.457, loss_att=63.042, acc=0.702, loss=64.667, backward_time=0.403, grad_norm=67.576, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.840e-05, train_time=1.891 +[gpua002:0/64] 2023-12-09 13:21:19,001 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 13:23:21,917 (trainer:737) INFO: 21epoch:train:7201-7300batch: iter_time=9.383e-05, forward_time=0.189, loss_ctc=70.051, loss_att=47.216, acc=0.728, loss=54.066, backward_time=0.333, grad_norm=55.824, clip=100.000, loss_scale=5.327e+31, optim_step_time=0.135, optim0_lr0=8.839e-05, train_time=1.737 +[gpua002:0/64] 2023-12-09 13:26:09,022 (trainer:737) INFO: 21epoch:train:7301-7400batch: iter_time=1.042e-04, forward_time=0.182, loss_ctc=62.505, loss_att=49.956, acc=0.727, loss=53.720, backward_time=0.306, grad_norm=52.367, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.837e-05, train_time=1.671 +[gpua002:0/64] 2023-12-09 13:28:55,289 (trainer:737) INFO: 21epoch:train:7401-7500batch: iter_time=8.979e-05, forward_time=0.159, loss_ctc=62.845, loss_att=52.317, acc=0.728, loss=55.475, backward_time=0.298, grad_norm=56.786, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.836e-05, train_time=1.662 +[gpua002:0/64] 2023-12-09 13:29:15,318 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-09 13:29:34,899 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 13:29:38,483 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 13:29:38,483 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-09 13:29:38,487 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 13:41:32,819 (trainer:737) INFO: 21epoch:train:7501-7600batch: iter_time=6.107, forward_time=0.251, loss_ctc=60.859, loss_att=49.791, acc=0.711, loss=53.111, backward_time=0.359, grad_norm=53.378, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.834e-05, train_time=7.575 +[gpua002:0/64] 2023-12-09 13:45:00,427 (trainer:737) INFO: 21epoch:train:7601-7700batch: iter_time=8.266e-05, forward_time=0.171, loss_ctc=66.961, loss_att=52.439, acc=0.709, loss=56.796, backward_time=0.342, grad_norm=56.221, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.833e-05, train_time=2.076 +[gpua002:0/64] 2023-12-09 13:48:07,394 (trainer:737) INFO: 21epoch:train:7701-7800batch: iter_time=8.637e-05, forward_time=0.210, loss_ctc=69.488, loss_att=59.847, acc=0.716, loss=62.740, backward_time=0.375, grad_norm=70.362, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.832e-05, train_time=1.869 +[gpua002:0/64] 2023-12-09 13:51:09,041 (trainer:737) INFO: 21epoch:train:7801-7900batch: iter_time=1.011e-04, forward_time=0.164, loss_ctc=66.668, loss_att=53.557, acc=0.715, loss=57.490, backward_time=0.399, grad_norm=66.603, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.830e-05, train_time=1.817 +[gpua002:0/64] 2023-12-09 13:54:56,925 (trainer:737) INFO: 21epoch:train:7901-8000batch: iter_time=8.571e-05, forward_time=0.266, loss_ctc=66.472, loss_att=55.499, acc=0.705, loss=58.791, backward_time=0.461, grad_norm=70.378, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.829e-05, train_time=2.278 +[gpua002:0/64] 2023-12-09 13:57:49,345 (trainer:737) INFO: 21epoch:train:8001-8100batch: iter_time=8.098e-05, forward_time=0.249, loss_ctc=69.474, loss_att=50.524, acc=0.741, loss=56.209, backward_time=0.338, grad_norm=56.471, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.827e-05, train_time=1.724 +[gpua002:0/64] 2023-12-09 14:01:24,133 (trainer:737) INFO: 21epoch:train:8101-8200batch: iter_time=5.056e-04, forward_time=0.311, loss_ctc=62.564, loss_att=47.821, acc=0.729, loss=52.244, backward_time=0.422, grad_norm=59.762, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.826e-05, train_time=2.148 +[gpua002:0/64] 2023-12-09 14:04:13,071 (trainer:737) INFO: 21epoch:train:8201-8300batch: iter_time=8.513e-05, forward_time=0.220, loss_ctc=60.050, loss_att=48.447, acc=0.726, loss=51.928, backward_time=0.378, grad_norm=47.763, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.824e-05, train_time=1.689 +[gpua002:0/64] 2023-12-09 14:07:20,718 (trainer:737) INFO: 21epoch:train:8301-8400batch: iter_time=4.668e-04, forward_time=0.263, loss_ctc=77.010, loss_att=70.575, acc=0.687, loss=72.506, backward_time=0.374, grad_norm=69.316, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.823e-05, train_time=1.876 +[gpua002:0/64] 2023-12-09 14:10:19,957 (trainer:737) INFO: 21epoch:train:8401-8500batch: iter_time=1.703e-04, forward_time=0.162, loss_ctc=69.195, loss_att=49.009, acc=0.726, loss=55.065, backward_time=0.322, grad_norm=69.515, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.822e-05, train_time=1.792 +[gpua002:0/64] 2023-12-09 14:13:05,788 (trainer:737) INFO: 21epoch:train:8501-8600batch: iter_time=2.489e-04, forward_time=0.265, loss_ctc=64.085, loss_att=51.473, acc=0.727, loss=55.257, backward_time=0.324, grad_norm=52.437, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.820e-05, train_time=1.656 +[gpua002:0/64] 2023-12-09 14:16:26,265 (trainer:737) INFO: 21epoch:train:8601-8700batch: iter_time=1.746e-04, forward_time=0.219, loss_ctc=64.607, loss_att=50.382, acc=0.731, loss=54.650, backward_time=0.372, grad_norm=53.935, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.819e-05, train_time=2.006 +[gpua002:0/64] 2023-12-09 14:18:18,340 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-09 14:18:37,969 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 14:18:41,831 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 14:18:41,831 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-09 14:18:41,835 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 14:30:38,682 (trainer:737) INFO: 21epoch:train:8701-8800batch: iter_time=4.898, forward_time=0.221, loss_ctc=59.129, loss_att=49.889, acc=0.712, loss=52.661, backward_time=0.325, grad_norm=49.798, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.817e-05, train_time=8.524 +[gpua002:0/64] 2023-12-09 14:32:57,524 (trainer:737) INFO: 21epoch:train:8801-8900batch: iter_time=8.413e-05, forward_time=0.145, loss_ctc=62.536, loss_att=54.987, acc=0.689, loss=57.252, backward_time=0.279, grad_norm=55.706, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.816e-05, train_time=1.388 +[gpua002:0/64] 2023-12-09 14:35:45,383 (trainer:737) INFO: 21epoch:train:8901-9000batch: iter_time=2.803e-04, forward_time=0.176, loss_ctc=66.244, loss_att=51.002, acc=0.710, loss=55.575, backward_time=0.307, grad_norm=60.706, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.151, optim0_lr0=8.814e-05, train_time=1.678 +[gpua002:0/64] 2023-12-09 14:38:55,837 (trainer:737) INFO: 21epoch:train:9001-9100batch: iter_time=8.392e-05, forward_time=0.205, loss_ctc=67.512, loss_att=53.346, acc=0.719, loss=57.596, backward_time=0.356, grad_norm=71.260, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.813e-05, train_time=1.904 +[gpua002:0/64] 2023-12-09 14:41:34,952 (trainer:737) INFO: 21epoch:train:9101-9200batch: iter_time=8.592e-05, forward_time=0.145, loss_ctc=70.249, loss_att=57.988, acc=0.709, loss=61.667, backward_time=0.318, grad_norm=94.514, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=8.812e-05, train_time=1.591 +[gpua002:0/64] 2023-12-09 14:44:20,182 (trainer:737) INFO: 21epoch:train:9201-9300batch: iter_time=8.263e-05, forward_time=0.145, loss_ctc=69.882, loss_att=54.771, acc=0.705, loss=59.304, backward_time=0.313, grad_norm=68.008, clip=100.000, loss_scale=6.815e+31, optim_step_time=0.133, optim0_lr0=8.810e-05, train_time=1.652 +[gpua002:0/64] 2023-12-09 14:47:16,807 (trainer:737) INFO: 21epoch:train:9301-9400batch: iter_time=7.957e-05, forward_time=0.240, loss_ctc=66.328, loss_att=49.857, acc=0.729, loss=54.799, backward_time=0.383, grad_norm=56.526, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.809e-05, train_time=1.766 +[gpua002:0/64] 2023-12-09 14:49:51,077 (trainer:737) INFO: 21epoch:train:9401-9500batch: iter_time=8.266e-05, forward_time=0.147, loss_ctc=60.480, loss_att=46.694, acc=0.725, loss=50.830, backward_time=0.294, grad_norm=52.915, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.807e-05, train_time=1.542 +[gpua002:0/64] 2023-12-09 14:52:25,096 (trainer:737) INFO: 21epoch:train:9501-9600batch: iter_time=8.318e-05, forward_time=0.146, loss_ctc=71.227, loss_att=57.698, acc=0.701, loss=61.756, backward_time=0.298, grad_norm=57.286, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.806e-05, train_time=1.540 +[gpua002:0/64] 2023-12-09 14:55:08,115 (trainer:737) INFO: 21epoch:train:9601-9700batch: iter_time=8.856e-05, forward_time=0.241, loss_ctc=68.185, loss_att=62.440, acc=0.703, loss=64.163, backward_time=0.366, grad_norm=60.066, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.804e-05, train_time=1.630 +[gpua002:0/64] 2023-12-09 14:57:52,847 (trainer:737) INFO: 21epoch:train:9701-9800batch: iter_time=8.642e-05, forward_time=0.147, loss_ctc=70.627, loss_att=47.553, acc=0.718, loss=54.475, backward_time=0.331, grad_norm=53.407, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.803e-05, train_time=1.647 +[gpua002:0/64] 2023-12-09 15:00:29,551 (trainer:737) INFO: 21epoch:train:9801-9900batch: iter_time=8.242e-05, forward_time=0.147, loss_ctc=62.118, loss_att=49.839, acc=0.724, loss=53.523, backward_time=0.327, grad_norm=57.395, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.802e-05, train_time=1.567 +[gpua002:0/64] 2023-12-09 15:03:09,566 (trainer:737) INFO: 21epoch:train:9901-10000batch: iter_time=7.810e-05, forward_time=0.146, loss_ctc=62.360, loss_att=50.959, acc=0.718, loss=54.380, backward_time=0.291, grad_norm=55.236, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.800e-05, train_time=1.600 +[gpua002:0/64] 2023-12-09 15:03:29,595 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-09 15:03:48,831 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 15:03:52,577 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 15:03:52,577 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-09 15:03:52,942 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 15:10:38,022 (trainer:737) INFO: 21epoch:train:10001-10100batch: iter_time=3.041, forward_time=0.190, loss_ctc=60.642, loss_att=49.207, acc=0.715, loss=52.637, backward_time=0.292, grad_norm=51.079, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.799e-05, train_time=4.484 +[gpua002:0/64] 2023-12-09 15:12:42,162 (trainer:737) INFO: 21epoch:train:10101-10200batch: iter_time=8.051e-05, forward_time=0.147, loss_ctc=67.024, loss_att=53.760, acc=0.708, loss=57.739, backward_time=0.276, grad_norm=63.031, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.797e-05, train_time=1.241 +[gpua002:0/64] 2023-12-09 15:14:43,184 (trainer:737) INFO: 21epoch:train:10201-10300batch: iter_time=8.277e-05, forward_time=0.147, loss_ctc=70.794, loss_att=61.726, acc=0.715, loss=64.446, backward_time=0.279, grad_norm=66.734, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.796e-05, train_time=1.210 +[gpua002:0/64] 2023-12-09 15:17:10,228 (trainer:737) INFO: 21epoch:train:10301-10400batch: iter_time=8.148e-05, forward_time=0.150, loss_ctc=66.902, loss_att=54.018, acc=0.716, loss=57.884, backward_time=0.315, grad_norm=68.872, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.795e-05, train_time=1.470 +[gpua002:0/64] 2023-12-09 15:19:57,174 (trainer:737) INFO: 21epoch:train:10401-10500batch: iter_time=8.000e-05, forward_time=0.147, loss_ctc=65.584, loss_att=55.228, acc=0.708, loss=58.334, backward_time=0.311, grad_norm=64.503, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.793e-05, train_time=1.669 +[gpua002:0/64] 2023-12-09 15:22:53,992 (trainer:737) INFO: 21epoch:train:10501-10600batch: iter_time=8.155e-05, forward_time=0.147, loss_ctc=69.138, loss_att=50.323, acc=0.741, loss=55.968, backward_time=0.334, grad_norm=66.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=8.792e-05, train_time=1.768 +[gpua002:0/64] 2023-12-09 15:25:53,174 (trainer:737) INFO: 21epoch:train:10601-10700batch: iter_time=8.206e-05, forward_time=0.237, loss_ctc=62.515, loss_att=48.003, acc=0.730, loss=52.356, backward_time=0.351, grad_norm=59.154, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.790e-05, train_time=1.792 +[gpua002:0/64] 2023-12-09 15:28:44,378 (trainer:737) INFO: 21epoch:train:10701-10800batch: iter_time=8.454e-05, forward_time=0.161, loss_ctc=60.277, loss_att=48.427, acc=0.728, loss=51.982, backward_time=0.324, grad_norm=45.488, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.789e-05, train_time=1.712 +[gpua002:0/64] 2023-12-09 15:31:25,445 (trainer:737) INFO: 21epoch:train:10801-10900batch: iter_time=8.201e-05, forward_time=0.146, loss_ctc=75.846, loss_att=69.945, acc=0.691, loss=71.715, backward_time=0.381, grad_norm=61.507, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.787e-05, train_time=1.610 +[gpua002:0/64] 2023-12-09 15:33:25,409 (trainer:737) INFO: 21epoch:train:10901-11000batch: iter_time=8.143e-05, forward_time=0.145, loss_ctc=68.479, loss_att=48.031, acc=0.732, loss=54.166, backward_time=0.276, grad_norm=59.224, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.786e-05, train_time=1.199 +[gpua002:0/64] 2023-12-09 15:35:47,007 (trainer:737) INFO: 21epoch:train:11001-11100batch: iter_time=8.166e-05, forward_time=0.148, loss_ctc=64.169, loss_att=51.228, acc=0.728, loss=55.111, backward_time=0.342, grad_norm=54.878, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.785e-05, train_time=1.416 +[gpua002:0/64] 2023-12-09 15:38:04,915 (trainer:737) INFO: 21epoch:train:11101-11200batch: iter_time=8.065e-05, forward_time=0.146, loss_ctc=63.922, loss_att=49.411, acc=0.736, loss=53.764, backward_time=0.277, grad_norm=53.187, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=8.783e-05, train_time=1.379 +[gpua002:0/64] 2023-12-09 15:39:46,376 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-09 15:40:06,166 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 15:40:09,814 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 15:40:09,814 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-09 15:40:09,818 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 15:49:20,086 (trainer:737) INFO: 21epoch:train:11201-11300batch: iter_time=3.168, forward_time=0.265, loss_ctc=59.016, loss_att=49.349, acc=0.713, loss=52.249, backward_time=0.307, grad_norm=52.960, clip=100.000, loss_scale=1.363e+32, optim_step_time=0.141, optim0_lr0=8.782e-05, train_time=6.751 +[gpua002:0/64] 2023-12-09 15:51:25,187 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 15:52:34,806 (trainer:737) INFO: 21epoch:train:11301-11400batch: iter_time=8.264e-05, forward_time=0.373, loss_ctc=62.931, loss_att=54.842, acc=0.688, loss=57.269, backward_time=0.455, grad_norm=59.927, clip=100.000, loss_scale=1.369e+32, optim_step_time=0.148, optim0_lr0=8.780e-05, train_time=1.947 +[gpua002:0/64] 2023-12-09 15:55:51,060 (trainer:737) INFO: 21epoch:train:11401-11500batch: iter_time=9.657e-04, forward_time=0.645, loss_ctc=67.628, loss_att=50.253, acc=0.716, loss=55.465, backward_time=0.438, grad_norm=69.576, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.154, optim0_lr0=8.779e-05, train_time=1.961 +[gpua002:0/64] 2023-12-09 16:00:04,399 (trainer:737) INFO: 21epoch:train:11501-11600batch: iter_time=0.002, forward_time=0.765, loss_ctc=67.231, loss_att=52.357, acc=0.723, loss=56.820, backward_time=0.534, grad_norm=67.244, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.162, optim0_lr0=8.778e-05, train_time=2.535 +[gpua002:0/64] 2023-12-09 16:04:49,520 (trainer:737) INFO: 21epoch:train:11601-11700batch: iter_time=0.004, forward_time=1.088, loss_ctc=66.768, loss_att=58.009, acc=0.707, loss=60.637, backward_time=0.671, grad_norm=98.041, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.181, optim0_lr0=8.776e-05, train_time=2.851 +[gpua002:0/64] 2023-12-09 16:05:24,291 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 16:10:06,138 (trainer:737) INFO: 21epoch:train:11701-11800batch: iter_time=0.003, forward_time=1.245, loss_ctc=69.929, loss_att=53.968, acc=0.708, loss=58.756, backward_time=0.762, grad_norm=59.560, clip=100.000, loss_scale=4.507e+31, optim_step_time=0.181, optim0_lr0=8.775e-05, train_time=3.166 +[gpua002:0/64] 2023-12-09 16:14:41,966 (trainer:737) INFO: 21epoch:train:11801-11900batch: iter_time=0.002, forward_time=0.892, loss_ctc=67.412, loss_att=50.020, acc=0.729, loss=55.238, backward_time=0.690, grad_norm=57.168, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.185, optim0_lr0=8.773e-05, train_time=2.758 +[gpua002:0/64] 2023-12-09 16:20:13,771 (trainer:737) INFO: 21epoch:train:11901-12000batch: iter_time=0.003, forward_time=1.300, loss_ctc=59.763, loss_att=46.555, acc=0.725, loss=50.518, backward_time=0.696, grad_norm=67.345, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.186, optim0_lr0=8.772e-05, train_time=3.318 +[gpua002:0/64] 2023-12-09 16:26:12,350 (trainer:737) INFO: 21epoch:train:12001-12100batch: iter_time=0.004, forward_time=1.706, loss_ctc=70.810, loss_att=57.410, acc=0.701, loss=61.430, backward_time=0.810, grad_norm=57.789, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.191, optim0_lr0=8.771e-05, train_time=3.585 +[gpua002:0/64] 2023-12-09 16:32:14,411 (trainer:737) INFO: 21epoch:train:12101-12200batch: iter_time=0.003, forward_time=1.438, loss_ctc=68.236, loss_att=61.878, acc=0.704, loss=63.786, backward_time=0.883, grad_norm=61.755, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.188, optim0_lr0=8.769e-05, train_time=3.620 +[gpua002:0/64] 2023-12-09 16:39:08,050 (trainer:737) INFO: 21epoch:train:12201-12300batch: iter_time=0.003, forward_time=1.834, loss_ctc=68.874, loss_att=46.362, acc=0.722, loss=53.116, backward_time=0.998, grad_norm=52.926, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.200, optim0_lr0=8.768e-05, train_time=4.137 +[gpua002:0/64] 2023-12-09 16:47:38,659 (trainer:737) INFO: 21epoch:train:12301-12400batch: iter_time=0.005, forward_time=2.536, loss_ctc=62.045, loss_att=50.072, acc=0.723, loss=53.664, backward_time=1.121, grad_norm=59.311, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.229, optim0_lr0=8.766e-05, train_time=5.106 +[gpua002:0/64] 2023-12-09 16:54:27,772 (trainer:737) INFO: 21epoch:train:12401-12500batch: iter_time=0.002, forward_time=1.753, loss_ctc=62.629, loss_att=50.565, acc=0.719, loss=54.184, backward_time=1.086, grad_norm=57.948, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.230, optim0_lr0=8.765e-05, train_time=4.090 +[gpua002:0/64] 2023-12-09 16:54:48,017 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-09 16:55:08,522 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 16:55:12,785 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 16:55:12,849 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-09 16:55:13,600 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 17:08:41,901 (trainer:737) INFO: 21epoch:train:12501-12600batch: iter_time=7.211, forward_time=0.228, loss_ctc=60.659, loss_att=49.243, acc=0.713, loss=52.668, backward_time=0.294, grad_norm=62.196, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.764e-05, train_time=8.542 +[gpua002:0/64] 2023-12-09 17:11:03,158 (trainer:737) INFO: 21epoch:train:12601-12700batch: iter_time=8.824e-05, forward_time=0.233, loss_ctc=67.119, loss_att=53.371, acc=0.707, loss=57.496, backward_time=0.316, grad_norm=69.743, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.762e-05, train_time=1.412 +[gpua002:0/64] 2023-12-09 17:13:53,733 (trainer:737) INFO: 21epoch:train:12701-12800batch: iter_time=8.399e-05, forward_time=0.212, loss_ctc=68.461, loss_att=60.102, acc=0.716, loss=62.610, backward_time=0.301, grad_norm=69.255, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.761e-05, train_time=1.705 +[gpua002:0/64] 2023-12-09 17:16:57,123 (trainer:737) INFO: 21epoch:train:12801-12900batch: iter_time=8.872e-05, forward_time=0.226, loss_ctc=66.341, loss_att=53.584, acc=0.717, loss=57.411, backward_time=0.380, grad_norm=73.951, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.759e-05, train_time=1.834 +[gpua002:0/64] 2023-12-09 17:19:26,130 (trainer:737) INFO: 21epoch:train:12901-13000batch: iter_time=3.413e-04, forward_time=0.160, loss_ctc=65.193, loss_att=55.423, acc=0.706, loss=58.354, backward_time=0.299, grad_norm=76.223, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.758e-05, train_time=1.489 +[gpua002:0/64] 2023-12-09 17:22:03,546 (trainer:737) INFO: 21epoch:train:13001-13100batch: iter_time=8.917e-05, forward_time=0.235, loss_ctc=69.268, loss_att=50.291, acc=0.740, loss=55.984, backward_time=0.321, grad_norm=65.279, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.757e-05, train_time=1.573 +[gpua002:0/64] 2023-12-09 17:24:25,739 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 17:24:40,586 (trainer:737) INFO: 21epoch:train:13101-13200batch: iter_time=6.421e-04, forward_time=0.176, loss_ctc=62.069, loss_att=47.487, acc=0.732, loss=51.861, backward_time=0.337, grad_norm=58.016, clip=100.000, loss_scale=3.872e+31, optim_step_time=0.134, optim0_lr0=8.755e-05, train_time=1.571 +[gpua002:0/64] 2023-12-09 17:27:27,187 (trainer:737) INFO: 21epoch:train:13201-13300batch: iter_time=8.915e-05, forward_time=0.184, loss_ctc=60.323, loss_att=48.439, acc=0.727, loss=52.004, backward_time=0.320, grad_norm=54.827, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.754e-05, train_time=1.665 +[gpua002:0/64] 2023-12-09 17:30:37,236 (trainer:737) INFO: 21epoch:train:13301-13400batch: iter_time=9.013e-05, forward_time=0.242, loss_ctc=76.457, loss_att=70.475, acc=0.690, loss=72.270, backward_time=0.382, grad_norm=60.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.752e-05, train_time=1.900 +[gpua002:0/64] 2023-12-09 17:33:19,558 (trainer:737) INFO: 21epoch:train:13401-13500batch: iter_time=9.178e-05, forward_time=0.215, loss_ctc=68.152, loss_att=48.272, acc=0.730, loss=54.236, backward_time=0.303, grad_norm=68.578, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.751e-05, train_time=1.624 +[gpua002:0/64] 2023-12-09 17:35:57,308 (trainer:737) INFO: 21epoch:train:13501-13600batch: iter_time=9.743e-05, forward_time=0.149, loss_ctc=64.169, loss_att=51.244, acc=0.727, loss=55.122, backward_time=0.302, grad_norm=60.393, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.750e-05, train_time=1.577 +[gpua002:0/64] 2023-12-09 17:38:59,950 (trainer:737) INFO: 21epoch:train:13601-13700batch: iter_time=9.124e-05, forward_time=0.216, loss_ctc=64.508, loss_att=49.503, acc=0.737, loss=54.005, backward_time=0.404, grad_norm=58.044, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.748e-05, train_time=1.826 +[gpua002:0/64] 2023-12-09 17:40:30,137 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-09 17:40:49,721 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 17:40:53,459 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 17:40:53,459 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-09 17:40:53,462 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 17:50:06,163 (trainer:737) INFO: 21epoch:train:13701-13800batch: iter_time=3.233, forward_time=0.176, loss_ctc=58.659, loss_att=49.141, acc=0.713, loss=51.996, backward_time=0.295, grad_norm=52.753, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.747e-05, train_time=6.662 +[gpua002:0/64] 2023-12-09 17:52:08,398 (trainer:737) INFO: 21epoch:train:13801-13900batch: iter_time=9.337e-05, forward_time=0.158, loss_ctc=62.452, loss_att=54.127, acc=0.692, loss=56.625, backward_time=0.278, grad_norm=57.442, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.745e-05, train_time=1.222 +[gpua002:0/64] 2023-12-09 17:54:41,387 (trainer:737) INFO: 21epoch:train:13901-14000batch: iter_time=8.791e-05, forward_time=0.145, loss_ctc=66.690, loss_att=50.490, acc=0.715, loss=55.350, backward_time=0.342, grad_norm=56.840, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.744e-05, train_time=1.530 +[gpua002:0/64] 2023-12-09 17:57:10,502 (trainer:737) INFO: 21epoch:train:14001-14100batch: iter_time=9.289e-05, forward_time=0.195, loss_ctc=67.325, loss_att=52.807, acc=0.719, loss=57.163, backward_time=0.336, grad_norm=66.153, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.743e-05, train_time=1.491 +[gpua002:0/64] 2023-12-09 17:59:40,432 (trainer:737) INFO: 21epoch:train:14101-14200batch: iter_time=9.538e-05, forward_time=0.155, loss_ctc=66.705, loss_att=57.180, acc=0.711, loss=60.037, backward_time=0.288, grad_norm=92.531, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.741e-05, train_time=1.498 +[gpua002:0/64] 2023-12-09 18:02:41,735 (trainer:737) INFO: 21epoch:train:14201-14300batch: iter_time=9.354e-05, forward_time=0.146, loss_ctc=69.219, loss_att=54.141, acc=0.707, loss=58.664, backward_time=0.335, grad_norm=73.175, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.740e-05, train_time=1.814 +[gpua002:0/64] 2023-12-09 18:05:25,107 (trainer:737) INFO: 21epoch:train:14301-14400batch: iter_time=9.273e-05, forward_time=0.154, loss_ctc=66.750, loss_att=49.832, acc=0.728, loss=54.907, backward_time=0.308, grad_norm=58.552, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.738e-05, train_time=1.633 +[gpua002:0/64] 2023-12-09 18:08:04,264 (trainer:737) INFO: 21epoch:train:14401-14500batch: iter_time=8.905e-05, forward_time=0.147, loss_ctc=60.132, loss_att=46.257, acc=0.728, loss=50.420, backward_time=0.305, grad_norm=52.090, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.737e-05, train_time=1.592 +[gpua002:0/64] 2023-12-09 18:10:32,454 (trainer:737) INFO: 21epoch:train:14501-14600batch: iter_time=9.028e-05, forward_time=0.152, loss_ctc=70.717, loss_att=57.147, acc=0.704, loss=61.218, backward_time=0.301, grad_norm=52.874, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.736e-05, train_time=1.482 +[gpua002:0/64] 2023-12-09 18:13:33,764 (trainer:737) INFO: 21epoch:train:14601-14700batch: iter_time=9.400e-05, forward_time=0.177, loss_ctc=67.500, loss_att=61.771, acc=0.707, loss=63.490, backward_time=0.334, grad_norm=55.817, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=8.734e-05, train_time=1.813 +[gpua002:0/64] 2023-12-09 18:15:47,989 (trainer:737) INFO: 21epoch:train:14701-14800batch: iter_time=8.760e-05, forward_time=0.149, loss_ctc=68.656, loss_att=47.317, acc=0.721, loss=53.719, backward_time=0.285, grad_norm=80.917, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.733e-05, train_time=1.342 +[gpua002:0/64] 2023-12-09 18:18:28,402 (trainer:737) INFO: 21epoch:train:14801-14900batch: iter_time=8.371e-05, forward_time=0.187, loss_ctc=62.527, loss_att=50.033, acc=0.725, loss=53.781, backward_time=0.325, grad_norm=54.145, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=8.731e-05, train_time=1.604 +[gpua002:0/64] 2023-12-09 18:21:27,145 (trainer:737) INFO: 21epoch:train:14901-15000batch: iter_time=8.363e-05, forward_time=0.183, loss_ctc=62.393, loss_att=50.484, acc=0.721, loss=54.056, backward_time=0.363, grad_norm=62.887, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.730e-05, train_time=1.787 +[gpua002:0/64] 2023-12-09 18:47:43,485 (trainer:343) INFO: 21epoch results: [train] iter_time=0.297, forward_time=0.261, loss_ctc=66.611, loss_att=53.283, acc=0.714, loss=57.281, backward_time=0.367, grad_norm=63.378, clip=100.000, loss_scale=4.645e+31, optim_step_time=0.138, optim0_lr0=8.836e-05, train_time=2.216, time=9 hours, 14 minutes and 20.93 seconds, total_count=315000, gpu_max_cached_mem_GB=35.426, [valid] loss_ctc=40.265, cer_ctc=0.201, loss_att=38.766, acc=0.711, cer=0.278, wer=0.954, loss=39.216, time=25 minutes and 52.03 seconds, total_count=98091, gpu_max_cached_mem_GB=35.426 +[gpua002:0/64] 2023-12-09 18:48:08,768 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-09 18:48:08,818 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/16epoch.pth +[gpua002:0/64] 2023-12-09 18:48:08,823 (trainer:272) INFO: 22/40epoch started. Estimated time to finish: 1 week, 15 hours and 52 minutes +[gpua002:0/64] 2023-12-09 18:48:09,098 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-09 18:48:27,841 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 18:48:31,278 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 18:48:31,278 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-09 18:48:31,281 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 18:58:12,723 (trainer:737) INFO: 22epoch:train:1-100batch: iter_time=2.575, forward_time=0.204, loss_ctc=65.993, loss_att=52.381, acc=0.717, loss=56.465, backward_time=0.295, grad_norm=77.553, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.729e-05, train_time=6.036 +[gpua002:0/64] 2023-12-09 19:00:43,812 (trainer:737) INFO: 22epoch:train:101-200batch: iter_time=7.732e-05, forward_time=0.148, loss_ctc=61.456, loss_att=49.384, acc=0.714, loss=53.006, backward_time=0.295, grad_norm=54.566, clip=100.000, loss_scale=2.211e+31, optim_step_time=0.136, optim0_lr0=8.727e-05, train_time=1.511 +[gpua002:0/64] 2023-12-09 19:02:55,307 (trainer:737) INFO: 22epoch:train:201-300batch: iter_time=7.598e-05, forward_time=0.158, loss_ctc=73.748, loss_att=59.250, acc=0.688, loss=63.599, backward_time=0.288, grad_norm=61.449, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.726e-05, train_time=1.315 +[gpua002:0/64] 2023-12-09 19:05:13,009 (trainer:737) INFO: 22epoch:train:301-400batch: iter_time=7.647e-05, forward_time=0.149, loss_ctc=68.923, loss_att=60.376, acc=0.687, loss=62.940, backward_time=0.294, grad_norm=61.087, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.725e-05, train_time=1.377 +[gpua002:0/64] 2023-12-09 19:07:33,934 (trainer:737) INFO: 22epoch:train:401-500batch: iter_time=7.778e-05, forward_time=0.148, loss_ctc=64.648, loss_att=49.354, acc=0.715, loss=53.942, backward_time=0.283, grad_norm=55.468, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.723e-05, train_time=1.409 +[gpua002:0/64] 2023-12-09 19:09:54,512 (trainer:737) INFO: 22epoch:train:501-600batch: iter_time=7.648e-05, forward_time=0.149, loss_ctc=81.923, loss_att=64.785, acc=0.686, loss=69.926, backward_time=0.297, grad_norm=83.572, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.722e-05, train_time=1.406 +[gpua002:0/64] 2023-12-09 19:12:29,986 (trainer:737) INFO: 22epoch:train:601-700batch: iter_time=7.910e-05, forward_time=0.148, loss_ctc=71.155, loss_att=55.420, acc=0.708, loss=60.140, backward_time=0.294, grad_norm=68.310, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.720e-05, train_time=1.555 +[gpua002:0/64] 2023-12-09 19:15:07,903 (trainer:737) INFO: 22epoch:train:701-800batch: iter_time=7.731e-05, forward_time=0.148, loss_ctc=70.506, loss_att=54.748, acc=0.697, loss=59.475, backward_time=0.327, grad_norm=63.746, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.719e-05, train_time=1.578 +[gpua002:0/64] 2023-12-09 19:17:40,553 (trainer:737) INFO: 22epoch:train:801-900batch: iter_time=7.703e-05, forward_time=0.163, loss_ctc=73.239, loss_att=52.022, acc=0.706, loss=58.387, backward_time=0.297, grad_norm=68.803, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.718e-05, train_time=1.526 +[gpua002:0/64] 2023-12-09 19:20:06,898 (trainer:737) INFO: 22epoch:train:901-1000batch: iter_time=7.763e-05, forward_time=0.148, loss_ctc=67.686, loss_att=55.702, acc=0.703, loss=59.297, backward_time=0.293, grad_norm=72.821, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.716e-05, train_time=1.464 +[gpua002:0/64] 2023-12-09 19:22:36,506 (trainer:737) INFO: 22epoch:train:1001-1100batch: iter_time=1.939e-04, forward_time=0.158, loss_ctc=75.804, loss_att=60.943, acc=0.697, loss=65.401, backward_time=0.302, grad_norm=65.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.715e-05, train_time=1.496 +[gpua002:0/64] 2023-12-09 19:25:46,571 (trainer:737) INFO: 22epoch:train:1101-1200batch: iter_time=7.933e-05, forward_time=0.174, loss_ctc=68.084, loss_att=54.907, acc=0.711, loss=58.860, backward_time=0.320, grad_norm=75.189, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.713e-05, train_time=1.900 +[gpua002:0/64] 2023-12-09 19:27:22,731 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-09 19:27:41,899 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 19:27:45,401 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 19:27:45,401 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-09 19:27:45,404 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 19:32:59,080 (trainer:737) INFO: 22epoch:train:1201-1300batch: iter_time=2.451, forward_time=0.195, loss_ctc=69.558, loss_att=56.758, acc=0.711, loss=60.598, backward_time=0.316, grad_norm=74.198, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.712e-05, train_time=4.325 +[gpua002:0/64] 2023-12-09 19:34:59,175 (trainer:737) INFO: 22epoch:train:1301-1400batch: iter_time=7.777e-05, forward_time=0.148, loss_ctc=61.363, loss_att=45.219, acc=0.715, loss=50.062, backward_time=0.280, grad_norm=54.310, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.711e-05, train_time=1.201 +[gpua002:0/64] 2023-12-09 19:37:16,131 (trainer:737) INFO: 22epoch:train:1401-1500batch: iter_time=6.898e-05, forward_time=0.150, loss_ctc=62.730, loss_att=51.271, acc=0.720, loss=54.709, backward_time=0.285, grad_norm=63.545, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.709e-05, train_time=1.369 +[gpua002:0/64] 2023-12-09 19:39:41,300 (trainer:737) INFO: 22epoch:train:1501-1600batch: iter_time=7.274e-05, forward_time=0.166, loss_ctc=70.917, loss_att=57.219, acc=0.692, loss=61.328, backward_time=0.290, grad_norm=61.163, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.708e-05, train_time=1.451 +[gpua002:0/64] 2023-12-09 19:41:47,957 (trainer:737) INFO: 22epoch:train:1601-1700batch: iter_time=0.001, forward_time=0.150, loss_ctc=68.958, loss_att=59.158, acc=0.689, loss=62.098, backward_time=0.283, grad_norm=55.976, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.707e-05, train_time=1.267 +[gpua002:0/64] 2023-12-09 19:44:05,913 (trainer:737) INFO: 22epoch:train:1701-1800batch: iter_time=8.005e-05, forward_time=0.169, loss_ctc=67.274, loss_att=52.644, acc=0.717, loss=57.033, backward_time=0.310, grad_norm=52.379, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.705e-05, train_time=1.379 +[gpua002:0/64] 2023-12-09 19:46:24,778 (trainer:737) INFO: 22epoch:train:1801-1900batch: iter_time=0.005, forward_time=0.192, loss_ctc=78.477, loss_att=59.610, acc=0.707, loss=65.270, backward_time=0.300, grad_norm=68.629, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.704e-05, train_time=1.388 +[gpua002:0/64] 2023-12-09 19:49:19,446 (trainer:737) INFO: 22epoch:train:1901-2000batch: iter_time=7.919e-05, forward_time=0.182, loss_ctc=77.051, loss_att=61.150, acc=0.691, loss=65.920, backward_time=0.323, grad_norm=71.980, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.702e-05, train_time=1.747 +[gpua002:0/64] 2023-12-09 19:52:15,390 (trainer:737) INFO: 22epoch:train:2001-2100batch: iter_time=7.812e-05, forward_time=0.156, loss_ctc=66.463, loss_att=49.426, acc=0.710, loss=54.537, backward_time=0.311, grad_norm=69.428, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.701e-05, train_time=1.759 +[gpua002:0/64] 2023-12-09 19:54:56,597 (trainer:737) INFO: 22epoch:train:2101-2200batch: iter_time=7.903e-05, forward_time=0.148, loss_ctc=63.611, loss_att=45.824, acc=0.717, loss=51.160, backward_time=0.311, grad_norm=53.753, clip=100.000, loss_scale=4.422e+31, optim_step_time=0.136, optim0_lr0=8.700e-05, train_time=1.612 +[gpua002:0/64] 2023-12-09 19:57:29,920 (trainer:737) INFO: 22epoch:train:2201-2300batch: iter_time=2.295e-04, forward_time=0.157, loss_ctc=73.129, loss_att=59.529, acc=0.708, loss=63.609, backward_time=0.318, grad_norm=66.425, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.698e-05, train_time=1.532 +[gpua002:0/64] 2023-12-09 19:59:43,261 (trainer:737) INFO: 22epoch:train:2301-2400batch: iter_time=7.744e-05, forward_time=0.161, loss_ctc=71.424, loss_att=59.565, acc=0.699, loss=63.123, backward_time=0.317, grad_norm=64.846, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.697e-05, train_time=1.333 +[gpua002:0/64] 2023-12-09 20:02:06,103 (trainer:737) INFO: 22epoch:train:2401-2500batch: iter_time=7.796e-05, forward_time=0.190, loss_ctc=68.478, loss_att=56.555, acc=0.707, loss=60.132, backward_time=0.326, grad_norm=60.601, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.696e-05, train_time=1.430 +[gpua002:0/64] 2023-12-09 20:02:26,151 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-09 20:02:45,773 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 20:02:49,235 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 20:02:49,235 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-09 20:02:49,243 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 20:13:21,895 (trainer:737) INFO: 22epoch:train:2501-2600batch: iter_time=2.757, forward_time=0.210, loss_ctc=65.346, loss_att=51.354, acc=0.724, loss=55.552, backward_time=0.292, grad_norm=51.946, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.694e-05, train_time=6.758 +[gpua002:0/64] 2023-12-09 20:15:24,504 (trainer:737) INFO: 22epoch:train:2601-2700batch: iter_time=7.565e-05, forward_time=0.148, loss_ctc=60.190, loss_att=48.216, acc=0.721, loss=51.808, backward_time=0.283, grad_norm=64.653, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.693e-05, train_time=1.226 +[gpua002:0/64] 2023-12-09 20:18:00,833 (trainer:737) INFO: 22epoch:train:2701-2800batch: iter_time=7.551e-05, forward_time=0.147, loss_ctc=71.983, loss_att=57.061, acc=0.696, loss=61.538, backward_time=0.301, grad_norm=77.823, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.692e-05, train_time=1.563 +[gpua002:0/64] 2023-12-09 20:20:25,958 (trainer:737) INFO: 22epoch:train:2801-2900batch: iter_time=4.865e-04, forward_time=0.167, loss_ctc=67.291, loss_att=58.665, acc=0.696, loss=61.253, backward_time=0.304, grad_norm=54.919, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.690e-05, train_time=1.451 +[gpua002:0/64] 2023-12-09 20:23:07,458 (trainer:737) INFO: 22epoch:train:2901-3000batch: iter_time=8.245e-05, forward_time=0.188, loss_ctc=64.064, loss_att=47.810, acc=0.725, loss=52.686, backward_time=0.313, grad_norm=61.365, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.689e-05, train_time=1.615 +[gpua002:0/64] 2023-12-09 20:26:12,773 (trainer:737) INFO: 22epoch:train:3001-3100batch: iter_time=7.594e-05, forward_time=0.198, loss_ctc=79.295, loss_att=63.439, acc=0.692, loss=68.196, backward_time=0.322, grad_norm=72.157, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.687e-05, train_time=1.853 +[gpua002:0/64] 2023-12-09 20:28:42,204 (trainer:737) INFO: 22epoch:train:3101-3200batch: iter_time=7.839e-05, forward_time=0.148, loss_ctc=69.685, loss_att=53.855, acc=0.714, loss=58.604, backward_time=0.293, grad_norm=59.238, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.686e-05, train_time=1.494 +[gpua002:0/64] 2023-12-09 20:31:22,373 (trainer:737) INFO: 22epoch:train:3201-3300batch: iter_time=7.613e-05, forward_time=0.147, loss_ctc=69.164, loss_att=53.323, acc=0.703, loss=58.075, backward_time=0.342, grad_norm=62.882, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.685e-05, train_time=1.601 +[gpua002:0/64] 2023-12-09 20:33:49,264 (trainer:737) INFO: 22epoch:train:3301-3400batch: iter_time=7.897e-05, forward_time=0.147, loss_ctc=71.418, loss_att=50.581, acc=0.711, loss=56.832, backward_time=0.301, grad_norm=55.007, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.683e-05, train_time=1.469 +[gpua002:0/64] 2023-12-09 20:36:34,709 (trainer:737) INFO: 22epoch:train:3401-3500batch: iter_time=7.971e-05, forward_time=0.147, loss_ctc=66.987, loss_att=54.729, acc=0.709, loss=58.406, backward_time=0.314, grad_norm=60.549, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.682e-05, train_time=1.654 +[gpua002:0/64] 2023-12-09 20:38:39,510 (trainer:737) INFO: 22epoch:train:3501-3600batch: iter_time=7.898e-05, forward_time=0.159, loss_ctc=73.024, loss_att=59.392, acc=0.703, loss=63.482, backward_time=0.283, grad_norm=70.357, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.681e-05, train_time=1.248 +[gpua002:0/64] 2023-12-09 20:40:47,769 (trainer:737) INFO: 22epoch:train:3601-3700batch: iter_time=7.826e-05, forward_time=0.156, loss_ctc=67.358, loss_att=54.160, acc=0.716, loss=58.120, backward_time=0.288, grad_norm=56.315, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.679e-05, train_time=1.282 +[gpua002:0/64] 2023-12-09 20:42:11,225 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-09 20:42:30,711 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 20:42:34,259 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 20:42:34,259 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-09 20:42:34,262 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 20:48:18,244 (trainer:737) INFO: 22epoch:train:3701-3800batch: iter_time=2.741, forward_time=0.193, loss_ctc=66.414, loss_att=54.904, acc=0.717, loss=58.357, backward_time=0.321, grad_norm=59.915, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.678e-05, train_time=4.504 +[gpua002:0/64] 2023-12-09 20:50:32,478 (trainer:737) INFO: 22epoch:train:3801-3900batch: iter_time=8.123e-05, forward_time=0.147, loss_ctc=60.200, loss_att=44.574, acc=0.721, loss=49.262, backward_time=0.281, grad_norm=57.283, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.677e-05, train_time=1.342 +[gpua002:0/64] 2023-12-09 20:52:40,154 (trainer:737) INFO: 22epoch:train:3901-4000batch: iter_time=7.889e-05, forward_time=0.147, loss_ctc=62.318, loss_att=50.379, acc=0.726, loss=53.961, backward_time=0.293, grad_norm=54.886, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.675e-05, train_time=1.277 +[gpua002:0/64] 2023-12-09 20:54:57,501 (trainer:737) INFO: 22epoch:train:4001-4100batch: iter_time=7.517e-05, forward_time=0.149, loss_ctc=70.511, loss_att=55.547, acc=0.698, loss=60.036, backward_time=0.294, grad_norm=72.417, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.674e-05, train_time=1.373 +[gpua002:0/64] 2023-12-09 20:55:58,054 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 20:57:31,186 (trainer:737) INFO: 22epoch:train:4101-4200batch: iter_time=7.796e-05, forward_time=0.285, loss_ctc=67.834, loss_att=58.426, acc=0.692, loss=61.248, backward_time=0.326, grad_norm=64.642, clip=100.000, loss_scale=5.818e+31, optim_step_time=0.142, optim0_lr0=8.672e-05, train_time=1.537 +[gpua002:0/64] 2023-12-09 20:59:52,627 (trainer:737) INFO: 22epoch:train:4201-4300batch: iter_time=7.277e-05, forward_time=0.149, loss_ctc=66.845, loss_att=51.980, acc=0.719, loss=56.439, backward_time=0.307, grad_norm=58.923, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.671e-05, train_time=1.414 +[gpua002:0/64] 2023-12-09 21:02:13,546 (trainer:737) INFO: 22epoch:train:4301-4400batch: iter_time=8.289e-05, forward_time=0.148, loss_ctc=77.277, loss_att=58.808, acc=0.711, loss=64.348, backward_time=0.303, grad_norm=72.682, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.670e-05, train_time=1.409 +[gpua002:0/64] 2023-12-09 21:03:55,085 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 21:04:56,092 (trainer:737) INFO: 22epoch:train:4401-4500batch: iter_time=7.562e-05, forward_time=0.147, loss_ctc=75.302, loss_att=60.448, acc=0.693, loss=64.905, backward_time=0.336, grad_norm=67.473, clip=100.000, loss_scale=3.155e+31, optim_step_time=0.136, optim0_lr0=8.668e-05, train_time=1.625 +[gpua002:0/64] 2023-12-09 21:07:19,414 (trainer:737) INFO: 22epoch:train:4501-4600batch: iter_time=7.938e-05, forward_time=0.148, loss_ctc=65.711, loss_att=48.928, acc=0.714, loss=53.963, backward_time=0.289, grad_norm=53.086, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.667e-05, train_time=1.433 +[gpua002:0/64] 2023-12-09 21:09:50,448 (trainer:737) INFO: 22epoch:train:4601-4700batch: iter_time=7.816e-05, forward_time=0.147, loss_ctc=61.978, loss_att=45.763, acc=0.717, loss=50.628, backward_time=0.295, grad_norm=52.395, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.666e-05, train_time=1.510 +[gpua002:0/64] 2023-12-09 21:12:15,548 (trainer:737) INFO: 22epoch:train:4701-4800batch: iter_time=7.632e-05, forward_time=0.147, loss_ctc=71.644, loss_att=58.249, acc=0.711, loss=62.268, backward_time=0.301, grad_norm=61.336, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.664e-05, train_time=1.451 +[gpua002:0/64] 2023-12-09 21:14:57,815 (trainer:737) INFO: 22epoch:train:4801-4900batch: iter_time=7.735e-05, forward_time=0.148, loss_ctc=69.665, loss_att=57.646, acc=0.705, loss=61.252, backward_time=0.304, grad_norm=65.043, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.663e-05, train_time=1.622 +[gpua002:0/64] 2023-12-09 21:17:31,262 (trainer:737) INFO: 22epoch:train:4901-5000batch: iter_time=1.078e-04, forward_time=0.151, loss_ctc=67.388, loss_att=55.422, acc=0.713, loss=59.012, backward_time=0.346, grad_norm=63.175, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.662e-05, train_time=1.534 +[gpua002:0/64] 2023-12-09 21:17:51,291 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-09 21:18:10,570 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 21:18:14,051 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 21:18:14,051 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-09 21:18:14,070 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 21:29:06,247 (trainer:737) INFO: 22epoch:train:5001-5100batch: iter_time=3.295, forward_time=0.179, loss_ctc=64.231, loss_att=50.367, acc=0.729, loss=54.526, backward_time=0.288, grad_norm=55.636, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.660e-05, train_time=6.950 +[gpua002:0/64] 2023-12-09 21:31:14,180 (trainer:737) INFO: 22epoch:train:5101-5200batch: iter_time=7.507e-05, forward_time=0.149, loss_ctc=60.155, loss_att=48.305, acc=0.723, loss=51.860, backward_time=0.288, grad_norm=63.244, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.659e-05, train_time=1.279 +[gpua002:0/64] 2023-12-09 21:33:24,016 (trainer:737) INFO: 22epoch:train:5201-5300batch: iter_time=8.371e-05, forward_time=0.147, loss_ctc=71.006, loss_att=56.291, acc=0.697, loss=60.706, backward_time=0.281, grad_norm=58.990, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.658e-05, train_time=1.298 +[gpua002:0/64] 2023-12-09 21:35:49,651 (trainer:737) INFO: 22epoch:train:5301-5400batch: iter_time=8.574e-05, forward_time=0.148, loss_ctc=67.131, loss_att=57.898, acc=0.698, loss=60.668, backward_time=0.307, grad_norm=51.351, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.656e-05, train_time=1.456 +[gpua002:0/64] 2023-12-09 21:38:06,897 (trainer:737) INFO: 22epoch:train:5401-5500batch: iter_time=7.949e-05, forward_time=0.147, loss_ctc=64.084, loss_att=47.830, acc=0.727, loss=52.706, backward_time=0.281, grad_norm=52.481, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.655e-05, train_time=1.372 +[gpua002:0/64] 2023-12-09 21:41:09,579 (trainer:737) INFO: 22epoch:train:5501-5600batch: iter_time=8.159e-05, forward_time=0.165, loss_ctc=76.937, loss_att=62.198, acc=0.697, loss=66.620, backward_time=0.316, grad_norm=71.545, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.654e-05, train_time=1.827 +[gpua002:0/64] 2023-12-09 21:43:32,133 (trainer:737) INFO: 22epoch:train:5601-5700batch: iter_time=8.048e-05, forward_time=0.219, loss_ctc=68.949, loss_att=52.991, acc=0.718, loss=57.778, backward_time=0.320, grad_norm=83.663, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.652e-05, train_time=1.425 +[gpua002:0/64] 2023-12-09 21:45:53,364 (trainer:737) INFO: 22epoch:train:5701-5800batch: iter_time=7.796e-05, forward_time=0.163, loss_ctc=67.986, loss_att=53.573, acc=0.705, loss=57.897, backward_time=0.295, grad_norm=66.690, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.651e-05, train_time=1.412 +[gpua002:0/64] 2023-12-09 21:48:29,987 (trainer:737) INFO: 22epoch:train:5801-5900batch: iter_time=7.588e-05, forward_time=0.147, loss_ctc=71.551, loss_att=50.554, acc=0.713, loss=56.853, backward_time=0.292, grad_norm=60.565, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.649e-05, train_time=1.566 +[gpua002:0/64] 2023-12-09 21:51:18,131 (trainer:737) INFO: 22epoch:train:5901-6000batch: iter_time=7.983e-05, forward_time=0.147, loss_ctc=66.073, loss_att=53.864, acc=0.712, loss=57.527, backward_time=0.308, grad_norm=59.144, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.648e-05, train_time=1.681 +[gpua002:0/64] 2023-12-09 21:53:33,206 (trainer:737) INFO: 22epoch:train:6001-6100batch: iter_time=7.818e-05, forward_time=0.147, loss_ctc=71.795, loss_att=58.373, acc=0.706, loss=62.399, backward_time=0.286, grad_norm=66.148, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.647e-05, train_time=1.351 +[gpua002:0/64] 2023-12-09 21:55:36,867 (trainer:737) INFO: 22epoch:train:6101-6200batch: iter_time=7.665e-05, forward_time=0.148, loss_ctc=66.598, loss_att=53.875, acc=0.716, loss=57.692, backward_time=0.282, grad_norm=63.494, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.645e-05, train_time=1.236 +[gpua002:0/64] 2023-12-09 21:56:59,980 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-09 21:57:19,204 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 21:57:22,716 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 21:57:22,716 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-09 21:57:22,720 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 22:03:15,051 (trainer:737) INFO: 22epoch:train:6201-6300batch: iter_time=3.147, forward_time=0.206, loss_ctc=66.042, loss_att=56.395, acc=0.721, loss=59.289, backward_time=0.287, grad_norm=64.676, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.644e-05, train_time=4.582 +[gpua002:0/64] 2023-12-09 22:05:30,882 (trainer:737) INFO: 22epoch:train:6301-6400batch: iter_time=8.554e-05, forward_time=0.148, loss_ctc=60.619, loss_att=46.062, acc=0.724, loss=50.429, backward_time=0.284, grad_norm=80.571, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.643e-05, train_time=1.358 +[gpua002:0/64] 2023-12-09 22:08:12,385 (trainer:737) INFO: 22epoch:train:6401-6500batch: iter_time=8.227e-05, forward_time=0.150, loss_ctc=62.663, loss_att=52.452, acc=0.726, loss=55.515, backward_time=0.322, grad_norm=53.978, clip=100.000, loss_scale=2.921e+31, optim_step_time=0.135, optim0_lr0=8.641e-05, train_time=1.615 +[gpua002:0/64] 2023-12-09 22:10:17,053 (trainer:737) INFO: 22epoch:train:6501-6600batch: iter_time=8.225e-05, forward_time=0.173, loss_ctc=69.491, loss_att=56.223, acc=0.706, loss=60.204, backward_time=0.287, grad_norm=72.081, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.640e-05, train_time=1.246 +[gpua002:0/64] 2023-12-09 22:12:20,340 (trainer:737) INFO: 22epoch:train:6601-6700batch: iter_time=8.117e-05, forward_time=0.147, loss_ctc=67.178, loss_att=59.513, acc=0.698, loss=61.812, backward_time=0.289, grad_norm=67.497, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.639e-05, train_time=1.233 +[gpua002:0/64] 2023-12-09 22:14:46,155 (trainer:737) INFO: 22epoch:train:6701-6800batch: iter_time=8.582e-05, forward_time=0.147, loss_ctc=67.034, loss_att=54.319, acc=0.723, loss=58.133, backward_time=0.300, grad_norm=55.133, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.637e-05, train_time=1.458 +[gpua002:0/64] 2023-12-09 22:17:02,212 (trainer:737) INFO: 22epoch:train:6801-6900batch: iter_time=7.956e-05, forward_time=0.148, loss_ctc=75.314, loss_att=58.237, acc=0.719, loss=63.360, backward_time=0.290, grad_norm=60.004, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.636e-05, train_time=1.360 +[gpua002:0/64] 2023-12-09 22:19:32,787 (trainer:737) INFO: 22epoch:train:6901-7000batch: iter_time=7.381e-05, forward_time=0.162, loss_ctc=74.890, loss_att=62.446, acc=0.702, loss=66.179, backward_time=0.291, grad_norm=82.291, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.635e-05, train_time=1.506 +[gpua002:0/64] 2023-12-09 22:22:15,574 (trainer:737) INFO: 22epoch:train:7001-7100batch: iter_time=7.567e-05, forward_time=0.148, loss_ctc=64.839, loss_att=48.933, acc=0.718, loss=53.705, backward_time=0.300, grad_norm=57.509, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.633e-05, train_time=1.628 +[gpua002:0/64] 2023-12-09 22:25:07,581 (trainer:737) INFO: 22epoch:train:7101-7200batch: iter_time=8.006e-05, forward_time=0.147, loss_ctc=61.742, loss_att=45.436, acc=0.725, loss=50.327, backward_time=0.313, grad_norm=56.349, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.632e-05, train_time=1.720 +[gpua002:0/64] 2023-12-09 22:27:41,137 (trainer:737) INFO: 22epoch:train:7201-7300batch: iter_time=7.924e-05, forward_time=0.147, loss_ctc=71.095, loss_att=59.873, acc=0.716, loss=63.240, backward_time=0.303, grad_norm=75.151, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.631e-05, train_time=1.535 +[gpua002:0/64] 2023-12-09 22:30:19,516 (trainer:737) INFO: 22epoch:train:7301-7400batch: iter_time=8.558e-04, forward_time=0.196, loss_ctc=69.093, loss_att=59.482, acc=0.709, loss=62.365, backward_time=0.313, grad_norm=114.700, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.146, optim0_lr0=8.629e-05, train_time=1.584 +[gpua002:0/64] 2023-12-09 22:32:34,442 (trainer:737) INFO: 22epoch:train:7401-7500batch: iter_time=8.041e-05, forward_time=0.173, loss_ctc=67.106, loss_att=56.465, acc=0.719, loss=59.657, backward_time=0.304, grad_norm=57.211, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=8.628e-05, train_time=1.349 +[gpua002:0/64] 2023-12-09 22:32:54,471 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-09 22:33:13,742 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 22:33:17,272 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 22:33:17,273 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-09 22:33:17,276 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 22:39:50,322 (trainer:737) INFO: 22epoch:train:7501-7600batch: iter_time=3.025, forward_time=0.197, loss_ctc=64.062, loss_att=50.801, acc=0.737, loss=54.779, backward_time=0.289, grad_norm=51.201, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.627e-05, train_time=4.358 +[gpua002:0/64] 2023-12-09 22:41:51,549 (trainer:737) INFO: 22epoch:train:7601-7700batch: iter_time=7.903e-05, forward_time=0.147, loss_ctc=59.633, loss_att=48.322, acc=0.727, loss=51.715, backward_time=0.281, grad_norm=50.665, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.625e-05, train_time=1.212 +[gpua002:0/64] 2023-12-09 22:43:42,925 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 22:44:24,842 (trainer:737) INFO: 22epoch:train:7701-7800batch: iter_time=7.491e-05, forward_time=0.147, loss_ctc=70.412, loss_att=56.406, acc=0.703, loss=60.608, backward_time=0.330, grad_norm=66.659, clip=100.000, loss_scale=3.339e+31, optim_step_time=0.136, optim0_lr0=8.624e-05, train_time=1.533 +[gpua002:0/64] 2023-12-09 22:47:15,614 (trainer:737) INFO: 22epoch:train:7801-7900batch: iter_time=7.948e-05, forward_time=0.147, loss_ctc=66.811, loss_att=58.240, acc=0.709, loss=60.812, backward_time=0.360, grad_norm=57.462, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.623e-05, train_time=1.707 +[gpua002:0/64] 2023-12-09 22:49:38,800 (trainer:737) INFO: 22epoch:train:7901-8000batch: iter_time=7.596e-05, forward_time=0.158, loss_ctc=63.290, loss_att=48.793, acc=0.731, loss=53.142, backward_time=0.294, grad_norm=57.956, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.621e-05, train_time=1.432 +[gpua002:0/64] 2023-12-09 22:52:18,713 (trainer:737) INFO: 22epoch:train:8001-8100batch: iter_time=7.662e-05, forward_time=0.149, loss_ctc=76.799, loss_att=62.984, acc=0.707, loss=67.128, backward_time=0.308, grad_norm=71.866, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.620e-05, train_time=1.599 +[gpua002:0/64] 2023-12-09 22:54:51,889 (trainer:737) INFO: 22epoch:train:8101-8200batch: iter_time=7.601e-05, forward_time=0.151, loss_ctc=68.945, loss_att=53.693, acc=0.728, loss=58.268, backward_time=0.295, grad_norm=68.348, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.619e-05, train_time=1.532 +[gpua002:0/64] 2023-12-09 22:57:19,035 (trainer:737) INFO: 22epoch:train:8201-8300batch: iter_time=7.847e-05, forward_time=0.173, loss_ctc=66.664, loss_att=54.881, acc=0.708, loss=58.416, backward_time=0.300, grad_norm=75.509, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.617e-05, train_time=1.471 +[gpua002:0/64] 2023-12-09 22:59:51,229 (trainer:737) INFO: 22epoch:train:8301-8400batch: iter_time=8.536e-05, forward_time=0.188, loss_ctc=71.000, loss_att=50.804, acc=0.720, loss=56.863, backward_time=0.314, grad_norm=61.573, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.616e-05, train_time=1.522 +[gpua002:0/64] 2023-12-09 23:02:58,469 (trainer:737) INFO: 22epoch:train:8401-8500batch: iter_time=7.731e-05, forward_time=0.164, loss_ctc=65.986, loss_att=55.842, acc=0.715, loss=58.885, backward_time=0.367, grad_norm=101.029, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.615e-05, train_time=1.872 +[gpua002:0/64] 2023-12-09 23:05:17,516 (trainer:737) INFO: 22epoch:train:8501-8600batch: iter_time=7.729e-05, forward_time=0.147, loss_ctc=71.068, loss_att=59.422, acc=0.712, loss=62.916, backward_time=0.293, grad_norm=109.587, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.613e-05, train_time=1.391 +[gpua002:0/64] 2023-12-09 23:07:41,084 (trainer:737) INFO: 22epoch:train:8601-8700batch: iter_time=7.604e-05, forward_time=0.147, loss_ctc=66.239, loss_att=54.119, acc=0.721, loss=57.755, backward_time=0.284, grad_norm=62.859, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.612e-05, train_time=1.435 +[gpua002:0/64] 2023-12-09 23:09:32,834 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-09 23:09:51,919 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 23:09:55,421 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 23:09:55,421 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-09 23:09:55,425 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 23:15:24,694 (trainer:737) INFO: 22epoch:train:8701-8800batch: iter_time=3.034, forward_time=0.177, loss_ctc=65.368, loss_att=54.398, acc=0.731, loss=57.689, backward_time=0.301, grad_norm=56.384, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.611e-05, train_time=4.635 +[gpua002:0/64] 2023-12-09 23:17:31,312 (trainer:737) INFO: 22epoch:train:8801-8900batch: iter_time=7.518e-05, forward_time=0.148, loss_ctc=60.313, loss_att=44.848, acc=0.728, loss=49.488, backward_time=0.283, grad_norm=55.754, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.609e-05, train_time=1.267 +[gpua002:0/64] 2023-12-09 23:19:48,984 (trainer:737) INFO: 22epoch:train:8901-9000batch: iter_time=7.719e-05, forward_time=0.148, loss_ctc=62.240, loss_att=51.097, acc=0.730, loss=54.440, backward_time=0.284, grad_norm=50.562, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.608e-05, train_time=1.376 +[gpua002:0/64] 2023-12-09 23:22:16,334 (trainer:737) INFO: 22epoch:train:9001-9100batch: iter_time=7.703e-05, forward_time=0.148, loss_ctc=69.216, loss_att=54.860, acc=0.713, loss=59.167, backward_time=0.304, grad_norm=60.877, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.607e-05, train_time=1.473 +[gpua002:0/64] 2023-12-09 23:24:36,969 (trainer:737) INFO: 22epoch:train:9101-9200batch: iter_time=7.712e-05, forward_time=0.147, loss_ctc=67.449, loss_att=58.470, acc=0.702, loss=61.164, backward_time=0.285, grad_norm=55.401, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.605e-05, train_time=1.406 +[gpua002:0/64] 2023-12-09 23:27:25,624 (trainer:737) INFO: 22epoch:train:9201-9300batch: iter_time=8.024e-05, forward_time=0.200, loss_ctc=66.244, loss_att=52.665, acc=0.730, loss=56.738, backward_time=0.363, grad_norm=52.584, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=8.604e-05, train_time=1.686 +[gpua002:0/64] 2023-12-09 23:30:09,178 (trainer:737) INFO: 22epoch:train:9301-9400batch: iter_time=7.818e-05, forward_time=0.149, loss_ctc=74.634, loss_att=57.266, acc=0.724, loss=62.477, backward_time=0.323, grad_norm=60.476, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.603e-05, train_time=1.635 +[gpua002:0/64] 2023-12-09 23:32:12,195 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 23:32:17,204 (trainer:737) INFO: 22epoch:train:9401-9500batch: iter_time=7.272e-05, forward_time=0.148, loss_ctc=75.100, loss_att=62.366, acc=0.705, loss=66.186, backward_time=0.283, grad_norm=78.542, clip=100.000, loss_scale=1.998e+31, optim_step_time=0.136, optim0_lr0=8.601e-05, train_time=1.281 +[gpua002:0/64] 2023-12-09 23:34:46,631 (trainer:737) INFO: 22epoch:train:9501-9600batch: iter_time=8.079e-05, forward_time=0.147, loss_ctc=64.872, loss_att=48.588, acc=0.721, loss=53.473, backward_time=0.328, grad_norm=82.998, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.600e-05, train_time=1.494 +[gpua002:0/64] 2023-12-09 23:37:21,715 (trainer:737) INFO: 22epoch:train:9601-9700batch: iter_time=7.870e-05, forward_time=0.147, loss_ctc=61.836, loss_att=45.350, acc=0.727, loss=50.296, backward_time=0.298, grad_norm=66.395, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.599e-05, train_time=1.551 +[gpua002:0/64] 2023-12-09 23:40:00,355 (trainer:737) INFO: 22epoch:train:9701-9800batch: iter_time=7.896e-05, forward_time=0.147, loss_ctc=70.794, loss_att=58.928, acc=0.717, loss=62.488, backward_time=0.371, grad_norm=59.526, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.597e-05, train_time=1.586 +[gpua002:0/64] 2023-12-09 23:42:32,896 (trainer:737) INFO: 22epoch:train:9801-9900batch: iter_time=7.846e-05, forward_time=0.147, loss_ctc=68.543, loss_att=58.543, acc=0.713, loss=61.543, backward_time=0.284, grad_norm=73.003, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.596e-05, train_time=1.525 +[gpua002:0/64] 2023-12-09 23:44:57,049 (trainer:737) INFO: 22epoch:train:9901-10000batch: iter_time=7.898e-05, forward_time=0.146, loss_ctc=65.951, loss_att=55.320, acc=0.723, loss=58.509, backward_time=0.301, grad_norm=62.745, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.595e-05, train_time=1.441 +[gpua002:0/64] 2023-12-09 23:45:17,079 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-09 23:45:36,561 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 23:45:40,081 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 23:45:40,081 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-09 23:45:40,085 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 23:52:16,781 (trainer:737) INFO: 22epoch:train:10001-10100batch: iter_time=3.102, forward_time=0.216, loss_ctc=64.090, loss_att=51.954, acc=0.729, loss=55.595, backward_time=0.293, grad_norm=54.972, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.593e-05, train_time=4.397 +[gpua002:0/64] 2023-12-09 23:54:32,917 (trainer:737) INFO: 22epoch:train:10101-10200batch: iter_time=8.020e-05, forward_time=0.147, loss_ctc=60.092, loss_att=48.493, acc=0.727, loss=51.973, backward_time=0.281, grad_norm=82.258, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.592e-05, train_time=1.361 +[gpua002:0/64] 2023-12-09 23:57:54,153 (trainer:737) INFO: 22epoch:train:10201-10300batch: iter_time=8.404e-05, forward_time=0.147, loss_ctc=70.585, loss_att=57.016, acc=0.699, loss=61.087, backward_time=0.311, grad_norm=62.066, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.591e-05, train_time=2.012 +[gpua002:0/64] 2023-12-10 00:00:01,879 (trainer:737) INFO: 22epoch:train:10301-10400batch: iter_time=8.022e-05, forward_time=0.147, loss_ctc=66.664, loss_att=57.837, acc=0.702, loss=60.485, backward_time=0.280, grad_norm=51.549, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.589e-05, train_time=1.277 +[gpua002:0/64] 2023-12-10 00:02:41,485 (trainer:737) INFO: 22epoch:train:10401-10500batch: iter_time=8.025e-05, forward_time=0.148, loss_ctc=63.258, loss_att=48.223, acc=0.729, loss=52.733, backward_time=0.309, grad_norm=113.346, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.588e-05, train_time=1.596 +[gpua002:0/64] 2023-12-10 00:04:44,658 (trainer:737) INFO: 22epoch:train:10501-10600batch: iter_time=7.729e-05, forward_time=0.147, loss_ctc=76.513, loss_att=62.486, acc=0.700, loss=66.694, backward_time=0.283, grad_norm=66.690, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.587e-05, train_time=1.231 +[gpua002:0/64] 2023-12-10 00:07:09,917 (trainer:737) INFO: 22epoch:train:10601-10700batch: iter_time=2.429e-04, forward_time=0.211, loss_ctc=68.686, loss_att=53.446, acc=0.719, loss=58.018, backward_time=0.345, grad_norm=50.615, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=8.585e-05, train_time=1.452 +[gpua002:0/64] 2023-12-10 00:10:28,211 (trainer:737) INFO: 22epoch:train:10701-10800batch: iter_time=8.110e-05, forward_time=0.158, loss_ctc=66.040, loss_att=52.608, acc=0.709, loss=56.637, backward_time=0.402, grad_norm=61.852, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.584e-05, train_time=1.983 +[gpua002:0/64] 2023-12-10 00:13:01,053 (trainer:737) INFO: 22epoch:train:10801-10900batch: iter_time=7.660e-05, forward_time=0.148, loss_ctc=70.083, loss_att=49.756, acc=0.716, loss=55.854, backward_time=0.304, grad_norm=64.762, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.583e-05, train_time=1.528 +[gpua002:0/64] 2023-12-10 00:15:39,853 (trainer:737) INFO: 22epoch:train:10901-11000batch: iter_time=7.934e-05, forward_time=0.148, loss_ctc=65.599, loss_att=54.144, acc=0.715, loss=57.580, backward_time=0.299, grad_norm=57.342, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.582e-05, train_time=1.588 +[gpua002:0/64] 2023-12-10 00:17:48,243 (trainer:737) INFO: 22epoch:train:11001-11100batch: iter_time=8.084e-05, forward_time=0.148, loss_ctc=70.076, loss_att=58.217, acc=0.708, loss=61.775, backward_time=0.281, grad_norm=61.878, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.580e-05, train_time=1.284 +[gpua002:0/64] 2023-12-10 00:20:35,754 (trainer:737) INFO: 22epoch:train:11101-11200batch: iter_time=7.837e-05, forward_time=0.148, loss_ctc=65.095, loss_att=53.423, acc=0.720, loss=56.925, backward_time=0.294, grad_norm=63.823, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.579e-05, train_time=1.675 +[gpua002:0/64] 2023-12-10 00:22:11,405 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-10 00:22:30,643 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 00:22:34,161 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 00:22:34,161 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-10 00:22:34,165 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 00:27:59,557 (trainer:737) INFO: 22epoch:train:11201-11300batch: iter_time=3.024, forward_time=0.179, loss_ctc=64.702, loss_att=55.730, acc=0.725, loss=58.422, backward_time=0.293, grad_norm=60.954, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.578e-05, train_time=4.438 +[gpua002:0/64] 2023-12-10 00:30:08,856 (trainer:737) INFO: 22epoch:train:11301-11400batch: iter_time=7.707e-05, forward_time=0.148, loss_ctc=59.660, loss_att=44.865, acc=0.730, loss=49.304, backward_time=0.282, grad_norm=56.447, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.576e-05, train_time=1.293 +[gpua002:0/64] 2023-12-10 00:32:37,622 (trainer:737) INFO: 22epoch:train:11401-11500batch: iter_time=7.931e-05, forward_time=0.148, loss_ctc=61.586, loss_att=50.603, acc=0.732, loss=53.898, backward_time=0.290, grad_norm=47.704, clip=100.000, loss_scale=1.045e+31, optim_step_time=0.136, optim0_lr0=8.575e-05, train_time=1.487 +[gpua002:0/64] 2023-12-10 00:34:56,931 (trainer:737) INFO: 22epoch:train:11501-11600batch: iter_time=8.003e-05, forward_time=0.148, loss_ctc=68.573, loss_att=54.654, acc=0.715, loss=58.830, backward_time=0.281, grad_norm=56.592, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.574e-05, train_time=1.393 +[gpua002:0/64] 2023-12-10 00:37:37,846 (trainer:737) INFO: 22epoch:train:11601-11700batch: iter_time=8.108e-05, forward_time=0.148, loss_ctc=66.729, loss_att=58.386, acc=0.704, loss=60.889, backward_time=0.308, grad_norm=55.532, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.572e-05, train_time=1.609 +[gpua002:0/64] 2023-12-10 00:40:06,558 (trainer:737) INFO: 22epoch:train:11701-11800batch: iter_time=7.986e-05, forward_time=0.148, loss_ctc=65.877, loss_att=52.917, acc=0.729, loss=56.805, backward_time=0.293, grad_norm=53.485, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.571e-05, train_time=1.487 +[gpua002:0/64] 2023-12-10 00:42:22,114 (trainer:737) INFO: 22epoch:train:11801-11900batch: iter_time=7.821e-05, forward_time=0.148, loss_ctc=75.190, loss_att=58.081, acc=0.720, loss=63.214, backward_time=0.290, grad_norm=67.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.570e-05, train_time=1.355 +[gpua002:0/64] 2023-12-10 00:45:10,370 (trainer:737) INFO: 22epoch:train:11901-12000batch: iter_time=7.618e-05, forward_time=0.148, loss_ctc=74.163, loss_att=61.923, acc=0.706, loss=65.595, backward_time=0.312, grad_norm=86.471, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.568e-05, train_time=1.682 +[gpua002:0/64] 2023-12-10 00:48:03,747 (trainer:737) INFO: 22epoch:train:12001-12100batch: iter_time=1.913e-04, forward_time=0.210, loss_ctc=64.630, loss_att=48.455, acc=0.722, loss=53.308, backward_time=0.316, grad_norm=52.648, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.567e-05, train_time=1.734 +[gpua002:0/64] 2023-12-10 00:50:45,822 (trainer:737) INFO: 22epoch:train:12101-12200batch: iter_time=7.828e-05, forward_time=0.169, loss_ctc=61.721, loss_att=44.604, acc=0.730, loss=49.739, backward_time=0.303, grad_norm=50.302, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.566e-05, train_time=1.620 +[gpua002:0/64] 2023-12-10 00:53:11,151 (trainer:737) INFO: 22epoch:train:12201-12300batch: iter_time=7.682e-05, forward_time=0.148, loss_ctc=70.575, loss_att=58.921, acc=0.719, loss=62.417, backward_time=0.288, grad_norm=66.780, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.564e-05, train_time=1.453 +[gpua002:0/64] 2023-12-10 00:55:47,554 (trainer:737) INFO: 22epoch:train:12301-12400batch: iter_time=7.783e-05, forward_time=0.148, loss_ctc=68.180, loss_att=58.893, acc=0.711, loss=61.679, backward_time=0.291, grad_norm=78.421, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.563e-05, train_time=1.564 +[gpua002:0/64] 2023-12-10 00:57:54,268 (trainer:737) INFO: 22epoch:train:12401-12500batch: iter_time=7.714e-05, forward_time=0.147, loss_ctc=66.329, loss_att=55.169, acc=0.723, loss=58.517, backward_time=0.285, grad_norm=67.357, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.562e-05, train_time=1.267 +[gpua002:0/64] 2023-12-10 00:58:14,297 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-10 00:58:33,648 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 00:58:37,137 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 00:58:37,137 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-10 00:58:37,143 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 01:05:24,699 (trainer:737) INFO: 22epoch:train:12501-12600batch: iter_time=3.192, forward_time=0.194, loss_ctc=63.782, loss_att=49.878, acc=0.741, loss=54.049, backward_time=0.288, grad_norm=47.605, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.561e-05, train_time=4.504 +[gpua002:0/64] 2023-12-10 01:07:41,364 (trainer:737) INFO: 22epoch:train:12601-12700batch: iter_time=7.854e-05, forward_time=0.147, loss_ctc=59.095, loss_att=47.633, acc=0.734, loss=51.072, backward_time=0.285, grad_norm=51.818, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.559e-05, train_time=1.367 +[gpua002:0/64] 2023-12-10 01:10:01,832 (trainer:737) INFO: 22epoch:train:12701-12800batch: iter_time=8.084e-05, forward_time=0.147, loss_ctc=70.039, loss_att=56.211, acc=0.710, loss=60.359, backward_time=0.297, grad_norm=62.987, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.558e-05, train_time=1.404 +[gpua002:0/64] 2023-12-10 01:12:43,104 (trainer:737) INFO: 22epoch:train:12801-12900batch: iter_time=3.114e-04, forward_time=0.148, loss_ctc=66.957, loss_att=58.021, acc=0.710, loss=60.702, backward_time=0.306, grad_norm=66.183, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.557e-05, train_time=1.612 +[gpua002:0/64] 2023-12-10 01:14:51,879 (trainer:737) INFO: 22epoch:train:12901-13000batch: iter_time=7.969e-05, forward_time=0.148, loss_ctc=62.886, loss_att=48.102, acc=0.736, loss=52.537, backward_time=0.284, grad_norm=48.088, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.555e-05, train_time=1.288 +[gpua002:0/64] 2023-12-10 01:17:15,003 (trainer:737) INFO: 22epoch:train:13001-13100batch: iter_time=8.042e-05, forward_time=0.147, loss_ctc=75.464, loss_att=62.504, acc=0.706, loss=66.392, backward_time=0.284, grad_norm=63.802, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.554e-05, train_time=1.431 +[gpua002:0/64] 2023-12-10 01:20:13,235 (trainer:737) INFO: 22epoch:train:13101-13200batch: iter_time=6.770e-04, forward_time=0.212, loss_ctc=68.911, loss_att=52.824, acc=0.731, loss=57.650, backward_time=0.391, grad_norm=57.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.553e-05, train_time=1.782 +[gpua002:0/64] 2023-12-10 01:22:51,687 (trainer:737) INFO: 22epoch:train:13201-13300batch: iter_time=7.850e-05, forward_time=0.148, loss_ctc=66.358, loss_att=54.342, acc=0.713, loss=57.946, backward_time=0.294, grad_norm=61.648, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.551e-05, train_time=1.584 +[gpua002:0/64] 2023-12-10 01:25:30,603 (trainer:737) INFO: 22epoch:train:13301-13400batch: iter_time=7.741e-05, forward_time=0.166, loss_ctc=70.212, loss_att=50.059, acc=0.722, loss=56.105, backward_time=0.295, grad_norm=58.561, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.550e-05, train_time=1.589 +[gpua002:0/64] 2023-12-10 01:27:59,906 (trainer:737) INFO: 22epoch:train:13401-13500batch: iter_time=7.879e-05, forward_time=0.147, loss_ctc=65.724, loss_att=55.286, acc=0.720, loss=58.417, backward_time=0.280, grad_norm=60.670, clip=100.000, loss_scale=2.089e+31, optim_step_time=0.135, optim0_lr0=8.549e-05, train_time=1.493 +[gpua002:0/64] 2023-12-10 01:30:08,844 (trainer:737) INFO: 22epoch:train:13501-13600batch: iter_time=7.840e-05, forward_time=0.147, loss_ctc=70.885, loss_att=59.379, acc=0.711, loss=62.830, backward_time=0.284, grad_norm=63.912, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.548e-05, train_time=1.289 +[gpua002:0/64] 2023-12-10 01:32:37,054 (trainer:737) INFO: 22epoch:train:13601-13700batch: iter_time=7.706e-05, forward_time=0.147, loss_ctc=66.077, loss_att=53.832, acc=0.724, loss=57.506, backward_time=0.308, grad_norm=68.813, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.546e-05, train_time=1.482 +[gpua002:0/64] 2023-12-10 01:34:18,261 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-10 01:34:37,485 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 01:34:40,974 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 01:34:40,974 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-10 01:34:40,980 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 01:40:23,559 (trainer:737) INFO: 22epoch:train:13701-13800batch: iter_time=3.150, forward_time=0.176, loss_ctc=65.336, loss_att=54.074, acc=0.732, loss=57.452, backward_time=0.315, grad_norm=62.913, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.545e-05, train_time=4.665 +[gpua002:0/64] 2023-12-10 01:42:29,925 (trainer:737) INFO: 22epoch:train:13801-13900batch: iter_time=7.432e-05, forward_time=0.148, loss_ctc=59.721, loss_att=44.501, acc=0.732, loss=49.067, backward_time=0.280, grad_norm=58.164, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.544e-05, train_time=1.264 +[gpua002:0/64] 2023-12-10 01:45:01,416 (trainer:737) INFO: 22epoch:train:13901-14000batch: iter_time=7.934e-05, forward_time=0.151, loss_ctc=61.710, loss_att=50.430, acc=0.734, loss=53.814, backward_time=0.304, grad_norm=52.960, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.542e-05, train_time=1.515 +[gpua002:0/64] 2023-12-10 01:47:11,353 (trainer:737) INFO: 22epoch:train:14001-14100batch: iter_time=7.486e-05, forward_time=0.148, loss_ctc=69.096, loss_att=54.444, acc=0.715, loss=58.840, backward_time=0.283, grad_norm=58.436, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.541e-05, train_time=1.299 +[gpua002:0/64] 2023-12-10 01:49:14,521 (trainer:737) INFO: 22epoch:train:14101-14200batch: iter_time=7.663e-05, forward_time=0.147, loss_ctc=66.721, loss_att=58.376, acc=0.703, loss=60.880, backward_time=0.279, grad_norm=63.560, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.540e-05, train_time=1.231 +[gpua002:0/64] 2023-12-10 01:52:11,641 (trainer:737) INFO: 22epoch:train:14201-14300batch: iter_time=7.784e-05, forward_time=0.147, loss_ctc=66.126, loss_att=52.370, acc=0.731, loss=56.497, backward_time=0.290, grad_norm=61.087, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.538e-05, train_time=1.771 +[gpua002:0/64] 2023-12-10 01:54:34,533 (trainer:737) INFO: 22epoch:train:14301-14400batch: iter_time=7.817e-05, forward_time=0.147, loss_ctc=75.716, loss_att=58.212, acc=0.722, loss=63.463, backward_time=0.312, grad_norm=71.654, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.537e-05, train_time=1.429 +[gpua002:0/64] 2023-12-10 01:57:34,775 (trainer:737) INFO: 22epoch:train:14401-14500batch: iter_time=7.855e-05, forward_time=0.148, loss_ctc=74.524, loss_att=61.712, acc=0.708, loss=65.556, backward_time=0.336, grad_norm=67.478, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.536e-05, train_time=1.802 +[gpua002:0/64] 2023-12-10 02:00:36,707 (trainer:737) INFO: 22epoch:train:14501-14600batch: iter_time=7.911e-05, forward_time=0.148, loss_ctc=64.856, loss_att=48.514, acc=0.723, loss=53.417, backward_time=0.310, grad_norm=52.504, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.535e-05, train_time=1.819 +[gpua002:0/64] 2023-12-10 02:03:20,527 (trainer:737) INFO: 22epoch:train:14601-14700batch: iter_time=7.442e-05, forward_time=0.262, loss_ctc=60.881, loss_att=44.201, acc=0.731, loss=49.205, backward_time=0.319, grad_norm=54.962, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.533e-05, train_time=1.638 +[gpua002:0/64] 2023-12-10 02:05:33,233 (trainer:737) INFO: 22epoch:train:14701-14800batch: iter_time=7.070e-05, forward_time=0.148, loss_ctc=70.523, loss_att=58.453, acc=0.721, loss=62.074, backward_time=0.292, grad_norm=61.406, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.532e-05, train_time=1.327 +[gpua002:0/64] 2023-12-10 02:08:01,477 (trainer:737) INFO: 22epoch:train:14801-14900batch: iter_time=7.595e-05, forward_time=0.147, loss_ctc=67.969, loss_att=58.315, acc=0.712, loss=61.211, backward_time=0.340, grad_norm=74.604, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.531e-05, train_time=1.482 +[gpua002:0/64] 2023-12-10 02:10:23,195 (trainer:737) INFO: 22epoch:train:14901-15000batch: iter_time=7.580e-05, forward_time=0.148, loss_ctc=65.569, loss_att=55.074, acc=0.724, loss=58.222, backward_time=0.302, grad_norm=60.986, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.529e-05, train_time=1.417 +[gpua002:0/64] 2023-12-10 02:37:04,876 (trainer:343) INFO: 22epoch results: [train] iter_time=0.237, forward_time=0.160, loss_ctc=67.856, loss_att=54.356, acc=0.714, loss=58.406, backward_time=0.303, grad_norm=63.860, clip=100.000, loss_scale=3.378e+31, optim_step_time=0.136, optim0_lr0=8.628e-05, train_time=1.769, time=7 hours, 22 minutes and 37.99 seconds, total_count=330000, gpu_max_cached_mem_GB=36.283, [valid] loss_ctc=38.758, cer_ctc=0.198, loss_att=35.326, acc=0.707, cer=0.327, wer=0.966, loss=36.356, time=26 minutes and 17.85 seconds, total_count=102762, gpu_max_cached_mem_GB=36.283 +[gpua002:0/64] 2023-12-10 02:37:24,198 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-10 02:37:24,209 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/17epoch.pth +[gpua002:0/64] 2023-12-10 02:37:24,209 (trainer:272) INFO: 23/40epoch started. Estimated time to finish: 6 days, 13 hours and 29 minutes +[gpua002:0/64] 2023-12-10 02:37:24,223 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-10 02:37:42,540 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 02:37:46,008 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 02:37:46,008 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-10 02:37:46,011 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 02:44:42,580 (trainer:737) INFO: 23epoch:train:1-100batch: iter_time=2.750, forward_time=0.181, loss_ctc=69.440, loss_att=56.769, acc=0.715, loss=60.570, backward_time=0.285, grad_norm=59.391, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.528e-05, train_time=4.383 +[gpua002:0/64] 2023-12-10 02:47:05,206 (trainer:737) INFO: 23epoch:train:101-200batch: iter_time=8.067e-05, forward_time=0.147, loss_ctc=79.466, loss_att=59.021, acc=0.701, loss=65.154, backward_time=0.338, grad_norm=69.833, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.527e-05, train_time=1.426 +[gpua002:0/64] 2023-12-10 02:49:20,986 (trainer:737) INFO: 23epoch:train:201-300batch: iter_time=8.004e-05, forward_time=0.147, loss_ctc=68.861, loss_att=52.873, acc=0.710, loss=57.669, backward_time=0.281, grad_norm=61.254, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.525e-05, train_time=1.357 +[gpua002:0/64] 2023-12-10 02:51:59,135 (trainer:737) INFO: 23epoch:train:301-400batch: iter_time=7.931e-05, forward_time=0.147, loss_ctc=73.442, loss_att=52.669, acc=0.715, loss=58.901, backward_time=0.373, grad_norm=69.276, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.524e-05, train_time=1.582 +[gpua002:0/64] 2023-12-10 02:54:18,596 (trainer:737) INFO: 23epoch:train:401-500batch: iter_time=7.983e-05, forward_time=0.148, loss_ctc=65.919, loss_att=51.204, acc=0.716, loss=55.618, backward_time=0.292, grad_norm=72.862, clip=100.000, loss_scale=4.178e+31, optim_step_time=0.136, optim0_lr0=8.523e-05, train_time=1.394 +[gpua002:0/64] 2023-12-10 02:56:39,415 (trainer:737) INFO: 23epoch:train:501-600batch: iter_time=8.126e-05, forward_time=0.148, loss_ctc=64.014, loss_att=51.719, acc=0.715, loss=55.408, backward_time=0.300, grad_norm=70.318, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.522e-05, train_time=1.408 +[gpua002:0/64] 2023-12-10 02:59:20,729 (trainer:737) INFO: 23epoch:train:601-700batch: iter_time=7.970e-05, forward_time=0.147, loss_ctc=71.588, loss_att=60.235, acc=0.697, loss=63.641, backward_time=0.296, grad_norm=63.375, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.520e-05, train_time=1.613 +[gpua002:0/64] 2023-12-10 03:02:08,356 (trainer:737) INFO: 23epoch:train:701-800batch: iter_time=8.188e-05, forward_time=0.147, loss_ctc=66.439, loss_att=60.677, acc=0.699, loss=62.406, backward_time=0.349, grad_norm=57.119, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.519e-05, train_time=1.676 +[gpua002:0/64] 2023-12-10 03:04:46,805 (trainer:737) INFO: 23epoch:train:801-900batch: iter_time=7.874e-05, forward_time=0.147, loss_ctc=68.799, loss_att=57.745, acc=0.701, loss=61.061, backward_time=0.322, grad_norm=58.145, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.518e-05, train_time=1.584 +[gpua002:0/64] 2023-12-10 03:07:43,501 (trainer:737) INFO: 23epoch:train:901-1000batch: iter_time=1.022e-04, forward_time=0.155, loss_ctc=61.331, loss_att=50.451, acc=0.715, loss=53.715, backward_time=0.341, grad_norm=56.494, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.516e-05, train_time=1.767 +[gpua002:0/64] 2023-12-10 03:10:19,967 (trainer:737) INFO: 23epoch:train:1001-1100batch: iter_time=8.063e-05, forward_time=0.167, loss_ctc=68.062, loss_att=52.517, acc=0.696, loss=57.180, backward_time=0.310, grad_norm=57.676, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.515e-05, train_time=1.564 +[gpua002:0/64] 2023-12-10 03:13:04,504 (trainer:737) INFO: 23epoch:train:1101-1200batch: iter_time=8.654e-05, forward_time=0.186, loss_ctc=76.490, loss_att=57.073, acc=0.718, loss=62.898, backward_time=0.351, grad_norm=68.365, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.514e-05, train_time=1.645 +[gpua002:0/64] 2023-12-10 03:14:34,862 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-10 03:14:54,425 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 03:14:57,969 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 03:14:57,969 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-10 03:14:57,973 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 03:20:45,908 (trainer:737) INFO: 23epoch:train:1201-1300batch: iter_time=3.190, forward_time=0.148, loss_ctc=61.860, loss_att=50.713, acc=0.707, loss=54.057, backward_time=0.308, grad_norm=53.482, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.513e-05, train_time=4.614 +[gpua002:0/64] 2023-12-10 03:22:59,299 (trainer:737) INFO: 23epoch:train:1301-1400batch: iter_time=7.522e-05, forward_time=0.148, loss_ctc=81.615, loss_att=66.063, acc=0.696, loss=70.728, backward_time=0.281, grad_norm=62.012, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.511e-05, train_time=1.333 +[gpua002:0/64] 2023-12-10 03:25:28,425 (trainer:737) INFO: 23epoch:train:1401-1500batch: iter_time=8.332e-05, forward_time=0.148, loss_ctc=71.050, loss_att=51.730, acc=0.706, loss=57.526, backward_time=0.289, grad_norm=64.897, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.510e-05, train_time=1.492 +[gpua002:0/64] 2023-12-10 03:26:40,888 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 03:27:59,628 (trainer:737) INFO: 23epoch:train:1501-1600batch: iter_time=8.267e-05, forward_time=0.148, loss_ctc=69.369, loss_att=51.987, acc=0.720, loss=57.202, backward_time=0.294, grad_norm=59.692, clip=100.000, loss_scale=6.105e+31, optim_step_time=0.136, optim0_lr0=8.509e-05, train_time=1.512 +[gpua002:0/64] 2023-12-10 03:30:47,208 (trainer:737) INFO: 23epoch:train:1601-1700batch: iter_time=8.305e-05, forward_time=0.148, loss_ctc=70.954, loss_att=52.466, acc=0.713, loss=58.012, backward_time=0.300, grad_norm=63.365, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.507e-05, train_time=1.676 +[gpua002:0/64] 2023-12-10 03:33:31,822 (trainer:737) INFO: 23epoch:train:1701-1800batch: iter_time=7.844e-05, forward_time=0.147, loss_ctc=63.772, loss_att=49.890, acc=0.712, loss=54.054, backward_time=0.302, grad_norm=58.966, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.506e-05, train_time=1.646 +[gpua002:0/64] 2023-12-10 03:35:56,747 (trainer:737) INFO: 23epoch:train:1801-1900batch: iter_time=1.850e-04, forward_time=0.149, loss_ctc=63.434, loss_att=54.757, acc=0.702, loss=57.360, backward_time=0.283, grad_norm=58.756, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.505e-05, train_time=1.449 +[gpua002:0/64] 2023-12-10 03:38:15,917 (trainer:737) INFO: 23epoch:train:1901-2000batch: iter_time=7.141e-05, forward_time=0.148, loss_ctc=74.281, loss_att=65.704, acc=0.686, loss=68.277, backward_time=0.295, grad_norm=63.909, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.504e-05, train_time=1.391 +[gpua002:0/64] 2023-12-10 03:40:31,963 (trainer:737) INFO: 23epoch:train:2001-2100batch: iter_time=8.054e-05, forward_time=0.147, loss_ctc=59.123, loss_att=50.802, acc=0.702, loss=53.298, backward_time=0.293, grad_norm=56.686, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.502e-05, train_time=1.360 +[gpua002:0/64] 2023-12-10 03:43:04,543 (trainer:737) INFO: 23epoch:train:2101-2200batch: iter_time=7.574e-05, forward_time=0.174, loss_ctc=63.136, loss_att=49.267, acc=0.708, loss=53.427, backward_time=0.313, grad_norm=61.933, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.501e-05, train_time=1.526 +[gpua002:0/64] 2023-12-10 03:46:08,310 (trainer:737) INFO: 23epoch:train:2201-2300batch: iter_time=7.664e-05, forward_time=0.194, loss_ctc=67.493, loss_att=56.900, acc=0.696, loss=60.078, backward_time=0.348, grad_norm=71.052, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.500e-05, train_time=1.837 +[gpua002:0/64] 2023-12-10 03:48:58,528 (trainer:737) INFO: 23epoch:train:2301-2400batch: iter_time=7.430e-05, forward_time=0.148, loss_ctc=68.752, loss_att=50.851, acc=0.707, loss=56.221, backward_time=0.356, grad_norm=69.295, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.499e-05, train_time=1.702 +[gpua002:0/64] 2023-12-10 03:51:14,592 (trainer:737) INFO: 23epoch:train:2401-2500batch: iter_time=7.355e-05, forward_time=0.164, loss_ctc=74.830, loss_att=56.678, acc=0.709, loss=62.124, backward_time=0.280, grad_norm=87.150, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.497e-05, train_time=1.360 +[gpua002:0/64] 2023-12-10 03:51:34,620 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-10 03:51:53,888 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 03:51:57,385 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 03:51:57,385 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-10 03:51:57,388 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 03:57:50,354 (trainer:737) INFO: 23epoch:train:2501-2600batch: iter_time=2.431, forward_time=0.151, loss_ctc=68.359, loss_att=56.698, acc=0.719, loss=60.196, backward_time=0.283, grad_norm=61.148, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.496e-05, train_time=3.957 +[gpua002:0/64] 2023-12-10 04:00:06,425 (trainer:737) INFO: 23epoch:train:2601-2700batch: iter_time=8.044e-05, forward_time=0.147, loss_ctc=78.071, loss_att=58.646, acc=0.704, loss=64.474, backward_time=0.288, grad_norm=62.227, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.495e-05, train_time=1.361 +[gpua002:0/64] 2023-12-10 04:02:27,218 (trainer:737) INFO: 23epoch:train:2701-2800batch: iter_time=7.994e-05, forward_time=0.147, loss_ctc=66.506, loss_att=51.563, acc=0.719, loss=56.046, backward_time=0.285, grad_norm=57.108, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.493e-05, train_time=1.408 +[gpua002:0/64] 2023-12-10 04:04:42,962 (trainer:737) INFO: 23epoch:train:2801-2900batch: iter_time=7.823e-05, forward_time=0.148, loss_ctc=71.272, loss_att=51.462, acc=0.720, loss=57.405, backward_time=0.298, grad_norm=64.451, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.492e-05, train_time=1.357 +[gpua002:0/64] 2023-12-10 04:07:01,700 (trainer:737) INFO: 23epoch:train:2901-3000batch: iter_time=7.776e-05, forward_time=0.147, loss_ctc=64.701, loss_att=50.049, acc=0.724, loss=54.445, backward_time=0.282, grad_norm=51.982, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.491e-05, train_time=1.387 +[gpua002:0/64] 2023-12-10 04:09:41,344 (trainer:737) INFO: 23epoch:train:3001-3100batch: iter_time=8.054e-05, forward_time=0.150, loss_ctc=62.216, loss_att=49.691, acc=0.723, loss=53.448, backward_time=0.300, grad_norm=60.840, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.490e-05, train_time=1.596 +[gpua002:0/64] 2023-12-10 04:12:05,226 (trainer:737) INFO: 23epoch:train:3101-3200batch: iter_time=7.820e-05, forward_time=0.147, loss_ctc=69.189, loss_att=58.649, acc=0.706, loss=61.811, backward_time=0.292, grad_norm=59.383, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.488e-05, train_time=1.439 +[gpua002:0/64] 2023-12-10 04:14:51,363 (trainer:737) INFO: 23epoch:train:3201-3300batch: iter_time=7.924e-05, forward_time=0.170, loss_ctc=65.387, loss_att=59.798, acc=0.707, loss=61.474, backward_time=0.295, grad_norm=55.284, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.487e-05, train_time=1.661 +[gpua002:0/64] 2023-12-10 04:17:29,725 (trainer:737) INFO: 23epoch:train:3301-3400batch: iter_time=7.738e-05, forward_time=0.195, loss_ctc=66.550, loss_att=56.632, acc=0.708, loss=59.607, backward_time=0.346, grad_norm=58.896, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.486e-05, train_time=1.584 +[gpua002:0/64] 2023-12-10 04:19:51,739 (trainer:737) INFO: 23epoch:train:3401-3500batch: iter_time=7.834e-05, forward_time=0.154, loss_ctc=61.245, loss_att=50.323, acc=0.719, loss=53.600, backward_time=0.298, grad_norm=49.662, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.484e-05, train_time=1.420 +[gpua002:0/64] 2023-12-10 04:22:24,674 (trainer:737) INFO: 23epoch:train:3501-3600batch: iter_time=7.805e-05, forward_time=0.147, loss_ctc=65.829, loss_att=50.471, acc=0.706, loss=55.079, backward_time=0.328, grad_norm=61.043, clip=100.000, loss_scale=6.044e+31, optim_step_time=0.135, optim0_lr0=8.483e-05, train_time=1.529 +[gpua002:0/64] 2023-12-10 04:25:07,607 (trainer:737) INFO: 23epoch:train:3601-3700batch: iter_time=7.895e-05, forward_time=0.146, loss_ctc=74.671, loss_att=55.247, acc=0.727, loss=61.074, backward_time=0.303, grad_norm=63.308, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.482e-05, train_time=1.629 +[gpua002:0/64] 2023-12-10 04:26:37,875 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-10 04:26:57,048 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 04:27:00,520 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 04:27:00,520 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-10 04:27:00,670 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 04:32:37,009 (trainer:737) INFO: 23epoch:train:3701-3800batch: iter_time=3.145, forward_time=0.149, loss_ctc=61.523, loss_att=50.047, acc=0.715, loss=53.490, backward_time=0.286, grad_norm=55.021, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.481e-05, train_time=4.493 +[gpua002:0/64] 2023-12-10 04:34:38,938 (trainer:737) INFO: 23epoch:train:3801-3900batch: iter_time=7.465e-05, forward_time=0.147, loss_ctc=80.457, loss_att=63.611, acc=0.716, loss=68.665, backward_time=0.280, grad_norm=60.604, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.479e-05, train_time=1.219 +[gpua002:0/64] 2023-12-10 04:36:50,998 (trainer:737) INFO: 23epoch:train:3901-4000batch: iter_time=7.597e-05, forward_time=0.148, loss_ctc=70.693, loss_att=51.313, acc=0.711, loss=57.127, backward_time=0.280, grad_norm=68.141, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.478e-05, train_time=1.320 +[gpua002:0/64] 2023-12-10 04:39:23,319 (trainer:737) INFO: 23epoch:train:4001-4100batch: iter_time=2.136e-04, forward_time=0.152, loss_ctc=67.480, loss_att=52.236, acc=0.726, loss=56.809, backward_time=0.307, grad_norm=64.203, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.477e-05, train_time=1.523 +[gpua002:0/64] 2023-12-10 04:41:45,987 (trainer:737) INFO: 23epoch:train:4101-4200batch: iter_time=7.541e-05, forward_time=0.147, loss_ctc=69.656, loss_att=52.001, acc=0.726, loss=57.298, backward_time=0.295, grad_norm=64.372, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.476e-05, train_time=1.426 +[gpua002:0/64] 2023-12-10 04:44:08,778 (trainer:737) INFO: 23epoch:train:4201-4300batch: iter_time=7.778e-05, forward_time=0.147, loss_ctc=63.110, loss_att=49.001, acc=0.723, loss=53.234, backward_time=0.290, grad_norm=68.350, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.474e-05, train_time=1.428 +[gpua002:0/64] 2023-12-10 04:46:35,282 (trainer:737) INFO: 23epoch:train:4301-4400batch: iter_time=7.719e-05, forward_time=0.157, loss_ctc=63.329, loss_att=54.225, acc=0.720, loss=56.956, backward_time=0.310, grad_norm=60.424, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.473e-05, train_time=1.465 +[gpua002:0/64] 2023-12-10 04:49:52,386 (trainer:737) INFO: 23epoch:train:4401-4500batch: iter_time=7.697e-05, forward_time=0.203, loss_ctc=73.381, loss_att=67.434, acc=0.695, loss=69.218, backward_time=0.343, grad_norm=68.947, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.472e-05, train_time=1.970 +[gpua002:0/64] 2023-12-10 04:52:34,707 (trainer:737) INFO: 23epoch:train:4501-4600batch: iter_time=7.578e-05, forward_time=0.178, loss_ctc=58.823, loss_att=49.426, acc=0.719, loss=52.245, backward_time=0.306, grad_norm=52.141, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.471e-05, train_time=1.623 +[gpua002:0/64] 2023-12-10 04:54:56,958 (trainer:737) INFO: 23epoch:train:4601-4700batch: iter_time=7.633e-05, forward_time=0.148, loss_ctc=62.359, loss_att=48.506, acc=0.715, loss=52.662, backward_time=0.288, grad_norm=55.764, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.469e-05, train_time=1.422 +[gpua002:0/64] 2023-12-10 04:55:40,503 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 04:57:31,579 (trainer:737) INFO: 23epoch:train:4701-4800batch: iter_time=7.856e-05, forward_time=0.148, loss_ctc=66.499, loss_att=55.938, acc=0.711, loss=59.106, backward_time=0.291, grad_norm=59.407, clip=100.000, loss_scale=5.081e+31, optim_step_time=0.136, optim0_lr0=8.468e-05, train_time=1.546 +[gpua002:0/64] 2023-12-10 04:59:37,495 (trainer:737) INFO: 23epoch:train:4801-4900batch: iter_time=7.590e-05, forward_time=0.148, loss_ctc=67.491, loss_att=49.974, acc=0.717, loss=55.229, backward_time=0.281, grad_norm=64.974, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.467e-05, train_time=1.259 +[gpua002:0/64] 2023-12-10 05:01:53,353 (trainer:737) INFO: 23epoch:train:4901-5000batch: iter_time=7.642e-05, forward_time=0.147, loss_ctc=73.968, loss_att=56.339, acc=0.720, loss=61.627, backward_time=0.296, grad_norm=68.769, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.465e-05, train_time=1.358 +[gpua002:0/64] 2023-12-10 05:02:13,436 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-10 05:02:32,589 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 05:02:36,084 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 05:02:36,084 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-10 05:02:36,095 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 05:09:08,043 (trainer:737) INFO: 23epoch:train:5001-5100batch: iter_time=3.057, forward_time=0.153, loss_ctc=67.620, loss_att=56.252, acc=0.712, loss=59.662, backward_time=0.280, grad_norm=56.599, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.464e-05, train_time=4.347 +[gpua002:0/64] 2023-12-10 05:11:17,088 (trainer:737) INFO: 23epoch:train:5101-5200batch: iter_time=7.775e-05, forward_time=0.147, loss_ctc=77.106, loss_att=58.644, acc=0.696, loss=64.183, backward_time=0.282, grad_norm=64.194, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.463e-05, train_time=1.290 +[gpua002:0/64] 2023-12-10 05:13:47,718 (trainer:737) INFO: 23epoch:train:5201-5300batch: iter_time=7.900e-05, forward_time=0.147, loss_ctc=66.056, loss_att=50.176, acc=0.721, loss=54.940, backward_time=0.293, grad_norm=69.888, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.462e-05, train_time=1.506 +[gpua002:0/64] 2023-12-10 05:16:03,899 (trainer:737) INFO: 23epoch:train:5301-5400batch: iter_time=7.928e-05, forward_time=0.148, loss_ctc=70.945, loss_att=51.770, acc=0.713, loss=57.522, backward_time=0.287, grad_norm=65.422, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.460e-05, train_time=1.362 +[gpua002:0/64] 2023-12-10 05:19:00,876 (trainer:737) INFO: 23epoch:train:5401-5500batch: iter_time=8.022e-05, forward_time=0.172, loss_ctc=64.756, loss_att=48.297, acc=0.721, loss=53.234, backward_time=0.341, grad_norm=68.502, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.144, optim0_lr0=8.459e-05, train_time=1.770 +[gpua002:0/64] 2023-12-10 05:21:54,367 (trainer:737) INFO: 23epoch:train:5501-5600batch: iter_time=8.106e-05, forward_time=0.238, loss_ctc=61.659, loss_att=49.311, acc=0.721, loss=53.015, backward_time=0.326, grad_norm=58.972, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.458e-05, train_time=1.735 +[gpua002:0/64] 2023-12-10 05:24:45,228 (trainer:737) INFO: 23epoch:train:5601-5700batch: iter_time=7.678e-05, forward_time=0.147, loss_ctc=69.270, loss_att=58.926, acc=0.696, loss=62.029, backward_time=0.298, grad_norm=61.505, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.457e-05, train_time=1.709 +[gpua002:0/64] 2023-12-10 05:27:01,888 (trainer:737) INFO: 23epoch:train:5701-5800batch: iter_time=8.040e-05, forward_time=0.147, loss_ctc=65.791, loss_att=56.767, acc=0.704, loss=59.474, backward_time=0.289, grad_norm=58.192, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.455e-05, train_time=1.366 +[gpua002:0/64] 2023-12-10 05:29:08,737 (trainer:737) INFO: 23epoch:train:5801-5900batch: iter_time=7.864e-05, forward_time=0.148, loss_ctc=67.277, loss_att=56.131, acc=0.705, loss=59.475, backward_time=0.280, grad_norm=56.193, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.454e-05, train_time=1.268 +[gpua002:0/64] 2023-12-10 05:31:28,878 (trainer:737) INFO: 23epoch:train:5901-6000batch: iter_time=7.904e-05, forward_time=0.149, loss_ctc=60.846, loss_att=50.009, acc=0.716, loss=53.260, backward_time=0.292, grad_norm=50.738, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.453e-05, train_time=1.401 +[gpua002:0/64] 2023-12-10 05:33:50,689 (trainer:737) INFO: 23epoch:train:6001-6100batch: iter_time=7.847e-05, forward_time=0.149, loss_ctc=65.349, loss_att=50.404, acc=0.698, loss=54.888, backward_time=0.311, grad_norm=57.420, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.452e-05, train_time=1.417 +[gpua002:0/64] 2023-12-10 05:36:33,625 (trainer:737) INFO: 23epoch:train:6101-6200batch: iter_time=8.135e-05, forward_time=0.158, loss_ctc=74.663, loss_att=56.048, acc=0.717, loss=61.633, backward_time=0.297, grad_norm=61.918, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.450e-05, train_time=1.630 +[gpua002:0/64] 2023-12-10 05:38:00,875 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-10 05:38:20,406 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 05:38:24,173 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 05:38:24,174 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-10 05:38:24,177 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 05:44:22,093 (trainer:737) INFO: 23epoch:train:6201-6300batch: iter_time=3.231, forward_time=0.182, loss_ctc=61.145, loss_att=48.801, acc=0.711, loss=52.504, backward_time=0.283, grad_norm=90.498, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.449e-05, train_time=4.684 +[gpua002:0/64] 2023-12-10 05:46:43,196 (trainer:737) INFO: 23epoch:train:6301-6400batch: iter_time=7.883e-05, forward_time=0.211, loss_ctc=79.701, loss_att=62.336, acc=0.707, loss=67.546, backward_time=0.291, grad_norm=60.249, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.148, optim0_lr0=8.448e-05, train_time=1.411 +[gpua002:0/64] 2023-12-10 05:48:46,489 (trainer:737) INFO: 23epoch:train:6401-6500batch: iter_time=7.409e-05, forward_time=0.147, loss_ctc=70.004, loss_att=50.242, acc=0.715, loss=56.171, backward_time=0.282, grad_norm=63.250, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.447e-05, train_time=1.233 +[gpua002:0/64] 2023-12-10 05:51:24,669 (trainer:737) INFO: 23epoch:train:6501-6600batch: iter_time=7.835e-05, forward_time=0.147, loss_ctc=66.964, loss_att=50.115, acc=0.729, loss=55.170, backward_time=0.285, grad_norm=64.453, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.445e-05, train_time=1.582 +[gpua002:0/64] 2023-12-10 05:54:01,455 (trainer:737) INFO: 23epoch:train:6601-6700batch: iter_time=7.717e-05, forward_time=0.147, loss_ctc=68.568, loss_att=50.824, acc=0.719, loss=56.147, backward_time=0.321, grad_norm=53.277, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.444e-05, train_time=1.568 +[gpua002:0/64] 2023-12-10 05:56:21,539 (trainer:737) INFO: 23epoch:train:6701-6800batch: iter_time=7.955e-05, forward_time=0.148, loss_ctc=62.202, loss_att=48.395, acc=0.721, loss=52.537, backward_time=0.285, grad_norm=55.653, clip=100.000, loss_scale=7.058e+31, optim_step_time=0.136, optim0_lr0=8.443e-05, train_time=1.401 +[gpua002:0/64] 2023-12-10 05:58:58,866 (trainer:737) INFO: 23epoch:train:6801-6900batch: iter_time=7.512e-05, forward_time=0.150, loss_ctc=62.439, loss_att=53.439, acc=0.712, loss=56.139, backward_time=0.309, grad_norm=57.316, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.442e-05, train_time=1.573 +[gpua002:0/64] 2023-12-10 06:01:27,561 (trainer:737) INFO: 23epoch:train:6901-7000batch: iter_time=7.745e-05, forward_time=0.147, loss_ctc=72.954, loss_att=64.242, acc=0.693, loss=66.856, backward_time=0.288, grad_norm=58.331, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.440e-05, train_time=1.486 +[gpua002:0/64] 2023-12-10 06:04:03,693 (trainer:737) INFO: 23epoch:train:7001-7100batch: iter_time=7.807e-05, forward_time=0.148, loss_ctc=58.034, loss_att=49.656, acc=0.709, loss=52.169, backward_time=0.291, grad_norm=50.251, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.439e-05, train_time=1.561 +[gpua002:0/64] 2023-12-10 06:07:13,711 (trainer:737) INFO: 23epoch:train:7101-7200batch: iter_time=7.528e-05, forward_time=0.148, loss_ctc=62.019, loss_att=48.304, acc=0.714, loss=52.418, backward_time=0.339, grad_norm=57.294, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.438e-05, train_time=1.900 +[gpua002:0/64] 2023-12-10 06:09:43,291 (trainer:737) INFO: 23epoch:train:7201-7300batch: iter_time=7.691e-05, forward_time=0.223, loss_ctc=65.822, loss_att=54.812, acc=0.704, loss=58.115, backward_time=0.303, grad_norm=57.367, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.145, optim0_lr0=8.437e-05, train_time=1.496 +[gpua002:0/64] 2023-12-10 06:11:58,072 (trainer:737) INFO: 23epoch:train:7301-7400batch: iter_time=7.623e-05, forward_time=0.147, loss_ctc=67.091, loss_att=50.041, acc=0.711, loss=55.156, backward_time=0.284, grad_norm=66.977, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.435e-05, train_time=1.348 +[gpua002:0/64] 2023-12-10 06:14:43,082 (trainer:737) INFO: 23epoch:train:7401-7500batch: iter_time=7.514e-05, forward_time=0.146, loss_ctc=74.019, loss_att=55.969, acc=0.713, loss=61.384, backward_time=0.319, grad_norm=61.471, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.434e-05, train_time=1.650 +[gpua002:0/64] 2023-12-10 06:15:03,111 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-10 06:15:22,417 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 06:15:25,915 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 06:15:25,915 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-10 06:15:25,934 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 06:22:29,679 (trainer:737) INFO: 23epoch:train:7501-7600batch: iter_time=3.043, forward_time=0.148, loss_ctc=67.173, loss_att=56.532, acc=0.723, loss=59.725, backward_time=0.281, grad_norm=57.148, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.433e-05, train_time=4.666 +[gpua002:0/64] 2023-12-10 06:24:40,575 (trainer:737) INFO: 23epoch:train:7601-7700batch: iter_time=8.145e-05, forward_time=0.148, loss_ctc=77.079, loss_att=58.482, acc=0.706, loss=64.061, backward_time=0.281, grad_norm=60.147, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.432e-05, train_time=1.309 +[gpua002:0/64] 2023-12-10 06:27:27,727 (trainer:737) INFO: 23epoch:train:7701-7800batch: iter_time=8.018e-05, forward_time=0.149, loss_ctc=65.357, loss_att=51.362, acc=0.723, loss=55.561, backward_time=0.325, grad_norm=56.924, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.430e-05, train_time=1.671 +[gpua002:0/64] 2023-12-10 06:29:50,156 (trainer:737) INFO: 23epoch:train:7801-7900batch: iter_time=7.899e-05, forward_time=0.148, loss_ctc=69.651, loss_att=51.171, acc=0.725, loss=56.715, backward_time=0.282, grad_norm=55.775, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.429e-05, train_time=1.424 +[gpua002:0/64] 2023-12-10 06:32:21,135 (trainer:737) INFO: 23epoch:train:7901-8000batch: iter_time=7.713e-05, forward_time=0.150, loss_ctc=64.394, loss_att=49.842, acc=0.725, loss=54.207, backward_time=0.332, grad_norm=56.605, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.428e-05, train_time=1.509 +[gpua002:0/64] 2023-12-10 06:34:36,723 (trainer:737) INFO: 23epoch:train:8001-8100batch: iter_time=7.473e-05, forward_time=0.148, loss_ctc=62.112, loss_att=49.620, acc=0.727, loss=53.368, backward_time=0.298, grad_norm=60.684, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.427e-05, train_time=1.356 +[gpua002:0/64] 2023-12-10 06:37:40,232 (trainer:737) INFO: 23epoch:train:8101-8200batch: iter_time=7.764e-05, forward_time=0.155, loss_ctc=68.446, loss_att=58.293, acc=0.711, loss=61.339, backward_time=0.346, grad_norm=57.455, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.425e-05, train_time=1.834 +[gpua002:0/64] 2023-12-10 06:40:13,737 (trainer:737) INFO: 23epoch:train:8201-8300batch: iter_time=7.874e-05, forward_time=0.283, loss_ctc=65.171, loss_att=59.406, acc=0.712, loss=61.136, backward_time=0.299, grad_norm=53.241, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.424e-05, train_time=1.535 +[gpua002:0/64] 2023-12-10 06:43:08,366 (trainer:737) INFO: 23epoch:train:8301-8400batch: iter_time=7.843e-05, forward_time=0.148, loss_ctc=66.455, loss_att=56.185, acc=0.711, loss=59.266, backward_time=0.327, grad_norm=59.749, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.423e-05, train_time=1.746 +[gpua002:0/64] 2023-12-10 06:45:30,280 (trainer:737) INFO: 23epoch:train:8401-8500batch: iter_time=7.645e-05, forward_time=0.148, loss_ctc=60.688, loss_att=49.719, acc=0.723, loss=53.010, backward_time=0.292, grad_norm=52.218, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.422e-05, train_time=1.419 +[gpua002:0/64] 2023-12-10 06:47:59,548 (trainer:737) INFO: 23epoch:train:8501-8600batch: iter_time=7.798e-05, forward_time=0.148, loss_ctc=65.263, loss_att=50.127, acc=0.710, loss=54.668, backward_time=0.329, grad_norm=59.476, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.420e-05, train_time=1.492 +[gpua002:0/64] 2023-12-10 06:50:17,802 (trainer:737) INFO: 23epoch:train:8601-8700batch: iter_time=7.455e-05, forward_time=0.150, loss_ctc=73.766, loss_att=55.238, acc=0.730, loss=60.796, backward_time=0.287, grad_norm=62.002, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.419e-05, train_time=1.382 +[gpua002:0/64] 2023-12-10 06:51:57,220 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-10 06:52:16,721 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 06:52:20,226 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 06:52:20,226 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-10 06:52:20,232 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 06:57:59,850 (trainer:737) INFO: 23epoch:train:8701-8800batch: iter_time=3.157, forward_time=0.153, loss_ctc=61.447, loss_att=49.534, acc=0.716, loss=53.108, backward_time=0.285, grad_norm=53.722, clip=100.000, loss_scale=1.412e+32, optim_step_time=0.135, optim0_lr0=8.418e-05, train_time=4.620 +[gpua002:0/64] 2023-12-10 07:00:01,926 (trainer:737) INFO: 23epoch:train:8801-8900batch: iter_time=7.469e-05, forward_time=0.147, loss_ctc=78.843, loss_att=63.123, acc=0.707, loss=67.839, backward_time=0.280, grad_norm=60.449, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.417e-05, train_time=1.221 +[gpua002:0/64] 2023-12-10 07:02:53,007 (trainer:737) INFO: 23epoch:train:8901-9000batch: iter_time=7.933e-05, forward_time=0.267, loss_ctc=69.761, loss_att=50.411, acc=0.715, loss=56.216, backward_time=0.311, grad_norm=64.437, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=8.415e-05, train_time=1.710 +[gpua002:0/64] 2023-12-10 07:05:06,436 (trainer:737) INFO: 23epoch:train:9001-9100batch: iter_time=8.004e-05, forward_time=0.147, loss_ctc=67.177, loss_att=50.239, acc=0.728, loss=55.321, backward_time=0.284, grad_norm=59.415, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=8.414e-05, train_time=1.334 +[gpua002:0/64] 2023-12-10 07:06:52,319 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 07:07:56,810 (trainer:737) INFO: 23epoch:train:9101-9200batch: iter_time=7.904e-05, forward_time=0.149, loss_ctc=69.245, loss_att=51.020, acc=0.721, loss=56.488, backward_time=0.317, grad_norm=69.274, clip=100.000, loss_scale=1.319e+32, optim_step_time=0.135, optim0_lr0=8.413e-05, train_time=1.704 +[gpua002:0/64] 2023-12-10 07:10:05,610 (trainer:737) INFO: 23epoch:train:9201-9300batch: iter_time=7.648e-05, forward_time=0.147, loss_ctc=61.728, loss_att=48.066, acc=0.723, loss=52.164, backward_time=0.288, grad_norm=55.467, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.412e-05, train_time=1.288 +[gpua002:0/64] 2023-12-10 07:12:32,065 (trainer:737) INFO: 23epoch:train:9301-9400batch: iter_time=7.982e-05, forward_time=0.146, loss_ctc=61.990, loss_att=53.267, acc=0.712, loss=55.884, backward_time=0.291, grad_norm=59.584, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.410e-05, train_time=1.464 +[gpua002:0/64] 2023-12-10 07:15:20,702 (trainer:737) INFO: 23epoch:train:9401-9500batch: iter_time=7.880e-05, forward_time=0.148, loss_ctc=72.248, loss_att=63.871, acc=0.694, loss=66.384, backward_time=0.335, grad_norm=66.159, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.409e-05, train_time=1.686 +[gpua002:0/64] 2023-12-10 07:17:42,684 (trainer:737) INFO: 23epoch:train:9501-9600batch: iter_time=8.082e-05, forward_time=0.147, loss_ctc=58.193, loss_att=49.637, acc=0.711, loss=52.204, backward_time=0.286, grad_norm=49.036, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.408e-05, train_time=1.420 +[gpua002:0/64] 2023-12-10 07:20:36,390 (trainer:737) INFO: 23epoch:train:9601-9700batch: iter_time=8.336e-05, forward_time=0.153, loss_ctc=62.026, loss_att=47.926, acc=0.716, loss=52.156, backward_time=0.350, grad_norm=57.678, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.407e-05, train_time=1.737 +[gpua002:0/64] 2023-12-10 07:23:17,900 (trainer:737) INFO: 23epoch:train:9701-9800batch: iter_time=7.991e-05, forward_time=0.149, loss_ctc=65.857, loss_att=54.839, acc=0.706, loss=58.144, backward_time=0.301, grad_norm=57.987, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.405e-05, train_time=1.614 +[gpua002:0/64] 2023-12-10 07:25:50,785 (trainer:737) INFO: 23epoch:train:9801-9900batch: iter_time=8.027e-05, forward_time=0.243, loss_ctc=66.726, loss_att=49.694, acc=0.716, loss=54.803, backward_time=0.320, grad_norm=60.100, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.404e-05, train_time=1.529 +[gpua002:0/64] 2023-12-10 07:27:58,041 (trainer:737) INFO: 23epoch:train:9901-10000batch: iter_time=8.150e-05, forward_time=0.148, loss_ctc=73.117, loss_att=55.590, acc=0.715, loss=60.848, backward_time=0.287, grad_norm=59.786, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.403e-05, train_time=1.272 +[gpua002:0/64] 2023-12-10 07:28:18,069 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-10 07:28:37,596 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 07:28:41,173 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 07:28:41,173 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-10 07:28:41,180 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 07:34:59,155 (trainer:737) INFO: 23epoch:train:10001-10100batch: iter_time=2.935, forward_time=0.149, loss_ctc=66.671, loss_att=55.780, acc=0.725, loss=59.047, backward_time=0.284, grad_norm=56.041, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.402e-05, train_time=4.211 +[gpua002:0/64] 2023-12-10 07:37:02,555 (trainer:737) INFO: 23epoch:train:10101-10200batch: iter_time=7.700e-05, forward_time=0.147, loss_ctc=76.748, loss_att=57.853, acc=0.708, loss=63.521, backward_time=0.280, grad_norm=62.036, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.401e-05, train_time=1.234 +[gpua002:0/64] 2023-12-10 07:39:20,889 (trainer:737) INFO: 23epoch:train:10201-10300batch: iter_time=7.703e-05, forward_time=0.148, loss_ctc=65.694, loss_att=51.227, acc=0.724, loss=55.568, backward_time=0.313, grad_norm=68.212, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.399e-05, train_time=1.383 +[gpua002:0/64] 2023-12-10 07:41:56,917 (trainer:737) INFO: 23epoch:train:10301-10400batch: iter_time=7.836e-05, forward_time=0.147, loss_ctc=69.721, loss_att=50.629, acc=0.727, loss=56.356, backward_time=0.293, grad_norm=61.774, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.398e-05, train_time=1.560 +[gpua002:0/64] 2023-12-10 07:44:07,848 (trainer:737) INFO: 23epoch:train:10401-10500batch: iter_time=7.451e-05, forward_time=0.147, loss_ctc=63.333, loss_att=49.524, acc=0.728, loss=53.666, backward_time=0.282, grad_norm=65.376, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.397e-05, train_time=1.309 +[gpua002:0/64] 2023-12-10 07:46:52,993 (trainer:737) INFO: 23epoch:train:10501-10600batch: iter_time=7.784e-05, forward_time=0.151, loss_ctc=60.734, loss_att=48.987, acc=0.728, loss=52.511, backward_time=0.293, grad_norm=55.966, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.396e-05, train_time=1.651 +[gpua002:0/64] 2023-12-10 07:50:09,800 (trainer:737) INFO: 23epoch:train:10601-10700batch: iter_time=7.920e-05, forward_time=0.147, loss_ctc=68.279, loss_att=57.987, acc=0.711, loss=61.074, backward_time=0.346, grad_norm=62.214, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.394e-05, train_time=1.967 +[gpua002:0/64] 2023-12-10 07:53:18,533 (trainer:737) INFO: 23epoch:train:10701-10800batch: iter_time=8.003e-05, forward_time=0.186, loss_ctc=64.592, loss_att=58.966, acc=0.712, loss=60.654, backward_time=0.342, grad_norm=57.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.141, optim0_lr0=8.393e-05, train_time=1.888 +[gpua002:0/64] 2023-12-10 07:56:09,531 (trainer:737) INFO: 23epoch:train:10801-10900batch: iter_time=7.914e-05, forward_time=0.204, loss_ctc=65.996, loss_att=55.532, acc=0.714, loss=58.671, backward_time=0.338, grad_norm=56.953, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.392e-05, train_time=1.709 +[gpua002:0/64] 2023-12-10 07:58:13,917 (trainer:737) INFO: 23epoch:train:10901-11000batch: iter_time=7.799e-05, forward_time=0.148, loss_ctc=60.461, loss_att=49.491, acc=0.726, loss=52.782, backward_time=0.281, grad_norm=54.413, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.391e-05, train_time=1.244 +[gpua002:0/64] 2023-12-10 08:00:56,995 (trainer:737) INFO: 23epoch:train:11001-11100batch: iter_time=8.179e-05, forward_time=0.148, loss_ctc=64.378, loss_att=50.320, acc=0.708, loss=54.538, backward_time=0.299, grad_norm=67.360, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.389e-05, train_time=1.631 +[gpua002:0/64] 2023-12-10 08:03:49,916 (trainer:737) INFO: 23epoch:train:11101-11200batch: iter_time=7.578e-05, forward_time=0.148, loss_ctc=73.722, loss_att=54.953, acc=0.730, loss=60.584, backward_time=0.300, grad_norm=64.764, clip=100.000, loss_scale=1.111e+32, optim_step_time=0.136, optim0_lr0=8.388e-05, train_time=1.729 +[gpua002:0/64] 2023-12-10 08:03:55,690 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 08:05:25,244 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-10 08:05:44,715 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 08:05:48,249 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 08:05:48,249 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-10 08:05:48,257 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 08:11:44,158 (trainer:737) INFO: 23epoch:train:11201-11300batch: iter_time=3.271, forward_time=0.154, loss_ctc=60.763, loss_att=48.664, acc=0.726, loss=52.294, backward_time=0.290, grad_norm=51.854, clip=100.000, loss_scale=8.359e+31, optim_step_time=0.137, optim0_lr0=8.387e-05, train_time=4.742 +[gpua002:0/64] 2023-12-10 08:13:58,010 (trainer:737) INFO: 23epoch:train:11301-11400batch: iter_time=7.913e-05, forward_time=0.149, loss_ctc=79.126, loss_att=62.945, acc=0.719, loss=67.799, backward_time=0.295, grad_norm=58.926, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.386e-05, train_time=1.339 +[gpua002:0/64] 2023-12-10 08:16:49,299 (trainer:737) INFO: 23epoch:train:11401-11500batch: iter_time=8.048e-05, forward_time=0.169, loss_ctc=69.146, loss_att=50.223, acc=0.718, loss=55.900, backward_time=0.327, grad_norm=61.595, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.385e-05, train_time=1.713 +[gpua002:0/64] 2023-12-10 08:19:21,372 (trainer:737) INFO: 23epoch:train:11501-11600batch: iter_time=0.002, forward_time=0.242, loss_ctc=66.707, loss_att=51.822, acc=0.730, loss=56.287, backward_time=0.318, grad_norm=59.655, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.383e-05, train_time=1.520 +[gpua002:0/64] 2023-12-10 08:22:04,151 (trainer:737) INFO: 23epoch:train:11601-11700batch: iter_time=7.822e-05, forward_time=0.147, loss_ctc=68.849, loss_att=51.436, acc=0.731, loss=56.659, backward_time=0.315, grad_norm=58.153, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.382e-05, train_time=1.628 +[gpua002:0/64] 2023-12-10 08:24:38,290 (trainer:737) INFO: 23epoch:train:11701-11800batch: iter_time=7.675e-05, forward_time=0.149, loss_ctc=61.840, loss_att=48.246, acc=0.726, loss=52.324, backward_time=0.291, grad_norm=58.976, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.381e-05, train_time=1.541 +[gpua002:0/64] 2023-12-10 08:24:58,247 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 08:27:44,323 (trainer:737) INFO: 23epoch:train:11801-11900batch: iter_time=7.705e-05, forward_time=0.147, loss_ctc=62.065, loss_att=53.741, acc=0.723, loss=56.238, backward_time=0.423, grad_norm=58.234, clip=100.000, loss_scale=4.630e+31, optim_step_time=0.136, optim0_lr0=8.380e-05, train_time=1.860 +[gpua002:0/64] 2023-12-10 08:30:21,695 (trainer:737) INFO: 23epoch:train:11901-12000batch: iter_time=7.734e-05, forward_time=0.147, loss_ctc=72.179, loss_att=66.498, acc=0.700, loss=68.202, backward_time=0.313, grad_norm=63.855, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.378e-05, train_time=1.573 +[gpua002:0/64] 2023-12-10 08:32:53,643 (trainer:737) INFO: 23epoch:train:12001-12100batch: iter_time=7.683e-05, forward_time=0.150, loss_ctc=58.071, loss_att=49.141, acc=0.723, loss=51.820, backward_time=0.347, grad_norm=49.157, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.377e-05, train_time=1.519 +[gpua002:0/64] 2023-12-10 08:35:27,245 (trainer:737) INFO: 23epoch:train:12101-12200batch: iter_time=7.924e-05, forward_time=0.152, loss_ctc=61.148, loss_att=47.031, acc=0.722, loss=51.266, backward_time=0.327, grad_norm=60.101, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.376e-05, train_time=1.534 +[gpua002:0/64] 2023-12-10 08:38:24,577 (trainer:737) INFO: 23epoch:train:12201-12300batch: iter_time=7.862e-05, forward_time=0.147, loss_ctc=66.366, loss_att=55.690, acc=0.716, loss=58.893, backward_time=0.380, grad_norm=60.308, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.375e-05, train_time=1.775 +[gpua002:0/64] 2023-12-10 08:41:11,435 (trainer:737) INFO: 23epoch:train:12301-12400batch: iter_time=1.960e-04, forward_time=0.249, loss_ctc=66.817, loss_att=49.774, acc=0.719, loss=54.887, backward_time=0.352, grad_norm=101.385, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.373e-05, train_time=1.668 +[gpua002:0/64] 2023-12-10 08:43:41,446 (trainer:737) INFO: 23epoch:train:12401-12500batch: iter_time=7.478e-05, forward_time=0.147, loss_ctc=73.144, loss_att=55.271, acc=0.725, loss=60.633, backward_time=0.287, grad_norm=70.861, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.372e-05, train_time=1.500 +[gpua002:0/64] 2023-12-10 08:44:01,474 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-10 08:44:20,923 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 08:44:24,469 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 08:44:24,469 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-10 08:44:24,475 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 08:51:05,062 (trainer:737) INFO: 23epoch:train:12501-12600batch: iter_time=3.160, forward_time=0.155, loss_ctc=66.592, loss_att=55.389, acc=0.717, loss=58.750, backward_time=0.283, grad_norm=64.170, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.371e-05, train_time=4.436 +[gpua002:0/64] 2023-12-10 08:53:26,197 (trainer:737) INFO: 23epoch:train:12601-12700batch: iter_time=7.633e-05, forward_time=0.147, loss_ctc=76.903, loss_att=58.597, acc=0.699, loss=64.089, backward_time=0.290, grad_norm=62.176, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.370e-05, train_time=1.411 +[gpua002:0/64] 2023-12-10 08:56:03,107 (trainer:737) INFO: 23epoch:train:12701-12800batch: iter_time=7.790e-05, forward_time=0.147, loss_ctc=64.911, loss_att=48.916, acc=0.727, loss=53.714, backward_time=0.293, grad_norm=66.577, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.369e-05, train_time=1.569 +[gpua002:0/64] 2023-12-10 08:58:14,188 (trainer:737) INFO: 23epoch:train:12801-12900batch: iter_time=7.867e-05, forward_time=0.149, loss_ctc=69.065, loss_att=50.959, acc=0.718, loss=56.391, backward_time=0.299, grad_norm=65.674, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.367e-05, train_time=1.311 +[gpua002:0/64] 2023-12-10 09:00:48,911 (trainer:737) INFO: 23epoch:train:12901-13000batch: iter_time=8.086e-05, forward_time=0.147, loss_ctc=63.340, loss_att=47.843, acc=0.725, loss=52.492, backward_time=0.304, grad_norm=52.499, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.366e-05, train_time=1.546 +[gpua002:0/64] 2023-12-10 09:03:24,423 (trainer:737) INFO: 23epoch:train:13001-13100batch: iter_time=7.926e-05, forward_time=0.168, loss_ctc=60.565, loss_att=48.499, acc=0.726, loss=52.119, backward_time=0.335, grad_norm=64.958, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.365e-05, train_time=1.555 +[gpua002:0/64] 2023-12-10 09:05:58,116 (trainer:737) INFO: 23epoch:train:13101-13200batch: iter_time=7.996e-05, forward_time=0.220, loss_ctc=67.699, loss_att=58.189, acc=0.701, loss=61.042, backward_time=0.315, grad_norm=61.741, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.364e-05, train_time=1.537 +[gpua002:0/64] 2023-12-10 09:08:53,887 (trainer:737) INFO: 23epoch:train:13201-13300batch: iter_time=7.996e-05, forward_time=0.149, loss_ctc=64.510, loss_att=56.419, acc=0.708, loss=58.846, backward_time=0.366, grad_norm=67.041, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.363e-05, train_time=1.757 +[gpua002:0/64] 2023-12-10 09:11:56,825 (trainer:737) INFO: 23epoch:train:13301-13400batch: iter_time=7.959e-05, forward_time=0.157, loss_ctc=65.869, loss_att=55.015, acc=0.710, loss=58.271, backward_time=0.375, grad_norm=59.114, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.361e-05, train_time=1.829 +[gpua002:0/64] 2023-12-10 09:14:22,520 (trainer:737) INFO: 23epoch:train:13401-13500batch: iter_time=7.739e-05, forward_time=0.147, loss_ctc=60.026, loss_att=49.382, acc=0.719, loss=52.575, backward_time=0.293, grad_norm=77.210, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.360e-05, train_time=1.457 +[gpua002:0/64] 2023-12-10 09:16:22,801 (trainer:737) INFO: 23epoch:train:13501-13600batch: iter_time=7.744e-05, forward_time=0.147, loss_ctc=64.923, loss_att=50.253, acc=0.702, loss=54.654, backward_time=0.280, grad_norm=61.039, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.359e-05, train_time=1.203 +[gpua002:0/64] 2023-12-10 09:18:52,283 (trainer:737) INFO: 23epoch:train:13601-13700batch: iter_time=7.968e-05, forward_time=0.148, loss_ctc=73.646, loss_att=55.296, acc=0.720, loss=60.801, backward_time=0.303, grad_norm=63.231, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.358e-05, train_time=1.495 +[gpua002:0/64] 2023-12-10 09:20:23,294 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-10 09:20:42,754 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 09:20:46,580 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 09:20:46,580 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-10 09:20:46,583 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 09:26:37,102 (trainer:737) INFO: 23epoch:train:13701-13800batch: iter_time=3.256, forward_time=0.193, loss_ctc=60.131, loss_att=48.188, acc=0.715, loss=51.771, backward_time=0.303, grad_norm=58.888, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.356e-05, train_time=4.648 +[gpua002:0/64] 2023-12-10 09:28:45,882 (trainer:737) INFO: 23epoch:train:13801-13900batch: iter_time=7.554e-05, forward_time=0.148, loss_ctc=78.834, loss_att=61.886, acc=0.711, loss=66.971, backward_time=0.281, grad_norm=62.717, clip=100.000, loss_scale=7.504e+31, optim_step_time=0.136, optim0_lr0=8.355e-05, train_time=1.288 +[gpua002:0/64] 2023-12-10 09:30:49,619 (trainer:737) INFO: 23epoch:train:13901-14000batch: iter_time=7.482e-05, forward_time=0.148, loss_ctc=69.466, loss_att=49.887, acc=0.718, loss=55.761, backward_time=0.298, grad_norm=57.635, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.354e-05, train_time=1.237 +[gpua002:0/64] 2023-12-10 09:33:01,455 (trainer:737) INFO: 23epoch:train:14001-14100batch: iter_time=7.786e-05, forward_time=0.148, loss_ctc=66.957, loss_att=50.081, acc=0.730, loss=55.143, backward_time=0.283, grad_norm=56.195, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.353e-05, train_time=1.318 +[gpua002:0/64] 2023-12-10 09:35:47,505 (trainer:737) INFO: 23epoch:train:14101-14200batch: iter_time=7.760e-05, forward_time=0.147, loss_ctc=68.739, loss_att=50.500, acc=0.723, loss=55.972, backward_time=0.342, grad_norm=57.479, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.352e-05, train_time=1.660 +[gpua002:0/64] 2023-12-10 09:38:30,653 (trainer:737) INFO: 23epoch:train:14201-14300batch: iter_time=7.826e-05, forward_time=0.147, loss_ctc=61.522, loss_att=47.370, acc=0.728, loss=51.615, backward_time=0.295, grad_norm=59.740, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.350e-05, train_time=1.631 +[gpua002:0/64] 2023-12-10 09:41:34,155 (trainer:737) INFO: 23epoch:train:14301-14400batch: iter_time=7.892e-05, forward_time=0.196, loss_ctc=62.140, loss_att=53.085, acc=0.714, loss=55.801, backward_time=0.404, grad_norm=54.060, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.147, optim0_lr0=8.349e-05, train_time=1.835 +[gpua002:0/64] 2023-12-10 09:44:16,505 (trainer:737) INFO: 23epoch:train:14401-14500batch: iter_time=7.463e-05, forward_time=0.149, loss_ctc=72.203, loss_att=63.317, acc=0.698, loss=65.983, backward_time=0.301, grad_norm=63.714, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.348e-05, train_time=1.623 +[gpua002:0/64] 2023-12-10 09:45:42,415 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 09:46:47,481 (trainer:737) INFO: 23epoch:train:14501-14600batch: iter_time=7.663e-05, forward_time=0.148, loss_ctc=57.447, loss_att=48.657, acc=0.714, loss=51.294, backward_time=0.282, grad_norm=50.726, clip=100.000, loss_scale=6.228e+31, optim_step_time=0.136, optim0_lr0=8.347e-05, train_time=1.510 +[gpua002:0/64] 2023-12-10 09:49:30,921 (trainer:737) INFO: 23epoch:train:14601-14700batch: iter_time=7.668e-05, forward_time=0.147, loss_ctc=61.037, loss_att=47.505, acc=0.718, loss=51.565, backward_time=0.298, grad_norm=64.504, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.346e-05, train_time=1.634 +[gpua002:0/64] 2023-12-10 09:51:46,623 (trainer:737) INFO: 23epoch:train:14701-14800batch: iter_time=7.621e-05, forward_time=0.147, loss_ctc=65.582, loss_att=54.212, acc=0.709, loss=57.623, backward_time=0.280, grad_norm=57.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.344e-05, train_time=1.357 +[gpua002:0/64] 2023-12-10 09:53:49,647 (trainer:737) INFO: 23epoch:train:14801-14900batch: iter_time=7.661e-05, forward_time=0.147, loss_ctc=66.427, loss_att=49.756, acc=0.717, loss=54.757, backward_time=0.282, grad_norm=59.719, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.343e-05, train_time=1.230 +[gpua002:0/64] 2023-12-10 09:56:33,136 (trainer:737) INFO: 23epoch:train:14901-15000batch: iter_time=7.586e-05, forward_time=0.148, loss_ctc=72.757, loss_att=55.029, acc=0.718, loss=60.348, backward_time=0.292, grad_norm=58.637, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.342e-05, train_time=1.635 +[gpua002:0/64] 2023-12-10 10:22:53,418 (trainer:343) INFO: 23epoch results: [train] iter_time=0.244, forward_time=0.158, loss_ctc=67.336, loss_att=53.527, acc=0.714, loss=57.670, backward_time=0.306, grad_norm=61.162, clip=100.000, loss_scale=6.492e+31, optim_step_time=0.136, optim0_lr0=8.434e-05, train_time=1.756, time=7 hours, 19 minutes and 32.61 seconds, total_count=345000, gpu_max_cached_mem_GB=36.283, [valid] loss_ctc=37.559, cer_ctc=0.193, loss_att=34.271, acc=0.708, cer=0.337, wer=0.989, loss=35.257, time=25 minutes and 56.43 seconds, total_count=107433, gpu_max_cached_mem_GB=36.283 +[gpua002:0/64] 2023-12-10 10:23:16,457 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-10 10:23:16,693 (trainer:272) INFO: 24/40epoch started. Estimated time to finish: 5 days, 23 hours and 9 minutes +[gpua002:0/64] 2023-12-10 10:23:17,954 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-10 10:23:36,297 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 10:23:39,706 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 10:23:39,707 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-10 10:23:39,710 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 10:30:01,981 (trainer:737) INFO: 24epoch:train:1-100batch: iter_time=2.333, forward_time=0.210, loss_ctc=68.103, loss_att=60.435, acc=0.707, loss=62.735, backward_time=0.287, grad_norm=57.963, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.341e-05, train_time=4.045 +[gpua002:0/64] 2023-12-10 10:32:06,031 (trainer:737) INFO: 24epoch:train:101-200batch: iter_time=8.109e-05, forward_time=0.148, loss_ctc=68.369, loss_att=63.644, acc=0.697, loss=65.061, backward_time=0.279, grad_norm=57.699, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.339e-05, train_time=1.240 +[gpua002:0/64] 2023-12-10 10:34:16,813 (trainer:737) INFO: 24epoch:train:201-300batch: iter_time=8.002e-05, forward_time=0.147, loss_ctc=61.033, loss_att=46.924, acc=0.713, loss=51.157, backward_time=0.280, grad_norm=56.280, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.338e-05, train_time=1.308 +[gpua002:0/64] 2023-12-10 10:36:49,763 (trainer:737) INFO: 24epoch:train:301-400batch: iter_time=8.245e-05, forward_time=0.148, loss_ctc=71.516, loss_att=53.168, acc=0.707, loss=58.672, backward_time=0.357, grad_norm=58.607, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.337e-05, train_time=1.529 +[gpua002:0/64] 2023-12-10 10:39:20,779 (trainer:737) INFO: 24epoch:train:401-500batch: iter_time=7.991e-05, forward_time=0.150, loss_ctc=69.972, loss_att=60.470, acc=0.701, loss=63.320, backward_time=0.319, grad_norm=65.566, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.336e-05, train_time=1.510 +[gpua002:0/64] 2023-12-10 10:39:48,705 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 10:41:46,537 (trainer:737) INFO: 24epoch:train:501-600batch: iter_time=7.753e-05, forward_time=0.154, loss_ctc=61.520, loss_att=49.732, acc=0.720, loss=53.268, backward_time=0.299, grad_norm=85.658, clip=100.000, loss_scale=2.356e+31, optim_step_time=0.138, optim0_lr0=8.335e-05, train_time=1.457 +[gpua002:0/64] 2023-12-10 10:44:11,884 (trainer:737) INFO: 24epoch:train:601-700batch: iter_time=7.917e-05, forward_time=0.148, loss_ctc=65.100, loss_att=50.762, acc=0.727, loss=55.063, backward_time=0.295, grad_norm=66.623, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.333e-05, train_time=1.453 +[gpua002:0/64] 2023-12-10 10:46:35,321 (trainer:737) INFO: 24epoch:train:701-800batch: iter_time=7.963e-05, forward_time=0.151, loss_ctc=69.728, loss_att=58.457, acc=0.723, loss=61.838, backward_time=0.288, grad_norm=65.880, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.332e-05, train_time=1.434 +[gpua002:0/64] 2023-12-10 10:49:27,806 (trainer:737) INFO: 24epoch:train:801-900batch: iter_time=6.082e-04, forward_time=0.176, loss_ctc=71.460, loss_att=53.391, acc=0.722, loss=58.812, backward_time=0.333, grad_norm=61.186, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.331e-05, train_time=1.725 +[gpua002:0/64] 2023-12-10 10:52:22,141 (trainer:737) INFO: 24epoch:train:901-1000batch: iter_time=7.977e-05, forward_time=0.191, loss_ctc=71.761, loss_att=53.047, acc=0.720, loss=58.661, backward_time=0.371, grad_norm=58.234, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=8.330e-05, train_time=1.743 +[gpua002:0/64] 2023-12-10 10:55:27,728 (trainer:737) INFO: 24epoch:train:1001-1100batch: iter_time=8.040e-05, forward_time=0.148, loss_ctc=77.957, loss_att=63.505, acc=0.706, loss=67.840, backward_time=0.353, grad_norm=68.520, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.329e-05, train_time=1.856 +[gpua002:0/64] 2023-12-10 10:58:05,767 (trainer:737) INFO: 24epoch:train:1101-1200batch: iter_time=7.352e-05, forward_time=0.166, loss_ctc=68.674, loss_att=51.938, acc=0.716, loss=56.959, backward_time=0.304, grad_norm=65.116, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.327e-05, train_time=1.580 +[gpua002:0/64] 2023-12-10 10:59:29,888 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-10 10:59:49,233 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 10:59:52,786 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 10:59:52,786 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-10 10:59:52,789 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 11:05:29,137 (trainer:737) INFO: 24epoch:train:1201-1300batch: iter_time=3.098, forward_time=0.151, loss_ctc=71.842, loss_att=58.897, acc=0.712, loss=62.780, backward_time=0.285, grad_norm=55.848, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.326e-05, train_time=4.433 +[gpua002:0/64] 2023-12-10 11:07:31,263 (trainer:737) INFO: 24epoch:train:1301-1400batch: iter_time=7.623e-05, forward_time=0.148, loss_ctc=65.254, loss_att=60.099, acc=0.706, loss=61.645, backward_time=0.281, grad_norm=87.645, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.325e-05, train_time=1.222 +[gpua002:0/64] 2023-12-10 11:09:47,693 (trainer:737) INFO: 24epoch:train:1401-1500batch: iter_time=7.853e-05, forward_time=0.148, loss_ctc=64.566, loss_att=51.377, acc=0.715, loss=55.333, backward_time=0.284, grad_norm=82.141, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.324e-05, train_time=1.364 +[gpua002:0/64] 2023-12-10 11:12:15,952 (trainer:737) INFO: 24epoch:train:1501-1600batch: iter_time=7.794e-05, forward_time=0.162, loss_ctc=69.418, loss_att=53.187, acc=0.721, loss=58.056, backward_time=0.286, grad_norm=70.973, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.323e-05, train_time=1.482 +[gpua002:0/64] 2023-12-10 11:14:48,625 (trainer:737) INFO: 24epoch:train:1601-1700batch: iter_time=1.666e-04, forward_time=0.177, loss_ctc=62.417, loss_att=50.843, acc=0.704, loss=54.315, backward_time=0.308, grad_norm=91.297, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.321e-05, train_time=1.526 +[gpua002:0/64] 2023-12-10 11:17:39,297 (trainer:737) INFO: 24epoch:train:1701-1800batch: iter_time=7.820e-05, forward_time=0.207, loss_ctc=66.888, loss_att=56.406, acc=0.712, loss=59.551, backward_time=0.319, grad_norm=65.507, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=8.320e-05, train_time=1.707 +[gpua002:0/64] 2023-12-10 11:20:31,242 (trainer:737) INFO: 24epoch:train:1801-1900batch: iter_time=7.854e-05, forward_time=0.148, loss_ctc=61.534, loss_att=45.440, acc=0.730, loss=50.268, backward_time=0.306, grad_norm=65.129, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.319e-05, train_time=1.719 +[gpua002:0/64] 2023-12-10 11:23:32,652 (trainer:737) INFO: 24epoch:train:1901-2000batch: iter_time=7.778e-05, forward_time=0.147, loss_ctc=67.568, loss_att=56.989, acc=0.727, loss=60.162, backward_time=0.294, grad_norm=67.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.318e-05, train_time=1.814 +[gpua002:0/64] 2023-12-10 11:26:13,874 (trainer:737) INFO: 24epoch:train:2001-2100batch: iter_time=8.018e-05, forward_time=0.147, loss_ctc=68.899, loss_att=55.170, acc=0.723, loss=59.289, backward_time=0.294, grad_norm=64.209, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.317e-05, train_time=1.612 +[gpua002:0/64] 2023-12-10 11:28:11,763 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 11:28:42,521 (trainer:737) INFO: 24epoch:train:2101-2200batch: iter_time=7.642e-05, forward_time=0.153, loss_ctc=74.379, loss_att=54.920, acc=0.724, loss=60.758, backward_time=0.298, grad_norm=62.025, clip=100.000, loss_scale=1.936e+31, optim_step_time=0.135, optim0_lr0=8.315e-05, train_time=1.486 +[gpua002:0/64] 2023-12-10 11:30:44,038 (trainer:737) INFO: 24epoch:train:2201-2300batch: iter_time=8.114e-05, forward_time=0.147, loss_ctc=69.154, loss_att=57.527, acc=0.719, loss=61.015, backward_time=0.280, grad_norm=89.112, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.314e-05, train_time=1.215 +[gpua002:0/64] 2023-12-10 11:33:10,014 (trainer:737) INFO: 24epoch:train:2301-2400batch: iter_time=7.885e-05, forward_time=0.147, loss_ctc=72.726, loss_att=55.157, acc=0.704, loss=60.428, backward_time=0.282, grad_norm=85.731, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.313e-05, train_time=1.460 +[gpua002:0/64] 2023-12-10 11:35:31,387 (trainer:737) INFO: 24epoch:train:2401-2500batch: iter_time=7.672e-05, forward_time=0.150, loss_ctc=69.594, loss_att=52.872, acc=0.729, loss=57.889, backward_time=0.297, grad_norm=126.120, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.312e-05, train_time=1.414 +[gpua002:0/64] 2023-12-10 11:35:51,416 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-10 11:36:10,771 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 11:36:14,221 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 11:36:14,221 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-10 11:36:14,268 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 11:42:47,417 (trainer:737) INFO: 24epoch:train:2501-2600batch: iter_time=3.009, forward_time=0.188, loss_ctc=67.173, loss_att=58.610, acc=0.707, loss=61.179, backward_time=0.291, grad_norm=98.796, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.311e-05, train_time=4.360 +[gpua002:0/64] 2023-12-10 11:44:52,564 (trainer:737) INFO: 24epoch:train:2601-2700batch: iter_time=8.017e-05, forward_time=0.147, loss_ctc=68.271, loss_att=60.401, acc=0.694, loss=62.762, backward_time=0.292, grad_norm=58.342, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.309e-05, train_time=1.251 +[gpua002:0/64] 2023-12-10 11:47:24,630 (trainer:737) INFO: 24epoch:train:2701-2800batch: iter_time=7.947e-05, forward_time=0.147, loss_ctc=59.069, loss_att=45.892, acc=0.718, loss=49.845, backward_time=0.302, grad_norm=72.606, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.308e-05, train_time=1.520 +[gpua002:0/64] 2023-12-10 11:50:07,256 (trainer:737) INFO: 24epoch:train:2801-2900batch: iter_time=7.854e-05, forward_time=0.148, loss_ctc=70.501, loss_att=52.508, acc=0.710, loss=57.906, backward_time=0.294, grad_norm=72.451, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.307e-05, train_time=1.626 +[gpua002:0/64] 2023-12-10 11:52:42,207 (trainer:737) INFO: 24epoch:train:2901-3000batch: iter_time=7.808e-05, forward_time=0.150, loss_ctc=67.730, loss_att=55.562, acc=0.706, loss=59.213, backward_time=0.294, grad_norm=96.152, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.143, optim0_lr0=8.306e-05, train_time=1.549 +[gpua002:0/64] 2023-12-10 11:54:47,249 (trainer:737) INFO: 24epoch:train:3001-3100batch: iter_time=7.477e-05, forward_time=0.149, loss_ctc=60.787, loss_att=49.368, acc=0.714, loss=52.794, backward_time=0.292, grad_norm=82.782, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.305e-05, train_time=1.250 +[gpua002:0/64] 2023-12-10 11:56:54,672 (trainer:737) INFO: 24epoch:train:3101-3200batch: iter_time=7.463e-05, forward_time=0.149, loss_ctc=64.338, loss_att=50.534, acc=0.729, loss=54.675, backward_time=0.289, grad_norm=55.420, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.303e-05, train_time=1.275 +[gpua002:0/64] 2023-12-10 11:59:35,684 (trainer:737) INFO: 24epoch:train:3201-3300batch: iter_time=7.686e-05, forward_time=0.148, loss_ctc=68.279, loss_att=58.058, acc=0.715, loss=61.124, backward_time=0.307, grad_norm=74.026, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.302e-05, train_time=1.610 +[gpua002:0/64] 2023-12-10 12:02:10,686 (trainer:737) INFO: 24epoch:train:3301-3400batch: iter_time=7.999e-05, forward_time=0.149, loss_ctc=69.496, loss_att=52.600, acc=0.719, loss=57.669, backward_time=0.332, grad_norm=63.275, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.301e-05, train_time=1.550 +[gpua002:0/64] 2023-12-10 12:05:15,293 (trainer:737) INFO: 24epoch:train:3401-3500batch: iter_time=5.880e-04, forward_time=0.246, loss_ctc=70.336, loss_att=52.147, acc=0.713, loss=57.604, backward_time=0.305, grad_norm=72.852, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.151, optim0_lr0=8.300e-05, train_time=1.845 +[gpua002:0/64] 2023-12-10 12:07:47,237 (trainer:737) INFO: 24epoch:train:3501-3600batch: iter_time=7.970e-05, forward_time=0.148, loss_ctc=75.462, loss_att=59.345, acc=0.711, loss=64.180, backward_time=0.308, grad_norm=66.899, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.299e-05, train_time=1.520 +[gpua002:0/64] 2023-12-10 12:09:55,592 (trainer:737) INFO: 24epoch:train:3601-3700batch: iter_time=7.862e-05, forward_time=0.147, loss_ctc=68.078, loss_att=51.307, acc=0.710, loss=56.339, backward_time=0.281, grad_norm=57.091, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.298e-05, train_time=1.283 +[gpua002:0/64] 2023-12-10 12:11:23,806 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-10 12:11:43,012 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 12:11:46,504 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 12:11:46,505 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-10 12:11:46,508 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 12:16:51,602 (trainer:737) INFO: 24epoch:train:3701-3800batch: iter_time=2.729, forward_time=0.152, loss_ctc=71.576, loss_att=57.745, acc=0.711, loss=61.895, backward_time=0.289, grad_norm=87.085, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.296e-05, train_time=4.160 +[gpua002:0/64] 2023-12-10 12:18:57,542 (trainer:737) INFO: 24epoch:train:3801-3900batch: iter_time=7.644e-05, forward_time=0.148, loss_ctc=64.681, loss_att=58.310, acc=0.704, loss=60.222, backward_time=0.282, grad_norm=61.870, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.295e-05, train_time=1.259 +[gpua002:0/64] 2023-12-10 12:21:09,853 (trainer:737) INFO: 24epoch:train:3901-4000batch: iter_time=7.618e-05, forward_time=0.149, loss_ctc=63.490, loss_att=49.011, acc=0.717, loss=53.355, backward_time=0.292, grad_norm=55.823, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.294e-05, train_time=1.322 +[gpua002:0/64] 2023-12-10 12:23:26,550 (trainer:737) INFO: 24epoch:train:4001-4100batch: iter_time=7.578e-05, forward_time=0.148, loss_ctc=68.644, loss_att=52.620, acc=0.724, loss=57.427, backward_time=0.287, grad_norm=56.534, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.293e-05, train_time=1.367 +[gpua002:0/64] 2023-12-10 12:26:24,482 (trainer:737) INFO: 24epoch:train:4101-4200batch: iter_time=7.910e-05, forward_time=0.150, loss_ctc=61.694, loss_att=48.586, acc=0.708, loss=52.519, backward_time=0.305, grad_norm=87.391, clip=100.000, loss_scale=1.105e+31, optim_step_time=0.137, optim0_lr0=8.292e-05, train_time=1.779 +[gpua002:0/64] 2023-12-10 12:28:56,175 (trainer:737) INFO: 24epoch:train:4201-4300batch: iter_time=7.860e-05, forward_time=0.223, loss_ctc=66.623, loss_att=54.760, acc=0.710, loss=58.319, backward_time=0.344, grad_norm=110.340, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=8.290e-05, train_time=1.517 +[gpua002:0/64] 2023-12-10 12:31:23,221 (trainer:737) INFO: 24epoch:train:4301-4400batch: iter_time=7.649e-05, forward_time=0.161, loss_ctc=61.147, loss_att=45.077, acc=0.728, loss=49.898, backward_time=0.291, grad_norm=68.623, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.289e-05, train_time=1.470 +[gpua002:0/64] 2023-12-10 12:34:06,970 (trainer:737) INFO: 24epoch:train:4401-4500batch: iter_time=7.651e-05, forward_time=0.147, loss_ctc=67.070, loss_att=56.691, acc=0.727, loss=59.805, backward_time=0.323, grad_norm=70.226, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.288e-05, train_time=1.637 +[gpua002:0/64] 2023-12-10 12:36:34,070 (trainer:737) INFO: 24epoch:train:4501-4600batch: iter_time=7.451e-05, forward_time=0.147, loss_ctc=68.177, loss_att=55.006, acc=0.708, loss=58.957, backward_time=0.284, grad_norm=84.370, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.287e-05, train_time=1.471 +[gpua002:0/64] 2023-12-10 12:38:46,351 (trainer:737) INFO: 24epoch:train:4601-4700batch: iter_time=7.667e-05, forward_time=0.150, loss_ctc=73.892, loss_att=54.648, acc=0.718, loss=60.421, backward_time=0.285, grad_norm=74.398, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.286e-05, train_time=1.323 +[gpua002:0/64] 2023-12-10 12:41:11,605 (trainer:737) INFO: 24epoch:train:4701-4800batch: iter_time=7.747e-05, forward_time=0.159, loss_ctc=69.059, loss_att=56.101, acc=0.717, loss=59.988, backward_time=0.293, grad_norm=56.163, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.284e-05, train_time=1.452 +[gpua002:0/64] 2023-12-10 12:43:59,180 (trainer:737) INFO: 24epoch:train:4801-4900batch: iter_time=7.590e-05, forward_time=0.148, loss_ctc=71.874, loss_att=52.812, acc=0.705, loss=58.530, backward_time=0.307, grad_norm=62.058, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.283e-05, train_time=1.676 +[gpua002:0/64] 2023-12-10 12:46:55,116 (trainer:737) INFO: 24epoch:train:4901-5000batch: iter_time=7.717e-05, forward_time=0.149, loss_ctc=69.127, loss_att=52.273, acc=0.727, loss=57.329, backward_time=0.316, grad_norm=53.014, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.282e-05, train_time=1.758 +[gpua002:0/64] 2023-12-10 12:47:15,232 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-10 12:47:34,232 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 12:47:37,705 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 12:47:37,705 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-10 12:47:37,747 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 12:54:21,051 (trainer:737) INFO: 24epoch:train:5001-5100batch: iter_time=3.111, forward_time=0.223, loss_ctc=66.544, loss_att=58.942, acc=0.717, loss=61.223, backward_time=0.291, grad_norm=63.358, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.281e-05, train_time=4.459 +[gpua002:0/64] 2023-12-10 12:56:30,987 (trainer:737) INFO: 24epoch:train:5101-5200batch: iter_time=8.058e-05, forward_time=0.149, loss_ctc=67.647, loss_att=62.609, acc=0.702, loss=64.120, backward_time=0.282, grad_norm=59.849, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.280e-05, train_time=1.300 +[gpua002:0/64] 2023-12-10 12:58:45,848 (trainer:737) INFO: 24epoch:train:5201-5300batch: iter_time=7.815e-05, forward_time=0.148, loss_ctc=58.382, loss_att=45.441, acc=0.723, loss=49.324, backward_time=0.299, grad_norm=118.191, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.279e-05, train_time=1.348 +[gpua002:0/64] 2023-12-10 13:01:14,864 (trainer:737) INFO: 24epoch:train:5301-5400batch: iter_time=8.257e-05, forward_time=0.148, loss_ctc=69.836, loss_att=52.069, acc=0.715, loss=57.399, backward_time=0.300, grad_norm=65.596, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.277e-05, train_time=1.490 +[gpua002:0/64] 2023-12-10 13:03:24,065 (trainer:737) INFO: 24epoch:train:5401-5500batch: iter_time=8.071e-05, forward_time=0.148, loss_ctc=67.993, loss_att=59.101, acc=0.705, loss=61.769, backward_time=0.282, grad_norm=66.113, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.276e-05, train_time=1.292 +[gpua002:0/64] 2023-12-10 13:06:02,134 (trainer:737) INFO: 24epoch:train:5501-5600batch: iter_time=8.020e-05, forward_time=0.150, loss_ctc=60.151, loss_att=49.014, acc=0.725, loss=52.355, backward_time=0.296, grad_norm=59.708, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.275e-05, train_time=1.580 +[gpua002:0/64] 2023-12-10 13:08:54,688 (trainer:737) INFO: 24epoch:train:5601-5700batch: iter_time=8.032e-05, forward_time=0.151, loss_ctc=64.291, loss_att=49.887, acc=0.735, loss=54.208, backward_time=0.342, grad_norm=61.333, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.274e-05, train_time=1.725 +[gpua002:0/64] 2023-12-10 13:11:24,340 (trainer:737) INFO: 24epoch:train:5701-5800batch: iter_time=7.771e-05, forward_time=0.149, loss_ctc=68.434, loss_att=57.345, acc=0.730, loss=60.672, backward_time=0.292, grad_norm=81.838, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.273e-05, train_time=1.496 +[gpua002:0/64] 2023-12-10 13:13:56,594 (trainer:737) INFO: 24epoch:train:5801-5900batch: iter_time=8.070e-05, forward_time=0.150, loss_ctc=69.473, loss_att=52.130, acc=0.729, loss=57.333, backward_time=0.296, grad_norm=65.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.271e-05, train_time=1.522 +[gpua002:0/64] 2023-12-10 13:17:00,263 (trainer:737) INFO: 24epoch:train:5901-6000batch: iter_time=1.382e-04, forward_time=0.220, loss_ctc=69.758, loss_att=52.037, acc=0.724, loss=57.353, backward_time=0.378, grad_norm=63.326, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=8.270e-05, train_time=1.836 +[gpua002:0/64] 2023-12-10 13:19:17,229 (trainer:737) INFO: 24epoch:train:6001-6100batch: iter_time=8.376e-05, forward_time=0.165, loss_ctc=74.092, loss_att=60.952, acc=0.712, loss=64.894, backward_time=0.291, grad_norm=69.650, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.269e-05, train_time=1.370 +[gpua002:0/64] 2023-12-10 13:21:29,949 (trainer:737) INFO: 24epoch:train:6101-6200batch: iter_time=8.313e-05, forward_time=0.148, loss_ctc=66.764, loss_att=50.423, acc=0.724, loss=55.326, backward_time=0.292, grad_norm=60.937, clip=100.000, loss_scale=2.211e+31, optim_step_time=0.135, optim0_lr0=8.268e-05, train_time=1.327 +[gpua002:0/64] 2023-12-10 13:23:14,626 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-10 13:23:33,753 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 13:23:37,203 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 13:23:37,203 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-10 13:23:37,208 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 13:29:18,406 (trainer:737) INFO: 24epoch:train:6201-6300batch: iter_time=3.135, forward_time=0.149, loss_ctc=71.378, loss_att=58.359, acc=0.718, loss=62.264, backward_time=0.284, grad_norm=73.201, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.267e-05, train_time=4.684 +[gpua002:0/64] 2023-12-10 13:31:30,387 (trainer:737) INFO: 24epoch:train:6301-6400batch: iter_time=7.711e-05, forward_time=0.148, loss_ctc=64.520, loss_att=59.848, acc=0.711, loss=61.250, backward_time=0.282, grad_norm=102.069, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.266e-05, train_time=1.320 +[gpua002:0/64] 2023-12-10 13:33:37,702 (trainer:737) INFO: 24epoch:train:6401-6500batch: iter_time=7.719e-05, forward_time=0.148, loss_ctc=63.404, loss_att=50.646, acc=0.720, loss=54.473, backward_time=0.286, grad_norm=92.304, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.264e-05, train_time=1.273 +[gpua002:0/64] 2023-12-10 13:35:54,677 (trainer:737) INFO: 24epoch:train:6501-6600batch: iter_time=8.121e-05, forward_time=0.148, loss_ctc=68.460, loss_att=52.642, acc=0.725, loss=57.388, backward_time=0.316, grad_norm=74.991, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.263e-05, train_time=1.370 +[gpua002:0/64] 2023-12-10 13:38:35,453 (trainer:737) INFO: 24epoch:train:6601-6700batch: iter_time=8.228e-05, forward_time=0.147, loss_ctc=61.350, loss_att=49.711, acc=0.709, loss=53.203, backward_time=0.298, grad_norm=73.647, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.262e-05, train_time=1.608 +[gpua002:0/64] 2023-12-10 13:41:17,286 (trainer:737) INFO: 24epoch:train:6701-6800batch: iter_time=8.279e-05, forward_time=0.148, loss_ctc=65.495, loss_att=56.103, acc=0.717, loss=58.921, backward_time=0.307, grad_norm=62.187, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.261e-05, train_time=1.618 +[gpua002:0/64] 2023-12-10 13:44:09,370 (trainer:737) INFO: 24epoch:train:6801-6900batch: iter_time=2.320e-04, forward_time=0.194, loss_ctc=60.648, loss_att=44.799, acc=0.734, loss=49.554, backward_time=0.309, grad_norm=93.047, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.260e-05, train_time=1.721 +[gpua002:0/64] 2023-12-10 13:47:14,330 (trainer:737) INFO: 24epoch:train:6901-7000batch: iter_time=8.279e-04, forward_time=0.185, loss_ctc=66.867, loss_att=56.324, acc=0.732, loss=59.486, backward_time=0.346, grad_norm=59.894, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.259e-05, train_time=1.849 +[gpua002:0/64] 2023-12-10 13:49:49,122 (trainer:737) INFO: 24epoch:train:7001-7100batch: iter_time=7.195e-05, forward_time=0.147, loss_ctc=67.979, loss_att=54.160, acc=0.728, loss=58.306, backward_time=0.285, grad_norm=84.379, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.257e-05, train_time=1.548 +[gpua002:0/64] 2023-12-10 13:52:21,816 (trainer:737) INFO: 24epoch:train:7101-7200batch: iter_time=7.845e-05, forward_time=0.147, loss_ctc=73.309, loss_att=54.457, acc=0.728, loss=60.112, backward_time=0.294, grad_norm=69.919, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.256e-05, train_time=1.527 +[gpua002:0/64] 2023-12-10 13:54:47,881 (trainer:737) INFO: 24epoch:train:7201-7300batch: iter_time=7.710e-05, forward_time=0.149, loss_ctc=68.495, loss_att=56.786, acc=0.723, loss=60.298, backward_time=0.289, grad_norm=66.215, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.255e-05, train_time=1.460 +[gpua002:0/64] 2023-12-10 13:56:56,292 (trainer:737) INFO: 24epoch:train:7301-7400batch: iter_time=7.814e-05, forward_time=0.148, loss_ctc=71.530, loss_att=54.131, acc=0.710, loss=59.350, backward_time=0.288, grad_norm=71.765, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.254e-05, train_time=1.284 +[gpua002:0/64] 2023-12-10 13:59:40,855 (trainer:737) INFO: 24epoch:train:7401-7500batch: iter_time=7.764e-05, forward_time=0.147, loss_ctc=68.219, loss_att=52.021, acc=0.734, loss=56.880, backward_time=0.324, grad_norm=51.472, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.253e-05, train_time=1.645 +[gpua002:0/64] 2023-12-10 14:00:00,884 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-10 14:00:20,321 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 14:00:23,836 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 14:00:23,836 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-10 14:00:23,859 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 14:07:19,752 (trainer:737) INFO: 24epoch:train:7501-7600batch: iter_time=3.308, forward_time=0.198, loss_ctc=66.400, loss_att=58.177, acc=0.711, loss=60.644, backward_time=0.288, grad_norm=56.576, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.251e-05, train_time=4.589 +[gpua002:0/64] 2023-12-10 14:09:39,573 (trainer:737) INFO: 24epoch:train:7601-7700batch: iter_time=7.626e-05, forward_time=0.147, loss_ctc=66.911, loss_att=58.963, acc=0.701, loss=61.347, backward_time=0.281, grad_norm=85.462, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.250e-05, train_time=1.398 +[gpua002:0/64] 2023-12-10 14:12:59,557 (trainer:737) INFO: 24epoch:train:7701-7800batch: iter_time=7.773e-05, forward_time=0.147, loss_ctc=58.261, loss_att=45.313, acc=0.723, loss=49.198, backward_time=0.326, grad_norm=82.946, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.249e-05, train_time=1.999 +[gpua002:0/64] 2023-12-10 14:15:14,927 (trainer:737) INFO: 24epoch:train:7801-7900batch: iter_time=7.913e-05, forward_time=0.147, loss_ctc=69.122, loss_att=51.614, acc=0.716, loss=56.866, backward_time=0.282, grad_norm=64.843, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.248e-05, train_time=1.354 +[gpua002:0/64] 2023-12-10 14:17:35,799 (trainer:737) INFO: 24epoch:train:7901-8000batch: iter_time=7.911e-05, forward_time=0.146, loss_ctc=67.187, loss_att=54.941, acc=0.711, loss=58.615, backward_time=0.280, grad_norm=57.238, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.247e-05, train_time=1.409 +[gpua002:0/64] 2023-12-10 14:20:01,263 (trainer:737) INFO: 24epoch:train:8001-8100batch: iter_time=8.235e-05, forward_time=0.148, loss_ctc=60.610, loss_att=48.656, acc=0.718, loss=52.242, backward_time=0.287, grad_norm=80.728, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.246e-05, train_time=1.454 +[gpua002:0/64] 2023-12-10 14:22:21,178 (trainer:737) INFO: 24epoch:train:8101-8200batch: iter_time=7.832e-05, forward_time=0.151, loss_ctc=63.432, loss_att=49.630, acc=0.734, loss=53.770, backward_time=0.300, grad_norm=50.271, clip=100.000, loss_scale=4.422e+31, optim_step_time=0.136, optim0_lr0=8.244e-05, train_time=1.399 +[gpua002:0/64] 2023-12-10 14:24:54,530 (trainer:737) INFO: 24epoch:train:8201-8300batch: iter_time=7.824e-05, forward_time=0.146, loss_ctc=67.487, loss_att=57.116, acc=0.720, loss=60.227, backward_time=0.297, grad_norm=54.357, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.243e-05, train_time=1.533 +[gpua002:0/64] 2023-12-10 14:27:39,358 (trainer:737) INFO: 24epoch:train:8301-8400batch: iter_time=8.307e-05, forward_time=0.178, loss_ctc=68.694, loss_att=52.490, acc=0.720, loss=57.351, backward_time=0.327, grad_norm=59.511, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.242e-05, train_time=1.648 +[gpua002:0/64] 2023-12-10 14:30:29,960 (trainer:737) INFO: 24epoch:train:8401-8500batch: iter_time=8.117e-05, forward_time=0.174, loss_ctc=69.471, loss_att=51.312, acc=0.718, loss=56.759, backward_time=0.357, grad_norm=62.855, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=8.241e-05, train_time=1.706 +[gpua002:0/64] 2023-12-10 14:32:59,486 (trainer:737) INFO: 24epoch:train:8501-8600batch: iter_time=8.208e-05, forward_time=0.148, loss_ctc=73.833, loss_att=57.818, acc=0.714, loss=62.623, backward_time=0.291, grad_norm=61.770, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.240e-05, train_time=1.495 +[gpua002:0/64] 2023-12-10 14:35:48,359 (trainer:737) INFO: 24epoch:train:8601-8700batch: iter_time=8.026e-05, forward_time=0.147, loss_ctc=67.216, loss_att=50.256, acc=0.717, loss=55.344, backward_time=0.288, grad_norm=51.983, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.239e-05, train_time=1.689 +[gpua002:0/64] 2023-12-10 14:37:13,975 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-10 14:37:33,234 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 14:37:36,759 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 14:37:36,759 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-10 14:37:36,875 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 14:43:41,306 (trainer:737) INFO: 24epoch:train:8701-8800batch: iter_time=3.360, forward_time=0.148, loss_ctc=70.349, loss_att=58.616, acc=0.716, loss=62.135, backward_time=0.282, grad_norm=61.878, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.237e-05, train_time=4.729 +[gpua002:0/64] 2023-12-10 14:45:41,945 (trainer:737) INFO: 24epoch:train:8801-8900batch: iter_time=7.606e-05, forward_time=0.149, loss_ctc=64.299, loss_att=60.107, acc=0.711, loss=61.365, backward_time=0.281, grad_norm=56.565, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.236e-05, train_time=1.207 +[gpua002:0/64] 2023-12-10 14:48:12,488 (trainer:737) INFO: 24epoch:train:8901-9000batch: iter_time=7.600e-05, forward_time=0.147, loss_ctc=63.291, loss_att=50.469, acc=0.725, loss=54.316, backward_time=0.286, grad_norm=59.983, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.235e-05, train_time=1.505 +[gpua002:0/64] 2023-12-10 14:50:56,437 (trainer:737) INFO: 24epoch:train:9001-9100batch: iter_time=7.878e-05, forward_time=0.218, loss_ctc=68.217, loss_att=52.094, acc=0.729, loss=56.931, backward_time=0.297, grad_norm=73.173, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.234e-05, train_time=1.639 +[gpua002:0/64] 2023-12-10 14:52:46,293 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 14:53:36,662 (trainer:737) INFO: 24epoch:train:9101-9200batch: iter_time=6.285e-04, forward_time=0.204, loss_ctc=61.088, loss_att=49.830, acc=0.710, loss=53.207, backward_time=0.297, grad_norm=50.647, clip=100.000, loss_scale=6.720e+31, optim_step_time=0.137, optim0_lr0=8.233e-05, train_time=1.602 +[gpua002:0/64] 2023-12-10 14:56:16,439 (trainer:737) INFO: 24epoch:train:9201-9300batch: iter_time=7.916e-05, forward_time=0.152, loss_ctc=65.665, loss_att=55.729, acc=0.719, loss=58.710, backward_time=0.338, grad_norm=62.528, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.232e-05, train_time=1.598 +[gpua002:0/64] 2023-12-10 14:59:12,984 (trainer:737) INFO: 24epoch:train:9301-9400batch: iter_time=8.266e-05, forward_time=0.147, loss_ctc=60.782, loss_att=45.086, acc=0.733, loss=49.795, backward_time=0.352, grad_norm=60.291, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.231e-05, train_time=1.765 +[gpua002:0/64] 2023-12-10 15:02:26,770 (trainer:737) INFO: 24epoch:train:9401-9500batch: iter_time=8.169e-05, forward_time=0.148, loss_ctc=65.872, loss_att=56.162, acc=0.733, loss=59.075, backward_time=0.301, grad_norm=56.598, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.229e-05, train_time=1.938 +[gpua002:0/64] 2023-12-10 15:05:07,447 (trainer:737) INFO: 24epoch:train:9501-9600batch: iter_time=7.883e-05, forward_time=0.148, loss_ctc=68.007, loss_att=54.038, acc=0.729, loss=58.228, backward_time=0.353, grad_norm=57.549, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.228e-05, train_time=1.606 +[gpua002:0/64] 2023-12-10 15:07:37,857 (trainer:737) INFO: 24epoch:train:9601-9700batch: iter_time=8.171e-05, forward_time=0.148, loss_ctc=73.585, loss_att=54.735, acc=0.725, loss=60.390, backward_time=0.284, grad_norm=60.035, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.227e-05, train_time=1.503 +[gpua002:0/64] 2023-12-10 15:10:22,368 (trainer:737) INFO: 24epoch:train:9701-9800batch: iter_time=8.223e-05, forward_time=0.148, loss_ctc=68.444, loss_att=57.027, acc=0.719, loss=60.452, backward_time=0.313, grad_norm=60.473, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.226e-05, train_time=1.646 +[gpua002:0/64] 2023-12-10 15:13:05,825 (trainer:737) INFO: 24epoch:train:9801-9900batch: iter_time=8.063e-05, forward_time=0.148, loss_ctc=71.163, loss_att=54.192, acc=0.711, loss=59.283, backward_time=0.398, grad_norm=60.231, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.225e-05, train_time=1.634 +[gpua002:0/64] 2023-12-10 15:15:53,615 (trainer:737) INFO: 24epoch:train:9901-10000batch: iter_time=7.886e-05, forward_time=0.188, loss_ctc=68.979, loss_att=52.451, acc=0.732, loss=57.409, backward_time=0.319, grad_norm=57.981, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=8.224e-05, train_time=1.678 +[gpua002:0/64] 2023-12-10 15:16:13,644 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-10 15:16:32,804 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 15:16:36,300 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 15:16:36,300 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-10 15:16:36,323 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 15:23:16,271 (trainer:737) INFO: 24epoch:train:10001-10100batch: iter_time=3.122, forward_time=0.178, loss_ctc=65.643, loss_att=56.173, acc=0.722, loss=59.014, backward_time=0.290, grad_norm=57.510, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.222e-05, train_time=4.426 +[gpua002:0/64] 2023-12-10 15:25:29,001 (trainer:737) INFO: 24epoch:train:10101-10200batch: iter_time=7.704e-05, forward_time=0.149, loss_ctc=66.716, loss_att=61.158, acc=0.707, loss=62.825, backward_time=0.290, grad_norm=63.150, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.221e-05, train_time=1.327 +[gpua002:0/64] 2023-12-10 15:27:38,055 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 15:27:57,885 (trainer:737) INFO: 24epoch:train:10201-10300batch: iter_time=7.735e-05, forward_time=0.148, loss_ctc=57.809, loss_att=44.838, acc=0.725, loss=48.729, backward_time=0.305, grad_norm=54.388, clip=100.000, loss_scale=3.811e+31, optim_step_time=0.136, optim0_lr0=8.220e-05, train_time=1.489 +[gpua002:0/64] 2023-12-10 15:30:46,269 (trainer:737) INFO: 24epoch:train:10301-10400batch: iter_time=7.946e-05, forward_time=0.152, loss_ctc=69.340, loss_att=51.360, acc=0.719, loss=56.754, backward_time=0.379, grad_norm=61.503, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.219e-05, train_time=1.683 +[gpua002:0/64] 2023-12-10 15:33:01,232 (trainer:737) INFO: 24epoch:train:10401-10500batch: iter_time=8.041e-05, forward_time=0.148, loss_ctc=66.863, loss_att=58.090, acc=0.712, loss=60.722, backward_time=0.290, grad_norm=70.220, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.218e-05, train_time=1.349 +[gpua002:0/64] 2023-12-10 15:35:25,761 (trainer:737) INFO: 24epoch:train:10501-10600batch: iter_time=7.766e-05, forward_time=0.149, loss_ctc=60.398, loss_att=48.565, acc=0.728, loss=52.115, backward_time=0.286, grad_norm=57.603, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.217e-05, train_time=1.446 +[gpua002:0/64] 2023-12-10 15:38:10,166 (trainer:737) INFO: 24epoch:train:10601-10700batch: iter_time=8.351e-05, forward_time=0.148, loss_ctc=63.325, loss_att=49.106, acc=0.738, loss=53.372, backward_time=0.293, grad_norm=62.529, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.215e-05, train_time=1.644 +[gpua002:0/64] 2023-12-10 15:41:17,326 (trainer:737) INFO: 24epoch:train:10701-10800batch: iter_time=7.918e-05, forward_time=0.181, loss_ctc=67.415, loss_att=56.994, acc=0.733, loss=60.121, backward_time=0.331, grad_norm=56.574, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=8.214e-05, train_time=1.871 +[gpua002:0/64] 2023-12-10 15:44:21,119 (trainer:737) INFO: 24epoch:train:10801-10900batch: iter_time=8.089e-05, forward_time=0.160, loss_ctc=68.338, loss_att=51.421, acc=0.733, loss=56.496, backward_time=0.327, grad_norm=81.568, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=8.213e-05, train_time=1.838 +[gpua002:0/64] 2023-12-10 15:46:52,068 (trainer:737) INFO: 24epoch:train:10901-11000batch: iter_time=7.994e-05, forward_time=0.185, loss_ctc=68.973, loss_att=51.311, acc=0.728, loss=56.610, backward_time=0.290, grad_norm=62.087, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.212e-05, train_time=1.509 +[gpua002:0/64] 2023-12-10 15:49:10,871 (trainer:737) INFO: 24epoch:train:11001-11100batch: iter_time=8.028e-05, forward_time=0.147, loss_ctc=73.292, loss_att=60.155, acc=0.716, loss=64.096, backward_time=0.323, grad_norm=63.657, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.211e-05, train_time=1.388 +[gpua002:0/64] 2023-12-10 15:51:45,472 (trainer:737) INFO: 24epoch:train:11101-11200batch: iter_time=7.881e-05, forward_time=0.147, loss_ctc=66.876, loss_att=50.286, acc=0.727, loss=55.263, backward_time=0.365, grad_norm=64.032, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.210e-05, train_time=1.546 +[gpua002:0/64] 2023-12-10 15:53:13,219 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-10 15:53:32,636 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 15:53:36,177 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 15:53:36,177 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-10 15:53:36,212 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 15:59:55,151 (trainer:737) INFO: 24epoch:train:11201-11300batch: iter_time=3.398, forward_time=0.187, loss_ctc=70.282, loss_att=58.529, acc=0.714, loss=62.055, backward_time=0.293, grad_norm=55.729, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.209e-05, train_time=4.896 +[gpua002:0/64] 2023-12-10 16:02:03,759 (trainer:737) INFO: 24epoch:train:11301-11400batch: iter_time=7.500e-05, forward_time=0.148, loss_ctc=64.118, loss_att=59.067, acc=0.704, loss=60.582, backward_time=0.282, grad_norm=59.886, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.207e-05, train_time=1.287 +[gpua002:0/64] 2023-12-10 16:04:21,836 (trainer:737) INFO: 24epoch:train:11401-11500batch: iter_time=7.744e-05, forward_time=0.147, loss_ctc=63.084, loss_att=49.741, acc=0.717, loss=53.744, backward_time=0.281, grad_norm=56.483, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.206e-05, train_time=1.381 +[gpua002:0/64] 2023-12-10 16:07:24,143 (trainer:737) INFO: 24epoch:train:11501-11600batch: iter_time=7.894e-05, forward_time=0.159, loss_ctc=67.705, loss_att=51.478, acc=0.728, loss=56.346, backward_time=0.390, grad_norm=57.238, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.205e-05, train_time=1.823 +[gpua002:0/64] 2023-12-10 16:09:42,650 (trainer:737) INFO: 24epoch:train:11601-11700batch: iter_time=7.693e-05, forward_time=0.184, loss_ctc=60.860, loss_att=48.201, acc=0.714, loss=51.999, backward_time=0.301, grad_norm=57.048, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.204e-05, train_time=1.385 +[gpua002:0/64] 2023-12-10 16:12:10,626 (trainer:737) INFO: 24epoch:train:11701-11800batch: iter_time=7.728e-05, forward_time=0.148, loss_ctc=65.123, loss_att=54.735, acc=0.713, loss=57.851, backward_time=0.297, grad_norm=54.577, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.203e-05, train_time=1.480 +[gpua002:0/64] 2023-12-10 16:15:10,409 (trainer:737) INFO: 24epoch:train:11801-11900batch: iter_time=7.905e-05, forward_time=0.147, loss_ctc=60.592, loss_att=45.141, acc=0.730, loss=49.777, backward_time=0.408, grad_norm=55.689, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.202e-05, train_time=1.798 +[gpua002:0/64] 2023-12-10 16:18:10,314 (trainer:737) INFO: 24epoch:train:11901-12000batch: iter_time=7.940e-05, forward_time=0.148, loss_ctc=66.782, loss_att=56.856, acc=0.726, loss=59.834, backward_time=0.354, grad_norm=50.219, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.200e-05, train_time=1.799 +[gpua002:0/64] 2023-12-10 16:20:41,675 (trainer:737) INFO: 24epoch:train:12001-12100batch: iter_time=7.691e-05, forward_time=0.169, loss_ctc=67.169, loss_att=53.946, acc=0.716, loss=57.913, backward_time=0.284, grad_norm=55.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.199e-05, train_time=1.513 +[gpua002:0/64] 2023-12-10 16:23:23,943 (trainer:737) INFO: 24epoch:train:12101-12200batch: iter_time=5.301e-04, forward_time=0.155, loss_ctc=72.960, loss_att=54.372, acc=0.721, loss=59.948, backward_time=0.294, grad_norm=59.196, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=8.198e-05, train_time=1.622 +[gpua002:0/64] 2023-12-10 16:25:59,611 (trainer:737) INFO: 24epoch:train:12201-12300batch: iter_time=7.758e-05, forward_time=0.170, loss_ctc=68.269, loss_att=55.920, acc=0.718, loss=59.624, backward_time=0.342, grad_norm=67.600, clip=100.000, loss_scale=2.272e+31, optim_step_time=0.139, optim0_lr0=8.197e-05, train_time=1.557 +[gpua002:0/64] 2023-12-10 16:28:35,996 (trainer:737) INFO: 24epoch:train:12301-12400batch: iter_time=7.908e-05, forward_time=0.147, loss_ctc=70.775, loss_att=53.005, acc=0.705, loss=58.336, backward_time=0.308, grad_norm=72.155, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.196e-05, train_time=1.563 +[gpua002:0/64] 2023-12-10 16:30:58,385 (trainer:737) INFO: 24epoch:train:12401-12500batch: iter_time=7.375e-05, forward_time=0.148, loss_ctc=68.513, loss_att=51.424, acc=0.729, loss=56.550, backward_time=0.284, grad_norm=61.032, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.195e-05, train_time=1.424 +[gpua002:0/64] 2023-12-10 16:31:18,414 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-10 16:31:38,443 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 16:31:41,935 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 16:31:41,935 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-10 16:31:41,940 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 16:38:22,528 (trainer:737) INFO: 24epoch:train:12501-12600batch: iter_time=3.154, forward_time=0.190, loss_ctc=66.191, loss_att=56.400, acc=0.715, loss=59.337, backward_time=0.286, grad_norm=54.672, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.194e-05, train_time=4.441 +[gpua002:0/64] 2023-12-10 16:40:32,024 (trainer:737) INFO: 24epoch:train:12601-12700batch: iter_time=8.149e-05, forward_time=0.147, loss_ctc=66.797, loss_att=58.483, acc=0.701, loss=60.977, backward_time=0.280, grad_norm=67.355, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.192e-05, train_time=1.295 +[gpua002:0/64] 2023-12-10 16:42:56,519 (trainer:737) INFO: 24epoch:train:12701-12800batch: iter_time=7.799e-05, forward_time=0.147, loss_ctc=57.901, loss_att=44.496, acc=0.727, loss=48.518, backward_time=0.292, grad_norm=64.511, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.191e-05, train_time=1.445 +[gpua002:0/64] 2023-12-10 16:45:11,229 (trainer:737) INFO: 24epoch:train:12801-12900batch: iter_time=7.869e-05, forward_time=0.150, loss_ctc=68.972, loss_att=51.604, acc=0.718, loss=56.814, backward_time=0.286, grad_norm=61.116, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.190e-05, train_time=1.347 +[gpua002:0/64] 2023-12-10 16:47:34,796 (trainer:737) INFO: 24epoch:train:12901-13000batch: iter_time=7.979e-05, forward_time=0.151, loss_ctc=66.203, loss_att=54.073, acc=0.713, loss=57.712, backward_time=0.306, grad_norm=60.666, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.189e-05, train_time=1.435 +[gpua002:0/64] 2023-12-10 16:50:11,907 (trainer:737) INFO: 24epoch:train:13001-13100batch: iter_time=7.886e-05, forward_time=0.155, loss_ctc=59.721, loss_att=48.097, acc=0.720, loss=51.584, backward_time=0.315, grad_norm=52.098, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.188e-05, train_time=1.570 +[gpua002:0/64] 2023-12-10 16:53:04,821 (trainer:737) INFO: 24epoch:train:13101-13200batch: iter_time=7.738e-05, forward_time=0.192, loss_ctc=63.710, loss_att=49.813, acc=0.733, loss=53.982, backward_time=0.317, grad_norm=63.381, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.187e-05, train_time=1.729 +[gpua002:0/64] 2023-12-10 16:55:52,101 (trainer:737) INFO: 24epoch:train:13201-13300batch: iter_time=7.865e-05, forward_time=0.147, loss_ctc=67.373, loss_att=57.234, acc=0.721, loss=60.276, backward_time=0.327, grad_norm=55.665, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.186e-05, train_time=1.672 +[gpua002:0/64] 2023-12-10 16:58:27,787 (trainer:737) INFO: 24epoch:train:13301-13400batch: iter_time=7.920e-05, forward_time=0.150, loss_ctc=68.632, loss_att=51.803, acc=0.724, loss=56.852, backward_time=0.289, grad_norm=69.776, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.184e-05, train_time=1.557 +[gpua002:0/64] 2023-12-10 17:00:52,675 (trainer:737) INFO: 24epoch:train:13401-13500batch: iter_time=7.755e-05, forward_time=0.195, loss_ctc=68.406, loss_att=50.842, acc=0.720, loss=56.111, backward_time=0.294, grad_norm=74.985, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.147, optim0_lr0=8.183e-05, train_time=1.449 +[gpua002:0/64] 2023-12-10 17:03:09,417 (trainer:737) INFO: 24epoch:train:13501-13600batch: iter_time=7.691e-05, forward_time=0.148, loss_ctc=72.954, loss_att=57.687, acc=0.715, loss=62.267, backward_time=0.283, grad_norm=71.434, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.182e-05, train_time=1.367 +[gpua002:0/64] 2023-12-10 17:05:36,966 (trainer:737) INFO: 24epoch:train:13601-13700batch: iter_time=7.868e-05, forward_time=0.147, loss_ctc=66.829, loss_att=50.109, acc=0.718, loss=55.125, backward_time=0.291, grad_norm=63.110, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.181e-05, train_time=1.475 +[gpua002:0/64] 2023-12-10 17:07:14,547 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-10 17:07:34,153 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 17:07:37,767 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 17:07:37,767 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-10 17:07:37,770 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 17:13:12,614 (trainer:737) INFO: 24epoch:train:13701-13800batch: iter_time=3.074, forward_time=0.165, loss_ctc=70.195, loss_att=56.431, acc=0.718, loss=60.561, backward_time=0.292, grad_norm=63.043, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.180e-05, train_time=4.556 +[gpua002:0/64] 2023-12-10 17:15:19,414 (trainer:737) INFO: 24epoch:train:13801-13900batch: iter_time=7.719e-05, forward_time=0.147, loss_ctc=63.733, loss_att=57.515, acc=0.710, loss=59.380, backward_time=0.282, grad_norm=62.344, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.179e-05, train_time=1.268 +[gpua002:0/64] 2023-12-10 17:17:26,636 (trainer:737) INFO: 24epoch:train:13901-14000batch: iter_time=7.488e-05, forward_time=0.149, loss_ctc=63.426, loss_att=49.347, acc=0.719, loss=53.571, backward_time=0.287, grad_norm=65.658, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.178e-05, train_time=1.272 +[gpua002:0/64] 2023-12-10 17:19:53,431 (trainer:737) INFO: 24epoch:train:14001-14100batch: iter_time=7.698e-05, forward_time=0.147, loss_ctc=67.421, loss_att=51.297, acc=0.729, loss=56.134, backward_time=0.291, grad_norm=65.581, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.176e-05, train_time=1.466 +[gpua002:0/64] 2023-12-10 17:22:37,416 (trainer:737) INFO: 24epoch:train:14101-14200batch: iter_time=7.811e-05, forward_time=0.148, loss_ctc=60.424, loss_att=47.477, acc=0.714, loss=51.361, backward_time=0.306, grad_norm=62.780, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.175e-05, train_time=1.641 +[gpua002:0/64] 2023-12-10 17:25:10,139 (trainer:737) INFO: 24epoch:train:14201-14300batch: iter_time=7.800e-05, forward_time=0.214, loss_ctc=64.766, loss_att=53.711, acc=0.716, loss=57.028, backward_time=0.328, grad_norm=59.633, clip=100.000, loss_scale=4.543e+31, optim_step_time=0.138, optim0_lr0=8.174e-05, train_time=1.527 +[gpua002:0/64] 2023-12-10 17:28:06,994 (trainer:737) INFO: 24epoch:train:14301-14400batch: iter_time=7.704e-05, forward_time=0.148, loss_ctc=60.264, loss_att=44.559, acc=0.732, loss=49.271, backward_time=0.345, grad_norm=55.632, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.173e-05, train_time=1.768 +[gpua002:0/64] 2023-12-10 17:30:59,956 (trainer:737) INFO: 24epoch:train:14401-14500batch: iter_time=7.728e-05, forward_time=0.147, loss_ctc=66.112, loss_att=55.544, acc=0.732, loss=58.714, backward_time=0.346, grad_norm=60.514, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.172e-05, train_time=1.729 +[gpua002:0/64] 2023-12-10 17:33:40,259 (trainer:737) INFO: 24epoch:train:14501-14600batch: iter_time=7.732e-05, forward_time=0.147, loss_ctc=67.376, loss_att=54.219, acc=0.713, loss=58.166, backward_time=0.335, grad_norm=76.284, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.171e-05, train_time=1.603 +[gpua002:0/64] 2023-12-10 17:36:34,107 (trainer:737) INFO: 24epoch:train:14601-14700batch: iter_time=7.600e-05, forward_time=0.199, loss_ctc=72.403, loss_att=53.845, acc=0.723, loss=59.413, backward_time=0.331, grad_norm=61.367, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.170e-05, train_time=1.738 +[gpua002:0/64] 2023-12-10 17:39:00,011 (trainer:737) INFO: 24epoch:train:14701-14800batch: iter_time=7.616e-05, forward_time=0.161, loss_ctc=68.320, loss_att=55.986, acc=0.722, loss=59.686, backward_time=0.297, grad_norm=54.001, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.169e-05, train_time=1.459 +[gpua002:0/64] 2023-12-10 17:41:28,059 (trainer:737) INFO: 24epoch:train:14801-14900batch: iter_time=7.907e-05, forward_time=0.147, loss_ctc=70.597, loss_att=52.295, acc=0.708, loss=57.786, backward_time=0.288, grad_norm=63.138, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.167e-05, train_time=1.480 +[gpua002:0/64] 2023-12-10 17:44:19,492 (trainer:737) INFO: 24epoch:train:14901-15000batch: iter_time=7.724e-05, forward_time=0.148, loss_ctc=68.335, loss_att=51.478, acc=0.732, loss=56.535, backward_time=0.319, grad_norm=66.968, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.166e-05, train_time=1.714 +[gpua002:0/64] 2023-12-10 18:11:02,039 (trainer:343) INFO: 24epoch results: [train] iter_time=0.246, forward_time=0.158, loss_ctc=67.051, loss_att=53.649, acc=0.718, loss=57.669, backward_time=0.306, grad_norm=66.858, clip=100.000, loss_scale=3.340e+31, optim_step_time=0.137, optim0_lr0=8.253e-05, train_time=1.764, time=7 hours, 21 minutes and 26.62 seconds, total_count=360000, gpu_max_cached_mem_GB=36.566, [valid] loss_ctc=36.890, cer_ctc=0.193, loss_att=35.966, acc=0.696, cer=0.314, wer=0.991, loss=36.243, time=26 minutes and 18.48 seconds, total_count=112104, gpu_max_cached_mem_GB=36.566 +[gpua002:0/64] 2023-12-10 18:11:22,162 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-10 18:11:22,188 (trainer:272) INFO: 25/40epoch started. Estimated time to finish: 5 days, 12 hours and 15 minutes +[gpua002:0/64] 2023-12-10 18:11:22,248 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-10 18:11:41,106 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 18:11:44,565 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 18:11:44,566 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-10 18:11:44,569 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 18:17:49,906 (trainer:737) INFO: 25epoch:train:1-100batch: iter_time=2.611, forward_time=0.194, loss_ctc=64.832, loss_att=54.862, acc=0.719, loss=57.853, backward_time=0.286, grad_norm=62.375, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.165e-05, train_time=3.876 +[gpua002:0/64] 2023-12-10 18:19:52,984 (trainer:737) INFO: 25epoch:train:101-200batch: iter_time=7.901e-05, forward_time=0.146, loss_ctc=62.033, loss_att=47.336, acc=0.711, loss=51.745, backward_time=0.278, grad_norm=65.745, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.164e-05, train_time=1.231 +[gpua002:0/64] 2023-12-10 18:21:57,350 (trainer:737) INFO: 25epoch:train:201-300batch: iter_time=7.919e-05, forward_time=0.149, loss_ctc=93.774, loss_att=69.908, acc=0.707, loss=77.068, backward_time=0.281, grad_norm=92.688, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.163e-05, train_time=1.243 +[gpua002:0/64] 2023-12-10 18:23:34,618 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 18:23:59,737 (trainer:737) INFO: 25epoch:train:301-400batch: iter_time=7.883e-05, forward_time=0.147, loss_ctc=76.884, loss_att=53.034, acc=0.713, loss=60.189, backward_time=0.281, grad_norm=113.806, clip=100.000, loss_scale=7.252e+31, optim_step_time=0.136, optim0_lr0=8.162e-05, train_time=1.224 +[gpua002:0/64] 2023-12-10 18:26:14,156 (trainer:737) INFO: 25epoch:train:401-500batch: iter_time=8.170e-05, forward_time=0.147, loss_ctc=69.901, loss_att=57.164, acc=0.707, loss=60.985, backward_time=0.293, grad_norm=77.576, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.161e-05, train_time=1.344 +[gpua002:0/64] 2023-12-10 18:28:41,898 (trainer:737) INFO: 25epoch:train:501-600batch: iter_time=8.297e-05, forward_time=0.147, loss_ctc=67.129, loss_att=55.628, acc=0.709, loss=59.078, backward_time=0.334, grad_norm=71.667, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.159e-05, train_time=1.476 +[gpua002:0/64] 2023-12-10 18:31:29,960 (trainer:737) INFO: 25epoch:train:601-700batch: iter_time=8.225e-05, forward_time=0.147, loss_ctc=66.166, loss_att=51.812, acc=0.706, loss=56.118, backward_time=0.326, grad_norm=73.197, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.158e-05, train_time=1.681 +[gpua002:0/64] 2023-12-10 18:33:58,025 (trainer:737) INFO: 25epoch:train:701-800batch: iter_time=8.174e-05, forward_time=0.155, loss_ctc=62.302, loss_att=52.560, acc=0.715, loss=55.483, backward_time=0.293, grad_norm=71.451, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.157e-05, train_time=1.481 +[gpua002:0/64] 2023-12-10 18:36:24,040 (trainer:737) INFO: 25epoch:train:801-900batch: iter_time=8.126e-05, forward_time=0.193, loss_ctc=65.710, loss_att=53.662, acc=0.729, loss=57.276, backward_time=0.332, grad_norm=67.846, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.156e-05, train_time=1.460 +[gpua002:0/64] 2023-12-10 18:38:55,398 (trainer:737) INFO: 25epoch:train:901-1000batch: iter_time=7.945e-05, forward_time=0.152, loss_ctc=71.507, loss_att=52.006, acc=0.688, loss=57.856, backward_time=0.298, grad_norm=79.714, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.155e-05, train_time=1.513 +[gpua002:0/64] 2023-12-10 18:41:25,330 (trainer:737) INFO: 25epoch:train:1001-1100batch: iter_time=7.909e-05, forward_time=0.147, loss_ctc=68.533, loss_att=54.894, acc=0.701, loss=58.986, backward_time=0.300, grad_norm=75.586, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.154e-05, train_time=1.499 +[gpua002:0/64] 2023-12-10 18:44:08,651 (trainer:737) INFO: 25epoch:train:1101-1200batch: iter_time=7.948e-05, forward_time=0.147, loss_ctc=70.422, loss_att=54.627, acc=0.707, loss=59.365, backward_time=0.292, grad_norm=65.301, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.153e-05, train_time=1.633 +[gpua002:0/64] 2023-12-10 18:45:38,864 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-10 18:45:57,991 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 18:46:01,516 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 18:46:01,516 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-10 18:46:01,519 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 18:50:55,472 (trainer:737) INFO: 25epoch:train:1201-1300batch: iter_time=2.598, forward_time=0.167, loss_ctc=62.359, loss_att=52.884, acc=0.717, loss=55.726, backward_time=0.288, grad_norm=86.739, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.152e-05, train_time=4.068 +[gpua002:0/64] 2023-12-10 18:53:03,690 (trainer:737) INFO: 25epoch:train:1301-1400batch: iter_time=7.568e-05, forward_time=0.147, loss_ctc=65.893, loss_att=53.940, acc=0.725, loss=57.526, backward_time=0.284, grad_norm=62.257, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.150e-05, train_time=1.282 +[gpua002:0/64] 2023-12-10 18:55:12,645 (trainer:737) INFO: 25epoch:train:1401-1500batch: iter_time=7.639e-05, forward_time=0.147, loss_ctc=82.691, loss_att=65.490, acc=0.709, loss=70.650, backward_time=0.279, grad_norm=117.313, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.149e-05, train_time=1.289 +[gpua002:0/64] 2023-12-10 18:57:39,632 (trainer:737) INFO: 25epoch:train:1501-1600batch: iter_time=7.738e-05, forward_time=0.207, loss_ctc=79.390, loss_att=60.206, acc=0.717, loss=65.961, backward_time=0.304, grad_norm=87.279, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.148e-05, train_time=1.470 +[gpua002:0/64] 2023-12-10 19:00:14,375 (trainer:737) INFO: 25epoch:train:1601-1700batch: iter_time=7.831e-05, forward_time=0.161, loss_ctc=63.765, loss_att=54.082, acc=0.726, loss=56.987, backward_time=0.298, grad_norm=61.795, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.147e-05, train_time=1.547 +[gpua002:0/64] 2023-12-10 19:02:54,132 (trainer:737) INFO: 25epoch:train:1701-1800batch: iter_time=7.845e-05, forward_time=0.147, loss_ctc=71.500, loss_att=58.455, acc=0.715, loss=62.369, backward_time=0.314, grad_norm=105.475, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.146e-05, train_time=1.597 +[gpua002:0/64] 2023-12-10 19:04:58,729 (trainer:737) INFO: 25epoch:train:1801-1900batch: iter_time=7.574e-05, forward_time=0.147, loss_ctc=67.632, loss_att=55.235, acc=0.709, loss=58.954, backward_time=0.280, grad_norm=59.360, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.145e-05, train_time=1.246 +[gpua002:0/64] 2023-12-10 19:07:40,397 (trainer:737) INFO: 25epoch:train:1901-2000batch: iter_time=7.431e-05, forward_time=0.147, loss_ctc=59.988, loss_att=53.293, acc=0.715, loss=55.301, backward_time=0.340, grad_norm=82.996, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.144e-05, train_time=1.616 +[gpua002:0/64] 2023-12-10 19:10:21,615 (trainer:737) INFO: 25epoch:train:2001-2100batch: iter_time=7.655e-05, forward_time=0.147, loss_ctc=63.961, loss_att=52.267, acc=0.738, loss=55.775, backward_time=0.296, grad_norm=66.473, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.143e-05, train_time=1.612 +[gpua002:0/64] 2023-12-10 19:12:51,902 (trainer:737) INFO: 25epoch:train:2101-2200batch: iter_time=7.703e-05, forward_time=0.150, loss_ctc=68.315, loss_att=54.411, acc=0.714, loss=58.582, backward_time=0.286, grad_norm=93.157, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.141e-05, train_time=1.503 +[gpua002:0/64] 2023-12-10 19:15:16,264 (trainer:737) INFO: 25epoch:train:2201-2300batch: iter_time=7.626e-05, forward_time=0.174, loss_ctc=69.493, loss_att=54.879, acc=0.702, loss=59.263, backward_time=0.296, grad_norm=96.860, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=8.140e-05, train_time=1.443 +[gpua002:0/64] 2023-12-10 19:18:01,474 (trainer:737) INFO: 25epoch:train:2301-2400batch: iter_time=7.765e-05, forward_time=0.149, loss_ctc=67.929, loss_att=56.366, acc=0.706, loss=59.835, backward_time=0.288, grad_norm=66.041, clip=100.000, loss_scale=4.908e+31, optim_step_time=0.136, optim0_lr0=8.139e-05, train_time=1.652 +[gpua002:0/64] 2023-12-10 19:19:55,442 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 19:20:12,489 (trainer:737) INFO: 25epoch:train:2401-2500batch: iter_time=7.121e-05, forward_time=0.148, loss_ctc=65.603, loss_att=48.847, acc=0.724, loss=53.874, backward_time=0.285, grad_norm=61.138, clip=100.000, loss_scale=7.580e+31, optim_step_time=0.136, optim0_lr0=8.138e-05, train_time=1.310 +[gpua002:0/64] 2023-12-10 19:20:32,517 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-10 19:20:51,859 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 19:20:55,308 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 19:20:55,308 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-10 19:20:55,311 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 19:27:20,629 (trainer:737) INFO: 25epoch:train:2501-2600batch: iter_time=2.984, forward_time=0.200, loss_ctc=64.263, loss_att=55.144, acc=0.738, loss=57.880, backward_time=0.288, grad_norm=56.054, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.137e-05, train_time=4.281 +[gpua002:0/64] 2023-12-10 19:29:27,632 (trainer:737) INFO: 25epoch:train:2601-2700batch: iter_time=7.724e-05, forward_time=0.147, loss_ctc=60.904, loss_att=46.984, acc=0.727, loss=51.160, backward_time=0.285, grad_norm=66.232, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.136e-05, train_time=1.270 +[gpua002:0/64] 2023-12-10 19:31:48,843 (trainer:737) INFO: 25epoch:train:2701-2800batch: iter_time=7.595e-05, forward_time=0.148, loss_ctc=90.172, loss_att=74.574, acc=0.705, loss=79.254, backward_time=0.288, grad_norm=81.339, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.135e-05, train_time=1.412 +[gpua002:0/64] 2023-12-10 19:34:24,575 (trainer:737) INFO: 25epoch:train:2801-2900batch: iter_time=7.656e-05, forward_time=0.147, loss_ctc=72.861, loss_att=52.654, acc=0.725, loss=58.716, backward_time=0.334, grad_norm=72.596, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.134e-05, train_time=1.557 +[gpua002:0/64] 2023-12-10 19:37:05,625 (trainer:737) INFO: 25epoch:train:2901-3000batch: iter_time=8.134e-05, forward_time=0.148, loss_ctc=69.178, loss_att=58.767, acc=0.713, loss=61.890, backward_time=0.302, grad_norm=60.640, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.132e-05, train_time=1.610 +[gpua002:0/64] 2023-12-10 19:39:39,955 (trainer:737) INFO: 25epoch:train:3001-3100batch: iter_time=7.938e-05, forward_time=0.150, loss_ctc=66.301, loss_att=55.770, acc=0.720, loss=58.929, backward_time=0.293, grad_norm=56.656, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.131e-05, train_time=1.543 +[gpua002:0/64] 2023-12-10 19:42:05,749 (trainer:737) INFO: 25epoch:train:3101-3200batch: iter_time=7.881e-05, forward_time=0.153, loss_ctc=65.172, loss_att=51.657, acc=0.715, loss=55.711, backward_time=0.293, grad_norm=57.308, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.130e-05, train_time=1.458 +[gpua002:0/64] 2023-12-10 19:45:00,338 (trainer:737) INFO: 25epoch:train:3201-3300batch: iter_time=8.013e-05, forward_time=0.164, loss_ctc=61.919, loss_att=52.921, acc=0.723, loss=55.620, backward_time=0.296, grad_norm=59.604, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.129e-05, train_time=1.746 +[gpua002:0/64] 2023-12-10 19:47:13,702 (trainer:737) INFO: 25epoch:train:3301-3400batch: iter_time=7.839e-05, forward_time=0.148, loss_ctc=65.080, loss_att=55.507, acc=0.736, loss=58.379, backward_time=0.293, grad_norm=66.689, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.128e-05, train_time=1.333 +[gpua002:0/64] 2023-12-10 19:49:49,190 (trainer:737) INFO: 25epoch:train:3401-3500batch: iter_time=7.655e-05, forward_time=0.166, loss_ctc=69.011, loss_att=51.797, acc=0.699, loss=56.961, backward_time=0.293, grad_norm=97.988, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=8.127e-05, train_time=1.555 +[gpua002:0/64] 2023-12-10 19:52:24,552 (trainer:737) INFO: 25epoch:train:3501-3600batch: iter_time=8.082e-05, forward_time=0.192, loss_ctc=66.449, loss_att=54.374, acc=0.710, loss=57.997, backward_time=0.309, grad_norm=62.393, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.151, optim0_lr0=8.126e-05, train_time=1.553 +[gpua002:0/64] 2023-12-10 19:54:56,121 (trainer:737) INFO: 25epoch:train:3601-3700batch: iter_time=7.846e-05, forward_time=0.148, loss_ctc=69.387, loss_att=54.228, acc=0.719, loss=58.776, backward_time=0.288, grad_norm=57.101, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.125e-05, train_time=1.515 +[gpua002:0/64] 2023-12-10 19:56:19,981 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-10 19:56:39,249 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 19:56:42,752 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 19:56:42,752 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-10 19:56:42,755 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 20:02:19,238 (trainer:737) INFO: 25epoch:train:3701-3800batch: iter_time=3.094, forward_time=0.157, loss_ctc=61.496, loss_att=52.217, acc=0.721, loss=55.001, backward_time=0.288, grad_norm=57.550, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.123e-05, train_time=4.431 +[gpua002:0/64] 2023-12-10 20:04:21,803 (trainer:737) INFO: 25epoch:train:3801-3900batch: iter_time=7.099e-05, forward_time=0.149, loss_ctc=64.078, loss_att=49.570, acc=0.727, loss=53.923, backward_time=0.281, grad_norm=59.770, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.122e-05, train_time=1.225 +[gpua002:0/64] 2023-12-10 20:07:05,086 (trainer:737) INFO: 25epoch:train:3901-4000batch: iter_time=7.538e-05, forward_time=0.147, loss_ctc=83.481, loss_att=62.453, acc=0.706, loss=68.762, backward_time=0.330, grad_norm=83.967, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.121e-05, train_time=1.633 +[gpua002:0/64] 2023-12-10 20:09:21,325 (trainer:737) INFO: 25epoch:train:4001-4100batch: iter_time=7.689e-05, forward_time=0.164, loss_ctc=77.498, loss_att=56.950, acc=0.720, loss=63.114, backward_time=0.289, grad_norm=67.972, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.120e-05, train_time=1.362 +[gpua002:0/64] 2023-12-10 20:11:49,222 (trainer:737) INFO: 25epoch:train:4101-4200batch: iter_time=7.781e-05, forward_time=0.147, loss_ctc=63.209, loss_att=53.000, acc=0.724, loss=56.063, backward_time=0.313, grad_norm=64.045, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.119e-05, train_time=1.479 +[gpua002:0/64] 2023-12-10 20:14:41,388 (trainer:737) INFO: 25epoch:train:4201-4300batch: iter_time=7.659e-05, forward_time=0.150, loss_ctc=70.453, loss_att=56.599, acc=0.715, loss=60.755, backward_time=0.378, grad_norm=65.457, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.118e-05, train_time=1.721 +[gpua002:0/64] 2023-12-10 20:17:09,619 (trainer:737) INFO: 25epoch:train:4301-4400batch: iter_time=7.478e-05, forward_time=0.188, loss_ctc=66.584, loss_att=54.450, acc=0.703, loss=58.090, backward_time=0.304, grad_norm=79.967, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=8.117e-05, train_time=1.482 +[gpua002:0/64] 2023-12-10 20:19:59,027 (trainer:737) INFO: 25epoch:train:4401-4500batch: iter_time=8.089e-05, forward_time=0.149, loss_ctc=59.606, loss_att=51.836, acc=0.715, loss=54.167, backward_time=0.315, grad_norm=69.331, clip=100.000, loss_scale=4.584e+31, optim_step_time=0.136, optim0_lr0=8.116e-05, train_time=1.694 +[gpua002:0/64] 2023-12-10 20:21:28,728 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 20:22:05,276 (trainer:737) INFO: 25epoch:train:4501-4600batch: iter_time=7.086e-05, forward_time=0.146, loss_ctc=63.256, loss_att=49.838, acc=0.735, loss=53.863, backward_time=0.284, grad_norm=66.638, clip=100.000, loss_scale=6.884e+31, optim_step_time=0.136, optim0_lr0=8.115e-05, train_time=1.262 +[gpua002:0/64] 2023-12-10 20:24:33,688 (trainer:737) INFO: 25epoch:train:4601-4700batch: iter_time=7.560e-05, forward_time=0.167, loss_ctc=67.980, loss_att=53.483, acc=0.711, loss=57.832, backward_time=0.317, grad_norm=68.288, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.113e-05, train_time=1.483 +[gpua002:0/64] 2023-12-10 20:26:49,196 (trainer:737) INFO: 25epoch:train:4701-4800batch: iter_time=8.133e-05, forward_time=0.148, loss_ctc=68.387, loss_att=53.500, acc=0.703, loss=57.966, backward_time=0.286, grad_norm=67.694, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.112e-05, train_time=1.355 +[gpua002:0/64] 2023-12-10 20:29:44,608 (trainer:737) INFO: 25epoch:train:4801-4900batch: iter_time=7.867e-05, forward_time=0.147, loss_ctc=66.241, loss_att=54.627, acc=0.697, loss=58.111, backward_time=0.319, grad_norm=58.698, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.111e-05, train_time=1.754 +[gpua002:0/64] 2023-12-10 20:32:09,950 (trainer:737) INFO: 25epoch:train:4901-5000batch: iter_time=7.638e-05, forward_time=0.147, loss_ctc=65.098, loss_att=48.028, acc=0.723, loss=53.149, backward_time=0.293, grad_norm=60.114, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.110e-05, train_time=1.453 +[gpua002:0/64] 2023-12-10 20:32:29,975 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-10 20:32:49,286 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 20:32:52,764 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 20:32:52,764 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-10 20:32:52,772 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 20:39:06,738 (trainer:737) INFO: 25epoch:train:5001-5100batch: iter_time=2.638, forward_time=0.197, loss_ctc=63.246, loss_att=55.438, acc=0.738, loss=57.781, backward_time=0.287, grad_norm=73.267, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.109e-05, train_time=4.168 +[gpua002:0/64] 2023-12-10 20:41:08,465 (trainer:737) INFO: 25epoch:train:5101-5200batch: iter_time=7.924e-05, forward_time=0.148, loss_ctc=59.620, loss_att=46.233, acc=0.732, loss=50.249, backward_time=0.282, grad_norm=64.955, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.108e-05, train_time=1.217 +[gpua002:0/64] 2023-12-10 20:43:16,991 (trainer:737) INFO: 25epoch:train:5201-5300batch: iter_time=8.107e-05, forward_time=0.148, loss_ctc=89.172, loss_att=74.633, acc=0.706, loss=78.995, backward_time=0.280, grad_norm=81.243, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=8.107e-05, train_time=1.285 +[gpua002:0/64] 2023-12-10 20:45:52,043 (trainer:737) INFO: 25epoch:train:5301-5400batch: iter_time=8.204e-05, forward_time=0.147, loss_ctc=72.227, loss_att=52.608, acc=0.726, loss=58.493, backward_time=0.340, grad_norm=68.849, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.106e-05, train_time=1.550 +[gpua002:0/64] 2023-12-10 20:48:22,463 (trainer:737) INFO: 25epoch:train:5401-5500batch: iter_time=7.921e-05, forward_time=0.147, loss_ctc=69.006, loss_att=58.321, acc=0.717, loss=61.526, backward_time=0.308, grad_norm=66.660, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.105e-05, train_time=1.504 +[gpua002:0/64] 2023-12-10 20:50:40,650 (trainer:737) INFO: 25epoch:train:5501-5600batch: iter_time=7.108e-04, forward_time=0.148, loss_ctc=65.803, loss_att=55.308, acc=0.721, loss=58.457, backward_time=0.282, grad_norm=57.537, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.103e-05, train_time=1.382 +[gpua002:0/64] 2023-12-10 20:53:28,804 (trainer:737) INFO: 25epoch:train:5601-5700batch: iter_time=7.298e-05, forward_time=0.285, loss_ctc=64.656, loss_att=51.356, acc=0.717, loss=55.346, backward_time=0.323, grad_norm=57.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.102e-05, train_time=1.681 +[gpua002:0/64] 2023-12-10 20:56:14,553 (trainer:737) INFO: 25epoch:train:5701-5800batch: iter_time=8.093e-05, forward_time=0.147, loss_ctc=61.305, loss_att=52.805, acc=0.724, loss=55.355, backward_time=0.294, grad_norm=49.450, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.101e-05, train_time=1.657 +[gpua002:0/64] 2023-12-10 20:59:10,886 (trainer:737) INFO: 25epoch:train:5801-5900batch: iter_time=8.282e-05, forward_time=0.153, loss_ctc=64.621, loss_att=54.643, acc=0.741, loss=57.637, backward_time=0.304, grad_norm=51.275, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.100e-05, train_time=1.763 +[gpua002:0/64] 2023-12-10 21:01:31,339 (trainer:737) INFO: 25epoch:train:5901-6000batch: iter_time=8.128e-05, forward_time=0.146, loss_ctc=68.273, loss_att=51.028, acc=0.705, loss=56.202, backward_time=0.280, grad_norm=65.562, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.099e-05, train_time=1.404 +[gpua002:0/64] 2023-12-10 21:03:56,235 (trainer:737) INFO: 25epoch:train:6001-6100batch: iter_time=8.207e-05, forward_time=0.152, loss_ctc=65.481, loss_att=54.352, acc=0.710, loss=57.690, backward_time=0.324, grad_norm=59.107, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.098e-05, train_time=1.449 +[gpua002:0/64] 2023-12-10 21:06:14,887 (trainer:737) INFO: 25epoch:train:6101-6200batch: iter_time=8.414e-05, forward_time=0.151, loss_ctc=68.801, loss_att=53.440, acc=0.723, loss=58.048, backward_time=0.287, grad_norm=52.059, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.097e-05, train_time=1.386 +[gpua002:0/64] 2023-12-10 21:07:38,706 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-10 21:07:58,569 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 21:08:02,563 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 21:08:02,563 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-10 21:08:02,566 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 21:13:36,414 (trainer:737) INFO: 25epoch:train:6201-6300batch: iter_time=3.118, forward_time=0.148, loss_ctc=61.029, loss_att=51.737, acc=0.725, loss=54.525, backward_time=0.284, grad_norm=54.379, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.096e-05, train_time=4.415 +[gpua002:0/64] 2023-12-10 21:15:40,281 (trainer:737) INFO: 25epoch:train:6301-6400batch: iter_time=4.059e-04, forward_time=0.147, loss_ctc=63.629, loss_att=49.155, acc=0.729, loss=53.497, backward_time=0.280, grad_norm=54.982, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.095e-05, train_time=1.239 +[gpua002:0/64] 2023-12-10 21:17:41,125 (trainer:737) INFO: 25epoch:train:6401-6500batch: iter_time=8.507e-05, forward_time=0.147, loss_ctc=80.175, loss_att=62.569, acc=0.708, loss=67.851, backward_time=0.281, grad_norm=77.162, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.094e-05, train_time=1.208 +[gpua002:0/64] 2023-12-10 21:19:48,781 (trainer:737) INFO: 25epoch:train:6501-6600batch: iter_time=8.953e-05, forward_time=0.149, loss_ctc=76.835, loss_att=55.938, acc=0.723, loss=62.207, backward_time=0.280, grad_norm=78.712, clip=100.000, loss_scale=5.273e+31, optim_step_time=0.136, optim0_lr0=8.092e-05, train_time=1.276 +[gpua002:0/64] 2023-12-10 21:22:29,584 (trainer:737) INFO: 25epoch:train:6601-6700batch: iter_time=8.079e-05, forward_time=0.247, loss_ctc=63.138, loss_att=53.179, acc=0.725, loss=56.167, backward_time=0.326, grad_norm=55.670, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=8.091e-05, train_time=1.608 +[gpua002:0/64] 2023-12-10 21:25:04,155 (trainer:737) INFO: 25epoch:train:6701-6800batch: iter_time=7.878e-05, forward_time=0.147, loss_ctc=70.330, loss_att=56.784, acc=0.716, loss=60.848, backward_time=0.327, grad_norm=76.132, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.090e-05, train_time=1.545 +[gpua002:0/64] 2023-12-10 21:28:27,465 (trainer:737) INFO: 25epoch:train:6801-6900batch: iter_time=7.428e-05, forward_time=0.155, loss_ctc=67.025, loss_att=54.270, acc=0.704, loss=58.096, backward_time=0.352, grad_norm=60.450, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.089e-05, train_time=2.033 +[gpua002:0/64] 2023-12-10 21:31:10,619 (trainer:737) INFO: 25epoch:train:6901-7000batch: iter_time=7.844e-05, forward_time=0.149, loss_ctc=59.249, loss_att=51.877, acc=0.716, loss=54.089, backward_time=0.361, grad_norm=53.830, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.088e-05, train_time=1.631 +[gpua002:0/64] 2023-12-10 21:34:05,097 (trainer:737) INFO: 25epoch:train:7001-7100batch: iter_time=8.067e-05, forward_time=0.152, loss_ctc=63.778, loss_att=49.679, acc=0.738, loss=53.909, backward_time=0.331, grad_norm=54.238, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.087e-05, train_time=1.744 +[gpua002:0/64] 2023-12-10 21:36:21,485 (trainer:737) INFO: 25epoch:train:7101-7200batch: iter_time=6.002e-04, forward_time=0.149, loss_ctc=67.111, loss_att=52.667, acc=0.713, loss=57.000, backward_time=0.291, grad_norm=60.355, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.086e-05, train_time=1.364 +[gpua002:0/64] 2023-12-10 21:36:27,837 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 21:38:52,012 (trainer:737) INFO: 25epoch:train:7201-7300batch: iter_time=1.454e-04, forward_time=0.150, loss_ctc=68.511, loss_att=53.509, acc=0.702, loss=58.010, backward_time=0.344, grad_norm=68.574, clip=100.000, loss_scale=4.138e+31, optim_step_time=0.138, optim0_lr0=8.085e-05, train_time=1.504 +[gpua002:0/64] 2023-12-10 21:40:57,592 (trainer:737) INFO: 25epoch:train:7301-7400batch: iter_time=8.002e-05, forward_time=0.146, loss_ctc=65.954, loss_att=54.845, acc=0.697, loss=58.177, backward_time=0.281, grad_norm=60.358, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.084e-05, train_time=1.257 +[gpua002:0/64] 2023-12-10 21:44:04,285 (trainer:737) INFO: 25epoch:train:7401-7500batch: iter_time=7.847e-05, forward_time=0.164, loss_ctc=64.550, loss_att=48.199, acc=0.723, loss=53.104, backward_time=0.370, grad_norm=67.404, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=8.083e-05, train_time=1.867 +[gpua002:0/64] 2023-12-10 21:44:24,317 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-10 21:44:43,947 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 21:44:47,423 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 21:44:47,423 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-10 21:44:47,426 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 21:49:53,902 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 21:51:25,315 (trainer:737) INFO: 25epoch:train:7501-7600batch: iter_time=3.081, forward_time=0.194, loss_ctc=63.246, loss_att=53.384, acc=0.732, loss=56.342, backward_time=0.289, grad_norm=53.817, clip=100.000, loss_scale=2.561e+31, optim_step_time=0.137, optim0_lr0=8.081e-05, train_time=4.410 +[gpua002:0/64] 2023-12-10 21:53:39,213 (trainer:737) INFO: 25epoch:train:7601-7700batch: iter_time=7.824e-04, forward_time=0.150, loss_ctc=59.257, loss_att=45.013, acc=0.725, loss=49.286, backward_time=0.299, grad_norm=62.969, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.080e-05, train_time=1.339 +[gpua002:0/64] 2023-12-10 21:56:01,542 (trainer:737) INFO: 25epoch:train:7701-7800batch: iter_time=7.984e-05, forward_time=0.148, loss_ctc=88.737, loss_att=71.015, acc=0.712, loss=76.332, backward_time=0.323, grad_norm=86.997, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.079e-05, train_time=1.423 +[gpua002:0/64] 2023-12-10 21:58:13,979 (trainer:737) INFO: 25epoch:train:7801-7900batch: iter_time=8.147e-05, forward_time=0.148, loss_ctc=70.998, loss_att=51.999, acc=0.721, loss=57.699, backward_time=0.290, grad_norm=65.521, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.078e-05, train_time=1.324 +[gpua002:0/64] 2023-12-10 22:01:07,953 (trainer:737) INFO: 25epoch:train:7901-8000batch: iter_time=8.116e-05, forward_time=0.153, loss_ctc=68.009, loss_att=56.559, acc=0.714, loss=59.994, backward_time=0.314, grad_norm=69.087, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.077e-05, train_time=1.740 +[gpua002:0/64] 2023-12-10 22:04:00,574 (trainer:737) INFO: 25epoch:train:8001-8100batch: iter_time=7.780e-05, forward_time=0.148, loss_ctc=65.471, loss_att=54.588, acc=0.715, loss=57.853, backward_time=0.343, grad_norm=57.717, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.076e-05, train_time=1.726 +[gpua002:0/64] 2023-12-10 22:06:47,403 (trainer:737) INFO: 25epoch:train:8101-8200batch: iter_time=7.724e-05, forward_time=0.149, loss_ctc=63.734, loss_att=50.163, acc=0.717, loss=54.234, backward_time=0.307, grad_norm=56.568, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.075e-05, train_time=1.667 +[gpua002:0/64] 2023-12-10 22:09:35,066 (trainer:737) INFO: 25epoch:train:8201-8300batch: iter_time=7.995e-05, forward_time=0.147, loss_ctc=61.172, loss_att=51.531, acc=0.724, loss=54.424, backward_time=0.327, grad_norm=55.600, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.074e-05, train_time=1.678 +[gpua002:0/64] 2023-12-10 22:11:54,136 (trainer:737) INFO: 25epoch:train:8301-8400batch: iter_time=3.567e-04, forward_time=0.148, loss_ctc=64.580, loss_att=52.667, acc=0.737, loss=56.241, backward_time=0.282, grad_norm=56.560, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=8.073e-05, train_time=1.390 +[gpua002:0/64] 2023-12-10 22:14:27,713 (trainer:737) INFO: 25epoch:train:8401-8500batch: iter_time=7.701e-05, forward_time=0.175, loss_ctc=68.818, loss_att=50.760, acc=0.699, loss=56.177, backward_time=0.333, grad_norm=66.005, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.072e-05, train_time=1.536 +[gpua002:0/64] 2023-12-10 22:16:45,228 (trainer:737) INFO: 25epoch:train:8501-8600batch: iter_time=8.561e-05, forward_time=0.183, loss_ctc=64.773, loss_att=53.310, acc=0.710, loss=56.749, backward_time=0.304, grad_norm=64.242, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.070e-05, train_time=1.375 +[gpua002:0/64] 2023-12-10 22:19:40,005 (trainer:737) INFO: 25epoch:train:8601-8700batch: iter_time=8.244e-05, forward_time=0.170, loss_ctc=69.014, loss_att=53.282, acc=0.713, loss=58.002, backward_time=0.348, grad_norm=58.680, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.069e-05, train_time=1.748 +[gpua002:0/64] 2023-12-10 22:21:06,661 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-10 22:21:26,428 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 22:21:29,970 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 22:21:29,970 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-10 22:21:29,973 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 22:27:02,787 (trainer:737) INFO: 25epoch:train:8701-8800batch: iter_time=3.094, forward_time=0.147, loss_ctc=61.083, loss_att=51.817, acc=0.718, loss=54.596, backward_time=0.284, grad_norm=56.520, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.068e-05, train_time=4.427 +[gpua002:0/64] 2023-12-10 22:29:05,465 (trainer:737) INFO: 25epoch:train:8801-8900batch: iter_time=7.826e-05, forward_time=0.146, loss_ctc=62.607, loss_att=47.414, acc=0.735, loss=51.972, backward_time=0.279, grad_norm=52.321, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.067e-05, train_time=1.227 +[gpua002:0/64] 2023-12-10 22:31:30,280 (trainer:737) INFO: 25epoch:train:8901-9000batch: iter_time=7.778e-05, forward_time=0.147, loss_ctc=80.374, loss_att=60.896, acc=0.713, loss=66.740, backward_time=0.287, grad_norm=79.747, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.066e-05, train_time=1.448 +[gpua002:0/64] 2023-12-10 22:34:12,152 (trainer:737) INFO: 25epoch:train:9001-9100batch: iter_time=1.944e-04, forward_time=0.148, loss_ctc=76.673, loss_att=55.904, acc=0.724, loss=62.135, backward_time=0.358, grad_norm=64.141, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.065e-05, train_time=1.618 +[gpua002:0/64] 2023-12-10 22:36:42,630 (trainer:737) INFO: 25epoch:train:9101-9200batch: iter_time=7.714e-05, forward_time=0.161, loss_ctc=63.770, loss_att=52.646, acc=0.728, loss=55.984, backward_time=0.302, grad_norm=59.753, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.064e-05, train_time=1.505 +[gpua002:0/64] 2023-12-10 22:39:42,052 (trainer:737) INFO: 25epoch:train:9201-9300batch: iter_time=7.519e-05, forward_time=0.227, loss_ctc=70.495, loss_att=55.909, acc=0.718, loss=60.285, backward_time=0.335, grad_norm=59.754, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.063e-05, train_time=1.794 +[gpua002:0/64] 2023-12-10 22:42:34,806 (trainer:737) INFO: 25epoch:train:9301-9400batch: iter_time=7.691e-05, forward_time=0.150, loss_ctc=66.113, loss_att=53.218, acc=0.708, loss=57.087, backward_time=0.323, grad_norm=57.426, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.062e-05, train_time=1.727 +[gpua002:0/64] 2023-12-10 22:45:24,115 (trainer:737) INFO: 25epoch:train:9401-9500batch: iter_time=7.995e-05, forward_time=0.149, loss_ctc=58.799, loss_att=51.282, acc=0.719, loss=53.537, backward_time=0.326, grad_norm=62.451, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=8.061e-05, train_time=1.693 +[gpua002:0/64] 2023-12-10 22:48:02,459 (trainer:737) INFO: 25epoch:train:9501-9600batch: iter_time=7.846e-05, forward_time=0.146, loss_ctc=61.997, loss_att=48.744, acc=0.740, loss=52.720, backward_time=0.317, grad_norm=52.384, clip=100.000, loss_scale=3.509e+31, optim_step_time=0.135, optim0_lr0=8.060e-05, train_time=1.583 +[gpua002:0/64] 2023-12-10 22:50:02,409 (trainer:737) INFO: 25epoch:train:9601-9700batch: iter_time=7.699e-05, forward_time=0.146, loss_ctc=67.398, loss_att=52.593, acc=0.714, loss=57.034, backward_time=0.279, grad_norm=59.141, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.058e-05, train_time=1.199 +[gpua002:0/64] 2023-12-10 22:52:36,567 (trainer:737) INFO: 25epoch:train:9701-9800batch: iter_time=7.517e-05, forward_time=0.146, loss_ctc=68.322, loss_att=53.140, acc=0.706, loss=57.695, backward_time=0.292, grad_norm=62.213, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.057e-05, train_time=1.541 +[gpua002:0/64] 2023-12-10 22:55:52,584 (trainer:737) INFO: 25epoch:train:9801-9900batch: iter_time=2.219e-04, forward_time=0.147, loss_ctc=65.399, loss_att=54.373, acc=0.699, loss=57.681, backward_time=0.325, grad_norm=60.308, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.056e-05, train_time=1.960 +[gpua002:0/64] 2023-12-10 22:57:07,265 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 22:58:35,536 (trainer:737) INFO: 25epoch:train:9901-10000batch: iter_time=7.479e-05, forward_time=0.147, loss_ctc=64.171, loss_att=47.581, acc=0.725, loss=52.558, backward_time=0.321, grad_norm=56.399, clip=100.000, loss_scale=2.868e+31, optim_step_time=0.136, optim0_lr0=8.055e-05, train_time=1.629 +[gpua002:0/64] 2023-12-10 22:58:55,565 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-10 22:59:15,080 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 22:59:18,593 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 22:59:18,593 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-10 22:59:18,597 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 23:05:59,178 (trainer:737) INFO: 25epoch:train:10001-10100batch: iter_time=3.157, forward_time=0.182, loss_ctc=63.663, loss_att=56.673, acc=0.739, loss=58.770, backward_time=0.284, grad_norm=53.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.054e-05, train_time=4.436 +[gpua002:0/64] 2023-12-10 23:07:59,437 (trainer:737) INFO: 25epoch:train:10101-10200batch: iter_time=7.850e-05, forward_time=0.152, loss_ctc=59.194, loss_att=46.167, acc=0.733, loss=50.075, backward_time=0.279, grad_norm=65.280, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.053e-05, train_time=1.202 +[gpua002:0/64] 2023-12-10 23:10:25,222 (trainer:737) INFO: 25epoch:train:10201-10300batch: iter_time=7.892e-05, forward_time=0.148, loss_ctc=86.622, loss_att=74.445, acc=0.710, loss=78.098, backward_time=0.288, grad_norm=75.830, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.052e-05, train_time=1.458 +[gpua002:0/64] 2023-12-10 23:13:02,363 (trainer:737) INFO: 25epoch:train:10301-10400batch: iter_time=8.113e-05, forward_time=0.148, loss_ctc=70.714, loss_att=52.284, acc=0.729, loss=57.813, backward_time=0.299, grad_norm=63.500, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=8.051e-05, train_time=1.571 +[gpua002:0/64] 2023-12-10 23:15:41,267 (trainer:737) INFO: 25epoch:train:10401-10500batch: iter_time=7.633e-05, forward_time=0.150, loss_ctc=67.790, loss_att=57.690, acc=0.722, loss=60.720, backward_time=0.295, grad_norm=63.137, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.050e-05, train_time=1.589 +[gpua002:0/64] 2023-12-10 23:19:03,433 (trainer:737) INFO: 25epoch:train:10501-10600batch: iter_time=8.092e-05, forward_time=0.148, loss_ctc=65.279, loss_att=55.214, acc=0.724, loss=58.234, backward_time=0.426, grad_norm=60.253, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.049e-05, train_time=2.021 +[gpua002:0/64] 2023-12-10 23:21:31,051 (trainer:737) INFO: 25epoch:train:10601-10700batch: iter_time=7.919e-05, forward_time=0.148, loss_ctc=63.675, loss_att=50.897, acc=0.719, loss=54.731, backward_time=0.286, grad_norm=55.179, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.048e-05, train_time=1.476 +[gpua002:0/64] 2023-12-10 23:24:19,137 (trainer:737) INFO: 25epoch:train:10701-10800batch: iter_time=7.846e-05, forward_time=0.147, loss_ctc=60.655, loss_att=52.274, acc=0.729, loss=54.789, backward_time=0.349, grad_norm=54.766, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.046e-05, train_time=1.681 +[gpua002:0/64] 2023-12-10 23:27:09,295 (trainer:737) INFO: 25epoch:train:10801-10900batch: iter_time=7.931e-05, forward_time=0.148, loss_ctc=64.267, loss_att=55.054, acc=0.742, loss=57.818, backward_time=0.301, grad_norm=53.406, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.045e-05, train_time=1.701 +[gpua002:0/64] 2023-12-10 23:30:03,713 (trainer:737) INFO: 25epoch:train:10901-11000batch: iter_time=7.810e-05, forward_time=0.147, loss_ctc=67.634, loss_att=50.777, acc=0.708, loss=55.834, backward_time=0.326, grad_norm=70.163, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.044e-05, train_time=1.744 +[gpua002:0/64] 2023-12-10 23:32:25,402 (trainer:737) INFO: 25epoch:train:11001-11100batch: iter_time=2.062e-04, forward_time=0.224, loss_ctc=65.030, loss_att=54.501, acc=0.713, loss=57.660, backward_time=0.310, grad_norm=61.490, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=8.043e-05, train_time=1.417 +[gpua002:0/64] 2023-12-10 23:34:51,524 (trainer:737) INFO: 25epoch:train:11101-11200batch: iter_time=7.762e-05, forward_time=0.156, loss_ctc=69.058, loss_att=53.962, acc=0.723, loss=58.491, backward_time=0.290, grad_norm=54.679, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.042e-05, train_time=1.461 +[gpua002:0/64] 2023-12-10 23:35:13,234 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-10 23:36:14,500 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-10 23:36:33,862 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-10 23:36:37,341 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-10 23:36:37,341 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-10 23:36:37,347 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-10 23:42:21,992 (trainer:737) INFO: 25epoch:train:11201-11300batch: iter_time=3.151, forward_time=0.209, loss_ctc=60.990, loss_att=51.229, acc=0.726, loss=54.158, backward_time=0.287, grad_norm=59.181, clip=100.000, loss_scale=1.188e+31, optim_step_time=0.138, optim0_lr0=8.041e-05, train_time=4.504 +[gpua002:0/64] 2023-12-10 23:44:25,774 (trainer:737) INFO: 25epoch:train:11301-11400batch: iter_time=7.859e-05, forward_time=0.147, loss_ctc=63.607, loss_att=48.741, acc=0.732, loss=53.201, backward_time=0.278, grad_norm=63.385, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.040e-05, train_time=1.238 +[gpua002:0/64] 2023-12-10 23:46:43,893 (trainer:737) INFO: 25epoch:train:11401-11500batch: iter_time=7.805e-05, forward_time=0.148, loss_ctc=81.154, loss_att=61.229, acc=0.710, loss=67.207, backward_time=0.286, grad_norm=74.508, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.039e-05, train_time=1.381 +[gpua002:0/64] 2023-12-10 23:49:19,295 (trainer:737) INFO: 25epoch:train:11501-11600batch: iter_time=7.788e-05, forward_time=0.168, loss_ctc=76.064, loss_att=55.667, acc=0.725, loss=61.786, backward_time=0.283, grad_norm=92.491, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.038e-05, train_time=1.554 +[gpua002:0/64] 2023-12-10 23:52:02,440 (trainer:737) INFO: 25epoch:train:11601-11700batch: iter_time=0.001, forward_time=0.205, loss_ctc=62.633, loss_att=51.987, acc=0.731, loss=55.181, backward_time=0.328, grad_norm=55.834, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=8.037e-05, train_time=1.631 +[gpua002:0/64] 2023-12-10 23:54:27,985 (trainer:737) INFO: 25epoch:train:11701-11800batch: iter_time=7.494e-05, forward_time=0.148, loss_ctc=69.914, loss_att=55.616, acc=0.719, loss=59.906, backward_time=0.282, grad_norm=65.076, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.036e-05, train_time=1.455 +[gpua002:0/64] 2023-12-10 23:57:15,050 (trainer:737) INFO: 25epoch:train:11801-11900batch: iter_time=7.858e-05, forward_time=0.147, loss_ctc=65.818, loss_att=53.346, acc=0.708, loss=57.087, backward_time=0.315, grad_norm=61.513, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.035e-05, train_time=1.670 +[gpua002:0/64] 2023-12-11 00:00:27,672 (trainer:737) INFO: 25epoch:train:11901-12000batch: iter_time=7.876e-05, forward_time=0.154, loss_ctc=58.462, loss_att=50.745, acc=0.723, loss=53.060, backward_time=0.324, grad_norm=55.699, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.033e-05, train_time=1.922 +[gpua002:0/64] 2023-12-11 00:03:47,890 (trainer:737) INFO: 25epoch:train:12001-12100batch: iter_time=0.003, forward_time=0.223, loss_ctc=62.654, loss_att=49.338, acc=0.741, loss=53.333, backward_time=0.354, grad_norm=84.533, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.141, optim0_lr0=8.032e-05, train_time=2.005 +[gpua002:0/64] 2023-12-11 00:06:05,353 (trainer:737) INFO: 25epoch:train:12101-12200batch: iter_time=8.190e-05, forward_time=0.148, loss_ctc=66.721, loss_att=52.325, acc=0.717, loss=56.644, backward_time=0.304, grad_norm=66.110, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.031e-05, train_time=1.376 +[gpua002:0/64] 2023-12-11 00:08:14,448 (trainer:737) INFO: 25epoch:train:12201-12300batch: iter_time=8.169e-05, forward_time=0.147, loss_ctc=67.230, loss_att=52.742, acc=0.706, loss=57.089, backward_time=0.279, grad_norm=118.695, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.030e-05, train_time=1.291 +[gpua002:0/64] 2023-12-11 00:10:33,275 (trainer:737) INFO: 25epoch:train:12301-12400batch: iter_time=7.774e-05, forward_time=0.148, loss_ctc=64.897, loss_att=54.181, acc=0.701, loss=57.396, backward_time=0.318, grad_norm=87.048, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.029e-05, train_time=1.388 +[gpua002:0/64] 2023-12-11 00:13:22,543 (trainer:737) INFO: 25epoch:train:12401-12500batch: iter_time=0.002, forward_time=0.213, loss_ctc=64.308, loss_att=47.469, acc=0.727, loss=52.521, backward_time=0.342, grad_norm=81.660, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=8.028e-05, train_time=1.692 +[gpua002:0/64] 2023-12-11 00:13:42,571 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-11 00:14:02,642 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-11 00:14:06,110 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-11 00:14:06,110 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-11 00:14:06,113 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-11 00:20:51,483 (trainer:737) INFO: 25epoch:train:12501-12600batch: iter_time=3.074, forward_time=0.160, loss_ctc=63.521, loss_att=55.287, acc=0.741, loss=57.757, backward_time=0.281, grad_norm=53.494, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.027e-05, train_time=4.489 +[gpua002:0/64] 2023-12-11 00:22:56,274 (trainer:737) INFO: 25epoch:train:12601-12700batch: iter_time=7.877e-05, forward_time=0.148, loss_ctc=59.194, loss_att=46.063, acc=0.734, loss=50.002, backward_time=0.279, grad_norm=57.093, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.026e-05, train_time=1.248 +[gpua002:0/64] 2023-12-11 00:25:39,433 (trainer:737) INFO: 25epoch:train:12701-12800batch: iter_time=8.109e-05, forward_time=0.149, loss_ctc=90.431, loss_att=76.045, acc=0.711, loss=80.361, backward_time=0.318, grad_norm=87.742, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.025e-05, train_time=1.631 +[gpua002:0/64] 2023-12-11 00:27:57,698 (trainer:737) INFO: 25epoch:train:12801-12900batch: iter_time=8.019e-05, forward_time=0.148, loss_ctc=70.572, loss_att=51.891, acc=0.732, loss=57.496, backward_time=0.281, grad_norm=70.855, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=8.024e-05, train_time=1.382 +[gpua002:0/64] 2023-12-11 00:30:52,117 (trainer:737) INFO: 25epoch:train:12901-13000batch: iter_time=7.939e-05, forward_time=0.230, loss_ctc=67.852, loss_att=57.100, acc=0.722, loss=60.326, backward_time=0.376, grad_norm=65.595, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=8.023e-05, train_time=1.744 +[gpua002:0/64] 2023-12-11 00:33:39,739 (trainer:737) INFO: 25epoch:train:13001-13100batch: iter_time=8.315e-05, forward_time=0.152, loss_ctc=65.030, loss_att=54.721, acc=0.725, loss=57.814, backward_time=0.305, grad_norm=58.418, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=8.022e-05, train_time=1.676 +[gpua002:0/64] 2023-12-11 00:36:57,927 (trainer:737) INFO: 25epoch:train:13101-13200batch: iter_time=8.075e-05, forward_time=0.159, loss_ctc=63.305, loss_att=50.647, acc=0.720, loss=54.445, backward_time=0.341, grad_norm=66.511, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=8.021e-05, train_time=1.981 +[gpua002:0/64] 2023-12-11 00:39:29,802 (trainer:737) INFO: 25epoch:train:13201-13300batch: iter_time=8.013e-05, forward_time=0.148, loss_ctc=60.477, loss_att=51.913, acc=0.729, loss=54.482, backward_time=0.303, grad_norm=50.153, clip=100.000, loss_scale=1.846e+31, optim_step_time=0.135, optim0_lr0=8.019e-05, train_time=1.519 +[gpua002:0/64] 2023-12-11 00:42:25,085 (trainer:737) INFO: 25epoch:train:13301-13400batch: iter_time=8.093e-05, forward_time=0.149, loss_ctc=63.590, loss_att=53.407, acc=0.745, loss=56.462, backward_time=0.368, grad_norm=71.395, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.018e-05, train_time=1.753 +[gpua002:0/64] 2023-12-11 00:45:14,250 (trainer:737) INFO: 25epoch:train:13401-13500batch: iter_time=8.290e-05, forward_time=0.148, loss_ctc=66.892, loss_att=50.406, acc=0.709, loss=55.352, backward_time=0.313, grad_norm=85.303, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.017e-05, train_time=1.691 +[gpua002:0/64] 2023-12-11 00:47:42,514 (trainer:737) INFO: 25epoch:train:13501-13600batch: iter_time=8.200e-05, forward_time=0.147, loss_ctc=64.371, loss_att=53.863, acc=0.714, loss=57.015, backward_time=0.292, grad_norm=78.037, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.016e-05, train_time=1.482 +[gpua002:0/64] 2023-12-11 00:50:15,770 (trainer:737) INFO: 25epoch:train:13601-13700batch: iter_time=8.060e-05, forward_time=0.148, loss_ctc=68.394, loss_att=53.460, acc=0.725, loss=57.940, backward_time=0.292, grad_norm=81.999, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=8.015e-05, train_time=1.532 +[gpua002:0/64] 2023-12-11 00:51:49,758 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-11 00:52:09,373 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-11 00:52:13,210 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-11 00:52:13,210 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-11 00:52:13,213 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-11 00:57:44,286 (trainer:737) INFO: 25epoch:train:13701-13800batch: iter_time=3.063, forward_time=0.179, loss_ctc=60.446, loss_att=50.641, acc=0.734, loss=53.582, backward_time=0.289, grad_norm=84.292, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.014e-05, train_time=4.485 +[gpua002:0/64] 2023-12-11 00:59:51,239 (trainer:737) INFO: 25epoch:train:13801-13900batch: iter_time=7.565e-05, forward_time=0.149, loss_ctc=63.134, loss_att=50.737, acc=0.738, loss=54.456, backward_time=0.280, grad_norm=83.615, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.013e-05, train_time=1.270 +[gpua002:0/64] 2023-12-11 01:02:47,945 (trainer:737) INFO: 25epoch:train:13901-14000batch: iter_time=7.808e-05, forward_time=0.148, loss_ctc=79.412, loss_att=65.509, acc=0.717, loss=69.680, backward_time=0.360, grad_norm=94.463, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.012e-05, train_time=1.767 +[gpua002:0/64] 2023-12-11 01:05:41,338 (trainer:737) INFO: 25epoch:train:14001-14100batch: iter_time=8.257e-05, forward_time=0.148, loss_ctc=77.763, loss_att=58.851, acc=0.723, loss=64.524, backward_time=0.308, grad_norm=74.662, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.011e-05, train_time=1.734 +[gpua002:0/64] 2023-12-11 01:08:32,353 (trainer:737) INFO: 25epoch:train:14101-14200batch: iter_time=8.106e-05, forward_time=0.148, loss_ctc=62.789, loss_att=52.867, acc=0.735, loss=55.844, backward_time=0.303, grad_norm=69.702, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.010e-05, train_time=1.710 +[gpua002:0/64] 2023-12-11 01:11:20,020 (trainer:737) INFO: 25epoch:train:14201-14300batch: iter_time=7.877e-05, forward_time=0.148, loss_ctc=70.459, loss_att=57.341, acc=0.724, loss=61.276, backward_time=0.336, grad_norm=66.574, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.009e-05, train_time=1.676 +[gpua002:0/64] 2023-12-11 01:14:04,732 (trainer:737) INFO: 25epoch:train:14301-14400batch: iter_time=7.831e-05, forward_time=0.148, loss_ctc=65.945, loss_att=53.696, acc=0.718, loss=57.371, backward_time=0.298, grad_norm=60.675, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.008e-05, train_time=1.647 +[gpua002:0/64] 2023-12-11 01:17:10,371 (trainer:737) INFO: 25epoch:train:14401-14500batch: iter_time=7.722e-05, forward_time=0.226, loss_ctc=58.155, loss_att=52.116, acc=0.723, loss=53.928, backward_time=0.401, grad_norm=52.168, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=8.007e-05, train_time=1.856 +[gpua002:0/64] 2023-12-11 01:20:49,895 (trainer:737) INFO: 25epoch:train:14501-14600batch: iter_time=8.196e-05, forward_time=0.181, loss_ctc=62.289, loss_att=50.431, acc=0.747, loss=53.988, backward_time=0.389, grad_norm=61.810, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.006e-05, train_time=2.195 +[gpua002:0/64] 2023-12-11 01:23:20,697 (trainer:737) INFO: 25epoch:train:14601-14700batch: iter_time=7.924e-05, forward_time=0.149, loss_ctc=66.444, loss_att=52.575, acc=0.724, loss=56.736, backward_time=0.292, grad_norm=74.066, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.004e-05, train_time=1.508 +[gpua002:0/64] 2023-12-11 01:26:16,323 (trainer:737) INFO: 25epoch:train:14701-14800batch: iter_time=8.073e-05, forward_time=0.148, loss_ctc=67.486, loss_att=53.325, acc=0.710, loss=57.574, backward_time=0.293, grad_norm=75.429, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.003e-05, train_time=1.756 +[gpua002:0/64] 2023-12-11 01:28:52,331 (trainer:737) INFO: 25epoch:train:14801-14900batch: iter_time=7.939e-05, forward_time=0.148, loss_ctc=64.535, loss_att=54.370, acc=0.713, loss=57.419, backward_time=0.307, grad_norm=96.856, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.002e-05, train_time=1.560 +[gpua002:0/64] 2023-12-11 01:31:34,021 (trainer:737) INFO: 25epoch:train:14901-15000batch: iter_time=7.698e-05, forward_time=0.149, loss_ctc=64.301, loss_att=47.548, acc=0.732, loss=52.574, backward_time=0.314, grad_norm=82.101, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=8.001e-05, train_time=1.617 +[gpua002:0/64] 2023-12-11 01:58:29,342 (trainer:343) INFO: 25epoch results: [train] iter_time=0.238, forward_time=0.159, loss_ctc=67.461, loss_att=54.150, acc=0.719, loss=58.143, backward_time=0.307, grad_norm=68.223, clip=100.000, loss_scale=3.291e+31, optim_step_time=0.137, optim0_lr0=8.082e-05, train_time=1.761, time=7 hours, 20 minutes and 35.62 seconds, total_count=375000, gpu_max_cached_mem_GB=36.566, [valid] loss_ctc=38.585, cer_ctc=0.195, loss_att=37.996, acc=0.697, cer=0.358, wer=0.997, loss=38.173, time=26 minutes and 31.42 seconds, total_count=116775, gpu_max_cached_mem_GB=36.566 +[gpua002:0/64] 2023-12-11 01:58:49,012 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-11 01:58:49,065 (trainer:272) INFO: 26/40epoch started. Estimated time to finish: 5 days, 2 hours and 33 minutes +[gpua002:0/64] 2023-12-11 01:58:49,078 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-11 01:59:07,831 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-11 01:59:11,339 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-11 01:59:11,339 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-11 01:59:11,343 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-11 02:05:35,867 (trainer:737) INFO: 26epoch:train:1-100batch: iter_time=2.623, forward_time=0.178, loss_ctc=62.733, loss_att=53.255, acc=0.698, loss=56.099, backward_time=0.291, grad_norm=96.240, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=8.000e-05, train_time=4.068 +[gpua002:0/64] 2023-12-11 02:07:42,490 (trainer:737) INFO: 26epoch:train:101-200batch: iter_time=8.172e-05, forward_time=0.151, loss_ctc=66.445, loss_att=47.916, acc=0.715, loss=53.475, backward_time=0.286, grad_norm=74.311, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=7.999e-05, train_time=1.266 +[gpua002:0/64] 2023-12-11 02:10:02,966 (trainer:737) INFO: 26epoch:train:201-300batch: iter_time=7.841e-05, forward_time=0.148, loss_ctc=67.342, loss_att=54.052, acc=0.711, loss=58.039, backward_time=0.288, grad_norm=110.047, clip=100.000, loss_scale=3.691e+31, optim_step_time=0.136, optim0_lr0=7.998e-05, train_time=1.405 +[gpua002:0/64] 2023-12-11 02:12:29,422 (trainer:737) INFO: 26epoch:train:301-400batch: iter_time=7.650e-05, forward_time=0.165, loss_ctc=68.285, loss_att=57.509, acc=0.716, loss=60.742, backward_time=0.298, grad_norm=115.830, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=7.997e-05, train_time=1.464 +[gpua002:0/64] 2023-12-11 02:15:06,385 (trainer:737) INFO: 26epoch:train:401-500batch: iter_time=0.001, forward_time=0.255, loss_ctc=64.549, loss_att=48.546, acc=0.718, loss=53.347, backward_time=0.345, grad_norm=73.409, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.145, optim0_lr0=7.996e-05, train_time=1.569 +[gpua002:0/64] 2023-12-11 02:17:50,675 (trainer:737) INFO: 26epoch:train:501-600batch: iter_time=7.785e-05, forward_time=0.150, loss_ctc=70.772, loss_att=57.954, acc=0.712, loss=61.800, backward_time=0.305, grad_norm=66.962, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.995e-05, train_time=1.643 +[gpua002:0/64] 2023-12-11 02:20:16,900 (trainer:737) INFO: 26epoch:train:601-700batch: iter_time=7.885e-05, forward_time=0.147, loss_ctc=65.817, loss_att=53.169, acc=0.711, loss=56.964, backward_time=0.329, grad_norm=83.119, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.994e-05, train_time=1.462 +[gpua002:0/64] 2023-12-11 02:21:17,470 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-11 02:22:47,957 (trainer:737) INFO: 26epoch:train:701-800batch: iter_time=7.751e-05, forward_time=0.148, loss_ctc=66.668, loss_att=53.620, acc=0.709, loss=57.534, backward_time=0.307, grad_norm=65.613, clip=100.000, loss_scale=2.889e+31, optim_step_time=0.136, optim0_lr0=7.993e-05, train_time=1.510 +[gpua002:0/64] 2023-12-11 02:25:50,216 (trainer:737) INFO: 26epoch:train:801-900batch: iter_time=5.136e-04, forward_time=0.175, loss_ctc=67.556, loss_att=51.987, acc=0.724, loss=56.657, backward_time=0.320, grad_norm=65.983, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=7.992e-05, train_time=1.822 +[gpua002:0/64] 2023-12-11 02:29:08,651 (trainer:737) INFO: 26epoch:train:901-1000batch: iter_time=7.907e-05, forward_time=0.231, loss_ctc=85.018, loss_att=66.825, acc=0.694, loss=72.283, backward_time=0.367, grad_norm=103.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=7.991e-05, train_time=1.984 +[gpua002:0/64] 2023-12-11 02:31:25,175 (trainer:737) INFO: 26epoch:train:1001-1100batch: iter_time=8.004e-05, forward_time=0.147, loss_ctc=63.699, loss_att=51.757, acc=0.697, loss=55.339, backward_time=0.293, grad_norm=75.911, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.990e-05, train_time=1.365 +[gpua002:0/64] 2023-12-11 02:33:57,436 (trainer:737) INFO: 26epoch:train:1101-1200batch: iter_time=7.980e-05, forward_time=0.151, loss_ctc=73.899, loss_att=57.124, acc=0.697, loss=62.157, backward_time=0.338, grad_norm=79.833, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.989e-05, train_time=1.522 +[gpua002:0/64] 2023-12-11 02:35:25,024 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-11 02:35:44,142 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-11 02:35:47,644 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-11 02:35:47,644 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-11 02:35:47,648 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-11 02:41:29,043 (trainer:737) INFO: 26epoch:train:1201-1300batch: iter_time=2.821, forward_time=0.153, loss_ctc=62.673, loss_att=51.120, acc=0.717, loss=54.586, backward_time=0.301, grad_norm=67.969, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.987e-05, train_time=4.516 +[gpua002:0/64] 2023-12-11 02:43:31,771 (trainer:737) INFO: 26epoch:train:1301-1400batch: iter_time=7.840e-05, forward_time=0.147, loss_ctc=61.759, loss_att=44.723, acc=0.722, loss=49.834, backward_time=0.280, grad_norm=65.303, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.986e-05, train_time=1.227 +[gpua002:0/64] 2023-12-11 02:45:38,047 (trainer:737) INFO: 26epoch:train:1401-1500batch: iter_time=7.718e-05, forward_time=0.148, loss_ctc=65.391, loss_att=48.739, acc=0.736, loss=53.735, backward_time=0.280, grad_norm=59.662, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.985e-05, train_time=1.263 +[gpua002:0/64] 2023-12-11 02:48:06,048 (trainer:737) INFO: 26epoch:train:1501-1600batch: iter_time=7.889e-05, forward_time=0.149, loss_ctc=68.322, loss_att=52.728, acc=0.719, loss=57.406, backward_time=0.328, grad_norm=80.605, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.984e-05, train_time=1.480 +[gpua002:0/64] 2023-12-11 02:50:35,017 (trainer:737) INFO: 26epoch:train:1601-1700batch: iter_time=8.148e-05, forward_time=0.147, loss_ctc=66.239, loss_att=56.724, acc=0.720, loss=59.579, backward_time=0.286, grad_norm=59.913, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.983e-05, train_time=1.489 +[gpua002:0/64] 2023-12-11 02:50:54,400 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-11 02:53:13,477 (trainer:737) INFO: 26epoch:train:1701-1800batch: iter_time=1.909e-04, forward_time=0.188, loss_ctc=64.289, loss_att=51.447, acc=0.728, loss=55.300, backward_time=0.327, grad_norm=66.489, clip=100.000, loss_scale=1.137e+31, optim_step_time=0.139, optim0_lr0=7.982e-05, train_time=1.584 +[gpua002:0/64] 2023-12-11 02:56:17,924 (trainer:737) INFO: 26epoch:train:1801-1900batch: iter_time=1.318e-04, forward_time=0.183, loss_ctc=67.752, loss_att=56.475, acc=0.726, loss=59.858, backward_time=0.314, grad_norm=63.528, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=7.981e-05, train_time=1.845 +[gpua002:0/64] 2023-12-11 02:59:06,970 (trainer:737) INFO: 26epoch:train:1901-2000batch: iter_time=8.205e-05, forward_time=0.148, loss_ctc=68.018, loss_att=52.776, acc=0.726, loss=57.348, backward_time=0.292, grad_norm=78.762, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.980e-05, train_time=1.690 +[gpua002:0/64] 2023-12-11 03:01:16,622 (trainer:737) INFO: 26epoch:train:2001-2100batch: iter_time=7.652e-05, forward_time=0.148, loss_ctc=61.258, loss_att=45.480, acc=0.734, loss=50.213, backward_time=0.279, grad_norm=54.730, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=7.979e-05, train_time=1.296 +[gpua002:0/64] 2023-12-11 03:03:40,997 (trainer:737) INFO: 26epoch:train:2101-2200batch: iter_time=8.026e-04, forward_time=0.162, loss_ctc=85.968, loss_att=68.401, acc=0.705, loss=73.671, backward_time=0.287, grad_norm=111.115, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.978e-05, train_time=1.442 +[gpua002:0/64] 2023-12-11 03:05:59,831 (trainer:737) INFO: 26epoch:train:2201-2300batch: iter_time=7.822e-05, forward_time=0.148, loss_ctc=62.724, loss_att=50.639, acc=0.707, loss=54.264, backward_time=0.282, grad_norm=70.310, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.977e-05, train_time=1.389 +[gpua002:0/64] 2023-12-11 03:08:46,678 (trainer:737) INFO: 26epoch:train:2301-2400batch: iter_time=7.766e-05, forward_time=0.148, loss_ctc=68.491, loss_att=56.264, acc=0.709, loss=59.932, backward_time=0.310, grad_norm=73.733, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.976e-05, train_time=1.668 +[gpua002:0/64] 2023-12-11 03:10:56,625 (trainer:737) INFO: 26epoch:train:2401-2500batch: iter_time=7.637e-05, forward_time=0.147, loss_ctc=62.925, loss_att=48.540, acc=0.720, loss=52.856, backward_time=0.292, grad_norm=65.210, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.975e-05, train_time=1.299 +[gpua002:0/64] 2023-12-11 03:11:16,653 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-11 03:11:35,789 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-11 03:11:39,248 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-11 03:11:39,248 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-11 03:11:39,256 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-11 03:18:25,013 (trainer:737) INFO: 26epoch:train:2501-2600batch: iter_time=3.182, forward_time=0.217, loss_ctc=62.528, loss_att=50.996, acc=0.707, loss=54.456, backward_time=0.287, grad_norm=74.621, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=7.974e-05, train_time=4.484 +[gpua002:0/64] 2023-12-11 03:20:26,900 (trainer:737) INFO: 26epoch:train:2601-2700batch: iter_time=7.652e-05, forward_time=0.147, loss_ctc=65.284, loss_att=46.296, acc=0.722, loss=51.992, backward_time=0.279, grad_norm=76.427, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.973e-05, train_time=1.219 +[gpua002:0/64] 2023-12-11 03:22:45,534 (trainer:737) INFO: 26epoch:train:2701-2800batch: iter_time=7.711e-05, forward_time=0.148, loss_ctc=64.999, loss_att=51.816, acc=0.721, loss=55.771, backward_time=0.286, grad_norm=72.935, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.972e-05, train_time=1.386 +[gpua002:0/64] 2023-12-11 03:25:33,332 (trainer:737) INFO: 26epoch:train:2801-2900batch: iter_time=7.914e-05, forward_time=0.147, loss_ctc=66.550, loss_att=56.075, acc=0.722, loss=59.218, backward_time=0.338, grad_norm=67.571, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.971e-05, train_time=1.678 +[gpua002:0/64] 2023-12-11 03:28:08,983 (trainer:737) INFO: 26epoch:train:2901-3000batch: iter_time=7.857e-05, forward_time=0.148, loss_ctc=63.446, loss_att=47.128, acc=0.726, loss=52.023, backward_time=0.312, grad_norm=64.850, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.969e-05, train_time=1.556 +[gpua002:0/64] 2023-12-11 03:30:30,554 (trainer:737) INFO: 26epoch:train:3001-3100batch: iter_time=8.077e-05, forward_time=0.155, loss_ctc=69.817, loss_att=57.446, acc=0.716, loss=61.157, backward_time=0.294, grad_norm=70.451, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.968e-05, train_time=1.414 +[gpua002:0/64] 2023-12-11 03:33:06,951 (trainer:737) INFO: 26epoch:train:3101-3200batch: iter_time=7.455e-05, forward_time=0.147, loss_ctc=64.721, loss_att=52.390, acc=0.717, loss=56.089, backward_time=0.298, grad_norm=58.676, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.967e-05, train_time=1.565 +[gpua002:0/64] 2023-12-11 03:35:51,958 (trainer:737) INFO: 26epoch:train:3201-3300batch: iter_time=7.702e-05, forward_time=0.148, loss_ctc=66.062, loss_att=53.332, acc=0.710, loss=57.151, backward_time=0.306, grad_norm=56.060, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.966e-05, train_time=1.650 +[gpua002:0/64] 2023-12-11 03:38:45,104 (trainer:737) INFO: 26epoch:train:3301-3400batch: iter_time=7.800e-05, forward_time=0.215, loss_ctc=66.169, loss_att=51.199, acc=0.728, loss=55.690, backward_time=0.335, grad_norm=58.644, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.141, optim0_lr0=7.965e-05, train_time=1.731 +[gpua002:0/64] 2023-12-11 03:41:22,466 (trainer:737) INFO: 26epoch:train:3401-3500batch: iter_time=7.743e-05, forward_time=0.168, loss_ctc=79.792, loss_att=63.681, acc=0.700, loss=68.515, backward_time=0.295, grad_norm=90.352, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.964e-05, train_time=1.573 +[gpua002:0/64] 2023-12-11 03:43:29,470 (trainer:737) INFO: 26epoch:train:3501-3600batch: iter_time=7.805e-05, forward_time=0.148, loss_ctc=62.291, loss_att=50.938, acc=0.704, loss=54.343, backward_time=0.279, grad_norm=60.024, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.963e-05, train_time=1.270 +[gpua002:0/64] 2023-12-11 03:46:03,836 (trainer:737) INFO: 26epoch:train:3601-3700batch: iter_time=7.705e-05, forward_time=0.149, loss_ctc=71.492, loss_att=56.355, acc=0.701, loss=60.896, backward_time=0.345, grad_norm=86.442, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=7.962e-05, train_time=1.543 +[gpua002:0/64] 2023-12-11 03:47:25,587 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-11 03:47:44,906 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-11 03:47:48,455 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-11 03:47:48,456 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-11 03:47:48,459 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-11 03:53:31,593 (trainer:737) INFO: 26epoch:train:3701-3800batch: iter_time=3.119, forward_time=0.152, loss_ctc=61.868, loss_att=50.011, acc=0.720, loss=53.568, backward_time=0.284, grad_norm=65.655, clip=100.000, loss_scale=1.896e+31, optim_step_time=0.136, optim0_lr0=7.961e-05, train_time=4.477 +[gpua002:0/64] 2023-12-11 03:55:58,471 (trainer:737) INFO: 26epoch:train:3801-3900batch: iter_time=7.753e-05, forward_time=0.147, loss_ctc=60.550, loss_att=43.588, acc=0.722, loss=48.677, backward_time=0.286, grad_norm=58.333, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.960e-05, train_time=1.469 +[gpua002:0/64] 2023-12-11 03:58:39,392 (trainer:737) INFO: 26epoch:train:3901-4000batch: iter_time=7.668e-05, forward_time=0.148, loss_ctc=64.571, loss_att=48.242, acc=0.737, loss=53.141, backward_time=0.324, grad_norm=62.802, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.959e-05, train_time=1.609 +[gpua002:0/64] 2023-12-11 04:00:43,233 (trainer:737) INFO: 26epoch:train:4001-4100batch: iter_time=7.837e-05, forward_time=0.147, loss_ctc=67.299, loss_att=51.947, acc=0.718, loss=56.553, backward_time=0.281, grad_norm=64.442, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.958e-05, train_time=1.238 +[gpua002:0/64] 2023-12-11 04:03:01,423 (trainer:737) INFO: 26epoch:train:4101-4200batch: iter_time=7.868e-05, forward_time=0.149, loss_ctc=66.202, loss_att=57.052, acc=0.716, loss=59.797, backward_time=0.298, grad_norm=62.832, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.957e-05, train_time=1.382 +[gpua002:0/64] 2023-12-11 04:05:57,046 (trainer:737) INFO: 26epoch:train:4201-4300batch: iter_time=7.909e-05, forward_time=0.159, loss_ctc=63.501, loss_att=50.407, acc=0.724, loss=54.335, backward_time=0.338, grad_norm=59.152, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.956e-05, train_time=1.756 +[gpua002:0/64] 2023-12-11 04:08:32,454 (trainer:737) INFO: 26epoch:train:4301-4400batch: iter_time=8.050e-05, forward_time=0.207, loss_ctc=66.114, loss_att=55.458, acc=0.724, loss=58.655, backward_time=0.321, grad_norm=76.978, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.146, optim0_lr0=7.955e-05, train_time=1.554 +[gpua002:0/64] 2023-12-11 04:11:30,157 (trainer:737) INFO: 26epoch:train:4401-4500batch: iter_time=8.028e-05, forward_time=0.147, loss_ctc=67.949, loss_att=52.214, acc=0.721, loss=56.934, backward_time=0.317, grad_norm=69.173, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.954e-05, train_time=1.777 +[gpua002:0/64] 2023-12-11 04:14:19,738 (trainer:737) INFO: 26epoch:train:4501-4600batch: iter_time=8.018e-05, forward_time=0.147, loss_ctc=60.487, loss_att=44.613, acc=0.734, loss=49.375, backward_time=0.302, grad_norm=59.399, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.953e-05, train_time=1.696 +[gpua002:0/64] 2023-12-11 04:17:17,851 (trainer:737) INFO: 26epoch:train:4601-4700batch: iter_time=8.042e-05, forward_time=0.147, loss_ctc=84.655, loss_att=66.994, acc=0.703, loss=72.292, backward_time=0.346, grad_norm=97.316, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.952e-05, train_time=1.781 +[gpua002:0/64] 2023-12-11 04:20:03,703 (trainer:737) INFO: 26epoch:train:4701-4800batch: iter_time=2.745e-04, forward_time=0.147, loss_ctc=61.430, loss_att=49.664, acc=0.706, loss=53.194, backward_time=0.286, grad_norm=81.066, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.951e-05, train_time=1.658 +[gpua002:0/64] 2023-12-11 04:22:23,535 (trainer:737) INFO: 26epoch:train:4801-4900batch: iter_time=7.476e-05, forward_time=0.150, loss_ctc=67.667, loss_att=55.306, acc=0.707, loss=59.015, backward_time=0.282, grad_norm=58.289, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.950e-05, train_time=1.398 +[gpua002:0/64] 2023-12-11 04:25:20,033 (trainer:737) INFO: 26epoch:train:4901-5000batch: iter_time=7.703e-05, forward_time=0.147, loss_ctc=62.365, loss_att=48.066, acc=0.721, loss=52.356, backward_time=0.310, grad_norm=66.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.948e-05, train_time=1.765 +[gpua002:0/64] 2023-12-11 04:25:40,061 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-11 04:25:59,231 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-11 04:26:02,785 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-11 04:26:02,785 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-11 04:26:02,804 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-11 04:32:43,011 (trainer:737) INFO: 26epoch:train:5001-5100batch: iter_time=3.055, forward_time=0.197, loss_ctc=61.464, loss_att=51.641, acc=0.717, loss=54.588, backward_time=0.290, grad_norm=82.054, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=7.947e-05, train_time=4.429 +[gpua002:0/64] 2023-12-11 04:34:47,395 (trainer:737) INFO: 26epoch:train:5101-5200batch: iter_time=7.823e-05, forward_time=0.147, loss_ctc=64.862, loss_att=45.371, acc=0.736, loss=51.218, backward_time=0.279, grad_norm=61.914, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=7.946e-05, train_time=1.245 +[gpua002:0/64] 2023-12-11 04:37:22,662 (trainer:737) INFO: 26epoch:train:5201-5300batch: iter_time=7.860e-05, forward_time=0.148, loss_ctc=64.567, loss_att=52.562, acc=0.726, loss=56.163, backward_time=0.307, grad_norm=64.259, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.945e-05, train_time=1.552 +[gpua002:0/64] 2023-12-11 04:40:10,828 (trainer:737) INFO: 26epoch:train:5301-5400batch: iter_time=7.991e-05, forward_time=0.148, loss_ctc=66.119, loss_att=55.518, acc=0.730, loss=58.698, backward_time=0.336, grad_norm=64.963, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.944e-05, train_time=1.681 +[gpua002:0/64] 2023-12-11 04:43:00,377 (trainer:737) INFO: 26epoch:train:5401-5500batch: iter_time=7.629e-05, forward_time=0.148, loss_ctc=62.538, loss_att=46.824, acc=0.735, loss=51.538, backward_time=0.331, grad_norm=69.883, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.943e-05, train_time=1.695 +[gpua002:0/64] 2023-12-11 04:46:02,842 (trainer:737) INFO: 26epoch:train:5501-5600batch: iter_time=7.848e-05, forward_time=0.154, loss_ctc=69.591, loss_att=57.140, acc=0.728, loss=60.875, backward_time=0.346, grad_norm=62.475, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=7.942e-05, train_time=1.825 +[gpua002:0/64] 2023-12-11 04:48:36,041 (trainer:737) INFO: 26epoch:train:5601-5700batch: iter_time=8.769e-05, forward_time=0.212, loss_ctc=63.979, loss_att=52.363, acc=0.728, loss=55.848, backward_time=0.357, grad_norm=88.664, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.144, optim0_lr0=7.941e-05, train_time=1.532 +[gpua002:0/64] 2023-12-11 04:50:56,530 (trainer:737) INFO: 26epoch:train:5701-5800batch: iter_time=7.796e-05, forward_time=0.148, loss_ctc=64.413, loss_att=52.246, acc=0.724, loss=55.896, backward_time=0.295, grad_norm=69.926, clip=100.000, loss_scale=3.793e+31, optim_step_time=0.136, optim0_lr0=7.940e-05, train_time=1.405 +[gpua002:0/64] 2023-12-11 04:53:30,013 (trainer:737) INFO: 26epoch:train:5801-5900batch: iter_time=7.794e-05, forward_time=0.148, loss_ctc=66.113, loss_att=50.517, acc=0.741, loss=55.196, backward_time=0.299, grad_norm=56.277, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.939e-05, train_time=1.535 +[gpua002:0/64] 2023-12-11 04:56:47,251 (trainer:737) INFO: 26epoch:train:5901-6000batch: iter_time=7.847e-05, forward_time=0.148, loss_ctc=78.526, loss_att=65.480, acc=0.706, loss=69.394, backward_time=0.335, grad_norm=105.019, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.938e-05, train_time=1.972 +[gpua002:0/64] 2023-12-11 04:59:05,018 (trainer:737) INFO: 26epoch:train:6001-6100batch: iter_time=7.795e-05, forward_time=0.147, loss_ctc=61.874, loss_att=51.179, acc=0.714, loss=54.387, backward_time=0.289, grad_norm=74.358, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.937e-05, train_time=1.377 +[gpua002:0/64] 2023-12-11 05:01:33,082 (trainer:737) INFO: 26epoch:train:6101-6200batch: iter_time=7.652e-05, forward_time=0.148, loss_ctc=69.892, loss_att=55.176, acc=0.713, loss=59.591, backward_time=0.288, grad_norm=69.395, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.936e-05, train_time=1.480 +[gpua002:0/64] 2023-12-11 05:03:18,725 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-11 05:03:37,988 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-11 05:03:41,544 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-11 05:03:41,544 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-11 05:03:41,547 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-11 05:09:14,496 (trainer:737) INFO: 26epoch:train:6201-6300batch: iter_time=3.102, forward_time=0.167, loss_ctc=62.279, loss_att=49.711, acc=0.725, loss=53.482, backward_time=0.325, grad_norm=66.519, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=7.935e-05, train_time=4.614 +[gpua002:0/64] 2023-12-11 05:11:28,706 (trainer:737) INFO: 26epoch:train:6301-6400batch: iter_time=7.626e-05, forward_time=0.150, loss_ctc=60.539, loss_att=43.830, acc=0.727, loss=48.843, backward_time=0.292, grad_norm=82.877, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.934e-05, train_time=1.342 +[gpua002:0/64] 2023-12-11 05:14:03,294 (trainer:737) INFO: 26epoch:train:6401-6500batch: iter_time=8.212e-05, forward_time=0.148, loss_ctc=64.722, loss_att=48.056, acc=0.741, loss=53.056, backward_time=0.292, grad_norm=99.941, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.933e-05, train_time=1.546 +[gpua002:0/64] 2023-12-11 05:16:25,981 (trainer:737) INFO: 26epoch:train:6501-6600batch: iter_time=8.559e-05, forward_time=0.148, loss_ctc=67.539, loss_att=52.817, acc=0.722, loss=57.234, backward_time=0.317, grad_norm=63.542, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.932e-05, train_time=1.427 +[gpua002:0/64] 2023-12-11 05:18:53,624 (trainer:737) INFO: 26epoch:train:6601-6700batch: iter_time=8.260e-05, forward_time=0.148, loss_ctc=65.320, loss_att=57.124, acc=0.722, loss=59.583, backward_time=0.289, grad_norm=63.491, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.931e-05, train_time=1.476 +[gpua002:0/64] 2023-12-11 05:21:40,982 (trainer:737) INFO: 26epoch:train:6701-6800batch: iter_time=8.204e-05, forward_time=0.148, loss_ctc=63.184, loss_att=50.617, acc=0.733, loss=54.387, backward_time=0.328, grad_norm=64.092, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=7.930e-05, train_time=1.673 +[gpua002:0/64] 2023-12-11 05:24:20,159 (trainer:737) INFO: 26epoch:train:6801-6900batch: iter_time=8.036e-05, forward_time=0.148, loss_ctc=66.662, loss_att=54.608, acc=0.733, loss=58.224, backward_time=0.305, grad_norm=71.240, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=7.929e-05, train_time=1.592 +srun: Job step aborted: Waiting up to 32 seconds for job step to finish. +slurmstepd: error: *** STEP 2741609.0 ON gpua002 CANCELLED AT 2023-12-11T09:02:38 DUE TO TIME LIMIT *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.7.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.7.log new file mode 100644 index 0000000000000000000000000000000000000000..40a0bc334c7ca1f8b47ad68846111a966a4ff2f9 --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.7.log @@ -0,0 +1,4227 @@ +# Running on gpua002.delta.ncsa.illinois.edu +# Started at Thu Dec 7 08:45:14 CST 2023 +# SLURMD_NODENAME=gpua002 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2737380 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1702133098 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2737380 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1701960298 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=872496 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua002 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_02d36578-8c3b-4e19-8588-7a7fc1ba7857 +[gpua002:0/64] 2023-12-07 08:45:59,428 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua002:0/64] 2023-12-07 08:45:59,813 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua002:0/64] 2023-12-07 08:45:59,840 (s2t:464) INFO: Vocabulary size: 50002 +[gpua002:0/64] 2023-12-07 08:46:10,376 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua002:0/64] 2023-12-07 08:46:10,387 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua002:0/64] 2023-12-07 08:46:10,387 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua002:0/64] 2023-12-07 08:46:10,387 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua002:0/64] 2023-12-07 08:46:10,396 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua002:0/64] 2023-12-07 08:46:15,938 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 08:46:16,934 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 08:46:16,934 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua002:0/64] 2023-12-07 08:46:16,935 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 08:46:45,928 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua002:872564:872564 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:872564:872564 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:872564:872564 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua002:0/64] 2023-12-07 08:46:51,247 (trainer:284) INFO: 16/40epoch started +[gpua002:0/64] 2023-12-07 08:46:51,295 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-07 08:47:10,084 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 08:47:13,690 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 08:47:13,690 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-07 08:47:13,693 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua023:627542:627542 [2] NCCL INFO cudaDriverVersion 12020 +gpua023:627542:627542 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:627542:627542 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:627542:627585 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:627542:627585 [2] NCCL INFO Using network IB +gpua023:627542:627585 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua023:627542:627585 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua023:627542:627585 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua023:627542:627585 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua023:627542:627585 [2] NCCL INFO Connected all rings +gpua023:627542:627585 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua023:627542:627585 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua023:627542:627585 [2] NCCL INFO Connected all trees +gpua023:627542:627585 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:627542:627585 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:627542:627585 [2] NCCL INFO comm 0xe41ead0 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua023:627543:627543 [3] NCCL INFO cudaDriverVersion 12020 +gpua023:627543:627543 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:627543:627543 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:627543:627583 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:627543:627583 [3] NCCL INFO Using network IB +gpua023:627543:627583 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua023:627543:627583 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua023:627543:627583 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua023:627543:627583 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua023:627543:627583 [3] NCCL INFO Connected all rings +gpua023:627543:627583 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua023:627543:627583 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua023:627543:627583 [3] NCCL INFO Connected all trees +gpua023:627543:627583 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:627543:627583 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:627543:627583 [3] NCCL INFO comm 0x4a952b50 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua023:627540:627540 [0] NCCL INFO cudaDriverVersion 12020 +gpua023:627540:627540 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:627540:627540 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:627540:627582 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:627540:627582 [0] NCCL INFO Using network IB +gpua023:627540:627582 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua023:627540:627582 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua023:627540:627582 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:627540:627582 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua023:627540:627582 [0] NCCL INFO Connected all rings +gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:627540:627582 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua023:627540:627582 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua023:627540:627582 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua023:627540:627582 [0] NCCL INFO Connected all trees +gpua023:627540:627582 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:627540:627582 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:627540:627582 [0] NCCL INFO comm 0xa154cbe0 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua023:627541:627541 [1] NCCL INFO cudaDriverVersion 12020 +gpua023:627541:627541 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:627541:627541 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:627541:627584 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:627541:627584 [1] NCCL INFO Using network IB +gpua023:627541:627584 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua023:627541:627584 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua023:627541:627584 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua023:627541:627584 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua023:627541:627584 [1] NCCL INFO Connected all rings +gpua023:627541:627584 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua023:627541:627584 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua023:627541:627584 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua023:627541:627584 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua023:627541:627584 [1] NCCL INFO Connected all trees +gpua023:627541:627584 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:627541:627584 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:627541:627584 [1] NCCL INFO comm 0xe494620 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua085:1288949:1288949 [0] NCCL INFO cudaDriverVersion 12020 +gpua085:1288949:1288949 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1288949:1288949 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1288949:1288996 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1288949:1288996 [0] NCCL INFO Using network IB +gpua085:1288949:1288996 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua085:1288949:1288996 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1288949:1288996 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua085:1288949:1288996 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua085:1288949:1288996 [0] NCCL INFO Connected all rings +gpua085:1288949:1288996 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua085:1288949:1288996 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1288949:1288996 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua085:1288949:1288996 [0] NCCL INFO Connected all trees +gpua085:1288949:1288996 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1288949:1288996 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1288949:1288996 [0] NCCL INFO comm 0x173000e0 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua085:1288952:1288952 [3] NCCL INFO cudaDriverVersion 12020 +gpua085:1288952:1288952 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1288952:1288952 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1288952:1288994 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1288952:1288994 [3] NCCL INFO Using network IB +gpua085:1288952:1288994 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua085:1288952:1288994 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua085:1288952:1288994 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1288952:1288994 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1288952:1288994 [3] NCCL INFO Connected all rings +gpua085:1288952:1288994 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua085:1288952:1288994 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua085:1288952:1288994 [3] NCCL INFO Connected all trees +gpua085:1288952:1288994 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1288952:1288994 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1288952:1288994 [3] NCCL INFO comm 0x8f8f39d0 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:977738:977738 [2] NCCL INFO cudaDriverVersion 12020 +gpua030:977738:977738 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:977738:977738 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:977738:977792 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:977738:977792 [2] NCCL INFO Using network IB +gpua030:977738:977792 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua030:977738:977792 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua030:977738:977792 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua030:977738:977792 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua030:977738:977792 [2] NCCL INFO Connected all rings +gpua030:977738:977792 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua030:977738:977792 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua030:977738:977792 [2] NCCL INFO Connected all trees +gpua030:977738:977792 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:977738:977792 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:977738:977792 [2] NCCL INFO comm 0x185624d0 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:595804:595804 [1] NCCL INFO cudaDriverVersion 12020 +gpua055:595804:595804 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:595804:595804 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:595804:595844 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:595804:595844 [1] NCCL INFO Using network IB +gpua055:595804:595844 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua055:595804:595844 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua055:595804:595844 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua055:595804:595844 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua055:595804:595844 [1] NCCL INFO Connected all rings +gpua055:595804:595844 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua055:595804:595844 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua055:595804:595844 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua055:595804:595844 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua055:595804:595844 [1] NCCL INFO Connected all trees +gpua055:595804:595844 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:595804:595844 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:595804:595844 [1] NCCL INFO comm 0x92bd1810 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua057:497542:497542 [1] NCCL INFO cudaDriverVersion 12020 +gpua057:497542:497542 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:497542:497542 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:497542:497581 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:497542:497581 [1] NCCL INFO Using network IB +gpua057:497542:497581 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua057:497542:497581 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua057:497542:497581 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:497542:497581 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:497542:497581 [1] NCCL INFO Connected all rings +gpua057:497542:497581 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua057:497542:497581 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua005:2463482:2463482 [1] NCCL INFO cudaDriverVersion 12020 +gpua005:2463482:2463482 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2463482:2463482 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2463482:2463526 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2463482:2463526 [1] NCCL INFO Using network IB +gpua005:2463482:2463526 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua005:2463482:2463526 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua005:2463482:2463526 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua005:2463482:2463526 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua005:2463482:2463526 [1] NCCL INFO Connected all rings +gpua005:2463482:2463526 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua005:2463482:2463526 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua057:497542:497581 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:497542:497581 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:497542:497581 [1] NCCL INFO Connected all trees +gpua057:497542:497581 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:497542:497581 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:497542:497581 [1] NCCL INFO comm 0x4e1e7880 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua005:2463482:2463526 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua005:2463482:2463526 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua005:2463482:2463526 [1] NCCL INFO Connected all trees +gpua005:2463482:2463526 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2463482:2463526 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2463482:2463526 [1] NCCL INFO comm 0xccf9410 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua083:1863063:1863063 [0] NCCL INFO cudaDriverVersion 12020 +gpua083:1863063:1863063 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1863063:1863063 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1863063:1863111 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1863063:1863111 [0] NCCL INFO Using network IB +gpua083:1863063:1863111 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua083:1863063:1863111 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua083:1863063:1863111 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1863063:1863111 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua083:1863063:1863111 [0] NCCL INFO Connected all rings +gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1863063:1863111 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua083:1863063:1863111 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1863063:1863111 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua083:1863063:1863111 [0] NCCL INFO Connected all trees +gpua083:1863063:1863111 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1863063:1863111 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1863063:1863111 [0] NCCL INFO comm 0x98a5c620 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1152034:1152034 [2] NCCL INFO cudaDriverVersion 12020 +gpua056:1152034:1152034 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1152034:1152034 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1152034:1152075 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1152034:1152075 [2] NCCL INFO Using network IB +gpua056:1152034:1152075 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua056:1152034:1152075 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua056:1152034:1152075 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1152034:1152075 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1152034:1152075 [2] NCCL INFO Connected all rings +gpua056:1152034:1152075 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1152034:1152075 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1152034:1152075 [2] NCCL INFO Connected all trees +gpua056:1152034:1152075 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1152034:1152075 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1152034:1152075 [2] NCCL INFO comm 0xb1d4640 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:595803:595803 [0] NCCL INFO cudaDriverVersion 12020 +gpua055:595803:595803 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:595803:595803 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:595803:595842 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:595803:595842 [0] NCCL INFO Using network IB +gpua055:595803:595842 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua055:595803:595842 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua055:595803:595842 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:595803:595842 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua055:595803:595842 [0] NCCL INFO Connected all rings +gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:595803:595842 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:595803:595842 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua055:595803:595842 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua055:595803:595842 [0] NCCL INFO Connected all trees +gpua055:595803:595842 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:595803:595842 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:595803:595842 [0] NCCL INFO comm 0x7f3a3cafa560 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua086:757541:757541 [3] NCCL INFO cudaDriverVersion 12020 +gpua086:757541:757541 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:757541:757541 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:757541:757585 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:757541:757585 [3] NCCL INFO Using network IB +gpua086:757541:757585 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua086:757541:757585 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua086:757541:757585 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua086:757541:757585 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua086:757541:757585 [3] NCCL INFO Connected all rings +gpua086:757541:757585 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua086:757541:757585 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua086:757541:757585 [3] NCCL INFO Connected all trees +gpua086:757541:757585 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:757541:757585 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:757541:757585 [3] NCCL INFO comm 0xe5be3ae0 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:1863065:1863065 [2] NCCL INFO cudaDriverVersion 12020 +gpua083:1863065:1863065 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1863065:1863065 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1863065:1863109 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1863065:1863109 [2] NCCL INFO Using network IB +gpua083:1863065:1863109 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua083:1863065:1863109 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua083:1863065:1863109 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua083:1863065:1863109 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua083:1863065:1863109 [2] NCCL INFO Connected all rings +gpua083:1863065:1863109 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua083:1863065:1863109 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua083:1863065:1863109 [2] NCCL INFO Connected all trees +gpua083:1863065:1863109 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1863065:1863109 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1863065:1863109 [2] NCCL INFO comm 0xcdddff0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:601002:601002 [2] NCCL INFO cudaDriverVersion 12020 +gpua082:601002:601002 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:601002:601002 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:601002:601048 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:601002:601048 [2] NCCL INFO Using network IB +gpua082:601002:601048 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua082:601002:601048 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua082:601002:601048 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:601002:601048 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:601002:601048 [2] NCCL INFO Connected all rings +gpua082:601002:601048 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:601002:601048 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:601002:601048 [2] NCCL INFO Connected all trees +gpua082:601002:601048 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:601002:601048 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:601002:601048 [2] NCCL INFO comm 0x97d8fdd0 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua007:384567:384567 [3] NCCL INFO cudaDriverVersion 12020 +gpua007:384567:384567 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:384567:384567 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:384567:384615 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:384567:384615 [3] NCCL INFO Using network IB +gpua007:384567:384615 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua007:384567:384615 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua007:384567:384615 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua007:384567:384615 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua007:384567:384615 [3] NCCL INFO Connected all rings +gpua007:384567:384615 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua007:384567:384615 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua007:384567:384615 [3] NCCL INFO Connected all trees +gpua007:384567:384615 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:384567:384615 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:384567:384615 [3] NCCL INFO comm 0x1b23b6a0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua007:384566:384566 [2] NCCL INFO cudaDriverVersion 12020 +gpua007:384566:384566 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:384566:384566 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:384566:384614 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:384566:384614 [2] NCCL INFO Using network IB +gpua007:384566:384614 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua007:384566:384614 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua007:384566:384614 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua007:384566:384614 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua007:384566:384614 [2] NCCL INFO Connected all rings +gpua007:384566:384614 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua007:384566:384614 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua007:384566:384614 [2] NCCL INFO Connected all trees +gpua007:384566:384614 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:384566:384614 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:384566:384614 [2] NCCL INFO comm 0xea167a60 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua057:497543:497543 [2] NCCL INFO cudaDriverVersion 12020 +gpua057:497543:497543 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:497543:497543 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:497543:497583 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:497543:497583 [2] NCCL INFO Using network IB +gpua057:497543:497583 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua057:497543:497583 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua057:497543:497583 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:497543:497583 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:497543:497583 [2] NCCL INFO Connected all rings +gpua057:497543:497583 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:497543:497583 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:497543:497583 [2] NCCL INFO Connected all trees +gpua057:497543:497583 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:497543:497583 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:497543:497583 [2] NCCL INFO comm 0x9901d550 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:762750:762750 [0] NCCL INFO cudaDriverVersion 12020 +gpua031:762750:762750 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:762750:762750 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:762750:762796 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:762750:762796 [0] NCCL INFO Using network IB +gpua031:762750:762796 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua031:762750:762796 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua031:762750:762796 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:762750:762796 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua031:762750:762796 [0] NCCL INFO Connected all rings +gpua054:408242:408242 [3] NCCL INFO cudaDriverVersion 12020 +gpua054:408242:408242 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:408242:408242 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:408242:408282 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:408242:408282 [3] NCCL INFO Using network IB +gpua054:408242:408282 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua054:408242:408282 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua054:408242:408282 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua054:408242:408282 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua054:408242:408282 [3] NCCL INFO Connected all rings +gpua054:408242:408282 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua054:408242:408282 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua031:762750:762796 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua031:762750:762796 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua031:762750:762796 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua031:762750:762796 [0] NCCL INFO Connected all trees +gpua031:762750:762796 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:762750:762796 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:762750:762796 [0] NCCL INFO comm 0x2fa37b20 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua054:408242:408282 [3] NCCL INFO Connected all trees +gpua054:408242:408282 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:408242:408282 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:408242:408282 [3] NCCL INFO comm 0x10bd4280 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua031:762752:762752 [2] NCCL INFO cudaDriverVersion 12020 +gpua031:762752:762752 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:762752:762752 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:762752:762793 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:762752:762793 [2] NCCL INFO Using network IB +gpua031:762752:762793 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua031:762752:762793 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua031:762752:762793 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua031:762752:762793 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua031:762752:762793 [2] NCCL INFO Connected all rings +gpua031:762752:762793 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua031:762752:762793 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua030:977737:977737 [1] NCCL INFO cudaDriverVersion 12020 +gpua030:977737:977737 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:977737:977737 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:977737:977789 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:977737:977789 [1] NCCL INFO Using network IB +gpua030:977737:977789 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua030:977737:977789 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua030:977737:977789 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua030:977737:977789 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua030:977737:977789 [1] NCCL INFO Connected all rings +gpua030:977737:977789 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua030:977737:977789 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua031:762752:762793 [2] NCCL INFO Connected all trees +gpua031:762752:762793 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:762752:762793 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:762752:762793 [2] NCCL INFO comm 0xa7cfb60 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua030:977737:977789 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua030:977737:977789 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua030:977737:977789 [1] NCCL INFO Connected all trees +gpua030:977737:977789 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:977737:977789 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:977737:977789 [1] NCCL INFO comm 0x126f88d0 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua006:2780424:2780424 [0] NCCL INFO cudaDriverVersion 12020 +gpua006:2780424:2780424 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2780424:2780424 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2780424:2780472 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2780424:2780472 [0] NCCL INFO Using network IB +gpua006:2780424:2780472 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua006:2780424:2780472 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2780424:2780472 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua006:2780424:2780472 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua006:2780424:2780472 [0] NCCL INFO Connected all rings +gpua006:2780424:2780472 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2780424:2780472 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2780424:2780472 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua006:2780424:2780472 [0] NCCL INFO Connected all trees +gpua006:2780424:2780472 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2780424:2780472 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2780424:2780472 [0] NCCL INFO comm 0xe71ac50 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua002:872566:872566 [2] NCCL INFO cudaDriverVersion 12020 +gpua002:872566:872566 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:872566:872566 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:872566:872613 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:872566:872613 [2] NCCL INFO Using network IB +gpua002:872566:872613 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua002:872566:872613 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua002:872566:872613 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua002:872566:872613 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua002:872566:872613 [2] NCCL INFO Connected all rings +gpua002:872566:872613 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua002:872566:872613 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua002:872566:872613 [2] NCCL INFO Connected all trees +gpua002:872566:872613 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:872566:872613 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:872566:872613 [2] NCCL INFO comm 0x15f56d60 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua007:384565:384565 [1] NCCL INFO cudaDriverVersion 12020 +gpua007:384565:384565 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:384565:384565 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:384565:384616 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:384565:384616 [1] NCCL INFO Using network IB +gpua007:384565:384616 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua007:384565:384616 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua007:384565:384616 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua007:384565:384616 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua007:384565:384616 [1] NCCL INFO Connected all rings +gpua007:384565:384616 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua007:384565:384616 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua022:734061:734061 [2] NCCL INFO cudaDriverVersion 12020 +gpua022:734061:734061 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:734061:734061 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:734061:734100 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:734061:734100 [2] NCCL INFO Using network IB +gpua022:734061:734100 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua022:734061:734100 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua022:734061:734100 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua022:734061:734100 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua022:734061:734100 [2] NCCL INFO Connected all rings +gpua022:734061:734100 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua022:734061:734100 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua085:1288950:1288950 [1] NCCL INFO cudaDriverVersion 12020 +gpua085:1288950:1288950 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1288950:1288950 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1288950:1288995 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1288950:1288995 [1] NCCL INFO Using network IB +gpua085:1288950:1288995 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua085:1288950:1288995 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua085:1288950:1288995 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua085:1288950:1288995 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua085:1288950:1288995 [1] NCCL INFO Connected all rings +gpua085:1288950:1288995 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua085:1288950:1288995 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua007:384565:384616 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua007:384565:384616 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua007:384565:384616 [1] NCCL INFO Connected all trees +gpua007:384565:384616 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:384565:384616 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:384565:384616 [1] NCCL INFO comm 0x1ff63b5e0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua022:734061:734100 [2] NCCL INFO Connected all trees +gpua022:734061:734100 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:734061:734100 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:734061:734100 [2] NCCL INFO comm 0xc0493a0 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua085:1288950:1288995 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua085:1288950:1288995 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua085:1288950:1288995 [1] NCCL INFO Connected all trees +gpua085:1288950:1288995 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1288950:1288995 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1288950:1288995 [1] NCCL INFO comm 0x18a77ee0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua054:408240:408240 [1] NCCL INFO cudaDriverVersion 12020 +gpua054:408240:408240 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:408240:408240 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:408240:408283 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:408240:408283 [1] NCCL INFO Using network IB +gpua054:408240:408283 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua054:408240:408283 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua054:408240:408283 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua054:408240:408283 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua054:408240:408283 [1] NCCL INFO Connected all rings +gpua054:408240:408283 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua054:408240:408283 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua054:408240:408283 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua054:408240:408283 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua054:408240:408283 [1] NCCL INFO Connected all trees +gpua054:408240:408283 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:408240:408283 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:408240:408283 [1] NCCL INFO comm 0x1177c050 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua085:1288951:1288951 [2] NCCL INFO cudaDriverVersion 12020 +gpua085:1288951:1288951 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1288951:1288951 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1288951:1288993 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1288951:1288993 [2] NCCL INFO Using network IB +gpua085:1288951:1288993 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua085:1288951:1288993 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua085:1288951:1288993 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua085:1288951:1288993 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua085:1288951:1288993 [2] NCCL INFO Connected all rings +gpua085:1288951:1288993 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua085:1288951:1288993 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua085:1288951:1288993 [2] NCCL INFO Connected all trees +gpua085:1288951:1288993 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1288951:1288993 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1288951:1288993 [2] NCCL INFO comm 0x124c6450 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:595805:595805 [2] NCCL INFO cudaDriverVersion 12020 +gpua055:595805:595805 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:595805:595805 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:595805:595845 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:595805:595845 [2] NCCL INFO Using network IB +gpua055:595805:595845 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua055:595805:595845 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua055:595805:595845 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua055:595805:595845 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua055:595805:595845 [2] NCCL INFO Connected all rings +gpua055:595805:595845 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua055:595805:595845 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua055:595805:595845 [2] NCCL INFO Connected all trees +gpua055:595805:595845 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:595805:595845 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:595805:595845 [2] NCCL INFO comm 0xb1c72a0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua022:734060:734060 [1] NCCL INFO cudaDriverVersion 12020 +gpua022:734060:734060 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:734060:734060 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:734060:734103 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:734060:734103 [1] NCCL INFO Using network IB +gpua022:734060:734103 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua022:734060:734103 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua022:734060:734103 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua022:734060:734103 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua022:734060:734103 [1] NCCL INFO Connected all rings +gpua022:734060:734103 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua022:734060:734103 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua022:734060:734103 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua022:734060:734103 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua022:734060:734103 [1] NCCL INFO Connected all trees +gpua022:734060:734103 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:734060:734103 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:734060:734103 [1] NCCL INFO comm 0x9c294990 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua022:734059:734059 [0] NCCL INFO cudaDriverVersion 12020 +gpua022:734059:734059 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:734059:734059 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:734059:734102 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:734059:734102 [0] NCCL INFO Using network IB +gpua022:734059:734102 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua022:734059:734102 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:734059:734102 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua022:734059:734102 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua022:734059:734102 [0] NCCL INFO Connected all rings +gpua022:734059:734102 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua022:734059:734102 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:734059:734102 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:734059:734102 [0] NCCL INFO Connected all trees +gpua022:734059:734102 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:734059:734102 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:734059:734102 [0] NCCL INFO comm 0x14d3c910 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua086:757539:757539 [1] NCCL INFO cudaDriverVersion 12020 +gpua086:757539:757539 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:757539:757539 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:757539:757584 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:757539:757584 [1] NCCL INFO Using network IB +gpua086:757539:757584 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua086:757539:757584 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua086:757539:757584 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua086:757539:757584 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua086:757539:757584 [1] NCCL INFO Connected all rings +gpua086:757539:757584 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua086:757539:757584 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua086:757539:757584 [1] NCCL INFO Connected all trees +gpua086:757539:757584 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:757539:757584 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:757539:757584 [1] NCCL INFO comm 0x13ce9a70 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua002:872564:872610 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:872564:872610 [0] NCCL INFO Using network IB +gpua002:872564:872610 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua002:872564:872610 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua002:872564:872610 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua002:872564:872610 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua002:872564:872610 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:872564:872610 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:872564:872610 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua002:872564:872610 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua002:872564:872610 [0] NCCL INFO Connected all rings +gpua002:872564:872610 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua002:872564:872610 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:872564:872610 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua002:872564:872610 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:872564:872610 [0] NCCL INFO Connected all trees +gpua002:872564:872610 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:872564:872610 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:872564:872610 [0] NCCL INFO comm 0x14ca08d0 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua006:2780427:2780427 [3] NCCL INFO cudaDriverVersion 12020 +gpua006:2780427:2780427 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2780427:2780427 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2780427:2780474 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2780427:2780474 [3] NCCL INFO Using network IB +gpua006:2780427:2780474 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua006:2780427:2780474 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua006:2780427:2780474 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2780427:2780474 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2780427:2780474 [3] NCCL INFO Connected all rings +gpua006:2780427:2780474 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua006:2780427:2780474 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua006:2780427:2780474 [3] NCCL INFO Connected all trees +gpua006:2780427:2780474 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2780427:2780474 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2780427:2780474 [3] NCCL INFO comm 0x162d99a0 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua005:2463483:2463483 [2] NCCL INFO cudaDriverVersion 12020 +gpua005:2463483:2463483 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2463483:2463483 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2463483:2463525 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2463483:2463525 [2] NCCL INFO Using network IB +gpua005:2463483:2463525 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua005:2463483:2463525 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua005:2463483:2463525 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua005:2463483:2463525 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua005:2463483:2463525 [2] NCCL INFO Connected all rings +gpua005:2463483:2463525 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua005:2463483:2463525 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua005:2463483:2463525 [2] NCCL INFO Connected all trees +gpua005:2463483:2463525 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2463483:2463525 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2463483:2463525 [2] NCCL INFO comm 0x9cd1f6d0 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua022:734062:734062 [3] NCCL INFO cudaDriverVersion 12020 +gpua022:734062:734062 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:734062:734062 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:734062:734101 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:734062:734101 [3] NCCL INFO Using network IB +gpua022:734062:734101 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua022:734062:734101 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua022:734062:734101 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua022:734062:734101 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua022:734062:734101 [3] NCCL INFO Connected all rings +gpua022:734062:734101 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua022:734062:734101 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua022:734062:734101 [3] NCCL INFO Connected all trees +gpua022:734062:734101 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:734062:734101 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:734062:734101 [3] NCCL INFO comm 0xcc5c230 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua005:2463481:2463481 [0] NCCL INFO cudaDriverVersion 12020 +gpua005:2463481:2463481 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2463481:2463481 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2463481:2463524 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2463481:2463524 [0] NCCL INFO Using network IB +gpua005:2463481:2463524 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua005:2463481:2463524 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua005:2463481:2463524 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2463481:2463524 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua005:2463481:2463524 [0] NCCL INFO Connected all rings +gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2463481:2463524 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2463481:2463524 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2463481:2463524 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua005:2463481:2463524 [0] NCCL INFO Connected all trees +gpua005:2463481:2463524 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2463481:2463524 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2463481:2463524 [0] NCCL INFO comm 0xed0604a0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua002:872565:872565 [1] NCCL INFO cudaDriverVersion 12020 +gpua002:872565:872565 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:872565:872565 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:872565:872612 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:872565:872612 [1] NCCL INFO Using network IB +gpua002:872565:872612 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua002:872565:872612 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua002:872565:872612 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua002:872565:872612 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua002:872565:872612 [1] NCCL INFO Connected all rings +gpua002:872565:872612 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua002:872565:872612 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua002:872565:872612 [1] NCCL INFO Connected all trees +gpua002:872565:872612 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:872565:872612 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:872565:872612 [1] NCCL INFO comm 0x8f7e800 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:601000:601000 [0] NCCL INFO cudaDriverVersion 12020 +gpua082:601000:601000 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:601000:601000 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:601000:601050 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:601000:601050 [0] NCCL INFO Using network IB +gpua082:601000:601050 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua082:601000:601050 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:601000:601050 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:601000:601050 [0] NCCL INFO Connected all rings +gpua083:1863064:1863064 [1] NCCL INFO cudaDriverVersion 12020 +gpua083:1863064:1863064 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1863064:1863064 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1863064:1863112 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1863064:1863112 [1] NCCL INFO Using network IB +gpua083:1863064:1863112 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua083:1863064:1863112 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua083:1863064:1863112 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua083:1863064:1863112 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua083:1863064:1863112 [1] NCCL INFO Connected all rings +gpua083:1863064:1863112 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua083:1863064:1863112 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:601000:601050 [0] NCCL INFO Connected all trees +gpua082:601000:601050 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:601000:601050 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:601000:601050 [0] NCCL INFO comm 0x10f94bb0 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua083:1863064:1863112 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua083:1863064:1863112 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua083:1863064:1863112 [1] NCCL INFO Connected all trees +gpua083:1863064:1863112 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1863064:1863112 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1863064:1863112 [1] NCCL INFO comm 0x2acc4030 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua083:1863066:1863066 [3] NCCL INFO cudaDriverVersion 12020 +gpua083:1863066:1863066 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1863066:1863066 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1863066:1863110 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1863066:1863110 [3] NCCL INFO Using network IB +gpua083:1863066:1863110 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua083:1863066:1863110 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua083:1863066:1863110 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua083:1863066:1863110 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua083:1863066:1863110 [3] NCCL INFO Connected all rings +gpua083:1863066:1863110 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua083:1863066:1863110 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua083:1863066:1863110 [3] NCCL INFO Connected all trees +gpua083:1863066:1863110 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1863066:1863110 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1863066:1863110 [3] NCCL INFO comm 0x27ad2860 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua031:762753:762753 [3] NCCL INFO cudaDriverVersion 12020 +gpua031:762753:762753 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:762753:762753 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:762753:762795 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:762753:762795 [3] NCCL INFO Using network IB +gpua031:762753:762795 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua031:762753:762795 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua031:762753:762795 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua031:762753:762795 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua031:762753:762795 [3] NCCL INFO Connected all rings +gpua031:762753:762795 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua031:762753:762795 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua056:1152035:1152035 [3] NCCL INFO cudaDriverVersion 12020 +gpua056:1152035:1152035 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1152035:1152035 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1152035:1152076 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1152035:1152076 [3] NCCL INFO Using network IB +gpua056:1152035:1152076 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua056:1152035:1152076 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua056:1152035:1152076 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1152035:1152076 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1152035:1152076 [3] NCCL INFO Connected all rings +gpua056:1152035:1152076 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua056:1152035:1152076 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua031:762753:762795 [3] NCCL INFO Connected all trees +gpua031:762753:762795 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:762753:762795 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:762753:762795 [3] NCCL INFO comm 0x24052ec0 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua005:2463484:2463484 [3] NCCL INFO cudaDriverVersion 12020 +gpua005:2463484:2463484 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2463484:2463484 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2463484:2463523 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2463484:2463523 [3] NCCL INFO Using network IB +gpua005:2463484:2463523 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua005:2463484:2463523 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua005:2463484:2463523 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua005:2463484:2463523 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua005:2463484:2463523 [3] NCCL INFO Connected all rings +gpua005:2463484:2463523 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua005:2463484:2463523 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua056:1152035:1152076 [3] NCCL INFO Connected all trees +gpua056:1152035:1152076 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1152035:1152076 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1152035:1152076 [3] NCCL INFO comm 0xe5d430d0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua005:2463484:2463523 [3] NCCL INFO Connected all trees +gpua005:2463484:2463523 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2463484:2463523 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2463484:2463523 [3] NCCL INFO comm 0x306c2520 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua057:497541:497541 [0] NCCL INFO cudaDriverVersion 12020 +gpua057:497541:497541 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:497541:497541 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:497541:497584 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:497541:497584 [0] NCCL INFO Using network IB +gpua057:497541:497584 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua057:497541:497584 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua057:497541:497584 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:497541:497584 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:497541:497584 [0] NCCL INFO Connected all rings +gpua030:977736:977736 [0] NCCL INFO cudaDriverVersion 12020 +gpua030:977736:977736 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:977736:977736 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:977736:977790 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:977736:977790 [0] NCCL INFO Using network IB +gpua030:977736:977790 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua030:977736:977790 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:977736:977790 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua030:977736:977790 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua030:977736:977790 [0] NCCL INFO Connected all rings +gpua057:497541:497584 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua057:497541:497584 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua057:497541:497584 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua057:497541:497584 [0] NCCL INFO Connected all trees +gpua057:497541:497584 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:497541:497584 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:497541:497584 [0] NCCL INFO comm 0xed906c20 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua030:977736:977790 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua030:977736:977790 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:977736:977790 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua030:977736:977790 [0] NCCL INFO Connected all trees +gpua030:977736:977790 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:977736:977790 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:977736:977790 [0] NCCL INFO comm 0xc1745d0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua031:762751:762751 [1] NCCL INFO cudaDriverVersion 12020 +gpua031:762751:762751 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:762751:762751 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:762751:762794 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:762751:762794 [1] NCCL INFO Using network IB +gpua031:762751:762794 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua031:762751:762794 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua031:762751:762794 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua031:762751:762794 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua031:762751:762794 [1] NCCL INFO Connected all rings +gpua031:762751:762794 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua031:762751:762794 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua031:762751:762794 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua031:762751:762794 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua031:762751:762794 [1] NCCL INFO Connected all trees +gpua031:762751:762794 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:762751:762794 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:762751:762794 [1] NCCL INFO comm 0xbd364b0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua030:977739:977739 [3] NCCL INFO cudaDriverVersion 12020 +gpua030:977739:977739 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:977739:977739 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:977739:977791 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:977739:977791 [3] NCCL INFO Using network IB +gpua030:977739:977791 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua030:977739:977791 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua030:977739:977791 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua030:977739:977791 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua030:977739:977791 [3] NCCL INFO Connected all rings +gpua030:977739:977791 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua030:977739:977791 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua030:977739:977791 [3] NCCL INFO Connected all trees +gpua030:977739:977791 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:977739:977791 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:977739:977791 [3] NCCL INFO comm 0xe5134e20 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua057:497544:497544 [3] NCCL INFO cudaDriverVersion 12020 +gpua057:497544:497544 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:497544:497544 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:497544:497582 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:497544:497582 [3] NCCL INFO Using network IB +gpua057:497544:497582 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua057:497544:497582 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua057:497544:497582 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:497544:497582 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:497544:497582 [3] NCCL INFO Connected all rings +gpua057:497544:497582 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua057:497544:497582 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua057:497544:497582 [3] NCCL INFO Connected all trees +gpua057:497544:497582 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:497544:497582 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:497544:497582 [3] NCCL INFO comm 0xa59cde0 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua054:408241:408241 [2] NCCL INFO cudaDriverVersion 12020 +gpua054:408241:408241 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:408241:408241 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:408241:408284 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:408241:408284 [2] NCCL INFO Using network IB +gpua054:408241:408284 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua054:408241:408284 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua054:408241:408284 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua054:408241:408284 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua054:408241:408284 [2] NCCL INFO Connected all rings +gpua054:408241:408284 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua054:408241:408284 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua054:408241:408284 [2] NCCL INFO Connected all trees +gpua054:408241:408284 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:408241:408284 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:408241:408284 [2] NCCL INFO comm 0xde9fd20 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:601001:601001 [1] NCCL INFO cudaDriverVersion 12020 +gpua082:601001:601001 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:601001:601001 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:601001:601047 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:601001:601047 [1] NCCL INFO Using network IB +gpua082:601001:601047 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua082:601001:601047 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua082:601001:601047 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:601001:601047 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:601001:601047 [1] NCCL INFO Connected all rings +gpua082:601001:601047 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua082:601001:601047 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua054:408239:408239 [0] NCCL INFO cudaDriverVersion 12020 +gpua054:408239:408239 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:408239:408239 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:408239:408285 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:408239:408285 [0] NCCL INFO Using network IB +gpua054:408239:408285 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua054:408239:408285 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:408239:408285 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua054:408239:408285 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua054:408239:408285 [0] NCCL INFO Connected all rings +gpua082:601001:601047 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:601001:601047 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:601001:601047 [1] NCCL INFO Connected all trees +gpua082:601001:601047 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:601001:601047 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:601001:601047 [1] NCCL INFO comm 0x1313f460 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua054:408239:408285 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua054:408239:408285 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:408239:408285 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:408239:408285 [0] NCCL INFO Connected all trees +gpua054:408239:408285 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:408239:408285 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:408239:408285 [0] NCCL INFO comm 0xe2bb40d0 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua082:601003:601003 [3] NCCL INFO cudaDriverVersion 12020 +gpua082:601003:601003 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:601003:601003 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:601003:601049 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:601003:601049 [3] NCCL INFO Using network IB +gpua082:601003:601049 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua082:601003:601049 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua082:601003:601049 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:601003:601049 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:601003:601049 [3] NCCL INFO Connected all rings +gpua082:601003:601049 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua082:601003:601049 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua082:601003:601049 [3] NCCL INFO Connected all trees +gpua082:601003:601049 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:601003:601049 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:601003:601049 [3] NCCL INFO comm 0x1bf0a000 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:757538:757538 [0] NCCL INFO cudaDriverVersion 12020 +gpua086:757538:757538 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:757538:757538 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:757538:757583 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:757538:757583 [0] NCCL INFO Using network IB +gpua086:757538:757583 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua086:757538:757583 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua086:757538:757583 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:757538:757583 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:757538:757583 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua086:757538:757583 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua086:757538:757583 [0] NCCL INFO Connected all rings +gpua086:757538:757583 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:757538:757583 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:757538:757583 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua086:757538:757583 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua086:757538:757583 [0] NCCL INFO Connected all trees +gpua086:757538:757583 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:757538:757583 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:757538:757583 [0] NCCL INFO comm 0xaf49910 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1152032:1152032 [0] NCCL INFO cudaDriverVersion 12020 +gpua056:1152032:1152032 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1152032:1152032 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1152032:1152078 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1152032:1152078 [0] NCCL INFO Using network IB +gpua056:1152032:1152078 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua056:1152032:1152078 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1152032:1152078 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1152032:1152078 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1152032:1152078 [0] NCCL INFO Connected all rings +gpua086:757540:757540 [2] NCCL INFO cudaDriverVersion 12020 +gpua086:757540:757540 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:757540:757540 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:757540:757586 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:757540:757586 [2] NCCL INFO Using network IB +gpua086:757540:757586 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua086:757540:757586 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua086:757540:757586 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua086:757540:757586 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua086:757540:757586 [2] NCCL INFO Connected all rings +gpua086:757540:757586 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua086:757540:757586 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua007:384564:384564 [0] NCCL INFO cudaDriverVersion 12020 +gpua007:384564:384564 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:384564:384564 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:384564:384613 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:384564:384613 [0] NCCL INFO Using network IB +gpua007:384564:384613 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua007:384564:384613 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua007:384564:384613 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:384564:384613 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua007:384564:384613 [0] NCCL INFO Connected all rings +gpua056:1152032:1152078 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1152032:1152078 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1152032:1152078 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua056:1152032:1152078 [0] NCCL INFO Connected all trees +gpua056:1152032:1152078 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1152032:1152078 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1152032:1152078 [0] NCCL INFO comm 0x9d52c690 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua086:757540:757586 [2] NCCL INFO Connected all trees +gpua086:757540:757586 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:757540:757586 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:757540:757586 [2] NCCL INFO comm 0x944e32b0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua007:384564:384613 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:384564:384613 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua007:384564:384613 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua007:384564:384613 [0] NCCL INFO Connected all trees +gpua007:384564:384613 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:384564:384613 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:384564:384613 [0] NCCL INFO comm 0xaeb49f0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1152033:1152033 [1] NCCL INFO cudaDriverVersion 12020 +gpua056:1152033:1152033 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1152033:1152033 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1152033:1152077 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1152033:1152077 [1] NCCL INFO Using network IB +gpua056:1152033:1152077 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua056:1152033:1152077 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua056:1152033:1152077 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1152033:1152077 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1152033:1152077 [1] NCCL INFO Connected all rings +gpua056:1152033:1152077 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua056:1152033:1152077 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua056:1152033:1152077 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1152033:1152077 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1152033:1152077 [1] NCCL INFO Connected all trees +gpua056:1152033:1152077 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1152033:1152077 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1152033:1152077 [1] NCCL INFO comm 0xf2800a0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua006:2780425:2780425 [1] NCCL INFO cudaDriverVersion 12020 +gpua006:2780425:2780425 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2780425:2780425 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2780425:2780471 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2780425:2780471 [1] NCCL INFO Using network IB +gpua006:2780425:2780471 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua006:2780425:2780471 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua006:2780425:2780471 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua006:2780425:2780471 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua006:2780425:2780471 [1] NCCL INFO Connected all rings +gpua006:2780425:2780471 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua006:2780425:2780471 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua006:2780425:2780471 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua006:2780425:2780471 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua006:2780425:2780471 [1] NCCL INFO Connected all trees +gpua006:2780425:2780471 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2780425:2780471 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2780425:2780471 [1] NCCL INFO comm 0xca2ea10 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua006:2780426:2780426 [2] NCCL INFO cudaDriverVersion 12020 +gpua006:2780426:2780426 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2780426:2780426 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2780426:2780473 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2780426:2780473 [2] NCCL INFO Using network IB +gpua006:2780426:2780473 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua006:2780426:2780473 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua006:2780426:2780473 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua006:2780426:2780473 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua006:2780426:2780473 [2] NCCL INFO Connected all rings +gpua006:2780426:2780473 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua006:2780426:2780473 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua006:2780426:2780473 [2] NCCL INFO Connected all trees +gpua006:2780426:2780473 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2780426:2780473 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2780426:2780473 [2] NCCL INFO comm 0xe5bf7d0 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:595806:595806 [3] NCCL INFO cudaDriverVersion 12020 +gpua055:595806:595806 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:595806:595806 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:595806:595843 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:595806:595843 [3] NCCL INFO Using network IB +gpua055:595806:595843 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua055:595806:595843 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua055:595806:595843 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua055:595806:595843 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua055:595806:595843 [3] NCCL INFO Connected all rings +gpua055:595806:595843 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua055:595806:595843 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua055:595806:595843 [3] NCCL INFO Connected all trees +gpua055:595806:595843 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:595806:595843 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:595806:595843 [3] NCCL INFO comm 0x33945650 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua002:872567:872567 [3] NCCL INFO cudaDriverVersion 12020 +gpua002:872567:872567 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:872567:872567 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:872567:872611 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:872567:872611 [3] NCCL INFO Using network IB +gpua002:872567:872611 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua002:872567:872611 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua002:872567:872611 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua002:872567:872611 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua002:872567:872611 [3] NCCL INFO Connected all rings +gpua002:872567:872611 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua002:872567:872611 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua002:872567:872611 [3] NCCL INFO Connected all trees +gpua002:872567:872611 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:872567:872611 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:872567:872611 [3] NCCL INFO comm 0xd1964a0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +[gpua002:0/64] 2023-12-07 08:55:59,864 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua002:0/64] 2023-12-07 09:00:23,940 (trainer:737) INFO: 16epoch:train:1-100batch: iter_time=3.456, forward_time=0.237, loss_ctc=64.351, loss_att=51.178, acc=0.706, loss=55.130, backward_time=0.551, grad_norm=48.839, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.033e-04, train_time=8.126 +[gpua002:0/64] 2023-12-07 09:02:28,334 (trainer:737) INFO: 16epoch:train:101-200batch: iter_time=8.929e-05, forward_time=0.143, loss_ctc=85.846, loss_att=69.875, acc=0.652, loss=74.666, backward_time=0.281, grad_norm=71.916, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.133, optim0_lr0=1.032e-04, train_time=1.244 +[gpua002:0/64] 2023-12-07 09:05:10,269 (trainer:737) INFO: 16epoch:train:201-300batch: iter_time=9.443e-05, forward_time=0.144, loss_ctc=85.635, loss_att=67.128, acc=0.679, loss=72.680, backward_time=0.304, grad_norm=59.313, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.133, optim0_lr0=1.032e-04, train_time=1.619 +[gpua002:0/64] 2023-12-07 09:08:18,118 (trainer:737) INFO: 16epoch:train:301-400batch: iter_time=9.340e-05, forward_time=0.149, loss_ctc=79.974, loss_att=67.198, acc=0.677, loss=71.031, backward_time=0.327, grad_norm=59.980, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.133, optim0_lr0=1.032e-04, train_time=1.878 +[gpua002:0/64] 2023-12-07 09:09:15,586 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 09:11:17,368 (trainer:737) INFO: 16epoch:train:401-500batch: iter_time=9.031e-05, forward_time=0.266, loss_ctc=77.158, loss_att=67.042, acc=0.690, loss=70.077, backward_time=0.359, grad_norm=47.559, clip=100.000, loss_scale=8.260e+32, optim_step_time=0.137, optim0_lr0=1.032e-04, train_time=1.792 +[gpua002:0/64] 2023-12-07 09:13:37,303 (trainer:737) INFO: 16epoch:train:501-600batch: iter_time=8.527e-05, forward_time=0.144, loss_ctc=74.737, loss_att=63.055, acc=0.697, loss=66.560, backward_time=0.301, grad_norm=47.884, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.032e-04, train_time=1.399 +[gpua002:0/64] 2023-12-07 09:16:14,717 (trainer:737) INFO: 16epoch:train:601-700batch: iter_time=8.693e-05, forward_time=0.144, loss_ctc=76.454, loss_att=63.812, acc=0.681, loss=67.605, backward_time=0.299, grad_norm=57.100, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.031e-04, train_time=1.574 +[gpua002:0/64] 2023-12-07 09:19:07,316 (trainer:737) INFO: 16epoch:train:701-800batch: iter_time=9.081e-05, forward_time=0.143, loss_ctc=77.701, loss_att=61.699, acc=0.687, loss=66.500, backward_time=0.315, grad_norm=53.309, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.031e-04, train_time=1.726 +[gpua002:0/64] 2023-12-07 09:22:14,412 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 09:22:56,408 (trainer:737) INFO: 16epoch:train:801-900batch: iter_time=8.731e-05, forward_time=0.144, loss_ctc=74.953, loss_att=62.354, acc=0.688, loss=66.134, backward_time=0.367, grad_norm=54.622, clip=100.000, loss_scale=5.376e+32, optim_step_time=0.133, optim0_lr0=1.031e-04, train_time=2.291 +[gpua002:0/64] 2023-12-07 09:25:26,108 (trainer:737) INFO: 16epoch:train:901-1000batch: iter_time=8.390e-05, forward_time=0.146, loss_ctc=73.727, loss_att=63.926, acc=0.671, loss=66.866, backward_time=0.290, grad_norm=53.013, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.031e-04, train_time=1.497 +[gpua002:0/64] 2023-12-07 09:28:56,160 (trainer:737) INFO: 16epoch:train:1001-1100batch: iter_time=8.718e-05, forward_time=0.243, loss_ctc=67.555, loss_att=44.115, acc=0.716, loss=51.147, backward_time=0.363, grad_norm=51.799, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.030e-04, train_time=2.100 +[gpua002:0/64] 2023-12-07 09:32:15,599 (trainer:737) INFO: 16epoch:train:1101-1200batch: iter_time=8.139e-05, forward_time=0.247, loss_ctc=75.032, loss_att=59.551, acc=0.692, loss=64.195, backward_time=0.388, grad_norm=51.853, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.158, optim0_lr0=1.030e-04, train_time=1.994 +[gpua002:0/64] 2023-12-07 09:34:09,368 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-07 09:34:29,165 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 09:34:32,793 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 09:34:32,793 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-07 09:34:33,056 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 09:47:54,901 (trainer:737) INFO: 16epoch:train:1201-1300batch: iter_time=5.403, forward_time=0.236, loss_ctc=70.616, loss_att=58.579, acc=0.694, loss=62.190, backward_time=0.319, grad_norm=50.216, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.030e-04, train_time=9.393 +[gpua002:0/64] 2023-12-07 09:50:52,823 (trainer:737) INFO: 16epoch:train:1301-1400batch: iter_time=8.777e-05, forward_time=0.147, loss_ctc=75.388, loss_att=60.539, acc=0.684, loss=64.994, backward_time=0.397, grad_norm=64.957, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.030e-04, train_time=1.779 +[gpua002:0/64] 2023-12-07 09:54:17,239 (trainer:737) INFO: 16epoch:train:1401-1500batch: iter_time=8.391e-05, forward_time=0.149, loss_ctc=69.097, loss_att=58.742, acc=0.688, loss=61.848, backward_time=0.385, grad_norm=50.739, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.030e-04, train_time=2.044 +[gpua002:0/64] 2023-12-07 09:58:06,961 (trainer:737) INFO: 16epoch:train:1501-1600batch: iter_time=8.715e-05, forward_time=0.240, loss_ctc=92.122, loss_att=74.445, acc=0.674, loss=79.748, backward_time=0.377, grad_norm=74.977, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.143, optim0_lr0=1.029e-04, train_time=2.297 +[gpua002:0/64] 2023-12-07 10:01:32,167 (trainer:737) INFO: 16epoch:train:1601-1700batch: iter_time=8.611e-05, forward_time=0.147, loss_ctc=79.922, loss_att=68.344, acc=0.694, loss=71.817, backward_time=0.379, grad_norm=47.223, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.029e-04, train_time=2.052 +[gpua002:0/64] 2023-12-07 10:04:46,258 (trainer:737) INFO: 16epoch:train:1701-1800batch: iter_time=8.742e-05, forward_time=0.147, loss_ctc=70.966, loss_att=58.324, acc=0.713, loss=62.117, backward_time=0.317, grad_norm=44.753, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.029e-04, train_time=1.941 +[gpua002:0/64] 2023-12-07 10:08:09,063 (trainer:737) INFO: 16epoch:train:1801-1900batch: iter_time=8.860e-05, forward_time=0.147, loss_ctc=73.846, loss_att=65.865, acc=0.696, loss=68.259, backward_time=0.336, grad_norm=49.161, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.029e-04, train_time=2.028 +[gpua002:0/64] 2023-12-07 10:12:14,278 (trainer:737) INFO: 16epoch:train:1901-2000batch: iter_time=8.507e-05, forward_time=0.249, loss_ctc=76.169, loss_att=67.921, acc=0.691, loss=70.396, backward_time=0.419, grad_norm=52.170, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.028e-04, train_time=2.451 +[gpua002:0/64] 2023-12-07 10:15:34,249 (trainer:737) INFO: 16epoch:train:2001-2100batch: iter_time=8.750e-05, forward_time=0.147, loss_ctc=78.638, loss_att=62.486, acc=0.696, loss=67.332, backward_time=0.343, grad_norm=48.503, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.028e-04, train_time=2.000 +[gpua002:0/64] 2023-12-07 10:19:22,836 (trainer:737) INFO: 16epoch:train:2101-2200batch: iter_time=8.743e-05, forward_time=0.147, loss_ctc=65.936, loss_att=61.930, acc=0.680, loss=63.132, backward_time=0.406, grad_norm=45.687, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.028e-04, train_time=2.286 +[gpua002:0/64] 2023-12-07 10:22:39,190 (trainer:737) INFO: 16epoch:train:2201-2300batch: iter_time=8.907e-05, forward_time=0.148, loss_ctc=72.978, loss_att=55.436, acc=0.704, loss=60.699, backward_time=0.358, grad_norm=51.584, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.028e-04, train_time=1.963 +[gpua002:0/64] 2023-12-07 10:26:34,133 (trainer:737) INFO: 16epoch:train:2301-2400batch: iter_time=9.635e-05, forward_time=0.166, loss_ctc=73.519, loss_att=53.595, acc=0.706, loss=59.572, backward_time=0.381, grad_norm=51.498, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=2.349 +[gpua002:0/64] 2023-12-07 10:30:12,884 (trainer:737) INFO: 16epoch:train:2401-2500batch: iter_time=8.575e-05, forward_time=0.149, loss_ctc=71.324, loss_att=58.050, acc=0.700, loss=62.032, backward_time=0.331, grad_norm=50.011, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=2.188 +[gpua002:0/64] 2023-12-07 10:30:33,032 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-07 10:30:52,234 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 10:30:55,892 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 10:30:55,892 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-07 10:30:55,895 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 10:41:14,859 (trainer:737) INFO: 16epoch:train:2501-2600batch: iter_time=2.728, forward_time=0.147, loss_ctc=62.702, loss_att=50.562, acc=0.719, loss=54.204, backward_time=0.458, grad_norm=44.214, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=6.620 +[gpua002:0/64] 2023-12-07 10:44:38,389 (trainer:737) INFO: 16epoch:train:2601-2700batch: iter_time=9.072e-05, forward_time=0.146, loss_ctc=82.014, loss_att=67.902, acc=0.659, loss=72.135, backward_time=0.393, grad_norm=65.485, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.027e-04, train_time=2.035 +[gpua002:0/64] 2023-12-07 10:52:58,536 (trainer:737) INFO: 16epoch:train:2701-2800batch: iter_time=9.364e-05, forward_time=0.147, loss_ctc=83.064, loss_att=66.650, acc=0.683, loss=71.574, backward_time=0.698, grad_norm=63.306, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.027e-04, train_time=5.001 +[gpua002:0/64] 2023-12-07 10:56:51,930 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 10:57:28,298 (trainer:737) INFO: 16epoch:train:2801-2900batch: iter_time=8.864e-05, forward_time=0.149, loss_ctc=77.121, loss_att=65.541, acc=0.684, loss=69.015, backward_time=0.460, grad_norm=57.138, clip=100.000, loss_scale=3.835e+32, optim_step_time=0.133, optim0_lr0=1.026e-04, train_time=2.697 +[gpua002:0/64] 2023-12-07 11:02:02,653 (trainer:737) INFO: 16epoch:train:2901-3000batch: iter_time=8.967e-05, forward_time=0.147, loss_ctc=75.915, loss_att=65.467, acc=0.694, loss=68.601, backward_time=0.479, grad_norm=49.677, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.026e-04, train_time=2.743 +[gpua002:0/64] 2023-12-07 11:07:07,649 (trainer:737) INFO: 16epoch:train:3001-3100batch: iter_time=9.026e-05, forward_time=0.211, loss_ctc=73.858, loss_att=62.047, acc=0.702, loss=65.590, backward_time=0.453, grad_norm=49.387, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.026e-04, train_time=3.050 +[gpua002:0/64] 2023-12-07 11:11:51,419 (trainer:737) INFO: 16epoch:train:3101-3200batch: iter_time=9.253e-05, forward_time=0.147, loss_ctc=72.130, loss_att=61.852, acc=0.688, loss=64.935, backward_time=0.467, grad_norm=50.336, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.026e-04, train_time=2.837 +[gpua002:0/64] 2023-12-07 11:15:01,222 (trainer:737) INFO: 16epoch:train:3201-3300batch: iter_time=8.984e-05, forward_time=0.146, loss_ctc=76.936, loss_att=61.014, acc=0.692, loss=65.791, backward_time=0.339, grad_norm=45.288, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=1.898 +[gpua002:0/64] 2023-12-07 11:18:01,986 (trainer:737) INFO: 16epoch:train:3301-3400batch: iter_time=9.302e-05, forward_time=0.146, loss_ctc=74.185, loss_att=61.078, acc=0.695, loss=65.010, backward_time=0.327, grad_norm=47.759, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=1.808 +[gpua002:0/64] 2023-12-07 11:21:01,821 (trainer:737) INFO: 16epoch:train:3401-3500batch: iter_time=8.794e-05, forward_time=0.149, loss_ctc=72.646, loss_att=63.910, acc=0.673, loss=66.531, backward_time=0.332, grad_norm=47.024, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=1.798 +[gpua002:0/64] 2023-12-07 11:24:11,488 (trainer:737) INFO: 16epoch:train:3501-3600batch: iter_time=9.078e-05, forward_time=0.147, loss_ctc=65.863, loss_att=42.790, acc=0.722, loss=49.712, backward_time=0.333, grad_norm=45.904, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=1.896 +[gpua002:0/64] 2023-12-07 11:27:32,073 (trainer:737) INFO: 16epoch:train:3601-3700batch: iter_time=9.048e-05, forward_time=0.147, loss_ctc=73.757, loss_att=58.412, acc=0.698, loss=63.016, backward_time=0.384, grad_norm=49.517, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.025e-04, train_time=2.006 +[gpua002:0/64] 2023-12-07 11:29:26,968 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-07 11:29:46,048 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 11:29:49,762 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 11:29:49,762 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-07 11:29:49,793 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 11:38:13,738 (trainer:737) INFO: 16epoch:train:3701-3800batch: iter_time=2.984, forward_time=0.147, loss_ctc=69.090, loss_att=57.274, acc=0.702, loss=60.819, backward_time=0.327, grad_norm=46.104, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.024e-04, train_time=6.416 +[gpua002:0/64] 2023-12-07 11:39:14,036 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 11:40:33,674 (trainer:737) INFO: 16epoch:train:3801-3900batch: iter_time=8.351e-05, forward_time=0.312, loss_ctc=74.438, loss_att=59.274, acc=0.690, loss=63.823, backward_time=0.303, grad_norm=59.467, clip=100.000, loss_scale=2.426e+32, optim_step_time=0.136, optim0_lr0=1.024e-04, train_time=1.399 +[gpua002:0/64] 2023-12-07 11:43:33,046 (trainer:737) INFO: 16epoch:train:3901-4000batch: iter_time=8.151e-05, forward_time=0.151, loss_ctc=67.551, loss_att=57.280, acc=0.694, loss=60.361, backward_time=0.308, grad_norm=45.610, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.132, optim0_lr0=1.024e-04, train_time=1.794 +[gpua002:0/64] 2023-12-07 11:46:13,523 (trainer:737) INFO: 16epoch:train:4001-4100batch: iter_time=8.643e-05, forward_time=0.148, loss_ctc=89.435, loss_att=72.198, acc=0.682, loss=77.369, backward_time=0.339, grad_norm=68.482, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.024e-04, train_time=1.605 +[gpua002:0/64] 2023-12-07 11:49:04,075 (trainer:737) INFO: 16epoch:train:4101-4200batch: iter_time=8.529e-05, forward_time=0.147, loss_ctc=78.572, loss_att=67.509, acc=0.701, loss=70.828, backward_time=0.303, grad_norm=46.611, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.023e-04, train_time=1.705 +[gpua002:0/64] 2023-12-07 11:51:36,370 (trainer:737) INFO: 16epoch:train:4201-4300batch: iter_time=8.417e-05, forward_time=0.148, loss_ctc=69.672, loss_att=57.532, acc=0.717, loss=61.174, backward_time=0.338, grad_norm=44.128, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.023e-04, train_time=1.523 +[gpua002:0/64] 2023-12-07 11:53:45,107 (trainer:737) INFO: 16epoch:train:4301-4400batch: iter_time=8.442e-05, forward_time=0.148, loss_ctc=72.196, loss_att=63.646, acc=0.701, loss=66.211, backward_time=0.278, grad_norm=46.259, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.132, optim0_lr0=1.023e-04, train_time=1.287 +[gpua002:0/64] 2023-12-07 11:56:45,251 (trainer:737) INFO: 16epoch:train:4401-4500batch: iter_time=8.680e-05, forward_time=0.148, loss_ctc=74.673, loss_att=67.079, acc=0.695, loss=69.357, backward_time=0.356, grad_norm=50.867, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.023e-04, train_time=1.802 +[gpua002:0/64] 2023-12-07 11:59:37,398 (trainer:737) INFO: 16epoch:train:4501-4600batch: iter_time=8.784e-05, forward_time=0.147, loss_ctc=77.228, loss_att=61.593, acc=0.701, loss=66.284, backward_time=0.347, grad_norm=49.018, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.023e-04, train_time=1.721 +[gpua002:0/64] 2023-12-07 12:02:03,756 (trainer:737) INFO: 16epoch:train:4601-4700batch: iter_time=8.865e-05, forward_time=0.148, loss_ctc=65.968, loss_att=61.468, acc=0.684, loss=62.818, backward_time=0.298, grad_norm=45.514, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.022e-04, train_time=1.463 +[gpua002:0/64] 2023-12-07 12:04:40,366 (trainer:737) INFO: 16epoch:train:4701-4800batch: iter_time=8.611e-05, forward_time=0.149, loss_ctc=72.232, loss_att=54.642, acc=0.709, loss=59.919, backward_time=0.330, grad_norm=48.751, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.022e-04, train_time=1.566 +[gpua002:0/64] 2023-12-07 12:06:54,682 (trainer:737) INFO: 16epoch:train:4801-4900batch: iter_time=8.623e-05, forward_time=0.148, loss_ctc=72.593, loss_att=52.876, acc=0.711, loss=58.791, backward_time=0.291, grad_norm=50.118, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.022e-04, train_time=1.343 +[gpua002:0/64] 2023-12-07 12:09:10,131 (trainer:737) INFO: 16epoch:train:4901-5000batch: iter_time=8.052e-05, forward_time=0.152, loss_ctc=70.977, loss_att=57.881, acc=0.702, loss=61.810, backward_time=0.286, grad_norm=49.472, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.022e-04, train_time=1.354 +[gpua002:0/64] 2023-12-07 12:09:30,192 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-07 12:09:49,417 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 12:09:53,106 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 12:09:53,106 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-07 12:09:53,109 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 12:19:38,036 (trainer:737) INFO: 16epoch:train:5001-5100batch: iter_time=3.046, forward_time=0.215, loss_ctc=62.418, loss_att=50.344, acc=0.721, loss=53.966, backward_time=0.288, grad_norm=45.457, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.021e-04, train_time=6.278 +[gpua002:0/64] 2023-12-07 12:21:59,289 (trainer:737) INFO: 16epoch:train:5101-5200batch: iter_time=8.836e-05, forward_time=0.147, loss_ctc=80.712, loss_att=67.849, acc=0.663, loss=71.708, backward_time=0.285, grad_norm=65.998, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.021e-04, train_time=1.413 +[gpua002:0/64] 2023-12-07 12:25:06,697 (trainer:737) INFO: 16epoch:train:5201-5300batch: iter_time=8.859e-05, forward_time=0.147, loss_ctc=80.855, loss_att=65.657, acc=0.687, loss=70.216, backward_time=0.323, grad_norm=58.275, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.021e-04, train_time=1.874 +[gpua002:0/64] 2023-12-07 12:27:50,653 (trainer:737) INFO: 16epoch:train:5301-5400batch: iter_time=8.582e-05, forward_time=0.167, loss_ctc=76.606, loss_att=64.910, acc=0.687, loss=68.418, backward_time=0.313, grad_norm=59.279, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.021e-04, train_time=1.639 +[gpua002:0/64] 2023-12-07 12:30:25,910 (trainer:737) INFO: 16epoch:train:5401-5500batch: iter_time=8.157e-05, forward_time=0.148, loss_ctc=75.160, loss_att=64.938, acc=0.698, loss=68.005, backward_time=0.299, grad_norm=45.569, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.021e-04, train_time=1.552 +[gpua002:0/64] 2023-12-07 12:33:01,853 (trainer:737) INFO: 16epoch:train:5501-5600batch: iter_time=8.349e-05, forward_time=0.246, loss_ctc=73.387, loss_att=61.746, acc=0.703, loss=65.238, backward_time=0.304, grad_norm=47.664, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.020e-04, train_time=1.559 +[gpua002:0/64] 2023-12-07 12:35:47,198 (trainer:737) INFO: 16epoch:train:5601-5700batch: iter_time=8.327e-05, forward_time=0.148, loss_ctc=71.952, loss_att=61.024, acc=0.692, loss=64.302, backward_time=0.304, grad_norm=50.080, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.020e-04, train_time=1.653 +[gpua002:0/64] 2023-12-07 12:38:23,257 (trainer:737) INFO: 16epoch:train:5701-5800batch: iter_time=8.175e-05, forward_time=0.146, loss_ctc=75.882, loss_att=60.414, acc=0.695, loss=65.054, backward_time=0.318, grad_norm=43.953, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.020e-04, train_time=1.561 +[gpua002:0/64] 2023-12-07 12:40:24,016 (trainer:737) INFO: 16epoch:train:5801-5900batch: iter_time=7.967e-05, forward_time=0.146, loss_ctc=72.666, loss_att=59.936, acc=0.698, loss=63.755, backward_time=0.277, grad_norm=48.301, clip=100.000, loss_scale=2.434e+32, optim_step_time=0.133, optim0_lr0=1.020e-04, train_time=1.207 +[gpua002:0/64] 2023-12-07 12:42:36,573 (trainer:737) INFO: 16epoch:train:5901-6000batch: iter_time=7.746e-05, forward_time=0.149, loss_ctc=71.360, loss_att=62.739, acc=0.677, loss=65.325, backward_time=0.281, grad_norm=49.578, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.019e-04, train_time=1.325 +[gpua002:0/64] 2023-12-07 12:45:13,754 (trainer:737) INFO: 16epoch:train:6001-6100batch: iter_time=8.247e-05, forward_time=0.155, loss_ctc=64.751, loss_att=42.182, acc=0.727, loss=48.953, backward_time=0.312, grad_norm=46.440, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.019e-04, train_time=1.572 +[gpua002:0/64] 2023-12-07 12:47:47,635 (trainer:737) INFO: 16epoch:train:6101-6200batch: iter_time=9.645e-05, forward_time=0.168, loss_ctc=73.500, loss_att=58.310, acc=0.700, loss=62.867, backward_time=0.321, grad_norm=49.933, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.019e-04, train_time=1.539 +[gpua002:0/64] 2023-12-07 12:49:49,895 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-07 12:50:09,521 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 12:50:13,218 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 12:50:13,218 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-07 12:50:13,221 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 13:00:38,856 (trainer:737) INFO: 16epoch:train:6201-6300batch: iter_time=3.259, forward_time=0.185, loss_ctc=69.101, loss_att=57.068, acc=0.703, loss=60.678, backward_time=0.324, grad_norm=48.564, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.019e-04, train_time=7.712 +[gpua002:0/64] 2023-12-07 13:03:17,824 (trainer:737) INFO: 16epoch:train:6301-6400batch: iter_time=9.028e-05, forward_time=0.147, loss_ctc=72.321, loss_att=58.985, acc=0.695, loss=62.986, backward_time=0.288, grad_norm=60.382, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.019e-04, train_time=1.590 +[gpua002:0/64] 2023-12-07 13:06:15,699 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 13:06:41,857 (trainer:737) INFO: 16epoch:train:6401-6500batch: iter_time=9.070e-05, forward_time=0.147, loss_ctc=67.474, loss_att=56.963, acc=0.695, loss=60.116, backward_time=0.320, grad_norm=47.425, clip=100.000, loss_scale=3.049e+32, optim_step_time=0.133, optim0_lr0=1.018e-04, train_time=2.040 +[gpua002:0/64] 2023-12-07 13:09:57,066 (trainer:737) INFO: 16epoch:train:6501-6600batch: iter_time=9.045e-05, forward_time=0.147, loss_ctc=88.088, loss_att=72.295, acc=0.684, loss=77.032, backward_time=0.403, grad_norm=66.611, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.018e-04, train_time=1.952 +[gpua002:0/64] 2023-12-07 13:13:24,164 (trainer:737) INFO: 16epoch:train:6601-6700batch: iter_time=9.027e-05, forward_time=0.158, loss_ctc=77.993, loss_att=66.579, acc=0.701, loss=70.003, backward_time=0.438, grad_norm=50.408, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.018e-04, train_time=2.071 +[gpua002:0/64] 2023-12-07 13:16:23,089 (trainer:737) INFO: 16epoch:train:6701-6800batch: iter_time=8.878e-05, forward_time=0.147, loss_ctc=69.296, loss_att=57.344, acc=0.720, loss=60.929, backward_time=0.293, grad_norm=46.017, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.018e-04, train_time=1.789 +[gpua002:0/64] 2023-12-07 13:19:30,273 (trainer:737) INFO: 16epoch:train:6801-6900batch: iter_time=8.761e-05, forward_time=0.146, loss_ctc=72.153, loss_att=63.991, acc=0.701, loss=66.440, backward_time=0.317, grad_norm=50.220, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.017e-04, train_time=1.872 +[gpua002:0/64] 2023-12-07 13:22:24,246 (trainer:737) INFO: 16epoch:train:6901-7000batch: iter_time=8.889e-05, forward_time=0.196, loss_ctc=73.871, loss_att=65.627, acc=0.699, loss=68.100, backward_time=0.356, grad_norm=47.168, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.017e-04, train_time=1.739 +[gpua002:0/64] 2023-12-07 13:25:34,065 (trainer:737) INFO: 16epoch:train:7001-7100batch: iter_time=9.067e-05, forward_time=0.146, loss_ctc=77.232, loss_att=61.372, acc=0.702, loss=66.130, backward_time=0.314, grad_norm=45.447, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.017e-04, train_time=1.898 +[gpua002:0/64] 2023-12-07 13:28:48,912 (trainer:737) INFO: 16epoch:train:7101-7200batch: iter_time=9.169e-05, forward_time=0.171, loss_ctc=65.775, loss_att=61.600, acc=0.685, loss=62.853, backward_time=0.359, grad_norm=43.494, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.017e-04, train_time=1.948 +[gpua002:0/64] 2023-12-07 13:31:34,240 (trainer:737) INFO: 16epoch:train:7201-7300batch: iter_time=8.733e-05, forward_time=0.168, loss_ctc=71.272, loss_att=54.124, acc=0.712, loss=59.268, backward_time=0.329, grad_norm=50.889, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.017e-04, train_time=1.653 +[gpua002:0/64] 2023-12-07 13:34:49,334 (trainer:737) INFO: 16epoch:train:7301-7400batch: iter_time=8.766e-05, forward_time=0.147, loss_ctc=72.396, loss_att=52.280, acc=0.714, loss=58.315, backward_time=0.319, grad_norm=49.702, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.016e-04, train_time=1.951 +[gpua002:0/64] 2023-12-07 13:37:25,880 (trainer:737) INFO: 16epoch:train:7401-7500batch: iter_time=8.435e-05, forward_time=0.147, loss_ctc=70.283, loss_att=56.961, acc=0.703, loss=60.957, backward_time=0.297, grad_norm=48.905, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.016e-04, train_time=1.565 +[gpua002:0/64] 2023-12-07 13:37:45,909 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-07 13:38:05,249 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 13:38:08,864 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 13:38:08,864 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-07 13:38:08,867 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 13:51:30,562 (trainer:737) INFO: 16epoch:train:7501-7600batch: iter_time=3.006, forward_time=0.158, loss_ctc=62.229, loss_att=51.174, acc=0.717, loss=54.490, backward_time=0.304, grad_norm=43.312, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.016e-04, train_time=8.447 +[gpua002:0/64] 2023-12-07 13:53:50,150 (trainer:737) INFO: 16epoch:train:7601-7700batch: iter_time=8.755e-05, forward_time=0.148, loss_ctc=79.236, loss_att=65.959, acc=0.676, loss=69.942, backward_time=0.283, grad_norm=62.456, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.016e-04, train_time=1.396 +[gpua002:0/64] 2023-12-07 13:56:51,035 (trainer:737) INFO: 16epoch:train:7701-7800batch: iter_time=8.657e-05, forward_time=0.157, loss_ctc=81.318, loss_att=65.158, acc=0.702, loss=70.006, backward_time=0.314, grad_norm=57.375, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.015e-04, train_time=1.809 +[gpua002:0/64] 2023-12-07 13:59:59,842 (trainer:737) INFO: 16epoch:train:7801-7900batch: iter_time=8.878e-05, forward_time=0.187, loss_ctc=75.653, loss_att=64.405, acc=0.694, loss=67.780, backward_time=0.370, grad_norm=52.795, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.015e-04, train_time=1.888 +[gpua002:0/64] 2023-12-07 14:02:20,871 (trainer:737) INFO: 16epoch:train:7901-8000batch: iter_time=8.698e-05, forward_time=0.155, loss_ctc=74.183, loss_att=64.573, acc=0.706, loss=67.456, backward_time=0.287, grad_norm=46.823, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.015e-04, train_time=1.410 +[gpua002:0/64] 2023-12-07 14:05:05,618 (trainer:737) INFO: 16epoch:train:8001-8100batch: iter_time=8.754e-05, forward_time=0.166, loss_ctc=73.290, loss_att=61.033, acc=0.716, loss=64.710, backward_time=0.306, grad_norm=45.813, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.015e-04, train_time=1.647 +[gpua002:0/64] 2023-12-07 14:07:32,979 (trainer:737) INFO: 16epoch:train:8101-8200batch: iter_time=8.518e-05, forward_time=0.148, loss_ctc=70.909, loss_att=61.546, acc=0.701, loss=64.355, backward_time=0.293, grad_norm=49.553, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.015e-04, train_time=1.474 +[gpua002:0/64] 2023-12-07 14:10:21,686 (trainer:737) INFO: 16epoch:train:8201-8300batch: iter_time=8.784e-05, forward_time=0.155, loss_ctc=75.405, loss_att=61.898, acc=0.702, loss=65.950, backward_time=0.321, grad_norm=47.258, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.014e-04, train_time=1.687 +[gpua002:0/64] 2023-12-07 14:13:13,137 (trainer:737) INFO: 16epoch:train:8301-8400batch: iter_time=8.605e-05, forward_time=0.151, loss_ctc=73.547, loss_att=63.385, acc=0.697, loss=66.433, backward_time=0.326, grad_norm=50.079, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.014e-04, train_time=1.714 +[gpua002:0/64] 2023-12-07 14:15:56,961 (trainer:737) INFO: 16epoch:train:8401-8500batch: iter_time=8.685e-05, forward_time=0.147, loss_ctc=71.337, loss_att=63.097, acc=0.688, loss=65.569, backward_time=0.318, grad_norm=47.227, clip=100.000, loss_scale=1.817e+32, optim_step_time=0.133, optim0_lr0=1.014e-04, train_time=1.638 +[gpua002:0/64] 2023-12-07 14:18:43,745 (trainer:737) INFO: 16epoch:train:8501-8600batch: iter_time=8.980e-05, forward_time=0.172, loss_ctc=64.143, loss_att=42.550, acc=0.725, loss=49.028, backward_time=0.373, grad_norm=48.439, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.014e-04, train_time=1.668 +[gpua002:0/64] 2023-12-07 14:21:31,346 (trainer:737) INFO: 16epoch:train:8601-8700batch: iter_time=8.834e-05, forward_time=0.157, loss_ctc=72.647, loss_att=58.017, acc=0.710, loss=62.406, backward_time=0.372, grad_norm=48.721, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.014e-04, train_time=1.676 +[gpua002:0/64] 2023-12-07 14:23:07,056 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-07 14:23:27,407 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 14:23:31,208 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 14:23:31,208 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-07 14:23:31,211 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 14:35:44,064 (trainer:737) INFO: 16epoch:train:8701-8800batch: iter_time=3.127, forward_time=0.246, loss_ctc=68.174, loss_att=56.411, acc=0.709, loss=59.940, backward_time=0.315, grad_norm=46.713, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=1.013e-04, train_time=8.527 +[gpua002:0/64] 2023-12-07 14:38:49,675 (trainer:737) INFO: 16epoch:train:8801-8900batch: iter_time=4.404e-04, forward_time=0.330, loss_ctc=72.598, loss_att=58.548, acc=0.690, loss=62.763, backward_time=0.368, grad_norm=61.984, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.149, optim0_lr0=1.013e-04, train_time=1.855 +[gpua002:0/64] 2023-12-07 14:41:59,176 (trainer:737) INFO: 16epoch:train:8901-9000batch: iter_time=1.188e-04, forward_time=0.410, loss_ctc=66.513, loss_att=55.876, acc=0.691, loss=59.067, backward_time=0.404, grad_norm=48.559, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.156, optim0_lr0=1.013e-04, train_time=1.895 +[gpua002:0/64] 2023-12-07 14:44:53,916 (trainer:737) INFO: 16epoch:train:9001-9100batch: iter_time=5.944e-04, forward_time=0.373, loss_ctc=86.480, loss_att=71.141, acc=0.682, loss=75.743, backward_time=0.377, grad_norm=64.336, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.142, optim0_lr0=1.013e-04, train_time=1.747 +[gpua002:0/64] 2023-12-07 14:48:10,833 (trainer:737) INFO: 16epoch:train:9101-9200batch: iter_time=3.573e-04, forward_time=0.347, loss_ctc=77.939, loss_att=66.597, acc=0.699, loss=69.999, backward_time=0.401, grad_norm=48.525, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.139, optim0_lr0=1.012e-04, train_time=1.969 +[gpua002:0/64] 2023-12-07 14:50:39,443 (trainer:737) INFO: 16epoch:train:9201-9300batch: iter_time=2.812e-04, forward_time=0.252, loss_ctc=68.781, loss_att=56.590, acc=0.713, loss=60.247, backward_time=0.302, grad_norm=43.653, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.012e-04, train_time=1.486 +[gpua002:0/64] 2023-12-07 14:51:29,302 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 14:53:10,721 (trainer:737) INFO: 16epoch:train:9301-9400batch: iter_time=3.571e-04, forward_time=0.229, loss_ctc=71.696, loss_att=64.027, acc=0.697, loss=66.328, backward_time=0.309, grad_norm=48.611, clip=100.000, loss_scale=2.131e+32, optim_step_time=0.138, optim0_lr0=1.012e-04, train_time=1.512 +[gpua002:0/64] 2023-12-07 14:53:49,786 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 14:56:08,803 (trainer:737) INFO: 16epoch:train:9401-9500batch: iter_time=2.315e-04, forward_time=0.207, loss_ctc=73.636, loss_att=63.407, acc=0.703, loss=66.476, backward_time=0.326, grad_norm=48.258, clip=100.000, loss_scale=9.916e+31, optim_step_time=0.142, optim0_lr0=1.012e-04, train_time=1.781 +[gpua002:0/64] 2023-12-07 14:58:50,095 (trainer:737) INFO: 16epoch:train:9501-9600batch: iter_time=5.041e-04, forward_time=0.234, loss_ctc=76.716, loss_att=58.713, acc=0.696, loss=64.114, backward_time=0.328, grad_norm=48.758, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.012e-04, train_time=1.613 +[gpua002:0/64] 2023-12-07 15:01:41,647 (trainer:737) INFO: 16epoch:train:9601-9700batch: iter_time=9.430e-05, forward_time=0.197, loss_ctc=64.685, loss_att=59.633, acc=0.681, loss=61.149, backward_time=0.324, grad_norm=44.655, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.011e-04, train_time=1.715 +[gpua002:0/64] 2023-12-07 15:04:33,847 (trainer:737) INFO: 16epoch:train:9701-9800batch: iter_time=9.074e-05, forward_time=0.166, loss_ctc=70.994, loss_att=53.363, acc=0.710, loss=58.652, backward_time=0.368, grad_norm=50.480, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.011e-04, train_time=1.721 +[gpua002:0/64] 2023-12-07 15:07:17,520 (trainer:737) INFO: 16epoch:train:9801-9900batch: iter_time=2.112e-04, forward_time=0.242, loss_ctc=71.843, loss_att=51.536, acc=0.717, loss=57.628, backward_time=0.319, grad_norm=47.506, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.011e-04, train_time=1.636 +[gpua002:0/64] 2023-12-07 15:10:06,478 (trainer:737) INFO: 16epoch:train:9901-10000batch: iter_time=8.928e-05, forward_time=0.184, loss_ctc=69.746, loss_att=56.019, acc=0.700, loss=60.137, backward_time=0.354, grad_norm=48.171, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.011e-04, train_time=1.690 +[gpua002:0/64] 2023-12-07 15:10:26,550 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-07 15:10:46,682 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 15:10:50,378 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 15:10:50,378 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-07 15:10:50,381 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 15:21:38,540 (trainer:737) INFO: 16epoch:train:10001-10100batch: iter_time=5.096, forward_time=0.235, loss_ctc=62.008, loss_att=51.373, acc=0.718, loss=54.564, backward_time=0.384, grad_norm=44.495, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.011e-04, train_time=6.920 +[gpua002:0/64] 2023-12-07 15:26:36,595 (trainer:737) INFO: 16epoch:train:10101-10200batch: iter_time=8.677e-05, forward_time=0.170, loss_ctc=78.044, loss_att=66.237, acc=0.676, loss=69.779, backward_time=0.534, grad_norm=61.682, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.010e-04, train_time=2.981 +[gpua002:0/64] 2023-12-07 15:30:25,580 (trainer:737) INFO: 16epoch:train:10201-10300batch: iter_time=8.891e-05, forward_time=0.228, loss_ctc=78.574, loss_att=65.364, acc=0.703, loss=69.327, backward_time=0.428, grad_norm=57.647, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.010e-04, train_time=2.289 +[gpua002:0/64] 2023-12-07 15:33:33,063 (trainer:737) INFO: 16epoch:train:10301-10400batch: iter_time=8.625e-05, forward_time=0.216, loss_ctc=74.876, loss_att=64.300, acc=0.695, loss=67.473, backward_time=0.337, grad_norm=54.897, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.010e-04, train_time=1.875 +[gpua002:0/64] 2023-12-07 15:37:48,756 (trainer:737) INFO: 16epoch:train:10401-10500batch: iter_time=8.495e-05, forward_time=0.223, loss_ctc=74.707, loss_att=64.565, acc=0.706, loss=67.608, backward_time=0.434, grad_norm=45.698, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=1.010e-04, train_time=2.556 +[gpua002:0/64] 2023-12-07 15:42:46,672 (trainer:737) INFO: 16epoch:train:10501-10600batch: iter_time=9.331e-05, forward_time=0.149, loss_ctc=72.634, loss_att=60.653, acc=0.718, loss=64.247, backward_time=0.611, grad_norm=46.119, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.009e-04, train_time=2.979 +[gpua002:0/64] 2023-12-07 15:46:30,226 (trainer:737) INFO: 16epoch:train:10601-10700batch: iter_time=2.268e-04, forward_time=0.177, loss_ctc=70.597, loss_att=61.522, acc=0.701, loss=64.245, backward_time=0.383, grad_norm=47.761, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=1.009e-04, train_time=2.235 +[gpua002:0/64] 2023-12-07 15:50:17,985 (trainer:737) INFO: 16epoch:train:10701-10800batch: iter_time=8.501e-05, forward_time=0.178, loss_ctc=74.981, loss_att=61.534, acc=0.702, loss=65.568, backward_time=0.458, grad_norm=47.916, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.009e-04, train_time=2.278 +[gpua002:0/64] 2023-12-07 15:53:25,250 (trainer:737) INFO: 16epoch:train:10801-10900batch: iter_time=4.015e-04, forward_time=0.185, loss_ctc=72.832, loss_att=63.266, acc=0.699, loss=66.136, backward_time=0.359, grad_norm=45.064, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.009e-04, train_time=1.872 +[gpua002:0/64] 2023-12-07 15:56:35,462 (trainer:737) INFO: 16epoch:train:10901-11000batch: iter_time=8.700e-05, forward_time=0.220, loss_ctc=71.357, loss_att=63.222, acc=0.690, loss=65.663, backward_time=0.412, grad_norm=47.421, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.009e-04, train_time=1.902 +[gpua002:0/64] 2023-12-07 16:00:06,768 (trainer:737) INFO: 16epoch:train:11001-11100batch: iter_time=1.575e-04, forward_time=0.217, loss_ctc=64.216, loss_att=42.423, acc=0.725, loss=48.961, backward_time=0.402, grad_norm=47.640, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.008e-04, train_time=2.111 +[gpua002:0/64] 2023-12-07 16:03:17,153 (trainer:737) INFO: 16epoch:train:11101-11200batch: iter_time=3.088e-04, forward_time=0.255, loss_ctc=72.817, loss_att=58.282, acc=0.709, loss=62.642, backward_time=0.394, grad_norm=47.732, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.008e-04, train_time=1.905 +[gpua002:0/64] 2023-12-07 16:05:10,846 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-07 16:05:30,353 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 16:05:34,043 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 16:05:34,043 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-07 16:05:34,047 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 16:11:18,196 (trainer:737) INFO: 16epoch:train:11201-11300batch: iter_time=3.174, forward_time=0.185, loss_ctc=67.677, loss_att=56.451, acc=0.707, loss=59.819, backward_time=0.324, grad_norm=47.139, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.008e-04, train_time=4.810 +[gpua002:0/64] 2023-12-07 16:13:51,541 (trainer:737) INFO: 16epoch:train:11301-11400batch: iter_time=2.656e-04, forward_time=0.248, loss_ctc=70.524, loss_att=57.537, acc=0.698, loss=61.433, backward_time=0.326, grad_norm=66.022, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.143, optim0_lr0=1.008e-04, train_time=1.533 +[gpua002:0/64] 2023-12-07 16:16:14,890 (trainer:737) INFO: 16epoch:train:11401-11500batch: iter_time=8.599e-05, forward_time=0.162, loss_ctc=66.693, loss_att=55.314, acc=0.700, loss=58.727, backward_time=0.282, grad_norm=47.500, clip=100.000, loss_scale=1.436e+32, optim_step_time=0.133, optim0_lr0=1.008e-04, train_time=1.433 +[gpua002:0/64] 2023-12-07 16:18:51,619 (trainer:737) INFO: 16epoch:train:11501-11600batch: iter_time=4.642e-04, forward_time=0.271, loss_ctc=86.854, loss_att=70.152, acc=0.691, loss=75.162, backward_time=0.320, grad_norm=61.360, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.007e-04, train_time=1.566 +[gpua002:0/64] 2023-12-07 16:21:13,919 (trainer:737) INFO: 16epoch:train:11601-11700batch: iter_time=9.324e-05, forward_time=0.148, loss_ctc=77.310, loss_att=65.996, acc=0.704, loss=69.390, backward_time=0.320, grad_norm=46.586, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.007e-04, train_time=1.424 +[gpua002:0/64] 2023-12-07 16:23:34,656 (trainer:737) INFO: 16epoch:train:11701-11800batch: iter_time=9.019e-05, forward_time=0.149, loss_ctc=69.067, loss_att=56.211, acc=0.722, loss=60.068, backward_time=0.300, grad_norm=47.843, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.007e-04, train_time=1.407 +[gpua002:0/64] 2023-12-07 16:25:18,421 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 16:26:21,377 (trainer:737) INFO: 16epoch:train:11801-11900batch: iter_time=8.980e-05, forward_time=0.273, loss_ctc=71.108, loss_att=63.121, acc=0.705, loss=65.517, backward_time=0.324, grad_norm=46.807, clip=100.000, loss_scale=1.287e+32, optim_step_time=0.136, optim0_lr0=1.007e-04, train_time=1.666 +[gpua002:0/64] 2023-12-07 16:29:12,825 (trainer:737) INFO: 16epoch:train:11901-12000batch: iter_time=3.526e-04, forward_time=0.214, loss_ctc=73.346, loss_att=64.707, acc=0.705, loss=67.299, backward_time=0.388, grad_norm=48.948, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.006e-04, train_time=1.715 +[gpua002:0/64] 2023-12-07 16:31:42,098 (trainer:737) INFO: 16epoch:train:12001-12100batch: iter_time=8.813e-05, forward_time=0.155, loss_ctc=77.007, loss_att=61.414, acc=0.703, loss=66.092, backward_time=0.287, grad_norm=47.549, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.006e-04, train_time=1.493 +[gpua002:0/64] 2023-12-07 16:34:15,339 (trainer:737) INFO: 16epoch:train:12101-12200batch: iter_time=8.847e-05, forward_time=0.191, loss_ctc=64.618, loss_att=60.415, acc=0.688, loss=61.676, backward_time=0.329, grad_norm=45.008, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.006e-04, train_time=1.532 +[gpua002:0/64] 2023-12-07 16:37:04,430 (trainer:737) INFO: 16epoch:train:12201-12300batch: iter_time=3.114e-04, forward_time=0.195, loss_ctc=70.855, loss_att=53.559, acc=0.714, loss=58.748, backward_time=0.329, grad_norm=49.105, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.006e-04, train_time=1.691 +[gpua002:0/64] 2023-12-07 16:39:41,419 (trainer:737) INFO: 16epoch:train:12301-12400batch: iter_time=1.061e-04, forward_time=0.233, loss_ctc=71.511, loss_att=51.883, acc=0.716, loss=57.772, backward_time=0.336, grad_norm=49.858, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.006e-04, train_time=1.569 +[gpua002:0/64] 2023-12-07 16:42:20,809 (trainer:737) INFO: 16epoch:train:12401-12500batch: iter_time=8.903e-05, forward_time=0.152, loss_ctc=69.642, loss_att=56.210, acc=0.707, loss=60.240, backward_time=0.319, grad_norm=47.218, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.005e-04, train_time=1.595 +[gpua002:0/64] 2023-12-07 16:42:40,996 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-07 16:43:00,577 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 16:43:04,342 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 16:43:04,342 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-07 16:43:04,345 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 16:49:58,871 (trainer:737) INFO: 16epoch:train:12501-12600batch: iter_time=3.153, forward_time=0.209, loss_ctc=61.499, loss_att=50.482, acc=0.725, loss=53.787, backward_time=0.377, grad_norm=45.959, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.005e-04, train_time=4.578 +[gpua002:0/64] 2023-12-07 16:52:27,408 (trainer:737) INFO: 16epoch:train:12601-12700batch: iter_time=8.735e-05, forward_time=0.162, loss_ctc=77.125, loss_att=65.828, acc=0.672, loss=69.217, backward_time=0.305, grad_norm=62.146, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.005e-04, train_time=1.487 +[gpua002:0/64] 2023-12-07 16:54:39,617 (trainer:737) INFO: 16epoch:train:12701-12800batch: iter_time=8.919e-05, forward_time=0.222, loss_ctc=80.019, loss_att=65.464, acc=0.691, loss=69.831, backward_time=0.302, grad_norm=59.027, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.005e-04, train_time=1.322 +[gpua002:0/64] 2023-12-07 16:57:21,295 (trainer:737) INFO: 16epoch:train:12801-12900batch: iter_time=9.396e-05, forward_time=0.234, loss_ctc=75.299, loss_att=64.465, acc=0.693, loss=67.715, backward_time=0.332, grad_norm=55.874, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.005e-04, train_time=1.617 +[gpua002:0/64] 2023-12-07 16:59:56,051 (trainer:737) INFO: 16epoch:train:12901-13000batch: iter_time=9.322e-05, forward_time=0.179, loss_ctc=73.750, loss_att=64.646, acc=0.700, loss=67.377, backward_time=0.317, grad_norm=46.276, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.004e-04, train_time=1.547 +[gpua002:0/64] 2023-12-07 17:02:32,525 (trainer:737) INFO: 16epoch:train:13001-13100batch: iter_time=9.545e-05, forward_time=0.240, loss_ctc=72.810, loss_att=61.642, acc=0.707, loss=64.993, backward_time=0.321, grad_norm=52.469, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.004e-04, train_time=1.564 +[gpua002:0/64] 2023-12-07 17:05:18,784 (trainer:737) INFO: 16epoch:train:13101-13200batch: iter_time=9.067e-05, forward_time=0.165, loss_ctc=70.790, loss_att=60.571, acc=0.698, loss=63.636, backward_time=0.321, grad_norm=48.585, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.004e-04, train_time=1.663 +[gpua002:0/64] 2023-12-07 17:07:53,731 (trainer:737) INFO: 16epoch:train:13201-13300batch: iter_time=9.036e-05, forward_time=0.184, loss_ctc=74.498, loss_att=59.652, acc=0.697, loss=64.106, backward_time=0.331, grad_norm=46.682, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.004e-04, train_time=1.548 +[gpua002:0/64] 2023-12-07 17:10:30,054 (trainer:737) INFO: 16epoch:train:13301-13400batch: iter_time=8.848e-05, forward_time=0.202, loss_ctc=72.134, loss_att=60.494, acc=0.698, loss=63.986, backward_time=0.319, grad_norm=49.769, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.003e-04, train_time=1.564 +[gpua002:0/64] 2023-12-07 17:12:51,637 (trainer:737) INFO: 16epoch:train:13401-13500batch: iter_time=8.632e-05, forward_time=0.176, loss_ctc=71.405, loss_att=61.759, acc=0.683, loss=64.653, backward_time=0.310, grad_norm=48.710, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.003e-04, train_time=1.416 +[gpua002:0/64] 2023-12-07 17:15:02,561 (trainer:737) INFO: 16epoch:train:13501-13600batch: iter_time=9.221e-05, forward_time=0.184, loss_ctc=63.674, loss_att=41.501, acc=0.729, loss=48.153, backward_time=0.302, grad_norm=46.844, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.003e-04, train_time=1.309 +[gpua002:0/64] 2023-12-07 17:17:16,121 (trainer:737) INFO: 16epoch:train:13601-13700batch: iter_time=4.314e-04, forward_time=0.170, loss_ctc=71.629, loss_att=57.213, acc=0.704, loss=61.538, backward_time=0.294, grad_norm=51.019, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.003e-04, train_time=1.334 +[gpua002:0/64] 2023-12-07 17:18:53,033 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-07 17:19:13,110 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 17:19:16,892 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 17:19:16,892 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-07 17:19:16,896 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 17:27:38,803 (trainer:737) INFO: 16epoch:train:13701-13800batch: iter_time=4.761, forward_time=0.234, loss_ctc=67.500, loss_att=55.177, acc=0.712, loss=58.874, backward_time=0.340, grad_norm=46.963, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.003e-04, train_time=6.228 +[gpua002:0/64] 2023-12-07 17:30:37,055 (trainer:737) INFO: 16epoch:train:13801-13900batch: iter_time=9.241e-05, forward_time=0.260, loss_ctc=70.047, loss_att=56.296, acc=0.696, loss=60.422, backward_time=0.325, grad_norm=59.277, clip=100.000, loss_scale=1.144e+32, optim_step_time=0.137, optim0_lr0=1.002e-04, train_time=1.782 +[gpua002:0/64] 2023-12-07 17:33:11,589 (trainer:737) INFO: 16epoch:train:13901-14000batch: iter_time=7.952e-05, forward_time=0.249, loss_ctc=66.401, loss_att=55.051, acc=0.694, loss=58.456, backward_time=0.309, grad_norm=49.540, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.142, optim0_lr0=1.002e-04, train_time=1.545 +[gpua002:0/64] 2023-12-07 17:36:21,305 (trainer:737) INFO: 16epoch:train:14001-14100batch: iter_time=8.436e-05, forward_time=0.345, loss_ctc=86.504, loss_att=70.254, acc=0.685, loss=75.129, backward_time=0.362, grad_norm=77.450, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.147, optim0_lr0=1.002e-04, train_time=1.897 +[gpua002:0/64] 2023-12-07 17:39:17,855 (trainer:737) INFO: 16epoch:train:14101-14200batch: iter_time=1.856e-04, forward_time=0.263, loss_ctc=77.314, loss_att=65.894, acc=0.699, loss=69.320, backward_time=0.364, grad_norm=48.241, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.002e-04, train_time=1.764 +[gpua002:0/64] 2023-12-07 17:42:14,108 (trainer:737) INFO: 16epoch:train:14201-14300batch: iter_time=0.001, forward_time=0.194, loss_ctc=68.622, loss_att=55.670, acc=0.714, loss=59.555, backward_time=0.399, grad_norm=45.150, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=1.002e-04, train_time=1.763 +[gpua002:0/64] 2023-12-07 17:45:22,076 (trainer:737) INFO: 16epoch:train:14301-14400batch: iter_time=2.859e-04, forward_time=0.256, loss_ctc=70.434, loss_att=62.794, acc=0.699, loss=65.086, backward_time=0.391, grad_norm=49.644, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.001e-04, train_time=1.880 +[gpua002:0/64] 2023-12-07 17:48:25,988 (trainer:737) INFO: 16epoch:train:14401-14500batch: iter_time=3.105e-04, forward_time=0.211, loss_ctc=72.969, loss_att=62.416, acc=0.706, loss=65.582, backward_time=0.382, grad_norm=52.233, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.001e-04, train_time=1.838 +[gpua002:0/64] 2023-12-07 17:51:39,184 (trainer:737) INFO: 16epoch:train:14501-14600batch: iter_time=2.632e-04, forward_time=0.246, loss_ctc=76.871, loss_att=58.554, acc=0.698, loss=64.049, backward_time=0.331, grad_norm=47.176, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=1.001e-04, train_time=1.931 +[gpua002:0/64] 2023-12-07 17:54:34,840 (trainer:737) INFO: 16epoch:train:14601-14700batch: iter_time=3.484e-04, forward_time=0.282, loss_ctc=64.682, loss_att=59.757, acc=0.679, loss=61.235, backward_time=0.342, grad_norm=51.407, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.001e-04, train_time=1.757 +[gpua002:0/64] 2023-12-07 17:57:38,055 (trainer:737) INFO: 16epoch:train:14701-14800batch: iter_time=2.849e-04, forward_time=0.285, loss_ctc=71.277, loss_att=53.033, acc=0.711, loss=58.506, backward_time=0.331, grad_norm=53.879, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=1.001e-04, train_time=1.831 +[gpua002:0/64] 2023-12-07 18:00:23,102 (trainer:737) INFO: 16epoch:train:14801-14900batch: iter_time=2.013e-04, forward_time=0.253, loss_ctc=71.169, loss_att=51.130, acc=0.719, loss=57.142, backward_time=0.342, grad_norm=51.170, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.000e-04, train_time=1.652 +[gpua002:0/64] 2023-12-07 18:03:17,652 (trainer:737) INFO: 16epoch:train:14901-15000batch: iter_time=8.559e-05, forward_time=0.147, loss_ctc=69.062, loss_att=55.736, acc=0.701, loss=59.734, backward_time=0.301, grad_norm=49.392, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.000e-04, train_time=1.745 +[gpua002:0/64] 2023-12-07 18:29:53,529 (trainer:343) INFO: 16epoch results: [train] iter_time=0.288, forward_time=0.188, loss_ctc=73.133, loss_att=60.225, acc=0.698, loss=64.097, backward_time=0.348, grad_norm=51.065, clip=100.000, loss_scale=2.358e+32, optim_step_time=0.135, optim0_lr0=1.016e-04, train_time=2.226, time=9 hours, 16 minutes and 50.4 seconds, total_count=240000, gpu_max_cached_mem_GB=35.221, [valid] loss_ctc=41.839, cer_ctc=0.218, loss_att=38.538, acc=0.681, cer=0.341, wer=0.991, loss=39.528, time=26 minutes and 11.67 seconds, total_count=74736, gpu_max_cached_mem_GB=35.221 +[gpua002:0/64] 2023-12-07 18:30:19,930 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua002:0/64] 2023-12-07 18:30:19,992 (trainer:272) INFO: 17/40epoch started. Estimated time to finish: 1 week, 2 days and 17 hours +[gpua002:0/64] 2023-12-07 18:30:20,005 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-07 18:30:38,612 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 18:30:42,041 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 18:30:42,041 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-07 18:30:42,045 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 18:37:20,466 (trainer:737) INFO: 17epoch:train:1-100batch: iter_time=2.532, forward_time=0.184, loss_ctc=64.020, loss_att=50.097, acc=0.700, loss=54.273, backward_time=0.291, grad_norm=49.739, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.999e-05, train_time=4.204 +[gpua002:0/64] 2023-12-07 18:39:26,420 (trainer:737) INFO: 17epoch:train:101-200batch: iter_time=8.541e-05, forward_time=0.152, loss_ctc=61.489, loss_att=47.060, acc=0.706, loss=51.388, backward_time=0.283, grad_norm=51.789, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.997e-05, train_time=1.259 +[gpua002:0/64] 2023-12-07 18:41:41,811 (trainer:737) INFO: 17epoch:train:201-300batch: iter_time=8.333e-05, forward_time=0.148, loss_ctc=61.556, loss_att=48.828, acc=0.686, loss=52.646, backward_time=0.282, grad_norm=50.118, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.995e-05, train_time=1.354 +[gpua002:0/64] 2023-12-07 18:44:01,157 (trainer:737) INFO: 17epoch:train:301-400batch: iter_time=8.321e-05, forward_time=0.148, loss_ctc=80.706, loss_att=65.757, acc=0.686, loss=70.242, backward_time=0.284, grad_norm=57.493, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.993e-05, train_time=1.393 +[gpua002:0/64] 2023-12-07 18:46:12,830 (trainer:737) INFO: 17epoch:train:401-500batch: iter_time=8.480e-05, forward_time=0.157, loss_ctc=69.308, loss_att=52.256, acc=0.693, loss=57.371, backward_time=0.289, grad_norm=53.794, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.144, optim0_lr0=9.991e-05, train_time=1.316 +[gpua002:0/64] 2023-12-07 18:48:37,034 (trainer:737) INFO: 17epoch:train:501-600batch: iter_time=8.267e-05, forward_time=0.149, loss_ctc=70.675, loss_att=56.083, acc=0.689, loss=60.461, backward_time=0.302, grad_norm=61.600, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.989e-05, train_time=1.442 +[gpua002:0/64] 2023-12-07 18:51:01,107 (trainer:737) INFO: 17epoch:train:601-700batch: iter_time=8.529e-05, forward_time=0.148, loss_ctc=88.423, loss_att=71.275, acc=0.660, loss=76.420, backward_time=0.301, grad_norm=71.871, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.987e-05, train_time=1.441 +[gpua002:0/64] 2023-12-07 18:53:38,276 (trainer:737) INFO: 17epoch:train:701-800batch: iter_time=8.903e-05, forward_time=0.147, loss_ctc=64.777, loss_att=51.089, acc=0.703, loss=55.195, backward_time=0.299, grad_norm=47.233, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.985e-05, train_time=1.571 +[gpua002:0/64] 2023-12-07 18:56:01,363 (trainer:737) INFO: 17epoch:train:801-900batch: iter_time=8.195e-05, forward_time=0.150, loss_ctc=81.928, loss_att=66.526, acc=0.683, loss=71.147, backward_time=0.295, grad_norm=55.036, clip=100.000, loss_scale=2.288e+32, optim_step_time=0.137, optim0_lr0=9.983e-05, train_time=1.430 +[gpua002:0/64] 2023-12-07 18:58:27,050 (trainer:737) INFO: 17epoch:train:901-1000batch: iter_time=8.341e-05, forward_time=0.150, loss_ctc=78.351, loss_att=60.353, acc=0.701, loss=65.752, backward_time=0.302, grad_norm=52.757, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.981e-05, train_time=1.458 +[gpua002:0/64] 2023-12-07 19:01:09,938 (trainer:737) INFO: 17epoch:train:1001-1100batch: iter_time=3.900e-04, forward_time=0.204, loss_ctc=86.618, loss_att=67.376, acc=0.696, loss=73.149, backward_time=0.325, grad_norm=69.626, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.146, optim0_lr0=9.979e-05, train_time=1.627 +[gpua002:0/64] 2023-12-07 19:03:32,389 (trainer:737) INFO: 17epoch:train:1101-1200batch: iter_time=8.560e-05, forward_time=0.149, loss_ctc=66.664, loss_att=50.366, acc=0.698, loss=55.255, backward_time=0.289, grad_norm=47.561, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.977e-05, train_time=1.426 +[gpua002:0/64] 2023-12-07 19:04:59,317 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-07 19:05:18,595 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 19:05:22,118 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 19:05:22,118 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-07 19:05:22,123 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 19:12:58,601 (trainer:737) INFO: 17epoch:train:1201-1300batch: iter_time=2.595, forward_time=0.166, loss_ctc=74.676, loss_att=57.254, acc=0.705, loss=62.480, backward_time=0.291, grad_norm=48.869, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.974e-05, train_time=5.662 +[gpua002:0/64] 2023-12-07 19:15:08,568 (trainer:737) INFO: 17epoch:train:1301-1400batch: iter_time=8.045e-05, forward_time=0.151, loss_ctc=59.937, loss_att=46.056, acc=0.709, loss=50.220, backward_time=0.283, grad_norm=46.788, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.972e-05, train_time=1.299 +[gpua002:0/64] 2023-12-07 19:17:49,121 (trainer:737) INFO: 17epoch:train:1401-1500batch: iter_time=7.932e-05, forward_time=0.149, loss_ctc=60.404, loss_att=44.681, acc=0.716, loss=49.398, backward_time=0.323, grad_norm=45.666, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.970e-05, train_time=1.605 +[gpua002:0/64] 2023-12-07 19:20:40,395 (trainer:737) INFO: 17epoch:train:1501-1600batch: iter_time=8.044e-05, forward_time=0.148, loss_ctc=69.214, loss_att=57.580, acc=0.676, loss=61.070, backward_time=0.317, grad_norm=52.504, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.968e-05, train_time=1.712 +[gpua002:0/64] 2023-12-07 19:23:18,237 (trainer:737) INFO: 17epoch:train:1601-1700batch: iter_time=8.042e-05, forward_time=0.150, loss_ctc=72.452, loss_att=58.016, acc=0.703, loss=62.346, backward_time=0.302, grad_norm=48.254, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.966e-05, train_time=1.579 +[gpua002:0/64] 2023-12-07 19:25:44,334 (trainer:737) INFO: 17epoch:train:1701-1800batch: iter_time=8.354e-05, forward_time=0.185, loss_ctc=75.208, loss_att=59.249, acc=0.687, loss=64.037, backward_time=0.305, grad_norm=60.457, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.964e-05, train_time=1.461 +[gpua002:0/64] 2023-12-07 19:28:28,418 (trainer:737) INFO: 17epoch:train:1801-1900batch: iter_time=8.388e-05, forward_time=0.168, loss_ctc=78.224, loss_att=62.231, acc=0.681, loss=67.029, backward_time=0.341, grad_norm=61.095, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.962e-05, train_time=1.639 +[gpua002:0/64] 2023-12-07 19:28:39,381 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 19:31:21,561 (trainer:737) INFO: 17epoch:train:1901-2000batch: iter_time=8.267e-05, forward_time=0.152, loss_ctc=70.939, loss_att=55.416, acc=0.688, loss=60.073, backward_time=0.318, grad_norm=57.573, clip=100.000, loss_scale=1.721e+32, optim_step_time=0.135, optim0_lr0=9.960e-05, train_time=1.733 +[gpua002:0/64] 2023-12-07 19:33:51,086 (trainer:737) INFO: 17epoch:train:2001-2100batch: iter_time=8.380e-05, forward_time=0.151, loss_ctc=67.781, loss_att=55.786, acc=0.697, loss=59.385, backward_time=0.288, grad_norm=49.344, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.958e-05, train_time=1.495 +[gpua002:0/64] 2023-12-07 19:36:24,216 (trainer:737) INFO: 17epoch:train:2101-2200batch: iter_time=7.827e-05, forward_time=0.148, loss_ctc=85.772, loss_att=69.509, acc=0.683, loss=74.388, backward_time=0.340, grad_norm=52.785, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.956e-05, train_time=1.531 +[gpua002:0/64] 2023-12-07 19:39:06,018 (trainer:737) INFO: 17epoch:train:2201-2300batch: iter_time=8.177e-05, forward_time=0.148, loss_ctc=75.340, loss_att=59.034, acc=0.701, loss=63.926, backward_time=0.340, grad_norm=50.916, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.954e-05, train_time=1.618 +[gpua002:0/64] 2023-12-07 19:41:34,751 (trainer:737) INFO: 17epoch:train:2301-2400batch: iter_time=8.132e-05, forward_time=0.159, loss_ctc=81.809, loss_att=62.241, acc=0.695, loss=68.111, backward_time=0.339, grad_norm=56.087, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.952e-05, train_time=1.487 +[gpua002:0/64] 2023-12-07 19:44:42,463 (trainer:737) INFO: 17epoch:train:2401-2500batch: iter_time=8.143e-05, forward_time=0.150, loss_ctc=71.793, loss_att=52.914, acc=0.715, loss=58.578, backward_time=0.310, grad_norm=51.972, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.950e-05, train_time=1.877 +[gpua002:0/64] 2023-12-07 19:45:02,491 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-07 19:45:21,599 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 19:45:25,062 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 19:45:25,062 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-07 19:45:25,065 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 19:52:16,590 (trainer:737) INFO: 17epoch:train:2501-2600batch: iter_time=2.455, forward_time=0.174, loss_ctc=63.533, loss_att=49.238, acc=0.709, loss=53.527, backward_time=0.285, grad_norm=46.389, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.948e-05, train_time=4.541 +[gpua002:0/64] 2023-12-07 19:54:22,891 (trainer:737) INFO: 17epoch:train:2601-2700batch: iter_time=8.256e-05, forward_time=0.147, loss_ctc=59.536, loss_att=46.034, acc=0.711, loss=50.085, backward_time=0.279, grad_norm=46.750, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.946e-05, train_time=1.263 +[gpua002:0/64] 2023-12-07 19:56:46,469 (trainer:737) INFO: 17epoch:train:2701-2800batch: iter_time=7.480e-05, forward_time=0.151, loss_ctc=59.908, loss_att=47.155, acc=0.697, loss=50.981, backward_time=0.298, grad_norm=45.664, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.944e-05, train_time=1.435 +[gpua002:0/64] 2023-12-07 19:59:26,906 (trainer:737) INFO: 17epoch:train:2801-2900batch: iter_time=7.634e-05, forward_time=0.153, loss_ctc=79.197, loss_att=64.477, acc=0.692, loss=68.893, backward_time=0.301, grad_norm=52.147, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.942e-05, train_time=1.604 +[gpua002:0/64] 2023-12-07 20:02:36,257 (trainer:737) INFO: 17epoch:train:2901-3000batch: iter_time=7.679e-05, forward_time=0.170, loss_ctc=67.276, loss_att=51.189, acc=0.698, loss=56.015, backward_time=0.373, grad_norm=49.483, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.940e-05, train_time=1.893 +[gpua002:0/64] 2023-12-07 20:05:14,769 (trainer:737) INFO: 17epoch:train:3001-3100batch: iter_time=7.969e-05, forward_time=0.153, loss_ctc=70.054, loss_att=53.868, acc=0.698, loss=58.724, backward_time=0.309, grad_norm=57.229, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.937e-05, train_time=1.585 +[gpua002:0/64] 2023-12-07 20:07:25,386 (trainer:737) INFO: 17epoch:train:3101-3200batch: iter_time=8.260e-05, forward_time=0.147, loss_ctc=82.866, loss_att=70.540, acc=0.666, loss=74.237, backward_time=0.288, grad_norm=65.099, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.935e-05, train_time=1.306 +[gpua002:0/64] 2023-12-07 20:09:55,255 (trainer:737) INFO: 17epoch:train:3201-3300batch: iter_time=7.716e-05, forward_time=0.146, loss_ctc=64.187, loss_att=50.064, acc=0.709, loss=54.301, backward_time=0.313, grad_norm=43.948, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.933e-05, train_time=1.498 +[gpua002:0/64] 2023-12-07 20:12:20,640 (trainer:737) INFO: 17epoch:train:3301-3400batch: iter_time=7.830e-05, forward_time=0.147, loss_ctc=80.056, loss_att=65.652, acc=0.687, loss=69.973, backward_time=0.297, grad_norm=52.662, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.931e-05, train_time=1.454 +[gpua002:0/64] 2023-12-07 20:14:46,782 (trainer:737) INFO: 17epoch:train:3401-3500batch: iter_time=8.267e-05, forward_time=0.165, loss_ctc=76.826, loss_att=58.688, acc=0.709, loss=64.129, backward_time=0.283, grad_norm=47.787, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.929e-05, train_time=1.461 +[gpua002:0/64] 2023-12-07 20:17:14,364 (trainer:737) INFO: 17epoch:train:3501-3600batch: iter_time=7.534e-05, forward_time=0.150, loss_ctc=82.319, loss_att=66.354, acc=0.702, loss=71.144, backward_time=0.283, grad_norm=63.906, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.927e-05, train_time=1.476 +[gpua002:0/64] 2023-12-07 20:19:51,176 (trainer:737) INFO: 17epoch:train:3601-3700batch: iter_time=7.673e-05, forward_time=0.174, loss_ctc=65.504, loss_att=49.043, acc=0.704, loss=53.982, backward_time=0.298, grad_norm=45.870, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.141, optim0_lr0=9.925e-05, train_time=1.568 +[gpua002:0/64] 2023-12-07 20:21:24,354 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-07 20:21:43,600 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 20:21:47,340 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 20:21:47,340 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-07 20:21:47,344 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 20:27:06,588 (trainer:737) INFO: 17epoch:train:3701-3800batch: iter_time=2.648, forward_time=0.171, loss_ctc=73.739, loss_att=56.720, acc=0.710, loss=61.826, backward_time=0.292, grad_norm=47.177, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.923e-05, train_time=4.354 +[gpua002:0/64] 2023-12-07 20:29:16,851 (trainer:737) INFO: 17epoch:train:3801-3900batch: iter_time=8.118e-05, forward_time=0.147, loss_ctc=59.515, loss_att=45.153, acc=0.715, loss=49.461, backward_time=0.293, grad_norm=48.656, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.921e-05, train_time=1.302 +[gpua002:0/64] 2023-12-07 20:31:24,110 (trainer:737) INFO: 17epoch:train:3901-4000batch: iter_time=7.971e-05, forward_time=0.147, loss_ctc=58.858, loss_att=43.637, acc=0.722, loss=48.203, backward_time=0.280, grad_norm=44.049, clip=100.000, loss_scale=3.132e+32, optim_step_time=0.135, optim0_lr0=9.919e-05, train_time=1.272 +[gpua002:0/64] 2023-12-07 20:33:41,709 (trainer:737) INFO: 17epoch:train:4001-4100batch: iter_time=8.228e-05, forward_time=0.147, loss_ctc=69.082, loss_att=57.170, acc=0.679, loss=60.744, backward_time=0.283, grad_norm=50.803, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.917e-05, train_time=1.376 +[gpua002:0/64] 2023-12-07 20:35:53,135 (trainer:737) INFO: 17epoch:train:4101-4200batch: iter_time=8.490e-05, forward_time=0.161, loss_ctc=71.872, loss_att=57.238, acc=0.707, loss=61.628, backward_time=0.283, grad_norm=46.210, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.138, optim0_lr0=9.915e-05, train_time=1.314 +[gpua002:0/64] 2023-12-07 20:38:23,396 (trainer:737) INFO: 17epoch:train:4201-4300batch: iter_time=8.269e-05, forward_time=0.147, loss_ctc=74.728, loss_att=58.632, acc=0.692, loss=63.461, backward_time=0.283, grad_norm=59.832, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.913e-05, train_time=1.502 +[gpua002:0/64] 2023-12-07 20:40:48,270 (trainer:737) INFO: 17epoch:train:4301-4400batch: iter_time=8.399e-05, forward_time=0.190, loss_ctc=77.134, loss_att=62.696, acc=0.681, loss=67.027, backward_time=0.287, grad_norm=62.044, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.139, optim0_lr0=9.911e-05, train_time=1.448 +[gpua002:0/64] 2023-12-07 20:43:12,909 (trainer:737) INFO: 17epoch:train:4401-4500batch: iter_time=8.509e-05, forward_time=0.148, loss_ctc=70.140, loss_att=54.366, acc=0.696, loss=59.098, backward_time=0.281, grad_norm=48.596, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.909e-05, train_time=1.446 +[gpua002:0/64] 2023-12-07 20:45:45,838 (trainer:737) INFO: 17epoch:train:4501-4600batch: iter_time=8.372e-05, forward_time=0.147, loss_ctc=67.439, loss_att=54.878, acc=0.705, loss=58.646, backward_time=0.302, grad_norm=47.558, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.907e-05, train_time=1.529 +[gpua002:0/64] 2023-12-07 20:48:04,074 (trainer:737) INFO: 17epoch:train:4601-4700batch: iter_time=8.020e-05, forward_time=0.147, loss_ctc=85.146, loss_att=68.353, acc=0.692, loss=73.391, backward_time=0.289, grad_norm=52.091, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.905e-05, train_time=1.382 +[gpua002:0/64] 2023-12-07 20:50:21,389 (trainer:737) INFO: 17epoch:train:4701-4800batch: iter_time=8.174e-05, forward_time=0.149, loss_ctc=75.251, loss_att=58.399, acc=0.707, loss=63.455, backward_time=0.291, grad_norm=55.405, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.903e-05, train_time=1.373 +[gpua002:0/64] 2023-12-07 20:50:32,416 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 20:52:57,652 (trainer:737) INFO: 17epoch:train:4801-4900batch: iter_time=8.334e-05, forward_time=0.198, loss_ctc=78.376, loss_att=61.844, acc=0.698, loss=66.804, backward_time=0.318, grad_norm=58.188, clip=100.000, loss_scale=1.754e+32, optim_step_time=0.136, optim0_lr0=9.901e-05, train_time=1.561 +[gpua002:0/64] 2023-12-07 20:55:40,174 (trainer:737) INFO: 17epoch:train:4901-5000batch: iter_time=8.095e-05, forward_time=0.147, loss_ctc=71.436, loss_att=52.499, acc=0.716, loss=58.180, backward_time=0.293, grad_norm=50.628, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.899e-05, train_time=1.626 +[gpua002:0/64] 2023-12-07 20:56:00,203 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-07 20:56:19,404 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 20:56:22,883 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 20:56:22,883 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-07 20:56:22,888 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 21:03:04,885 (trainer:737) INFO: 17epoch:train:5001-5100batch: iter_time=2.763, forward_time=0.179, loss_ctc=63.349, loss_att=51.614, acc=0.717, loss=55.135, backward_time=0.320, grad_norm=44.552, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.897e-05, train_time=4.447 +[gpua002:0/64] 2023-12-07 21:05:21,172 (trainer:737) INFO: 17epoch:train:5101-5200batch: iter_time=8.136e-05, forward_time=0.149, loss_ctc=59.299, loss_att=46.792, acc=0.717, loss=50.544, backward_time=0.320, grad_norm=45.702, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.895e-05, train_time=1.363 +[gpua002:0/64] 2023-12-07 21:07:49,130 (trainer:737) INFO: 17epoch:train:5201-5300batch: iter_time=8.500e-05, forward_time=0.148, loss_ctc=59.455, loss_att=49.121, acc=0.714, loss=52.221, backward_time=0.301, grad_norm=46.596, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.893e-05, train_time=1.479 +[gpua002:0/64] 2023-12-07 21:09:56,686 (trainer:737) INFO: 17epoch:train:5301-5400batch: iter_time=8.039e-05, forward_time=0.149, loss_ctc=77.816, loss_att=64.955, acc=0.701, loss=68.813, backward_time=0.281, grad_norm=52.381, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.891e-05, train_time=1.275 +[gpua002:0/64] 2023-12-07 21:12:26,088 (trainer:737) INFO: 17epoch:train:5401-5500batch: iter_time=8.244e-05, forward_time=0.149, loss_ctc=66.905, loss_att=51.064, acc=0.713, loss=55.816, backward_time=0.299, grad_norm=49.823, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.889e-05, train_time=1.494 +[gpua002:0/64] 2023-12-07 21:14:36,995 (trainer:737) INFO: 17epoch:train:5501-5600batch: iter_time=7.906e-05, forward_time=0.149, loss_ctc=69.133, loss_att=54.985, acc=0.712, loss=59.230, backward_time=0.285, grad_norm=53.675, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.887e-05, train_time=1.309 +[gpua002:0/64] 2023-12-07 21:17:20,584 (trainer:737) INFO: 17epoch:train:5601-5700batch: iter_time=8.388e-05, forward_time=0.211, loss_ctc=81.856, loss_att=70.324, acc=0.669, loss=73.783, backward_time=0.319, grad_norm=65.091, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.885e-05, train_time=1.636 +[gpua002:0/64] 2023-12-07 21:19:42,659 (trainer:737) INFO: 17epoch:train:5701-5800batch: iter_time=8.086e-05, forward_time=0.152, loss_ctc=63.350, loss_att=51.133, acc=0.720, loss=54.798, backward_time=0.307, grad_norm=44.074, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.883e-05, train_time=1.420 +[gpua002:0/64] 2023-12-07 21:22:21,982 (trainer:737) INFO: 17epoch:train:5801-5900batch: iter_time=8.224e-05, forward_time=0.180, loss_ctc=78.860, loss_att=66.173, acc=0.692, loss=69.979, backward_time=0.337, grad_norm=50.124, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.881e-05, train_time=1.594 +[gpua002:0/64] 2023-12-07 21:23:41,935 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 21:25:38,502 (trainer:737) INFO: 17epoch:train:5901-6000batch: iter_time=8.349e-05, forward_time=0.157, loss_ctc=75.967, loss_att=58.937, acc=0.715, loss=64.046, backward_time=0.324, grad_norm=52.560, clip=100.000, loss_scale=1.115e+32, optim_step_time=0.136, optim0_lr0=9.879e-05, train_time=1.965 +[gpua002:0/64] 2023-12-07 21:28:07,623 (trainer:737) INFO: 17epoch:train:6001-6100batch: iter_time=7.806e-05, forward_time=0.149, loss_ctc=83.563, loss_att=67.092, acc=0.710, loss=72.033, backward_time=0.290, grad_norm=64.003, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.877e-05, train_time=1.491 +[gpua002:0/64] 2023-12-07 21:30:35,856 (trainer:737) INFO: 17epoch:train:6101-6200batch: iter_time=7.795e-05, forward_time=0.149, loss_ctc=64.828, loss_att=49.553, acc=0.709, loss=54.136, backward_time=0.316, grad_norm=45.806, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.875e-05, train_time=1.482 +[gpua002:0/64] 2023-12-07 21:31:57,058 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-07 21:32:16,402 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 21:32:20,324 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 21:32:20,324 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-07 21:32:20,327 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 21:37:49,873 (trainer:737) INFO: 17epoch:train:6201-6300batch: iter_time=2.948, forward_time=0.151, loss_ctc=72.857, loss_att=57.651, acc=0.713, loss=62.213, backward_time=0.282, grad_norm=46.561, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.873e-05, train_time=4.340 +[gpua002:0/64] 2023-12-07 21:39:53,911 (trainer:737) INFO: 17epoch:train:6301-6400batch: iter_time=8.351e-05, forward_time=0.148, loss_ctc=59.162, loss_att=45.950, acc=0.715, loss=49.913, backward_time=0.279, grad_norm=45.351, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.871e-05, train_time=1.240 +[gpua002:0/64] 2023-12-07 21:41:57,702 (trainer:737) INFO: 17epoch:train:6401-6500batch: iter_time=8.982e-04, forward_time=0.153, loss_ctc=58.903, loss_att=44.023, acc=0.722, loss=48.487, backward_time=0.278, grad_norm=46.886, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.869e-05, train_time=1.238 +[gpua002:0/64] 2023-12-07 21:44:07,565 (trainer:737) INFO: 17epoch:train:6501-6600batch: iter_time=7.683e-05, forward_time=0.185, loss_ctc=68.954, loss_att=57.532, acc=0.680, loss=60.959, backward_time=0.296, grad_norm=53.051, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=9.867e-05, train_time=1.298 +[gpua002:0/64] 2023-12-07 21:47:09,043 (trainer:737) INFO: 17epoch:train:6601-6700batch: iter_time=0.002, forward_time=0.176, loss_ctc=71.664, loss_att=56.971, acc=0.709, loss=61.379, backward_time=0.317, grad_norm=48.349, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.865e-05, train_time=1.815 +[gpua002:0/64] 2023-12-07 21:49:20,391 (trainer:737) INFO: 17epoch:train:6701-6800batch: iter_time=8.235e-05, forward_time=0.153, loss_ctc=75.178, loss_att=59.475, acc=0.692, loss=64.186, backward_time=0.283, grad_norm=62.585, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.863e-05, train_time=1.313 +[gpua002:0/64] 2023-12-07 21:51:43,051 (trainer:737) INFO: 17epoch:train:6801-6900batch: iter_time=8.351e-05, forward_time=0.163, loss_ctc=75.779, loss_att=61.201, acc=0.685, loss=65.574, backward_time=0.281, grad_norm=72.016, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.861e-05, train_time=1.426 +[gpua002:0/64] 2023-12-07 21:54:25,886 (trainer:737) INFO: 17epoch:train:6901-7000batch: iter_time=8.420e-05, forward_time=0.147, loss_ctc=69.706, loss_att=54.343, acc=0.697, loss=58.952, backward_time=0.290, grad_norm=50.153, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.859e-05, train_time=1.628 +[gpua002:0/64] 2023-12-07 21:56:55,470 (trainer:737) INFO: 17epoch:train:7001-7100batch: iter_time=8.431e-05, forward_time=0.147, loss_ctc=66.634, loss_att=54.924, acc=0.706, loss=58.437, backward_time=0.291, grad_norm=63.104, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.857e-05, train_time=1.496 +[gpua002:0/64] 2023-12-07 21:59:21,312 (trainer:737) INFO: 17epoch:train:7101-7200batch: iter_time=8.666e-05, forward_time=0.150, loss_ctc=84.578, loss_att=68.231, acc=0.694, loss=73.135, backward_time=0.302, grad_norm=55.070, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.855e-05, train_time=1.458 +[gpua002:0/64] 2023-12-07 22:01:57,463 (trainer:737) INFO: 17epoch:train:7201-7300batch: iter_time=8.144e-05, forward_time=0.147, loss_ctc=74.241, loss_att=57.708, acc=0.711, loss=62.668, backward_time=0.311, grad_norm=59.251, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.853e-05, train_time=1.562 +[gpua002:0/64] 2023-12-07 22:04:12,349 (trainer:737) INFO: 17epoch:train:7301-7400batch: iter_time=8.155e-05, forward_time=0.151, loss_ctc=76.816, loss_att=60.729, acc=0.701, loss=65.555, backward_time=0.289, grad_norm=54.520, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.851e-05, train_time=1.349 +[gpua002:0/64] 2023-12-07 22:06:46,023 (trainer:737) INFO: 17epoch:train:7401-7500batch: iter_time=7.734e-05, forward_time=0.171, loss_ctc=70.824, loss_att=52.290, acc=0.719, loss=57.850, backward_time=0.297, grad_norm=49.719, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=9.849e-05, train_time=1.536 +[gpua002:0/64] 2023-12-07 22:07:06,068 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-07 22:07:25,155 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 22:07:28,932 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 22:07:28,932 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-07 22:07:28,935 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 22:15:27,159 (trainer:737) INFO: 17epoch:train:7501-7600batch: iter_time=2.928, forward_time=0.176, loss_ctc=63.185, loss_att=50.469, acc=0.720, loss=54.284, backward_time=0.288, grad_norm=47.784, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.847e-05, train_time=5.211 +[gpua002:0/64] 2023-12-07 22:17:51,509 (trainer:737) INFO: 17epoch:train:7601-7700batch: iter_time=8.326e-05, forward_time=0.149, loss_ctc=58.771, loss_att=46.124, acc=0.719, loss=49.918, backward_time=0.308, grad_norm=45.377, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.845e-05, train_time=1.443 +[gpua002:0/64] 2023-12-07 22:20:20,522 (trainer:737) INFO: 17epoch:train:7701-7800batch: iter_time=8.241e-05, forward_time=0.148, loss_ctc=59.456, loss_att=48.347, acc=0.716, loss=51.680, backward_time=0.294, grad_norm=46.296, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.843e-05, train_time=1.490 +[gpua002:0/64] 2023-12-07 22:22:28,433 (trainer:737) INFO: 17epoch:train:7801-7900batch: iter_time=8.493e-05, forward_time=0.148, loss_ctc=77.737, loss_att=64.306, acc=0.703, loss=68.335, backward_time=0.289, grad_norm=49.755, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.841e-05, train_time=1.279 +[gpua002:0/64] 2023-12-07 22:25:22,687 (trainer:737) INFO: 17epoch:train:7901-8000batch: iter_time=8.046e-05, forward_time=0.148, loss_ctc=65.805, loss_att=50.351, acc=0.714, loss=54.987, backward_time=0.315, grad_norm=47.194, clip=100.000, loss_scale=1.314e+32, optim_step_time=0.134, optim0_lr0=9.839e-05, train_time=1.742 +[gpua002:0/64] 2023-12-07 22:27:27,136 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 22:28:03,132 (trainer:737) INFO: 17epoch:train:8001-8100batch: iter_time=7.533e-05, forward_time=0.151, loss_ctc=68.771, loss_att=54.159, acc=0.714, loss=58.543, backward_time=0.337, grad_norm=57.833, clip=100.000, loss_scale=1.434e+32, optim_step_time=0.135, optim0_lr0=9.837e-05, train_time=1.604 +[gpua002:0/64] 2023-12-07 22:31:13,794 (trainer:737) INFO: 17epoch:train:8101-8200batch: iter_time=8.353e-05, forward_time=0.148, loss_ctc=81.149, loss_att=70.465, acc=0.673, loss=73.670, backward_time=0.307, grad_norm=72.099, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.835e-05, train_time=1.906 +[gpua002:0/64] 2023-12-07 22:33:50,658 (trainer:737) INFO: 17epoch:train:8201-8300batch: iter_time=8.087e-05, forward_time=0.156, loss_ctc=63.043, loss_att=50.586, acc=0.721, loss=54.323, backward_time=0.322, grad_norm=44.222, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.833e-05, train_time=1.568 +[gpua002:0/64] 2023-12-07 22:36:15,598 (trainer:737) INFO: 17epoch:train:8301-8400batch: iter_time=7.969e-05, forward_time=0.175, loss_ctc=79.579, loss_att=66.571, acc=0.694, loss=70.473, backward_time=0.299, grad_norm=51.576, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.831e-05, train_time=1.449 +[gpua002:0/64] 2023-12-07 22:38:40,534 (trainer:737) INFO: 17epoch:train:8401-8500batch: iter_time=8.203e-05, forward_time=0.179, loss_ctc=76.127, loss_att=59.222, acc=0.717, loss=64.293, backward_time=0.310, grad_norm=47.253, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.829e-05, train_time=1.449 +[gpua002:0/64] 2023-12-07 22:41:19,551 (trainer:737) INFO: 17epoch:train:8501-8600batch: iter_time=9.147e-05, forward_time=0.175, loss_ctc=83.287, loss_att=67.159, acc=0.712, loss=71.997, backward_time=0.316, grad_norm=69.745, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=9.827e-05, train_time=1.590 +[gpua002:0/64] 2023-12-07 22:44:08,976 (trainer:737) INFO: 17epoch:train:8601-8700batch: iter_time=8.548e-05, forward_time=0.147, loss_ctc=63.876, loss_att=49.071, acc=0.712, loss=53.512, backward_time=0.307, grad_norm=47.291, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.825e-05, train_time=1.694 +[gpua002:0/64] 2023-12-07 22:46:06,365 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-07 22:46:26,323 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 22:46:29,906 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 22:46:29,906 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-07 22:46:29,909 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 22:52:21,567 (trainer:737) INFO: 17epoch:train:8701-8800batch: iter_time=3.078, forward_time=0.153, loss_ctc=73.070, loss_att=56.543, acc=0.722, loss=61.501, backward_time=0.377, grad_norm=47.660, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.823e-05, train_time=4.926 +[gpua002:0/64] 2023-12-07 22:54:36,495 (trainer:737) INFO: 17epoch:train:8801-8900batch: iter_time=8.655e-05, forward_time=0.148, loss_ctc=58.597, loss_att=45.716, acc=0.722, loss=49.580, backward_time=0.295, grad_norm=46.426, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.821e-05, train_time=1.349 +[gpua002:0/64] 2023-12-07 22:57:33,147 (trainer:737) INFO: 17epoch:train:8901-9000batch: iter_time=8.657e-05, forward_time=0.150, loss_ctc=58.879, loss_att=44.420, acc=0.726, loss=48.757, backward_time=0.299, grad_norm=54.451, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.819e-05, train_time=1.766 +[gpua002:0/64] 2023-12-07 23:00:16,966 (trainer:737) INFO: 17epoch:train:9001-9100batch: iter_time=8.833e-05, forward_time=0.147, loss_ctc=68.111, loss_att=57.537, acc=0.704, loss=60.709, backward_time=0.322, grad_norm=55.109, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.817e-05, train_time=1.638 +[gpua002:0/64] 2023-12-07 23:02:53,940 (trainer:737) INFO: 17epoch:train:9101-9200batch: iter_time=8.177e-05, forward_time=0.175, loss_ctc=71.732, loss_att=57.087, acc=0.715, loss=61.480, backward_time=0.332, grad_norm=48.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.815e-05, train_time=1.569 +[gpua002:0/64] 2023-12-07 23:05:27,662 (trainer:737) INFO: 17epoch:train:9201-9300batch: iter_time=8.551e-05, forward_time=0.155, loss_ctc=72.315, loss_att=59.561, acc=0.712, loss=63.387, backward_time=0.335, grad_norm=57.279, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.813e-05, train_time=1.537 +[gpua002:0/64] 2023-12-07 23:08:24,663 (trainer:737) INFO: 17epoch:train:9301-9400batch: iter_time=8.680e-05, forward_time=0.208, loss_ctc=75.107, loss_att=61.079, acc=0.689, loss=65.288, backward_time=0.372, grad_norm=69.241, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.811e-05, train_time=1.770 +[gpua002:0/64] 2023-12-07 23:10:50,735 (trainer:737) INFO: 17epoch:train:9401-9500batch: iter_time=9.149e-05, forward_time=0.148, loss_ctc=69.073, loss_att=54.628, acc=0.708, loss=58.962, backward_time=0.306, grad_norm=48.558, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.809e-05, train_time=1.460 +[gpua002:0/64] 2023-12-07 23:13:28,812 (trainer:737) INFO: 17epoch:train:9501-9600batch: iter_time=8.654e-05, forward_time=0.148, loss_ctc=66.694, loss_att=55.486, acc=0.712, loss=58.848, backward_time=0.287, grad_norm=45.166, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.807e-05, train_time=1.581 +[gpua002:0/64] 2023-12-07 23:15:59,560 (trainer:737) INFO: 17epoch:train:9601-9700batch: iter_time=8.346e-05, forward_time=0.148, loss_ctc=84.730, loss_att=68.705, acc=0.698, loss=73.513, backward_time=0.288, grad_norm=52.640, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.805e-05, train_time=1.507 +[gpua002:0/64] 2023-12-07 23:18:49,476 (trainer:737) INFO: 17epoch:train:9701-9800batch: iter_time=8.093e-05, forward_time=0.152, loss_ctc=74.207, loss_att=58.705, acc=0.716, loss=63.356, backward_time=0.337, grad_norm=52.123, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.803e-05, train_time=1.699 +[gpua002:0/64] 2023-12-07 23:21:10,427 (trainer:737) INFO: 17epoch:train:9801-9900batch: iter_time=8.415e-05, forward_time=0.148, loss_ctc=80.772, loss_att=62.320, acc=0.707, loss=67.855, backward_time=0.283, grad_norm=58.795, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.801e-05, train_time=1.409 +[gpua002:0/64] 2023-12-07 23:23:59,320 (trainer:737) INFO: 17epoch:train:9901-10000batch: iter_time=8.997e-05, forward_time=0.151, loss_ctc=70.806, loss_att=52.810, acc=0.723, loss=58.209, backward_time=0.360, grad_norm=50.590, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.799e-05, train_time=1.689 +[gpua002:0/64] 2023-12-07 23:24:19,349 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-07 23:24:38,617 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 23:24:42,205 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 23:24:42,205 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-07 23:24:42,208 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 23:32:55,929 (trainer:737) INFO: 17epoch:train:10001-10100batch: iter_time=3.019, forward_time=0.183, loss_ctc=63.055, loss_att=49.131, acc=0.724, loss=53.308, backward_time=0.283, grad_norm=45.077, clip=100.000, loss_scale=9.979e+31, optim_step_time=0.136, optim0_lr0=9.797e-05, train_time=5.366 +[gpua002:0/64] 2023-12-07 23:34:56,793 (trainer:737) INFO: 17epoch:train:10101-10200batch: iter_time=8.352e-05, forward_time=0.147, loss_ctc=58.344, loss_att=45.188, acc=0.722, loss=49.135, backward_time=0.279, grad_norm=47.663, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.796e-05, train_time=1.208 +[gpua002:0/64] 2023-12-07 23:37:25,545 (trainer:737) INFO: 17epoch:train:10201-10300batch: iter_time=8.435e-05, forward_time=0.148, loss_ctc=59.177, loss_att=47.053, acc=0.721, loss=50.690, backward_time=0.292, grad_norm=44.560, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.794e-05, train_time=1.487 +[gpua002:0/64] 2023-12-07 23:40:12,671 (trainer:737) INFO: 17epoch:train:10301-10400batch: iter_time=8.689e-05, forward_time=0.148, loss_ctc=77.377, loss_att=63.495, acc=0.706, loss=67.660, backward_time=0.294, grad_norm=50.057, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.792e-05, train_time=1.671 +[gpua002:0/64] 2023-12-07 23:41:03,898 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 23:43:55,945 (trainer:737) INFO: 17epoch:train:10401-10500batch: iter_time=8.856e-05, forward_time=0.155, loss_ctc=65.506, loss_att=49.820, acc=0.717, loss=54.526, backward_time=0.331, grad_norm=47.810, clip=100.000, loss_scale=1.082e+32, optim_step_time=0.134, optim0_lr0=9.790e-05, train_time=2.233 +[gpua002:0/64] 2023-12-07 23:47:06,570 (trainer:737) INFO: 17epoch:train:10501-10600batch: iter_time=8.284e-05, forward_time=0.148, loss_ctc=69.013, loss_att=53.878, acc=0.716, loss=58.419, backward_time=0.332, grad_norm=52.997, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.788e-05, train_time=1.906 +[gpua002:0/64] 2023-12-07 23:50:12,732 (trainer:737) INFO: 17epoch:train:10601-10700batch: iter_time=8.116e-05, forward_time=0.150, loss_ctc=80.687, loss_att=70.028, acc=0.674, loss=73.225, backward_time=0.371, grad_norm=66.647, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.786e-05, train_time=1.861 +[gpua002:0/64] 2023-12-07 23:53:26,190 (trainer:737) INFO: 17epoch:train:10701-10800batch: iter_time=8.557e-05, forward_time=0.154, loss_ctc=63.126, loss_att=50.475, acc=0.721, loss=54.271, backward_time=0.389, grad_norm=45.018, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.784e-05, train_time=1.934 +[gpua002:0/64] 2023-12-07 23:56:00,718 (trainer:737) INFO: 17epoch:train:10801-10900batch: iter_time=4.844e-04, forward_time=0.224, loss_ctc=78.431, loss_att=65.638, acc=0.697, loss=69.476, backward_time=0.316, grad_norm=50.789, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=9.782e-05, train_time=1.545 +[gpua002:0/64] 2023-12-07 23:59:41,985 (trainer:737) INFO: 17epoch:train:10901-11000batch: iter_time=8.956e-05, forward_time=0.254, loss_ctc=76.056, loss_att=58.635, acc=0.718, loss=63.861, backward_time=0.327, grad_norm=49.113, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=9.780e-05, train_time=2.212 +[gpua002:0/64] 2023-12-08 00:02:45,225 (trainer:737) INFO: 17epoch:train:11001-11100batch: iter_time=8.733e-05, forward_time=0.148, loss_ctc=82.576, loss_att=66.090, acc=0.714, loss=71.036, backward_time=0.384, grad_norm=61.057, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.778e-05, train_time=1.832 +[gpua002:0/64] 2023-12-08 00:05:05,043 (trainer:737) INFO: 17epoch:train:11101-11200batch: iter_time=8.322e-05, forward_time=0.151, loss_ctc=64.140, loss_att=48.738, acc=0.713, loss=53.358, backward_time=0.297, grad_norm=47.219, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.776e-05, train_time=1.398 +[gpua002:0/64] 2023-12-08 00:06:37,272 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-08 00:06:56,824 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 00:07:00,453 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 00:07:00,453 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-08 00:07:00,456 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 00:16:58,133 (trainer:737) INFO: 17epoch:train:11201-11300batch: iter_time=4.046, forward_time=0.157, loss_ctc=72.629, loss_att=56.153, acc=0.723, loss=61.096, backward_time=0.287, grad_norm=45.578, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.774e-05, train_time=7.131 +[gpua002:0/64] 2023-12-08 00:21:07,694 (trainer:737) INFO: 17epoch:train:11301-11400batch: iter_time=8.807e-05, forward_time=0.149, loss_ctc=58.392, loss_att=45.469, acc=0.725, loss=49.346, backward_time=0.488, grad_norm=46.484, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.772e-05, train_time=2.495 +[gpua002:0/64] 2023-12-08 00:25:41,587 (trainer:737) INFO: 17epoch:train:11401-11500batch: iter_time=8.179e-05, forward_time=0.149, loss_ctc=58.158, loss_att=43.668, acc=0.728, loss=48.015, backward_time=0.496, grad_norm=43.120, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.770e-05, train_time=2.739 +[gpua002:0/64] 2023-12-08 00:29:36,608 (trainer:737) INFO: 17epoch:train:11501-11600batch: iter_time=8.274e-05, forward_time=0.153, loss_ctc=67.987, loss_att=56.626, acc=0.707, loss=60.034, backward_time=0.402, grad_norm=49.723, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.768e-05, train_time=2.350 +[gpua002:0/64] 2023-12-08 00:33:40,420 (trainer:737) INFO: 17epoch:train:11601-11700batch: iter_time=8.081e-05, forward_time=0.279, loss_ctc=71.089, loss_att=56.616, acc=0.716, loss=60.958, backward_time=0.529, grad_norm=46.986, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.149, optim0_lr0=9.766e-05, train_time=2.438 +[gpua002:0/64] 2023-12-08 00:37:22,343 (trainer:737) INFO: 17epoch:train:11701-11800batch: iter_time=8.099e-05, forward_time=0.149, loss_ctc=71.783, loss_att=58.630, acc=0.712, loss=62.576, backward_time=0.387, grad_norm=57.314, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.764e-05, train_time=2.219 +[gpua002:0/64] 2023-12-08 00:42:01,617 (trainer:737) INFO: 17epoch:train:11801-11900batch: iter_time=9.016e-05, forward_time=0.148, loss_ctc=75.528, loss_att=60.822, acc=0.692, loss=65.234, backward_time=0.564, grad_norm=75.756, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.762e-05, train_time=2.793 +[gpua002:0/64] 2023-12-08 00:45:41,927 (trainer:737) INFO: 17epoch:train:11901-12000batch: iter_time=8.576e-05, forward_time=0.148, loss_ctc=68.665, loss_att=53.991, acc=0.710, loss=58.393, backward_time=0.352, grad_norm=48.065, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.760e-05, train_time=2.203 +[gpua002:0/64] 2023-12-08 00:50:06,791 (trainer:737) INFO: 17epoch:train:12001-12100batch: iter_time=8.870e-05, forward_time=0.156, loss_ctc=65.989, loss_att=54.895, acc=0.715, loss=58.223, backward_time=0.492, grad_norm=45.058, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.759e-05, train_time=2.648 +[gpua002:0/64] 2023-12-08 00:50:20,161 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 00:54:10,217 (trainer:737) INFO: 17epoch:train:12101-12200batch: iter_time=8.574e-05, forward_time=0.157, loss_ctc=83.781, loss_att=68.039, acc=0.700, loss=72.762, backward_time=0.342, grad_norm=53.207, clip=100.000, loss_scale=4.220e+31, optim_step_time=0.134, optim0_lr0=9.757e-05, train_time=2.433 +[gpua002:0/64] 2023-12-08 00:57:39,585 (trainer:737) INFO: 17epoch:train:12201-12300batch: iter_time=8.607e-05, forward_time=0.149, loss_ctc=73.602, loss_att=58.010, acc=0.715, loss=62.688, backward_time=0.336, grad_norm=52.770, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.755e-05, train_time=2.094 +[gpua002:0/64] 2023-12-08 01:02:03,968 (trainer:737) INFO: 17epoch:train:12301-12400batch: iter_time=8.245e-05, forward_time=0.149, loss_ctc=78.361, loss_att=61.568, acc=0.709, loss=66.606, backward_time=0.529, grad_norm=58.740, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.753e-05, train_time=2.644 +[gpua002:0/64] 2023-12-08 01:05:46,084 (trainer:737) INFO: 17epoch:train:12401-12500batch: iter_time=8.724e-05, forward_time=0.210, loss_ctc=70.389, loss_att=52.356, acc=0.726, loss=57.766, backward_time=0.577, grad_norm=48.014, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=9.751e-05, train_time=2.221 +[gpua002:0/64] 2023-12-08 01:06:06,113 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-08 01:06:25,598 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 01:06:29,098 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 01:06:29,099 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-08 01:06:29,102 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 01:16:34,482 (trainer:737) INFO: 17epoch:train:12501-12600batch: iter_time=4.231, forward_time=0.183, loss_ctc=62.572, loss_att=48.605, acc=0.725, loss=52.795, backward_time=0.502, grad_norm=43.975, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.749e-05, train_time=6.484 +[gpua002:0/64] 2023-12-08 01:21:40,962 (trainer:737) INFO: 17epoch:train:12601-12700batch: iter_time=8.862e-05, forward_time=0.149, loss_ctc=58.831, loss_att=45.615, acc=0.722, loss=49.580, backward_time=0.612, grad_norm=50.573, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.747e-05, train_time=3.065 +[gpua002:0/64] 2023-12-08 01:26:44,990 (trainer:737) INFO: 17epoch:train:12701-12800batch: iter_time=8.356e-05, forward_time=0.154, loss_ctc=58.779, loss_att=46.554, acc=0.722, loss=50.222, backward_time=0.420, grad_norm=45.202, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.745e-05, train_time=3.040 +[gpua002:0/64] 2023-12-08 01:31:17,949 (trainer:737) INFO: 17epoch:train:12801-12900batch: iter_time=8.523e-05, forward_time=0.149, loss_ctc=77.663, loss_att=63.773, acc=0.707, loss=67.940, backward_time=0.491, grad_norm=50.460, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.743e-05, train_time=2.730 +[gpua002:0/64] 2023-12-08 01:35:46,711 (trainer:737) INFO: 17epoch:train:12901-13000batch: iter_time=8.327e-05, forward_time=0.215, loss_ctc=65.188, loss_att=49.621, acc=0.719, loss=54.291, backward_time=0.531, grad_norm=45.396, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.161, optim0_lr0=9.741e-05, train_time=2.687 +[gpua002:0/64] 2023-12-08 01:40:13,280 (trainer:737) INFO: 17epoch:train:13001-13100batch: iter_time=8.352e-05, forward_time=0.166, loss_ctc=69.294, loss_att=54.226, acc=0.715, loss=58.747, backward_time=0.420, grad_norm=52.247, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.739e-05, train_time=2.665 +[gpua002:0/64] 2023-12-08 01:44:42,546 (trainer:737) INFO: 17epoch:train:13101-13200batch: iter_time=8.407e-05, forward_time=0.184, loss_ctc=80.366, loss_att=68.573, acc=0.678, loss=72.111, backward_time=0.532, grad_norm=65.935, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=9.737e-05, train_time=2.692 +[gpua002:0/64] 2023-12-08 01:48:26,902 (trainer:737) INFO: 17epoch:train:13201-13300batch: iter_time=8.185e-05, forward_time=0.150, loss_ctc=62.257, loss_att=48.698, acc=0.730, loss=52.765, backward_time=0.402, grad_norm=41.433, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.735e-05, train_time=2.243 +[gpua002:0/64] 2023-12-08 01:52:40,209 (trainer:737) INFO: 17epoch:train:13301-13400batch: iter_time=8.273e-05, forward_time=0.158, loss_ctc=78.425, loss_att=66.055, acc=0.697, loss=69.766, backward_time=0.396, grad_norm=51.092, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.733e-05, train_time=2.533 +[gpua002:0/64] 2023-12-08 01:57:28,753 (trainer:737) INFO: 17epoch:train:13401-13500batch: iter_time=8.287e-05, forward_time=0.194, loss_ctc=75.434, loss_att=58.306, acc=0.720, loss=63.445, backward_time=0.531, grad_norm=49.253, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=9.732e-05, train_time=2.886 +[gpua002:0/64] 2023-12-08 02:01:41,182 (trainer:737) INFO: 17epoch:train:13501-13600batch: iter_time=8.920e-05, forward_time=0.185, loss_ctc=80.612, loss_att=65.232, acc=0.715, loss=69.846, backward_time=0.476, grad_norm=63.941, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=9.730e-05, train_time=2.524 +[gpua002:0/64] 2023-12-08 02:05:09,426 (trainer:737) INFO: 17epoch:train:13601-13700batch: iter_time=9.217e-05, forward_time=0.176, loss_ctc=64.142, loss_att=48.326, acc=0.714, loss=53.071, backward_time=0.361, grad_norm=48.183, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.728e-05, train_time=2.082 +[gpua002:0/64] 2023-12-08 02:07:04,163 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-08 02:07:23,693 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 02:07:27,322 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 02:07:27,322 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-08 02:07:27,325 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 02:14:56,991 (trainer:737) INFO: 17epoch:train:13701-13800batch: iter_time=3.910, forward_time=0.249, loss_ctc=72.764, loss_att=57.933, acc=0.716, loss=62.382, backward_time=0.331, grad_norm=49.204, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=9.726e-05, train_time=5.875 +[gpua002:0/64] 2023-12-08 02:17:11,509 (trainer:737) INFO: 17epoch:train:13801-13900batch: iter_time=7.948e-05, forward_time=0.148, loss_ctc=57.971, loss_att=46.756, acc=0.714, loss=50.121, backward_time=0.284, grad_norm=45.456, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.724e-05, train_time=1.345 +[gpua002:0/64] 2023-12-08 02:20:12,752 (trainer:737) INFO: 17epoch:train:13901-14000batch: iter_time=8.363e-05, forward_time=0.147, loss_ctc=58.717, loss_att=44.483, acc=0.722, loss=48.753, backward_time=0.313, grad_norm=45.903, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.722e-05, train_time=1.812 +[gpua002:0/64] 2023-12-08 02:23:55,088 (trainer:737) INFO: 17epoch:train:14001-14100batch: iter_time=5.726e-04, forward_time=0.196, loss_ctc=67.497, loss_att=58.612, acc=0.680, loss=61.277, backward_time=0.487, grad_norm=51.155, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.156, optim0_lr0=9.720e-05, train_time=2.223 +[gpua002:0/64] 2023-12-08 02:27:01,600 (trainer:737) INFO: 17epoch:train:14101-14200batch: iter_time=8.648e-05, forward_time=0.146, loss_ctc=70.903, loss_att=57.173, acc=0.710, loss=61.292, backward_time=0.317, grad_norm=48.654, clip=100.000, loss_scale=7.910e+31, optim_step_time=0.134, optim0_lr0=9.718e-05, train_time=1.865 +[gpua002:0/64] 2023-12-08 02:29:34,637 (trainer:737) INFO: 17epoch:train:14201-14300batch: iter_time=8.657e-05, forward_time=0.146, loss_ctc=72.523, loss_att=59.744, acc=0.694, loss=63.578, backward_time=0.308, grad_norm=59.075, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.716e-05, train_time=1.530 +[gpua002:0/64] 2023-12-08 02:32:45,970 (trainer:737) INFO: 17epoch:train:14301-14400batch: iter_time=4.614e-04, forward_time=0.311, loss_ctc=73.827, loss_att=60.423, acc=0.690, loss=64.444, backward_time=0.348, grad_norm=73.713, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.143, optim0_lr0=9.714e-05, train_time=1.911 +[gpua002:0/64] 2023-12-08 02:36:28,490 (trainer:737) INFO: 17epoch:train:14401-14500batch: iter_time=7.931e-05, forward_time=0.177, loss_ctc=67.858, loss_att=54.071, acc=0.699, loss=58.207, backward_time=0.341, grad_norm=48.884, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.712e-05, train_time=2.227 +[gpua002:0/64] 2023-12-08 02:40:03,894 (trainer:737) INFO: 17epoch:train:14501-14600batch: iter_time=7.568e-05, forward_time=0.147, loss_ctc=65.275, loss_att=54.256, acc=0.710, loss=57.562, backward_time=0.394, grad_norm=45.575, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.711e-05, train_time=2.154 +[gpua002:0/64] 2023-12-08 02:43:37,874 (trainer:737) INFO: 17epoch:train:14601-14700batch: iter_time=8.338e-05, forward_time=0.298, loss_ctc=83.410, loss_att=68.033, acc=0.694, loss=72.646, backward_time=0.332, grad_norm=49.959, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.154, optim0_lr0=9.709e-05, train_time=2.139 +[gpua002:0/64] 2023-12-08 02:46:26,111 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 02:46:29,773 (trainer:737) INFO: 17epoch:train:14701-14800batch: iter_time=8.867e-05, forward_time=0.147, loss_ctc=73.926, loss_att=57.581, acc=0.714, loss=62.484, backward_time=0.288, grad_norm=54.222, clip=100.000, loss_scale=7.990e+31, optim_step_time=0.134, optim0_lr0=9.707e-05, train_time=1.719 +[gpua002:0/64] 2023-12-08 02:50:05,250 (trainer:737) INFO: 17epoch:train:14801-14900batch: iter_time=7.427e-04, forward_time=0.298, loss_ctc=78.850, loss_att=61.419, acc=0.702, loss=66.648, backward_time=0.434, grad_norm=61.057, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.166, optim0_lr0=9.705e-05, train_time=2.154 +[gpua002:0/64] 2023-12-08 02:53:14,874 (trainer:737) INFO: 17epoch:train:14901-15000batch: iter_time=1.137e-04, forward_time=0.187, loss_ctc=70.509, loss_att=52.181, acc=0.720, loss=57.680, backward_time=0.369, grad_norm=46.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.703e-05, train_time=1.897 +[gpua002:0/64] 2023-12-08 03:22:57,104 (trainer:343) INFO: 17epoch results: [train] iter_time=0.248, forward_time=0.164, loss_ctc=70.920, loss_att=56.309, acc=0.705, loss=60.692, backward_time=0.335, grad_norm=52.257, clip=100.000, loss_scale=1.310e+32, optim_step_time=0.136, optim0_lr0=9.849e-05, train_time=2.011, time=8 hours, 23 minutes and 18.88 seconds, total_count=255000, gpu_max_cached_mem_GB=35.939, [valid] loss_ctc=40.267, cer_ctc=0.212, loss_att=37.501, acc=0.687, cer=0.280, wer=0.990, loss=38.331, time=29 minutes and 17.96 seconds, total_count=79407, gpu_max_cached_mem_GB=35.939 +[gpua002:0/64] 2023-12-08 03:23:18,365 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua002:0/64] 2023-12-08 03:23:18,549 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/12epoch.pth +[gpua002:0/64] 2023-12-08 03:23:18,549 (trainer:272) INFO: 18/40epoch started. Estimated time to finish: 1 week, 1 day and 21 hours +[gpua002:0/64] 2023-12-08 03:23:18,562 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-08 03:23:37,110 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 03:23:40,532 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 03:23:40,532 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-08 03:23:40,535 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 03:36:26,341 (trainer:737) INFO: 18epoch:train:1-100batch: iter_time=3.393, forward_time=0.209, loss_ctc=63.455, loss_att=50.980, acc=0.709, loss=54.722, backward_time=0.328, grad_norm=49.067, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.701e-05, train_time=7.877 +[gpua002:0/64] 2023-12-08 03:38:28,313 (trainer:737) INFO: 18epoch:train:101-200batch: iter_time=8.365e-05, forward_time=0.146, loss_ctc=63.578, loss_att=52.500, acc=0.696, loss=55.824, backward_time=0.280, grad_norm=47.325, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.699e-05, train_time=1.220 +[gpua002:0/64] 2023-12-08 03:40:36,123 (trainer:737) INFO: 18epoch:train:201-300batch: iter_time=8.522e-05, forward_time=0.146, loss_ctc=76.557, loss_att=65.280, acc=0.699, loss=68.663, backward_time=0.288, grad_norm=58.359, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.697e-05, train_time=1.278 +[gpua002:0/64] 2023-12-08 03:43:44,014 (trainer:737) INFO: 18epoch:train:301-400batch: iter_time=8.781e-05, forward_time=0.148, loss_ctc=65.942, loss_att=53.493, acc=0.673, loss=57.228, backward_time=0.325, grad_norm=51.203, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.695e-05, train_time=1.879 +[gpua002:0/64] 2023-12-08 03:46:33,932 (trainer:737) INFO: 18epoch:train:401-500batch: iter_time=8.532e-05, forward_time=0.147, loss_ctc=71.353, loss_att=60.771, acc=0.698, loss=63.945, backward_time=0.326, grad_norm=50.104, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.693e-05, train_time=1.699 +[gpua002:0/64] 2023-12-08 03:49:43,843 (trainer:737) INFO: 18epoch:train:501-600batch: iter_time=9.123e-05, forward_time=0.148, loss_ctc=87.467, loss_att=71.212, acc=0.685, loss=76.089, backward_time=0.377, grad_norm=59.645, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.692e-05, train_time=1.899 +[gpua002:0/64] 2023-12-08 03:52:42,067 (trainer:737) INFO: 18epoch:train:601-700batch: iter_time=8.136e-05, forward_time=0.158, loss_ctc=76.591, loss_att=54.728, acc=0.705, loss=61.287, backward_time=0.367, grad_norm=53.943, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.690e-05, train_time=1.782 +[gpua002:0/64] 2023-12-08 03:55:52,821 (trainer:737) INFO: 18epoch:train:701-800batch: iter_time=7.982e-05, forward_time=0.239, loss_ctc=76.045, loss_att=61.213, acc=0.712, loss=65.663, backward_time=0.395, grad_norm=49.489, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=9.688e-05, train_time=1.907 +[gpua002:0/64] 2023-12-08 03:58:24,930 (trainer:737) INFO: 18epoch:train:801-900batch: iter_time=8.419e-05, forward_time=0.161, loss_ctc=76.797, loss_att=66.094, acc=0.688, loss=69.305, backward_time=0.293, grad_norm=57.873, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.686e-05, train_time=1.521 +[gpua002:0/64] 2023-12-08 04:01:00,140 (trainer:737) INFO: 18epoch:train:901-1000batch: iter_time=8.834e-05, forward_time=0.147, loss_ctc=73.483, loss_att=59.342, acc=0.683, loss=63.585, backward_time=0.346, grad_norm=51.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.684e-05, train_time=1.552 +[gpua002:0/64] 2023-12-08 04:03:55,134 (trainer:737) INFO: 18epoch:train:1001-1100batch: iter_time=7.983e-05, forward_time=0.146, loss_ctc=72.028, loss_att=54.355, acc=0.694, loss=59.657, backward_time=0.303, grad_norm=55.872, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.682e-05, train_time=1.750 +[gpua002:0/64] 2023-12-08 04:06:56,620 (trainer:737) INFO: 18epoch:train:1101-1200batch: iter_time=7.726e-05, forward_time=0.151, loss_ctc=76.143, loss_att=54.305, acc=0.715, loss=60.856, backward_time=0.327, grad_norm=51.250, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.680e-05, train_time=1.815 +[gpua002:0/64] 2023-12-08 04:08:25,260 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-08 04:08:44,892 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 04:08:48,473 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 04:08:48,473 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-08 04:08:48,476 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 04:18:42,835 (trainer:737) INFO: 18epoch:train:1201-1300batch: iter_time=2.996, forward_time=0.158, loss_ctc=76.259, loss_att=57.227, acc=0.709, loss=62.937, backward_time=0.285, grad_norm=53.358, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.678e-05, train_time=7.062 +[gpua002:0/64] 2023-12-08 04:21:08,900 (trainer:737) INFO: 18epoch:train:1301-1400batch: iter_time=7.661e-05, forward_time=0.147, loss_ctc=62.403, loss_att=51.700, acc=0.721, loss=54.911, backward_time=0.286, grad_norm=43.593, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.676e-05, train_time=1.460 +[gpua002:0/64] 2023-12-08 04:23:51,023 (trainer:737) INFO: 18epoch:train:1401-1500batch: iter_time=7.942e-05, forward_time=0.230, loss_ctc=71.985, loss_att=66.329, acc=0.696, loss=68.026, backward_time=0.328, grad_norm=53.430, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=9.674e-05, train_time=1.621 +[gpua002:0/64] 2023-12-08 04:26:09,340 (trainer:737) INFO: 18epoch:train:1501-1600batch: iter_time=7.683e-05, forward_time=0.182, loss_ctc=67.502, loss_att=52.598, acc=0.717, loss=57.069, backward_time=0.288, grad_norm=50.956, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.673e-05, train_time=1.383 +[gpua002:0/64] 2023-12-08 04:29:15,243 (trainer:737) INFO: 18epoch:train:1601-1700batch: iter_time=7.542e-05, forward_time=0.146, loss_ctc=70.277, loss_att=60.526, acc=0.690, loss=63.451, backward_time=0.335, grad_norm=50.508, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.671e-05, train_time=1.859 +[gpua002:0/64] 2023-12-08 04:31:54,649 (trainer:737) INFO: 18epoch:train:1701-1800batch: iter_time=8.032e-05, forward_time=0.146, loss_ctc=77.796, loss_att=66.933, acc=0.694, loss=70.192, backward_time=0.305, grad_norm=53.880, clip=100.000, loss_scale=4.178e+31, optim_step_time=0.135, optim0_lr0=9.669e-05, train_time=1.594 +[gpua002:0/64] 2023-12-08 04:34:50,176 (trainer:737) INFO: 18epoch:train:1801-1900batch: iter_time=8.090e-05, forward_time=0.147, loss_ctc=79.094, loss_att=59.490, acc=0.711, loss=65.371, backward_time=0.332, grad_norm=51.626, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.667e-05, train_time=1.755 +[gpua002:0/64] 2023-12-08 04:38:36,682 (trainer:737) INFO: 18epoch:train:1901-2000batch: iter_time=8.136e-05, forward_time=0.154, loss_ctc=78.691, loss_att=62.365, acc=0.714, loss=67.263, backward_time=0.387, grad_norm=55.215, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.665e-05, train_time=2.265 +[gpua002:0/64] 2023-12-08 04:41:05,237 (trainer:737) INFO: 18epoch:train:2001-2100batch: iter_time=8.128e-05, forward_time=0.152, loss_ctc=72.334, loss_att=61.616, acc=0.708, loss=64.832, backward_time=0.298, grad_norm=56.761, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.663e-05, train_time=1.485 +[gpua002:0/64] 2023-12-08 04:43:43,545 (trainer:737) INFO: 18epoch:train:2101-2200batch: iter_time=7.642e-05, forward_time=0.148, loss_ctc=72.317, loss_att=61.041, acc=0.699, loss=64.424, backward_time=0.308, grad_norm=48.701, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.661e-05, train_time=1.583 +[gpua002:0/64] 2023-12-08 04:46:37,328 (trainer:737) INFO: 18epoch:train:2201-2300batch: iter_time=7.857e-05, forward_time=0.147, loss_ctc=68.436, loss_att=54.001, acc=0.697, loss=58.332, backward_time=0.328, grad_norm=46.750, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.659e-05, train_time=1.738 +[gpua002:0/64] 2023-12-08 04:49:54,093 (trainer:737) INFO: 18epoch:train:2301-2400batch: iter_time=8.301e-05, forward_time=0.206, loss_ctc=78.896, loss_att=56.595, acc=0.707, loss=63.285, backward_time=0.419, grad_norm=57.761, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.658e-05, train_time=1.967 +[gpua002:0/64] 2023-12-08 04:52:27,651 (trainer:737) INFO: 18epoch:train:2401-2500batch: iter_time=8.083e-05, forward_time=0.165, loss_ctc=79.964, loss_att=59.971, acc=0.722, loss=65.969, backward_time=0.321, grad_norm=49.423, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.656e-05, train_time=1.535 +[gpua002:0/64] 2023-12-08 04:52:47,879 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-08 04:53:07,179 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 04:53:10,805 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 04:53:10,805 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-08 04:53:10,808 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 05:00:42,544 (trainer:737) INFO: 18epoch:train:2501-2600batch: iter_time=3.627, forward_time=0.210, loss_ctc=64.387, loss_att=50.397, acc=0.720, loss=54.594, backward_time=0.294, grad_norm=45.554, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.654e-05, train_time=4.949 +[gpua002:0/64] 2023-12-08 05:02:41,941 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 05:03:03,880 (trainer:737) INFO: 18epoch:train:2601-2700batch: iter_time=8.189e-05, forward_time=0.147, loss_ctc=62.910, loss_att=52.144, acc=0.715, loss=55.374, backward_time=0.299, grad_norm=44.081, clip=100.000, loss_scale=7.375e+31, optim_step_time=0.135, optim0_lr0=9.652e-05, train_time=1.413 +[gpua002:0/64] 2023-12-08 05:06:13,191 (trainer:737) INFO: 18epoch:train:2701-2800batch: iter_time=8.172e-05, forward_time=0.147, loss_ctc=74.780, loss_att=63.476, acc=0.715, loss=66.867, backward_time=0.312, grad_norm=51.877, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.650e-05, train_time=1.893 +[gpua002:0/64] 2023-12-08 05:09:06,996 (trainer:737) INFO: 18epoch:train:2801-2900batch: iter_time=8.147e-05, forward_time=0.335, loss_ctc=64.938, loss_att=52.481, acc=0.695, loss=56.218, backward_time=0.363, grad_norm=46.847, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.142, optim0_lr0=9.648e-05, train_time=1.738 +[gpua002:0/64] 2023-12-08 05:11:22,120 (trainer:737) INFO: 18epoch:train:2901-3000batch: iter_time=8.488e-05, forward_time=0.150, loss_ctc=70.847, loss_att=60.282, acc=0.707, loss=63.452, backward_time=0.292, grad_norm=47.658, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.646e-05, train_time=1.350 +[gpua002:0/64] 2023-12-08 05:13:59,141 (trainer:737) INFO: 18epoch:train:3001-3100batch: iter_time=8.047e-05, forward_time=0.148, loss_ctc=83.154, loss_att=69.440, acc=0.700, loss=73.554, backward_time=0.295, grad_norm=60.304, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.644e-05, train_time=1.571 +[gpua002:0/64] 2023-12-08 05:16:08,695 (trainer:737) INFO: 18epoch:train:3101-3200batch: iter_time=7.853e-05, forward_time=0.150, loss_ctc=73.798, loss_att=54.650, acc=0.716, loss=60.394, backward_time=0.284, grad_norm=54.403, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.643e-05, train_time=1.295 +[gpua002:0/64] 2023-12-08 05:18:50,092 (trainer:737) INFO: 18epoch:train:3201-3300batch: iter_time=7.934e-05, forward_time=0.149, loss_ctc=74.812, loss_att=60.063, acc=0.723, loss=64.488, backward_time=0.335, grad_norm=45.629, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.641e-05, train_time=1.614 +[gpua002:0/64] 2023-12-08 05:21:58,711 (trainer:737) INFO: 18epoch:train:3301-3400batch: iter_time=3.967e-04, forward_time=0.193, loss_ctc=74.022, loss_att=65.094, acc=0.701, loss=67.773, backward_time=0.458, grad_norm=54.504, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=9.639e-05, train_time=1.885 +[gpua002:0/64] 2023-12-08 05:24:30,957 (trainer:737) INFO: 18epoch:train:3401-3500batch: iter_time=8.361e-05, forward_time=0.147, loss_ctc=72.086, loss_att=58.850, acc=0.690, loss=62.821, backward_time=0.315, grad_norm=49.857, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.637e-05, train_time=1.523 +[gpua002:0/64] 2023-12-08 05:27:04,844 (trainer:737) INFO: 18epoch:train:3501-3600batch: iter_time=8.468e-05, forward_time=0.147, loss_ctc=71.244, loss_att=53.161, acc=0.706, loss=58.586, backward_time=0.315, grad_norm=50.796, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.635e-05, train_time=1.539 +[gpua002:0/64] 2023-12-08 05:29:52,413 (trainer:737) INFO: 18epoch:train:3601-3700batch: iter_time=8.543e-05, forward_time=0.147, loss_ctc=75.059, loss_att=53.195, acc=0.730, loss=59.754, backward_time=0.332, grad_norm=45.377, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.633e-05, train_time=1.675 +[gpua002:0/64] 2023-12-08 05:31:44,328 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-08 05:32:04,192 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 05:32:07,738 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 05:32:07,739 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-08 05:32:07,742 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 05:38:21,315 (trainer:737) INFO: 18epoch:train:3701-3800batch: iter_time=3.024, forward_time=0.281, loss_ctc=75.027, loss_att=56.063, acc=0.719, loss=61.753, backward_time=0.362, grad_norm=55.090, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=9.631e-05, train_time=5.089 +[gpua002:0/64] 2023-12-08 05:40:27,115 (trainer:737) INFO: 18epoch:train:3801-3900batch: iter_time=7.991e-05, forward_time=0.147, loss_ctc=61.780, loss_att=49.493, acc=0.729, loss=53.179, backward_time=0.281, grad_norm=43.139, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.630e-05, train_time=1.258 +[gpua002:0/64] 2023-12-08 05:42:28,573 (trainer:737) INFO: 18epoch:train:3901-4000batch: iter_time=8.478e-05, forward_time=0.147, loss_ctc=70.621, loss_att=64.699, acc=0.702, loss=66.476, backward_time=0.281, grad_norm=52.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.628e-05, train_time=1.214 +[gpua002:0/64] 2023-12-08 05:45:15,380 (trainer:737) INFO: 18epoch:train:4001-4100batch: iter_time=8.409e-05, forward_time=0.147, loss_ctc=66.691, loss_att=51.637, acc=0.722, loss=56.153, backward_time=0.300, grad_norm=47.694, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.626e-05, train_time=1.668 +[gpua002:0/64] 2023-12-08 05:47:32,625 (trainer:737) INFO: 18epoch:train:4101-4200batch: iter_time=7.776e-05, forward_time=0.150, loss_ctc=69.574, loss_att=59.976, acc=0.696, loss=62.855, backward_time=0.288, grad_norm=48.510, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.624e-05, train_time=1.372 +[gpua002:0/64] 2023-12-08 05:49:45,333 (trainer:737) INFO: 18epoch:train:4201-4300batch: iter_time=8.390e-05, forward_time=0.147, loss_ctc=75.560, loss_att=64.846, acc=0.699, loss=68.061, backward_time=0.292, grad_norm=59.233, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.622e-05, train_time=1.327 +[gpua002:0/64] 2023-12-08 05:52:34,928 (trainer:737) INFO: 18epoch:train:4301-4400batch: iter_time=8.000e-05, forward_time=0.147, loss_ctc=78.306, loss_att=58.962, acc=0.714, loss=64.765, backward_time=0.319, grad_norm=53.765, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.620e-05, train_time=1.696 +[gpua002:0/64] 2023-12-08 05:56:01,401 (trainer:737) INFO: 18epoch:train:4401-4500batch: iter_time=0.011, forward_time=0.280, loss_ctc=77.572, loss_att=61.743, acc=0.717, loss=66.492, backward_time=0.337, grad_norm=54.029, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=9.618e-05, train_time=2.061 +[gpua002:0/64] 2023-12-08 05:58:43,463 (trainer:737) INFO: 18epoch:train:4501-4600batch: iter_time=8.307e-05, forward_time=0.148, loss_ctc=70.926, loss_att=60.581, acc=0.711, loss=63.685, backward_time=0.290, grad_norm=47.121, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.617e-05, train_time=1.620 +[gpua002:0/64] 2023-12-08 06:01:27,993 (trainer:737) INFO: 18epoch:train:4601-4700batch: iter_time=8.113e-05, forward_time=0.148, loss_ctc=71.712, loss_att=60.171, acc=0.703, loss=63.633, backward_time=0.297, grad_norm=53.250, clip=100.000, loss_scale=4.787e+31, optim_step_time=0.135, optim0_lr0=9.615e-05, train_time=1.645 +[gpua002:0/64] 2023-12-08 06:03:54,458 (trainer:737) INFO: 18epoch:train:4701-4800batch: iter_time=8.284e-05, forward_time=0.147, loss_ctc=68.041, loss_att=53.463, acc=0.700, loss=57.836, backward_time=0.293, grad_norm=51.443, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.613e-05, train_time=1.464 +[gpua002:0/64] 2023-12-08 06:06:34,045 (trainer:737) INFO: 18epoch:train:4801-4900batch: iter_time=7.965e-05, forward_time=0.147, loss_ctc=76.025, loss_att=55.099, acc=0.713, loss=61.377, backward_time=0.338, grad_norm=57.378, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.611e-05, train_time=1.596 +[gpua002:0/64] 2023-12-08 06:08:35,248 (trainer:737) INFO: 18epoch:train:4901-5000batch: iter_time=8.141e-05, forward_time=0.147, loss_ctc=79.455, loss_att=58.701, acc=0.725, loss=64.927, backward_time=0.280, grad_norm=51.958, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.609e-05, train_time=1.212 +[gpua002:0/64] 2023-12-08 06:08:55,300 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-08 06:09:14,554 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 06:09:18,156 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 06:09:18,156 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-08 06:09:18,159 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 06:15:59,002 (trainer:737) INFO: 18epoch:train:5001-5100batch: iter_time=3.105, forward_time=0.179, loss_ctc=64.041, loss_att=50.237, acc=0.720, loss=54.378, backward_time=0.285, grad_norm=50.949, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.607e-05, train_time=4.437 +[gpua002:0/64] 2023-12-08 06:18:33,543 (trainer:737) INFO: 18epoch:train:5101-5200batch: iter_time=7.855e-05, forward_time=0.148, loss_ctc=62.566, loss_att=51.601, acc=0.720, loss=54.891, backward_time=0.299, grad_norm=43.239, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.605e-05, train_time=1.545 +[gpua002:0/64] 2023-12-08 06:20:43,040 (trainer:737) INFO: 18epoch:train:5201-5300batch: iter_time=8.214e-05, forward_time=0.164, loss_ctc=73.545, loss_att=62.865, acc=0.716, loss=66.069, backward_time=0.280, grad_norm=54.149, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.604e-05, train_time=1.295 +[gpua002:0/64] 2023-12-08 06:22:50,681 (trainer:737) INFO: 18epoch:train:5301-5400batch: iter_time=7.912e-05, forward_time=0.148, loss_ctc=64.665, loss_att=51.942, acc=0.697, loss=55.759, backward_time=0.292, grad_norm=46.349, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.602e-05, train_time=1.276 +[gpua002:0/64] 2023-12-08 06:25:01,885 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 06:25:04,301 (trainer:737) INFO: 18epoch:train:5401-5500batch: iter_time=8.288e-05, forward_time=0.148, loss_ctc=69.960, loss_att=59.620, acc=0.713, loss=62.722, backward_time=0.287, grad_norm=47.115, clip=100.000, loss_scale=8.031e+31, optim_step_time=0.135, optim0_lr0=9.600e-05, train_time=1.336 +[gpua002:0/64] 2023-12-08 06:28:04,995 (trainer:737) INFO: 18epoch:train:5501-5600batch: iter_time=8.582e-05, forward_time=0.147, loss_ctc=81.985, loss_att=68.310, acc=0.702, loss=72.412, backward_time=0.315, grad_norm=61.247, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.598e-05, train_time=1.807 +[gpua002:0/64] 2023-12-08 06:30:21,635 (trainer:737) INFO: 18epoch:train:5601-5700batch: iter_time=8.620e-05, forward_time=0.147, loss_ctc=74.195, loss_att=54.521, acc=0.720, loss=60.423, backward_time=0.297, grad_norm=51.859, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.596e-05, train_time=1.366 +[gpua002:0/64] 2023-12-08 06:32:57,945 (trainer:737) INFO: 18epoch:train:5701-5800batch: iter_time=8.814e-05, forward_time=0.148, loss_ctc=73.990, loss_att=59.820, acc=0.727, loss=64.071, backward_time=0.290, grad_norm=45.867, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.594e-05, train_time=1.563 +[gpua002:0/64] 2023-12-08 06:35:15,320 (trainer:737) INFO: 18epoch:train:5801-5900batch: iter_time=8.308e-05, forward_time=0.163, loss_ctc=72.852, loss_att=63.757, acc=0.704, loss=66.486, backward_time=0.295, grad_norm=53.991, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.593e-05, train_time=1.374 +[gpua002:0/64] 2023-12-08 06:38:16,884 (trainer:737) INFO: 18epoch:train:5901-6000batch: iter_time=8.144e-05, forward_time=0.194, loss_ctc=71.333, loss_att=58.590, acc=0.691, loss=62.413, backward_time=0.345, grad_norm=49.728, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=9.591e-05, train_time=1.815 +[gpua002:0/64] 2023-12-08 06:40:46,322 (trainer:737) INFO: 18epoch:train:6001-6100batch: iter_time=8.385e-05, forward_time=0.148, loss_ctc=69.820, loss_att=53.024, acc=0.705, loss=58.063, backward_time=0.291, grad_norm=64.957, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.589e-05, train_time=1.494 +[gpua002:0/64] 2023-12-08 06:42:55,647 (trainer:737) INFO: 18epoch:train:6101-6200batch: iter_time=8.487e-05, forward_time=0.148, loss_ctc=74.493, loss_att=52.963, acc=0.731, loss=59.422, backward_time=0.279, grad_norm=49.391, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.587e-05, train_time=1.293 +[gpua002:0/64] 2023-12-08 06:44:44,436 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-08 06:45:03,885 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 06:45:07,458 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 06:45:07,458 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-08 06:45:07,461 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 06:50:52,383 (trainer:737) INFO: 18epoch:train:6201-6300batch: iter_time=3.155, forward_time=0.148, loss_ctc=73.691, loss_att=56.902, acc=0.715, loss=61.938, backward_time=0.289, grad_norm=49.385, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.585e-05, train_time=4.767 +[gpua002:0/64] 2023-12-08 06:53:14,074 (trainer:737) INFO: 18epoch:train:6301-6400batch: iter_time=7.835e-05, forward_time=0.150, loss_ctc=62.050, loss_att=51.827, acc=0.714, loss=54.894, backward_time=0.288, grad_norm=44.720, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.583e-05, train_time=1.417 +[gpua002:0/64] 2023-12-08 06:55:17,770 (trainer:737) INFO: 18epoch:train:6401-6500batch: iter_time=8.120e-05, forward_time=0.148, loss_ctc=70.836, loss_att=65.334, acc=0.690, loss=66.985, backward_time=0.280, grad_norm=50.156, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.582e-05, train_time=1.237 +[gpua002:0/64] 2023-12-08 06:57:39,401 (trainer:737) INFO: 18epoch:train:6501-6600batch: iter_time=8.081e-05, forward_time=0.147, loss_ctc=67.039, loss_att=52.388, acc=0.708, loss=56.783, backward_time=0.293, grad_norm=56.439, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.580e-05, train_time=1.416 +[gpua002:0/64] 2023-12-08 07:00:01,392 (trainer:737) INFO: 18epoch:train:6601-6700batch: iter_time=7.918e-05, forward_time=0.147, loss_ctc=69.366, loss_att=59.332, acc=0.687, loss=62.342, backward_time=0.291, grad_norm=49.129, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.578e-05, train_time=1.420 +[gpua002:0/64] 2023-12-08 07:02:29,389 (trainer:737) INFO: 18epoch:train:6701-6800batch: iter_time=8.098e-05, forward_time=0.148, loss_ctc=74.690, loss_att=65.230, acc=0.693, loss=68.068, backward_time=0.294, grad_norm=53.452, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.576e-05, train_time=1.480 +[gpua002:0/64] 2023-12-08 07:04:54,517 (trainer:737) INFO: 18epoch:train:6801-6900batch: iter_time=8.108e-05, forward_time=0.247, loss_ctc=77.367, loss_att=58.425, acc=0.708, loss=64.108, backward_time=0.311, grad_norm=49.609, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=9.574e-05, train_time=1.451 +[gpua002:0/64] 2023-12-08 07:07:46,796 (trainer:737) INFO: 18epoch:train:6901-7000batch: iter_time=8.424e-05, forward_time=0.152, loss_ctc=78.142, loss_att=60.113, acc=0.714, loss=65.522, backward_time=0.296, grad_norm=55.860, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.572e-05, train_time=1.722 +[gpua002:0/64] 2023-12-08 07:10:28,541 (trainer:737) INFO: 18epoch:train:7001-7100batch: iter_time=7.588e-05, forward_time=0.151, loss_ctc=69.870, loss_att=60.333, acc=0.702, loss=63.194, backward_time=0.320, grad_norm=51.446, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.571e-05, train_time=1.617 +[gpua002:0/64] 2023-12-08 07:13:00,215 (trainer:737) INFO: 18epoch:train:7101-7200batch: iter_time=8.113e-05, forward_time=0.148, loss_ctc=71.547, loss_att=60.227, acc=0.704, loss=63.623, backward_time=0.329, grad_norm=51.934, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.569e-05, train_time=1.517 +[gpua002:0/64] 2023-12-08 07:15:36,693 (trainer:737) INFO: 18epoch:train:7201-7300batch: iter_time=8.264e-05, forward_time=0.147, loss_ctc=67.845, loss_att=52.786, acc=0.701, loss=57.304, backward_time=0.309, grad_norm=47.641, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.567e-05, train_time=1.565 +[gpua002:0/64] 2023-12-08 07:18:09,392 (trainer:737) INFO: 18epoch:train:7301-7400batch: iter_time=8.353e-05, forward_time=0.151, loss_ctc=76.255, loss_att=55.393, acc=0.704, loss=61.651, backward_time=0.289, grad_norm=54.767, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.565e-05, train_time=1.527 +[gpua002:0/64] 2023-12-08 07:20:20,586 (trainer:737) INFO: 18epoch:train:7401-7500batch: iter_time=7.743e-05, forward_time=0.147, loss_ctc=77.938, loss_att=57.816, acc=0.720, loss=63.853, backward_time=0.296, grad_norm=55.635, clip=100.000, loss_scale=4.138e+31, optim_step_time=0.134, optim0_lr0=9.563e-05, train_time=1.312 +[gpua002:0/64] 2023-12-08 07:20:40,615 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-08 07:21:00,149 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 07:21:03,771 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 07:21:03,771 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-08 07:21:03,774 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 07:29:45,622 (trainer:737) INFO: 18epoch:train:7501-7600batch: iter_time=2.990, forward_time=0.176, loss_ctc=63.106, loss_att=49.761, acc=0.716, loss=53.764, backward_time=0.285, grad_norm=48.911, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.561e-05, train_time=5.650 +[gpua002:0/64] 2023-12-08 07:32:06,895 (trainer:737) INFO: 18epoch:train:7601-7700batch: iter_time=8.675e-05, forward_time=0.147, loss_ctc=62.092, loss_att=51.208, acc=0.708, loss=54.473, backward_time=0.288, grad_norm=43.299, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.560e-05, train_time=1.413 +[gpua002:0/64] 2023-12-08 07:34:59,173 (trainer:737) INFO: 18epoch:train:7701-7800batch: iter_time=8.600e-05, forward_time=0.148, loss_ctc=73.268, loss_att=63.340, acc=0.710, loss=66.319, backward_time=0.347, grad_norm=56.008, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.558e-05, train_time=1.722 +[gpua002:0/64] 2023-12-08 07:37:12,190 (trainer:737) INFO: 18epoch:train:7801-7900batch: iter_time=9.031e-05, forward_time=0.148, loss_ctc=64.258, loss_att=51.677, acc=0.687, loss=55.451, backward_time=0.285, grad_norm=48.415, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.556e-05, train_time=1.330 +[gpua002:0/64] 2023-12-08 07:40:02,894 (trainer:737) INFO: 18epoch:train:7901-8000batch: iter_time=8.798e-05, forward_time=0.148, loss_ctc=69.744, loss_att=58.802, acc=0.708, loss=62.085, backward_time=0.312, grad_norm=49.712, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.554e-05, train_time=1.707 +[gpua002:0/64] 2023-12-08 07:42:38,783 (trainer:737) INFO: 18epoch:train:8001-8100batch: iter_time=9.198e-05, forward_time=0.148, loss_ctc=81.686, loss_att=68.177, acc=0.695, loss=72.230, backward_time=0.314, grad_norm=57.123, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.552e-05, train_time=1.559 +[gpua002:0/64] 2023-12-08 07:45:01,800 (trainer:737) INFO: 18epoch:train:8101-8200batch: iter_time=8.930e-05, forward_time=0.147, loss_ctc=73.578, loss_att=52.619, acc=0.716, loss=58.906, backward_time=0.284, grad_norm=53.330, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.551e-05, train_time=1.430 +[gpua002:0/64] 2023-12-08 07:47:29,893 (trainer:737) INFO: 18epoch:train:8201-8300batch: iter_time=8.373e-05, forward_time=0.148, loss_ctc=73.666, loss_att=59.692, acc=0.719, loss=63.884, backward_time=0.288, grad_norm=47.893, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.549e-05, train_time=1.481 +[gpua002:0/64] 2023-12-08 07:50:20,318 (trainer:737) INFO: 18epoch:train:8301-8400batch: iter_time=8.397e-05, forward_time=0.196, loss_ctc=72.700, loss_att=63.705, acc=0.696, loss=66.403, backward_time=0.365, grad_norm=52.766, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=9.547e-05, train_time=1.704 +[gpua002:0/64] 2023-12-08 07:52:53,527 (trainer:737) INFO: 18epoch:train:8401-8500batch: iter_time=8.252e-05, forward_time=0.150, loss_ctc=71.498, loss_att=57.907, acc=0.693, loss=61.985, backward_time=0.315, grad_norm=51.659, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.545e-05, train_time=1.532 +[gpua002:0/64] 2023-12-08 07:55:24,925 (trainer:737) INFO: 18epoch:train:8501-8600batch: iter_time=8.824e-05, forward_time=0.147, loss_ctc=68.511, loss_att=52.807, acc=0.704, loss=57.518, backward_time=0.291, grad_norm=49.322, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.543e-05, train_time=1.514 +[gpua002:0/64] 2023-12-08 07:57:35,088 (trainer:737) INFO: 18epoch:train:8601-8700batch: iter_time=8.318e-05, forward_time=0.148, loss_ctc=74.217, loss_att=52.569, acc=0.724, loss=59.063, backward_time=0.293, grad_norm=47.414, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.541e-05, train_time=1.301 +[gpua002:0/64] 2023-12-08 07:59:12,521 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-08 07:59:32,276 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 07:59:35,917 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 07:59:35,917 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-08 07:59:35,921 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 08:05:02,363 (trainer:737) INFO: 18epoch:train:8701-8800batch: iter_time=3.000, forward_time=0.173, loss_ctc=72.824, loss_att=54.737, acc=0.717, loss=60.163, backward_time=0.296, grad_norm=50.904, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.540e-05, train_time=4.473 +[gpua002:0/64] 2023-12-08 08:07:22,646 (trainer:737) INFO: 18epoch:train:8801-8900batch: iter_time=8.410e-05, forward_time=0.148, loss_ctc=61.991, loss_att=49.265, acc=0.718, loss=53.083, backward_time=0.285, grad_norm=45.430, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.538e-05, train_time=1.403 +[gpua002:0/64] 2023-12-08 08:09:26,349 (trainer:737) INFO: 18epoch:train:8901-9000batch: iter_time=8.797e-05, forward_time=0.147, loss_ctc=71.264, loss_att=63.746, acc=0.699, loss=66.001, backward_time=0.281, grad_norm=49.907, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.536e-05, train_time=1.237 +[gpua002:0/64] 2023-12-08 08:11:38,958 (trainer:737) INFO: 18epoch:train:9001-9100batch: iter_time=8.453e-05, forward_time=0.154, loss_ctc=65.492, loss_att=51.623, acc=0.713, loss=55.783, backward_time=0.281, grad_norm=55.155, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.534e-05, train_time=1.326 +[gpua002:0/64] 2023-12-08 08:14:12,640 (trainer:737) INFO: 18epoch:train:9101-9200batch: iter_time=8.683e-05, forward_time=0.148, loss_ctc=69.271, loss_att=59.178, acc=0.688, loss=62.206, backward_time=0.328, grad_norm=49.420, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.532e-05, train_time=1.536 +[gpua002:0/64] 2023-12-08 08:16:38,500 (trainer:737) INFO: 18epoch:train:9201-9300batch: iter_time=8.237e-05, forward_time=0.147, loss_ctc=74.000, loss_att=64.049, acc=0.695, loss=67.034, backward_time=0.302, grad_norm=54.496, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.531e-05, train_time=1.459 +[gpua002:0/64] 2023-12-08 08:19:12,678 (trainer:737) INFO: 18epoch:train:9301-9400batch: iter_time=8.219e-05, forward_time=0.147, loss_ctc=76.452, loss_att=57.441, acc=0.711, loss=63.144, backward_time=0.318, grad_norm=51.835, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.529e-05, train_time=1.541 +[gpua002:0/64] 2023-12-08 08:21:49,443 (trainer:737) INFO: 18epoch:train:9401-9500batch: iter_time=8.244e-05, forward_time=0.147, loss_ctc=77.304, loss_att=59.323, acc=0.716, loss=64.718, backward_time=0.311, grad_norm=53.397, clip=100.000, loss_scale=8.275e+31, optim_step_time=0.134, optim0_lr0=9.527e-05, train_time=1.567 +[gpua002:0/64] 2023-12-08 08:24:48,256 (trainer:737) INFO: 18epoch:train:9501-9600batch: iter_time=7.808e-05, forward_time=0.204, loss_ctc=70.373, loss_att=59.973, acc=0.705, loss=63.093, backward_time=0.309, grad_norm=50.731, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.525e-05, train_time=1.788 +[gpua002:0/64] 2023-12-08 08:27:21,292 (trainer:737) INFO: 18epoch:train:9601-9700batch: iter_time=6.837e-04, forward_time=0.190, loss_ctc=70.650, loss_att=59.465, acc=0.706, loss=62.820, backward_time=0.310, grad_norm=47.069, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.523e-05, train_time=1.530 +[gpua002:0/64] 2023-12-08 08:29:45,522 (trainer:737) INFO: 18epoch:train:9701-9800batch: iter_time=7.721e-05, forward_time=0.148, loss_ctc=66.331, loss_att=51.496, acc=0.706, loss=55.946, backward_time=0.306, grad_norm=49.174, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.522e-05, train_time=1.442 +[gpua002:0/64] 2023-12-08 08:32:04,576 (trainer:737) INFO: 18epoch:train:9801-9900batch: iter_time=7.722e-05, forward_time=0.147, loss_ctc=75.486, loss_att=54.607, acc=0.710, loss=60.871, backward_time=0.284, grad_norm=56.496, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.520e-05, train_time=1.390 +[gpua002:0/64] 2023-12-08 08:34:39,603 (trainer:737) INFO: 18epoch:train:9901-10000batch: iter_time=7.799e-05, forward_time=0.149, loss_ctc=77.970, loss_att=57.568, acc=0.722, loss=63.689, backward_time=0.326, grad_norm=51.282, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.518e-05, train_time=1.550 +[gpua002:0/64] 2023-12-08 08:34:59,632 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-08 08:35:19,303 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 08:35:22,987 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 08:35:22,987 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-08 08:35:22,992 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 08:45:06,776 (trainer:737) INFO: 18epoch:train:10001-10100batch: iter_time=3.018, forward_time=0.150, loss_ctc=63.286, loss_att=49.532, acc=0.718, loss=53.658, backward_time=0.282, grad_norm=46.955, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.516e-05, train_time=6.271 +[gpua002:0/64] 2023-12-08 08:47:36,482 (trainer:737) INFO: 18epoch:train:10101-10200batch: iter_time=8.537e-05, forward_time=0.148, loss_ctc=62.156, loss_att=50.898, acc=0.709, loss=54.276, backward_time=0.349, grad_norm=42.654, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.514e-05, train_time=1.497 +[gpua002:0/64] 2023-12-08 08:49:58,453 (trainer:737) INFO: 18epoch:train:10201-10300batch: iter_time=7.831e-05, forward_time=0.148, loss_ctc=72.546, loss_att=62.660, acc=0.711, loss=65.626, backward_time=0.338, grad_norm=61.338, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.513e-05, train_time=1.420 +[gpua002:0/64] 2023-12-08 08:52:05,635 (trainer:737) INFO: 18epoch:train:10301-10400batch: iter_time=8.425e-05, forward_time=0.167, loss_ctc=64.062, loss_att=51.083, acc=0.689, loss=54.977, backward_time=0.285, grad_norm=55.305, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.511e-05, train_time=1.272 +[gpua002:0/64] 2023-12-08 08:55:01,287 (trainer:737) INFO: 18epoch:train:10401-10500batch: iter_time=0.002, forward_time=0.213, loss_ctc=69.817, loss_att=58.592, acc=0.710, loss=61.959, backward_time=0.321, grad_norm=47.724, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.509e-05, train_time=1.756 +[gpua002:0/64] 2023-12-08 08:57:36,357 (trainer:737) INFO: 18epoch:train:10501-10600batch: iter_time=8.724e-05, forward_time=0.180, loss_ctc=80.859, loss_att=67.430, acc=0.698, loss=71.459, backward_time=0.313, grad_norm=59.113, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.507e-05, train_time=1.549 +[gpua002:0/64] 2023-12-08 09:00:24,253 (trainer:737) INFO: 18epoch:train:10601-10700batch: iter_time=8.182e-05, forward_time=0.148, loss_ctc=74.673, loss_att=52.169, acc=0.719, loss=58.920, backward_time=0.326, grad_norm=50.814, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.505e-05, train_time=1.679 +[gpua002:0/64] 2023-12-08 09:03:10,485 (trainer:737) INFO: 18epoch:train:10701-10800batch: iter_time=7.713e-05, forward_time=0.161, loss_ctc=73.847, loss_att=59.285, acc=0.723, loss=63.653, backward_time=0.299, grad_norm=48.947, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.504e-05, train_time=1.662 +[gpua002:0/64] 2023-12-08 09:05:54,087 (trainer:737) INFO: 18epoch:train:10801-10900batch: iter_time=8.574e-05, forward_time=0.147, loss_ctc=71.316, loss_att=62.868, acc=0.699, loss=65.402, backward_time=0.326, grad_norm=56.693, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.502e-05, train_time=1.636 +[gpua002:0/64] 2023-12-08 09:08:08,797 (trainer:737) INFO: 18epoch:train:10901-11000batch: iter_time=8.497e-05, forward_time=0.147, loss_ctc=71.006, loss_att=57.499, acc=0.695, loss=61.551, backward_time=0.302, grad_norm=47.572, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.500e-05, train_time=1.347 +[gpua002:0/64] 2023-12-08 09:10:56,551 (trainer:737) INFO: 18epoch:train:11001-11100batch: iter_time=8.048e-05, forward_time=0.148, loss_ctc=68.833, loss_att=52.341, acc=0.705, loss=57.289, backward_time=0.298, grad_norm=50.816, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.498e-05, train_time=1.677 +[gpua002:0/64] 2023-12-08 09:13:26,784 (trainer:737) INFO: 18epoch:train:11101-11200batch: iter_time=8.081e-05, forward_time=0.147, loss_ctc=74.258, loss_att=52.321, acc=0.726, loss=58.902, backward_time=0.297, grad_norm=47.427, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.497e-05, train_time=1.502 +[gpua002:0/64] 2023-12-08 09:14:56,836 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-08 09:15:16,102 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 09:15:19,727 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 09:15:19,727 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-08 09:15:19,734 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 09:21:30,672 (trainer:737) INFO: 18epoch:train:11201-11300batch: iter_time=3.211, forward_time=0.186, loss_ctc=72.627, loss_att=55.707, acc=0.719, loss=60.783, backward_time=0.286, grad_norm=48.876, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.495e-05, train_time=4.838 +[gpua002:0/64] 2023-12-08 09:23:34,764 (trainer:737) INFO: 18epoch:train:11301-11400batch: iter_time=7.818e-05, forward_time=0.148, loss_ctc=61.678, loss_att=50.984, acc=0.729, loss=54.192, backward_time=0.279, grad_norm=43.739, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.493e-05, train_time=1.241 +[gpua002:0/64] 2023-12-08 09:26:00,820 (trainer:737) INFO: 18epoch:train:11401-11500batch: iter_time=7.892e-05, forward_time=0.148, loss_ctc=70.130, loss_att=63.909, acc=0.708, loss=65.775, backward_time=0.291, grad_norm=47.894, clip=100.000, loss_scale=1.655e+32, optim_step_time=0.135, optim0_lr0=9.491e-05, train_time=1.460 +[gpua002:0/64] 2023-12-08 09:28:30,953 (trainer:737) INFO: 18epoch:train:11501-11600batch: iter_time=0.003, forward_time=0.295, loss_ctc=66.403, loss_att=51.662, acc=0.723, loss=56.084, backward_time=0.314, grad_norm=51.905, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.138, optim0_lr0=9.489e-05, train_time=1.498 +[gpua002:0/64] 2023-12-08 09:30:58,178 (trainer:737) INFO: 18epoch:train:11601-11700batch: iter_time=8.172e-05, forward_time=0.147, loss_ctc=68.007, loss_att=58.518, acc=0.701, loss=61.364, backward_time=0.355, grad_norm=46.466, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.488e-05, train_time=1.473 +[gpua002:0/64] 2023-12-08 09:33:18,035 (trainer:737) INFO: 18epoch:train:11701-11800batch: iter_time=7.903e-05, forward_time=0.149, loss_ctc=74.479, loss_att=65.714, acc=0.702, loss=68.344, backward_time=0.299, grad_norm=54.877, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.486e-05, train_time=1.399 +[gpua002:0/64] 2023-12-08 09:36:27,106 (trainer:737) INFO: 18epoch:train:11801-11900batch: iter_time=8.548e-05, forward_time=0.148, loss_ctc=76.526, loss_att=58.285, acc=0.716, loss=63.758, backward_time=0.315, grad_norm=48.936, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.484e-05, train_time=1.890 +[gpua002:0/64] 2023-12-08 09:39:27,790 (trainer:737) INFO: 18epoch:train:11901-12000batch: iter_time=7.999e-05, forward_time=0.148, loss_ctc=77.066, loss_att=61.172, acc=0.720, loss=65.940, backward_time=0.319, grad_norm=50.817, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.482e-05, train_time=1.807 +[gpua002:0/64] 2023-12-08 09:42:33,259 (trainer:737) INFO: 18epoch:train:12001-12100batch: iter_time=0.003, forward_time=0.264, loss_ctc=69.755, loss_att=59.861, acc=0.715, loss=62.829, backward_time=0.341, grad_norm=49.502, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.481e-05, train_time=1.850 +[gpua002:0/64] 2023-12-08 09:45:19,063 (trainer:737) INFO: 18epoch:train:12101-12200batch: iter_time=8.425e-05, forward_time=0.148, loss_ctc=70.370, loss_att=59.794, acc=0.708, loss=62.967, backward_time=0.337, grad_norm=47.134, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.479e-05, train_time=1.658 +[gpua002:0/64] 2023-12-08 09:47:27,295 (trainer:737) INFO: 18epoch:train:12201-12300batch: iter_time=7.731e-05, forward_time=0.148, loss_ctc=66.293, loss_att=52.018, acc=0.709, loss=56.300, backward_time=0.290, grad_norm=44.949, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.477e-05, train_time=1.282 +[gpua002:0/64] 2023-12-08 09:49:30,743 (trainer:737) INFO: 18epoch:train:12301-12400batch: iter_time=7.878e-05, forward_time=0.147, loss_ctc=74.917, loss_att=53.995, acc=0.718, loss=60.272, backward_time=0.288, grad_norm=52.852, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.475e-05, train_time=1.234 +[gpua002:0/64] 2023-12-08 09:54:00,621 (trainer:737) INFO: 18epoch:train:12401-12500batch: iter_time=0.017, forward_time=0.385, loss_ctc=76.828, loss_att=57.700, acc=0.732, loss=63.438, backward_time=0.477, grad_norm=49.206, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.146, optim0_lr0=9.473e-05, train_time=2.673 +[gpua002:0/64] 2023-12-08 09:54:20,650 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-08 09:54:40,264 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 09:54:43,945 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 09:54:43,945 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-08 09:54:43,948 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 10:05:27,884 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 10:06:05,677 (trainer:737) INFO: 18epoch:train:12501-12600batch: iter_time=5.755, forward_time=0.150, loss_ctc=62.910, loss_att=49.630, acc=0.728, loss=53.614, backward_time=0.292, grad_norm=50.452, clip=100.000, loss_scale=2.770e+32, optim_step_time=0.136, optim0_lr0=9.472e-05, train_time=7.250 +[gpua002:0/64] 2023-12-08 10:08:17,830 (trainer:737) INFO: 18epoch:train:12601-12700batch: iter_time=7.496e-05, forward_time=0.149, loss_ctc=62.056, loss_att=51.154, acc=0.723, loss=54.424, backward_time=0.281, grad_norm=43.500, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.470e-05, train_time=1.321 +[gpua002:0/64] 2023-12-08 10:11:37,849 (trainer:737) INFO: 18epoch:train:12701-12800batch: iter_time=7.796e-05, forward_time=0.149, loss_ctc=72.392, loss_att=62.113, acc=0.722, loss=65.197, backward_time=0.410, grad_norm=52.398, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.468e-05, train_time=2.000 +[gpua002:0/64] 2023-12-08 10:14:18,809 (trainer:737) INFO: 18epoch:train:12801-12900batch: iter_time=7.803e-05, forward_time=0.149, loss_ctc=64.556, loss_att=52.291, acc=0.698, loss=55.970, backward_time=0.391, grad_norm=51.832, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.466e-05, train_time=1.609 +[gpua002:0/64] 2023-12-08 10:17:15,717 (trainer:737) INFO: 18epoch:train:12901-13000batch: iter_time=8.118e-05, forward_time=0.148, loss_ctc=69.148, loss_att=59.161, acc=0.714, loss=62.157, backward_time=0.305, grad_norm=45.833, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.465e-05, train_time=1.769 +[gpua002:0/64] 2023-12-08 10:20:25,851 (trainer:737) INFO: 18epoch:train:13001-13100batch: iter_time=8.419e-05, forward_time=0.148, loss_ctc=80.767, loss_att=67.779, acc=0.705, loss=71.675, backward_time=0.348, grad_norm=55.806, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.463e-05, train_time=1.901 +[gpua002:0/64] 2023-12-08 10:25:38,651 (trainer:737) INFO: 18epoch:train:13101-13200batch: iter_time=8.586e-05, forward_time=0.148, loss_ctc=72.895, loss_att=53.483, acc=0.724, loss=59.307, backward_time=0.444, grad_norm=52.478, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.461e-05, train_time=3.128 +[gpua002:0/64] 2023-12-08 10:29:42,184 (trainer:737) INFO: 18epoch:train:13201-13300batch: iter_time=8.339e-05, forward_time=0.340, loss_ctc=73.530, loss_att=59.394, acc=0.729, loss=63.635, backward_time=0.429, grad_norm=44.817, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.159, optim0_lr0=9.459e-05, train_time=2.435 +[gpua002:0/64] 2023-12-08 10:34:17,535 (trainer:737) INFO: 18epoch:train:13301-13400batch: iter_time=8.015e-05, forward_time=0.148, loss_ctc=71.365, loss_att=63.714, acc=0.707, loss=66.010, backward_time=0.438, grad_norm=55.826, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.458e-05, train_time=2.753 +[gpua002:0/64] 2023-12-08 10:36:25,233 (trainer:737) INFO: 18epoch:train:13401-13500batch: iter_time=8.273e-05, forward_time=0.148, loss_ctc=71.001, loss_att=58.190, acc=0.697, loss=62.034, backward_time=0.282, grad_norm=51.279, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.456e-05, train_time=1.276 +[gpua002:0/64] 2023-12-08 10:38:47,923 (trainer:737) INFO: 18epoch:train:13501-13600batch: iter_time=7.796e-05, forward_time=0.149, loss_ctc=68.895, loss_att=51.760, acc=0.712, loss=56.900, backward_time=0.285, grad_norm=51.322, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.454e-05, train_time=1.427 +[gpua002:0/64] 2023-12-08 10:41:31,946 (trainer:737) INFO: 18epoch:train:13601-13700batch: iter_time=8.663e-05, forward_time=0.147, loss_ctc=73.432, loss_att=51.999, acc=0.737, loss=58.429, backward_time=0.299, grad_norm=44.071, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.452e-05, train_time=1.640 +[gpua002:0/64] 2023-12-08 10:42:58,880 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-08 10:43:18,436 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 10:43:22,011 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 10:43:22,012 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-08 10:43:22,015 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 10:49:24,072 (trainer:737) INFO: 18epoch:train:13701-13800batch: iter_time=3.361, forward_time=0.188, loss_ctc=73.001, loss_att=55.159, acc=0.723, loss=60.512, backward_time=0.304, grad_norm=51.061, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.451e-05, train_time=4.721 +[gpua002:0/64] 2023-12-08 10:51:24,647 (trainer:737) INFO: 18epoch:train:13801-13900batch: iter_time=7.919e-05, forward_time=0.148, loss_ctc=61.193, loss_att=50.582, acc=0.718, loss=53.765, backward_time=0.279, grad_norm=44.711, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.449e-05, train_time=1.206 +[gpua002:0/64] 2023-12-08 10:53:40,820 (trainer:737) INFO: 18epoch:train:13901-14000batch: iter_time=8.834e-05, forward_time=0.150, loss_ctc=70.614, loss_att=63.920, acc=0.698, loss=65.928, backward_time=0.304, grad_norm=50.429, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.447e-05, train_time=1.361 +[gpua002:0/64] 2023-12-08 10:56:07,425 (trainer:737) INFO: 18epoch:train:14001-14100batch: iter_time=8.579e-05, forward_time=0.147, loss_ctc=65.323, loss_att=51.313, acc=0.715, loss=55.516, backward_time=0.302, grad_norm=53.542, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.445e-05, train_time=1.466 +[gpua002:0/64] 2023-12-08 10:59:00,727 (trainer:737) INFO: 18epoch:train:14101-14200batch: iter_time=8.086e-05, forward_time=0.148, loss_ctc=68.335, loss_att=58.625, acc=0.690, loss=61.538, backward_time=0.303, grad_norm=48.485, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.444e-05, train_time=1.732 +[gpua002:0/64] 2023-12-08 11:01:31,279 (trainer:737) INFO: 18epoch:train:14201-14300batch: iter_time=8.443e-05, forward_time=0.148, loss_ctc=73.904, loss_att=64.854, acc=0.694, loss=67.569, backward_time=0.313, grad_norm=56.745, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.442e-05, train_time=1.506 +[gpua002:0/64] 2023-12-08 11:04:22,155 (trainer:737) INFO: 18epoch:train:14301-14400batch: iter_time=8.785e-05, forward_time=0.148, loss_ctc=76.445, loss_att=57.375, acc=0.711, loss=63.096, backward_time=0.335, grad_norm=50.056, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.440e-05, train_time=1.708 +[gpua002:0/64] 2023-12-08 11:07:19,564 (trainer:737) INFO: 18epoch:train:14401-14500batch: iter_time=8.678e-05, forward_time=0.147, loss_ctc=76.888, loss_att=59.164, acc=0.718, loss=64.481, backward_time=0.341, grad_norm=55.182, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.438e-05, train_time=1.774 +[gpua002:0/64] 2023-12-08 11:09:36,719 (trainer:737) INFO: 18epoch:train:14501-14600batch: iter_time=7.671e-05, forward_time=0.225, loss_ctc=70.186, loss_att=59.831, acc=0.705, loss=62.938, backward_time=0.320, grad_norm=52.970, clip=100.000, loss_scale=2.093e+32, optim_step_time=0.139, optim0_lr0=9.436e-05, train_time=1.371 +[gpua002:0/64] 2023-12-08 11:12:36,045 (trainer:737) INFO: 18epoch:train:14601-14700batch: iter_time=8.192e-05, forward_time=0.166, loss_ctc=69.617, loss_att=58.931, acc=0.707, loss=62.137, backward_time=0.403, grad_norm=49.313, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=9.435e-05, train_time=1.793 +[gpua002:0/64] 2023-12-08 11:15:06,213 (trainer:737) INFO: 18epoch:train:14701-14800batch: iter_time=8.118e-05, forward_time=0.147, loss_ctc=66.253, loss_att=51.198, acc=0.708, loss=55.714, backward_time=0.312, grad_norm=48.114, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.433e-05, train_time=1.501 +[gpua002:0/64] 2023-12-08 11:17:50,603 (trainer:737) INFO: 18epoch:train:14801-14900batch: iter_time=7.374e-05, forward_time=0.148, loss_ctc=74.492, loss_att=54.341, acc=0.711, loss=60.387, backward_time=0.307, grad_norm=52.996, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.431e-05, train_time=1.644 +[gpua002:0/64] 2023-12-08 11:20:33,707 (trainer:737) INFO: 18epoch:train:14901-15000batch: iter_time=8.300e-05, forward_time=0.147, loss_ctc=77.752, loss_att=57.412, acc=0.723, loss=63.514, backward_time=0.291, grad_norm=54.937, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.429e-05, train_time=1.631 +[gpua002:0/64] 2023-12-08 11:47:36,246 (trainer:343) INFO: 18epoch results: [train] iter_time=0.271, forward_time=0.164, loss_ctc=71.635, loss_att=57.605, acc=0.709, loss=61.814, backward_time=0.315, grad_norm=51.067, clip=100.000, loss_scale=1.114e+32, optim_step_time=0.135, optim0_lr0=9.563e-05, train_time=1.909, time=7 hours, 57 minutes and 39.5 seconds, total_count=270000, gpu_max_cached_mem_GB=35.939, [valid] loss_ctc=38.972, cer_ctc=0.205, loss_att=34.720, acc=0.714, cer=0.264, wer=0.968, loss=35.995, time=26 minutes and 38.05 seconds, total_count=84078, gpu_max_cached_mem_GB=35.939 +[gpua002:0/64] 2023-12-08 11:47:57,927 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua002:0/64] 2023-12-08 11:47:57,933 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/13epoch.pth +[gpua002:0/64] 2023-12-08 11:47:57,933 (trainer:272) INFO: 19/40epoch started. Estimated time to finish: 1 week, 1 day and 6 hours +[gpua002:0/64] 2023-12-08 11:47:57,945 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-08 11:48:16,528 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 11:48:19,948 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 11:48:19,948 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-08 11:48:19,951 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 11:56:40,723 (trainer:737) INFO: 19epoch:train:1-100batch: iter_time=3.430, forward_time=0.190, loss_ctc=72.528, loss_att=58.467, acc=0.700, loss=62.685, backward_time=0.285, grad_norm=66.770, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.428e-05, train_time=5.227 +[gpua002:0/64] 2023-12-08 11:58:44,006 (trainer:737) INFO: 19epoch:train:101-200batch: iter_time=8.302e-05, forward_time=0.146, loss_ctc=67.349, loss_att=55.991, acc=0.692, loss=59.399, backward_time=0.277, grad_norm=60.024, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.426e-05, train_time=1.233 +[gpua002:0/64] 2023-12-08 12:00:50,452 (trainer:737) INFO: 19epoch:train:201-300batch: iter_time=8.603e-05, forward_time=0.146, loss_ctc=67.091, loss_att=53.371, acc=0.699, loss=57.487, backward_time=0.281, grad_norm=50.389, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.424e-05, train_time=1.264 +[gpua002:0/64] 2023-12-08 12:04:27,529 (trainer:737) INFO: 19epoch:train:301-400batch: iter_time=8.164e-05, forward_time=0.382, loss_ctc=68.134, loss_att=59.239, acc=0.695, loss=61.908, backward_time=0.358, grad_norm=53.437, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.143, optim0_lr0=9.423e-05, train_time=2.171 +[gpua002:0/64] 2023-12-08 12:07:55,013 (trainer:737) INFO: 19epoch:train:401-500batch: iter_time=8.178e-05, forward_time=0.149, loss_ctc=76.300, loss_att=61.305, acc=0.695, loss=65.803, backward_time=0.340, grad_norm=55.379, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.421e-05, train_time=2.075 +[gpua002:0/64] 2023-12-08 12:10:55,873 (trainer:737) INFO: 19epoch:train:501-600batch: iter_time=8.069e-05, forward_time=0.146, loss_ctc=72.622, loss_att=54.577, acc=0.710, loss=59.990, backward_time=0.296, grad_norm=50.889, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.419e-05, train_time=1.808 +[gpua002:0/64] 2023-12-08 12:11:16,104 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 12:13:34,780 (trainer:737) INFO: 19epoch:train:601-700batch: iter_time=8.317e-05, forward_time=0.146, loss_ctc=77.525, loss_att=64.530, acc=0.683, loss=68.428, backward_time=0.298, grad_norm=56.906, clip=100.000, loss_scale=1.770e+32, optim_step_time=0.134, optim0_lr0=9.417e-05, train_time=1.589 +[gpua002:0/64] 2023-12-08 12:15:51,081 (trainer:737) INFO: 19epoch:train:701-800batch: iter_time=8.459e-05, forward_time=0.146, loss_ctc=71.437, loss_att=55.692, acc=0.708, loss=60.416, backward_time=0.290, grad_norm=49.097, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.416e-05, train_time=1.363 +[gpua002:0/64] 2023-12-08 12:18:19,752 (trainer:737) INFO: 19epoch:train:801-900batch: iter_time=8.242e-05, forward_time=0.146, loss_ctc=78.941, loss_att=61.776, acc=0.699, loss=66.925, backward_time=0.300, grad_norm=52.134, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.414e-05, train_time=1.486 +[gpua002:0/64] 2023-12-08 12:20:57,591 (trainer:737) INFO: 19epoch:train:901-1000batch: iter_time=2.793e-04, forward_time=0.277, loss_ctc=69.712, loss_att=54.355, acc=0.698, loss=58.962, backward_time=0.332, grad_norm=52.605, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.412e-05, train_time=1.577 +[gpua002:0/64] 2023-12-08 12:25:17,573 (trainer:737) INFO: 19epoch:train:1001-1100batch: iter_time=8.016e-05, forward_time=0.147, loss_ctc=69.311, loss_att=58.901, acc=0.683, loss=62.024, backward_time=0.471, grad_norm=52.288, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.410e-05, train_time=2.601 +[gpua002:0/64] 2023-12-08 12:28:57,003 (trainer:737) INFO: 19epoch:train:1101-1200batch: iter_time=8.105e-05, forward_time=0.147, loss_ctc=56.980, loss_att=43.369, acc=0.703, loss=47.452, backward_time=0.357, grad_norm=47.730, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.409e-05, train_time=2.194 +[gpua002:0/64] 2023-12-08 12:30:38,318 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-08 12:30:57,993 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 12:31:01,590 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 12:31:01,590 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-08 12:31:01,593 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 12:40:35,593 (trainer:737) INFO: 19epoch:train:1201-1300batch: iter_time=3.333, forward_time=0.149, loss_ctc=68.525, loss_att=49.586, acc=0.721, loss=55.268, backward_time=0.313, grad_norm=50.466, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.407e-05, train_time=6.986 +[gpua002:0/64] 2023-12-08 12:42:47,781 (trainer:737) INFO: 19epoch:train:1301-1400batch: iter_time=7.546e-05, forward_time=0.148, loss_ctc=70.581, loss_att=60.088, acc=0.701, loss=63.236, backward_time=0.281, grad_norm=64.216, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.405e-05, train_time=1.322 +[gpua002:0/64] 2023-12-08 12:45:23,087 (trainer:737) INFO: 19epoch:train:1401-1500batch: iter_time=7.611e-05, forward_time=0.148, loss_ctc=70.444, loss_att=62.304, acc=0.686, loss=64.746, backward_time=0.289, grad_norm=55.153, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.403e-05, train_time=1.553 +[gpua002:0/64] 2023-12-08 12:47:38,784 (trainer:737) INFO: 19epoch:train:1501-1600batch: iter_time=7.840e-05, forward_time=0.147, loss_ctc=55.398, loss_att=45.608, acc=0.709, loss=48.545, backward_time=0.286, grad_norm=44.228, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.402e-05, train_time=1.357 +[gpua002:0/64] 2023-12-08 12:50:14,658 (trainer:737) INFO: 19epoch:train:1601-1700batch: iter_time=0.002, forward_time=0.250, loss_ctc=77.655, loss_att=63.827, acc=0.699, loss=67.975, backward_time=0.336, grad_norm=54.670, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.146, optim0_lr0=9.400e-05, train_time=1.557 +[gpua002:0/64] 2023-12-08 12:53:00,082 (trainer:737) INFO: 19epoch:train:1701-1800batch: iter_time=7.753e-05, forward_time=0.149, loss_ctc=73.949, loss_att=59.311, acc=0.701, loss=63.702, backward_time=0.322, grad_norm=51.307, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.398e-05, train_time=1.656 +[gpua002:0/64] 2023-12-08 12:55:29,371 (trainer:737) INFO: 19epoch:train:1801-1900batch: iter_time=7.715e-05, forward_time=0.166, loss_ctc=72.547, loss_att=55.649, acc=0.711, loss=60.719, backward_time=0.287, grad_norm=50.664, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.396e-05, train_time=1.493 +[gpua002:0/64] 2023-12-08 12:57:57,052 (trainer:737) INFO: 19epoch:train:1901-2000batch: iter_time=7.811e-05, forward_time=0.148, loss_ctc=71.692, loss_att=55.107, acc=0.704, loss=60.082, backward_time=0.297, grad_norm=55.109, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.395e-05, train_time=1.477 +[gpua002:0/64] 2023-12-08 13:00:35,671 (trainer:737) INFO: 19epoch:train:2001-2100batch: iter_time=7.770e-05, forward_time=0.148, loss_ctc=76.668, loss_att=60.069, acc=0.712, loss=65.049, backward_time=0.299, grad_norm=51.851, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.393e-05, train_time=1.586 +[gpua002:0/64] 2023-12-08 13:03:59,169 (trainer:737) INFO: 19epoch:train:2101-2200batch: iter_time=8.320e-05, forward_time=0.147, loss_ctc=75.199, loss_att=59.484, acc=0.694, loss=64.199, backward_time=0.399, grad_norm=52.655, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.391e-05, train_time=2.035 +[gpua002:0/64] 2023-12-08 13:06:13,007 (trainer:737) INFO: 19epoch:train:2201-2300batch: iter_time=8.269e-05, forward_time=0.147, loss_ctc=64.793, loss_att=54.603, acc=0.691, loss=57.660, backward_time=0.298, grad_norm=55.199, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.390e-05, train_time=1.338 +[gpua002:0/64] 2023-12-08 13:08:37,550 (trainer:737) INFO: 19epoch:train:2301-2400batch: iter_time=8.050e-05, forward_time=0.147, loss_ctc=61.970, loss_att=48.088, acc=0.696, loss=52.252, backward_time=0.289, grad_norm=56.095, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.388e-05, train_time=1.445 +[gpua002:0/64] 2023-12-08 13:10:54,283 (trainer:737) INFO: 19epoch:train:2401-2500batch: iter_time=7.546e-05, forward_time=0.150, loss_ctc=65.125, loss_att=51.444, acc=0.715, loss=55.548, backward_time=0.287, grad_norm=47.497, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.386e-05, train_time=1.367 +[gpua002:0/64] 2023-12-08 13:11:14,312 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-08 13:11:33,403 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 13:11:36,989 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 13:11:36,989 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-08 13:11:36,992 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 13:15:40,579 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 13:17:53,006 (trainer:737) INFO: 19epoch:train:2501-2600batch: iter_time=2.672, forward_time=0.187, loss_ctc=71.067, loss_att=59.364, acc=0.711, loss=62.875, backward_time=0.295, grad_norm=60.477, clip=100.000, loss_scale=8.605e+31, optim_step_time=0.135, optim0_lr0=9.384e-05, train_time=4.187 +[gpua002:0/64] 2023-12-08 13:19:58,374 (trainer:737) INFO: 19epoch:train:2601-2700batch: iter_time=8.865e-05, forward_time=0.147, loss_ctc=64.078, loss_att=54.317, acc=0.707, loss=57.245, backward_time=0.278, grad_norm=50.200, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.383e-05, train_time=1.253 +[gpua002:0/64] 2023-12-08 13:22:19,335 (trainer:737) INFO: 19epoch:train:2701-2800batch: iter_time=9.543e-05, forward_time=0.147, loss_ctc=65.809, loss_att=53.172, acc=0.715, loss=56.963, backward_time=0.298, grad_norm=47.075, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.381e-05, train_time=1.409 +[gpua002:0/64] 2023-12-08 13:24:39,717 (trainer:737) INFO: 19epoch:train:2801-2900batch: iter_time=8.821e-05, forward_time=0.147, loss_ctc=67.196, loss_att=59.672, acc=0.709, loss=61.929, backward_time=0.293, grad_norm=51.191, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.379e-05, train_time=1.403 +[gpua002:0/64] 2023-12-08 13:27:03,442 (trainer:737) INFO: 19epoch:train:2901-3000batch: iter_time=8.760e-05, forward_time=0.148, loss_ctc=74.435, loss_att=64.914, acc=0.702, loss=67.771, backward_time=0.286, grad_norm=51.574, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.378e-05, train_time=1.437 +[gpua002:0/64] 2023-12-08 13:29:27,613 (trainer:737) INFO: 19epoch:train:3001-3100batch: iter_time=8.680e-05, forward_time=0.147, loss_ctc=71.440, loss_att=54.401, acc=0.718, loss=59.513, backward_time=0.291, grad_norm=51.347, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.376e-05, train_time=1.441 +[gpua002:0/64] 2023-12-08 13:32:13,659 (trainer:737) INFO: 19epoch:train:3101-3200batch: iter_time=8.869e-05, forward_time=0.149, loss_ctc=76.188, loss_att=62.494, acc=0.705, loss=66.602, backward_time=0.305, grad_norm=51.996, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.374e-05, train_time=1.660 +[gpua002:0/64] 2023-12-08 13:34:39,010 (trainer:737) INFO: 19epoch:train:3201-3300batch: iter_time=8.304e-05, forward_time=0.147, loss_ctc=70.275, loss_att=56.307, acc=0.718, loss=60.497, backward_time=0.298, grad_norm=48.116, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.372e-05, train_time=1.453 +[gpua002:0/64] 2023-12-08 13:37:15,969 (trainer:737) INFO: 19epoch:train:3301-3400batch: iter_time=8.814e-05, forward_time=0.147, loss_ctc=77.038, loss_att=61.522, acc=0.712, loss=66.177, backward_time=0.295, grad_norm=51.784, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.371e-05, train_time=1.569 +[gpua002:0/64] 2023-12-08 13:39:52,047 (trainer:737) INFO: 19epoch:train:3401-3500batch: iter_time=8.019e-05, forward_time=0.148, loss_ctc=68.320, loss_att=53.334, acc=0.709, loss=57.830, backward_time=0.298, grad_norm=49.728, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.369e-05, train_time=1.561 +[gpua002:0/64] 2023-12-08 13:42:36,362 (trainer:737) INFO: 19epoch:train:3501-3600batch: iter_time=8.136e-05, forward_time=0.215, loss_ctc=68.479, loss_att=59.793, acc=0.690, loss=62.399, backward_time=0.341, grad_norm=48.766, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=9.367e-05, train_time=1.643 +[gpua002:0/64] 2023-12-08 13:45:02,756 (trainer:737) INFO: 19epoch:train:3601-3700batch: iter_time=8.505e-05, forward_time=0.147, loss_ctc=56.738, loss_att=43.254, acc=0.711, loss=47.299, backward_time=0.282, grad_norm=51.232, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.366e-05, train_time=1.464 +[gpua002:0/64] 2023-12-08 13:46:24,689 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-08 13:46:43,921 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 13:46:47,457 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 13:46:47,457 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-08 13:46:47,460 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 13:52:17,678 (trainer:737) INFO: 19epoch:train:3701-3800batch: iter_time=2.555, forward_time=0.149, loss_ctc=67.300, loss_att=50.466, acc=0.725, loss=55.516, backward_time=0.287, grad_norm=46.767, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.364e-05, train_time=4.349 +[gpua002:0/64] 2023-12-08 13:54:28,486 (trainer:737) INFO: 19epoch:train:3801-3900batch: iter_time=8.446e-05, forward_time=0.149, loss_ctc=70.614, loss_att=59.754, acc=0.704, loss=63.012, backward_time=0.292, grad_norm=58.813, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.362e-05, train_time=1.308 +[gpua002:0/64] 2023-12-08 13:56:47,603 (trainer:737) INFO: 19epoch:train:3901-4000batch: iter_time=7.993e-05, forward_time=0.147, loss_ctc=69.673, loss_att=62.736, acc=0.686, loss=64.817, backward_time=0.294, grad_norm=55.452, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.360e-05, train_time=1.391 +[gpua002:0/64] 2023-12-08 13:58:54,393 (trainer:737) INFO: 19epoch:train:4001-4100batch: iter_time=8.441e-05, forward_time=0.147, loss_ctc=54.407, loss_att=45.405, acc=0.709, loss=48.106, backward_time=0.295, grad_norm=46.205, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.359e-05, train_time=1.268 +[gpua002:0/64] 2023-12-08 14:01:24,366 (trainer:737) INFO: 19epoch:train:4101-4200batch: iter_time=7.965e-05, forward_time=0.147, loss_ctc=77.507, loss_att=63.604, acc=0.703, loss=67.775, backward_time=0.313, grad_norm=53.992, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.357e-05, train_time=1.499 +[gpua002:0/64] 2023-12-08 14:03:48,914 (trainer:737) INFO: 19epoch:train:4201-4300batch: iter_time=8.573e-05, forward_time=0.147, loss_ctc=73.458, loss_att=59.447, acc=0.701, loss=63.650, backward_time=0.300, grad_norm=52.515, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.355e-05, train_time=1.445 +[gpua002:0/64] 2023-12-08 14:06:49,301 (trainer:737) INFO: 19epoch:train:4301-4400batch: iter_time=8.374e-05, forward_time=0.148, loss_ctc=71.881, loss_att=55.864, acc=0.712, loss=60.669, backward_time=0.323, grad_norm=49.374, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.354e-05, train_time=1.804 +[gpua002:0/64] 2023-12-08 14:09:48,597 (trainer:737) INFO: 19epoch:train:4401-4500batch: iter_time=8.795e-05, forward_time=0.147, loss_ctc=71.254, loss_att=54.608, acc=0.707, loss=59.602, backward_time=0.324, grad_norm=52.904, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.352e-05, train_time=1.793 +[gpua002:0/64] 2023-12-08 14:11:55,481 (trainer:737) INFO: 19epoch:train:4501-4600batch: iter_time=8.032e-05, forward_time=0.147, loss_ctc=75.573, loss_att=59.737, acc=0.713, loss=64.488, backward_time=0.279, grad_norm=50.238, clip=100.000, loss_scale=1.566e+32, optim_step_time=0.134, optim0_lr0=9.350e-05, train_time=1.269 +[gpua002:0/64] 2023-12-08 14:14:21,423 (trainer:737) INFO: 19epoch:train:4601-4700batch: iter_time=8.298e-05, forward_time=0.250, loss_ctc=73.953, loss_att=58.310, acc=0.698, loss=63.003, backward_time=0.314, grad_norm=51.875, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.348e-05, train_time=1.459 +[gpua002:0/64] 2023-12-08 14:16:55,767 (trainer:737) INFO: 19epoch:train:4701-4800batch: iter_time=7.964e-05, forward_time=0.148, loss_ctc=64.195, loss_att=54.057, acc=0.690, loss=57.099, backward_time=0.297, grad_norm=50.008, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.347e-05, train_time=1.543 +[gpua002:0/64] 2023-12-08 14:19:22,023 (trainer:737) INFO: 19epoch:train:4801-4900batch: iter_time=7.844e-05, forward_time=0.147, loss_ctc=60.704, loss_att=46.973, acc=0.703, loss=51.092, backward_time=0.292, grad_norm=45.757, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.345e-05, train_time=1.462 +[gpua002:0/64] 2023-12-08 14:21:49,890 (trainer:737) INFO: 19epoch:train:4901-5000batch: iter_time=7.907e-05, forward_time=0.147, loss_ctc=64.445, loss_att=50.467, acc=0.721, loss=54.660, backward_time=0.290, grad_norm=49.544, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.343e-05, train_time=1.478 +[gpua002:0/64] 2023-12-08 14:22:10,072 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-08 14:22:29,011 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 14:22:32,640 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 14:22:32,640 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-08 14:22:32,643 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 14:32:37,631 (trainer:737) INFO: 19epoch:train:5001-5100batch: iter_time=2.747, forward_time=0.186, loss_ctc=70.001, loss_att=58.722, acc=0.713, loss=62.106, backward_time=0.298, grad_norm=58.862, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.342e-05, train_time=6.477 +[gpua002:0/64] 2023-12-08 14:35:00,005 (trainer:737) INFO: 19epoch:train:5101-5200batch: iter_time=7.844e-05, forward_time=0.147, loss_ctc=63.855, loss_att=53.681, acc=0.710, loss=56.733, backward_time=0.314, grad_norm=52.032, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.340e-05, train_time=1.424 +[gpua002:0/64] 2023-12-08 14:37:28,892 (trainer:737) INFO: 19epoch:train:5201-5300batch: iter_time=7.848e-05, forward_time=0.148, loss_ctc=65.173, loss_att=53.275, acc=0.715, loss=56.844, backward_time=0.295, grad_norm=50.855, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.338e-05, train_time=1.489 +[gpua002:0/64] 2023-12-08 14:40:27,104 (trainer:737) INFO: 19epoch:train:5301-5400batch: iter_time=3.742e-04, forward_time=0.210, loss_ctc=66.118, loss_att=58.949, acc=0.710, loss=61.100, backward_time=0.375, grad_norm=48.569, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.141, optim0_lr0=9.337e-05, train_time=1.782 +[gpua002:0/64] 2023-12-08 14:42:51,616 (trainer:737) INFO: 19epoch:train:5401-5500batch: iter_time=7.708e-05, forward_time=0.149, loss_ctc=74.373, loss_att=64.257, acc=0.704, loss=67.292, backward_time=0.303, grad_norm=56.894, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.335e-05, train_time=1.445 +[gpua002:0/64] 2023-12-08 14:45:11,570 (trainer:737) INFO: 19epoch:train:5501-5600batch: iter_time=7.956e-05, forward_time=0.149, loss_ctc=71.170, loss_att=54.046, acc=0.722, loss=59.183, backward_time=0.286, grad_norm=47.521, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.333e-05, train_time=1.399 +[gpua002:0/64] 2023-12-08 14:47:36,374 (trainer:737) INFO: 19epoch:train:5601-5700batch: iter_time=8.106e-05, forward_time=0.151, loss_ctc=75.861, loss_att=62.918, acc=0.704, loss=66.801, backward_time=0.283, grad_norm=68.294, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.332e-05, train_time=1.448 +[gpua002:0/64] 2023-12-08 14:50:32,575 (trainer:737) INFO: 19epoch:train:5701-5800batch: iter_time=7.496e-05, forward_time=0.149, loss_ctc=70.891, loss_att=56.117, acc=0.720, loss=60.549, backward_time=0.339, grad_norm=51.969, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.330e-05, train_time=1.762 +[gpua002:0/64] 2023-12-08 14:53:08,814 (trainer:737) INFO: 19epoch:train:5801-5900batch: iter_time=7.839e-05, forward_time=0.149, loss_ctc=75.693, loss_att=60.390, acc=0.713, loss=64.981, backward_time=0.302, grad_norm=52.871, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.328e-05, train_time=1.562 +[gpua002:0/64] 2023-12-08 14:55:48,399 (trainer:737) INFO: 19epoch:train:5901-6000batch: iter_time=7.762e-05, forward_time=0.248, loss_ctc=68.404, loss_att=53.377, acc=0.707, loss=57.885, backward_time=0.325, grad_norm=47.459, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.326e-05, train_time=1.594 +[gpua002:0/64] 2023-12-08 14:58:16,899 (trainer:737) INFO: 19epoch:train:6001-6100batch: iter_time=8.147e-05, forward_time=0.150, loss_ctc=68.206, loss_att=59.174, acc=0.693, loss=61.883, backward_time=0.317, grad_norm=60.089, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.325e-05, train_time=1.486 +[gpua002:0/64] 2023-12-08 15:00:23,510 (trainer:737) INFO: 19epoch:train:6101-6200batch: iter_time=7.485e-05, forward_time=0.149, loss_ctc=56.102, loss_att=42.285, acc=0.718, loss=46.430, backward_time=0.287, grad_norm=43.920, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.323e-05, train_time=1.266 +[gpua002:0/64] 2023-12-08 15:01:45,856 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-08 15:02:05,231 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 15:02:08,703 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 15:02:08,704 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-08 15:02:08,707 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 15:07:52,903 (trainer:737) INFO: 19epoch:train:6201-6300batch: iter_time=2.960, forward_time=0.148, loss_ctc=67.045, loss_att=50.313, acc=0.724, loss=55.333, backward_time=0.282, grad_norm=53.035, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.321e-05, train_time=4.494 +[gpua002:0/64] 2023-12-08 15:10:16,032 (trainer:737) INFO: 19epoch:train:6301-6400batch: iter_time=8.288e-05, forward_time=0.148, loss_ctc=70.707, loss_att=60.151, acc=0.705, loss=63.318, backward_time=0.284, grad_norm=60.830, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.320e-05, train_time=1.431 +[gpua002:0/64] 2023-12-08 15:12:19,772 (trainer:737) INFO: 19epoch:train:6401-6500batch: iter_time=8.349e-05, forward_time=0.148, loss_ctc=68.807, loss_att=61.642, acc=0.691, loss=63.792, backward_time=0.279, grad_norm=55.558, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.318e-05, train_time=1.237 +[gpua002:0/64] 2023-12-08 15:12:46,760 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 15:14:42,031 (trainer:737) INFO: 19epoch:train:6501-6600batch: iter_time=8.225e-05, forward_time=0.148, loss_ctc=54.105, loss_att=45.363, acc=0.712, loss=47.986, backward_time=0.286, grad_norm=47.567, clip=100.000, loss_scale=1.803e+32, optim_step_time=0.134, optim0_lr0=9.316e-05, train_time=1.422 +[gpua002:0/64] 2023-12-08 15:18:04,704 (trainer:737) INFO: 19epoch:train:6601-6700batch: iter_time=8.647e-05, forward_time=0.207, loss_ctc=76.140, loss_att=62.315, acc=0.706, loss=66.463, backward_time=0.461, grad_norm=49.681, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.315e-05, train_time=2.026 +[gpua002:0/64] 2023-12-08 15:20:54,583 (trainer:737) INFO: 19epoch:train:6701-6800batch: iter_time=7.875e-05, forward_time=0.149, loss_ctc=72.253, loss_att=58.849, acc=0.703, loss=62.870, backward_time=0.324, grad_norm=48.985, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.313e-05, train_time=1.699 +[gpua002:0/64] 2023-12-08 15:23:31,569 (trainer:737) INFO: 19epoch:train:6801-6900batch: iter_time=7.661e-05, forward_time=0.148, loss_ctc=71.341, loss_att=55.665, acc=0.712, loss=60.368, backward_time=0.291, grad_norm=49.361, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.311e-05, train_time=1.570 +[gpua002:0/64] 2023-12-08 15:26:00,434 (trainer:737) INFO: 19epoch:train:6901-7000batch: iter_time=7.931e-05, forward_time=0.148, loss_ctc=69.991, loss_att=53.740, acc=0.711, loss=58.616, backward_time=0.284, grad_norm=53.125, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.310e-05, train_time=1.488 +[gpua002:0/64] 2023-12-08 15:28:33,186 (trainer:737) INFO: 19epoch:train:7001-7100batch: iter_time=7.528e-05, forward_time=0.148, loss_ctc=75.679, loss_att=59.833, acc=0.715, loss=64.586, backward_time=0.399, grad_norm=52.842, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.308e-05, train_time=1.527 +[gpua002:0/64] 2023-12-08 15:31:12,948 (trainer:737) INFO: 19epoch:train:7101-7200batch: iter_time=7.506e-05, forward_time=0.148, loss_ctc=74.467, loss_att=58.600, acc=0.700, loss=63.360, backward_time=0.314, grad_norm=51.418, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.306e-05, train_time=1.597 +[gpua002:0/64] 2023-12-08 15:33:37,663 (trainer:737) INFO: 19epoch:train:7201-7300batch: iter_time=7.985e-05, forward_time=0.148, loss_ctc=64.207, loss_att=53.774, acc=0.693, loss=56.904, backward_time=0.295, grad_norm=48.467, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.305e-05, train_time=1.447 +[gpua002:0/64] 2023-12-08 15:36:05,144 (trainer:737) INFO: 19epoch:train:7301-7400batch: iter_time=7.831e-05, forward_time=0.147, loss_ctc=59.790, loss_att=46.566, acc=0.705, loss=50.533, backward_time=0.299, grad_norm=47.512, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.303e-05, train_time=1.475 +[gpua002:0/64] 2023-12-08 15:38:59,145 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 15:39:01,548 (trainer:737) INFO: 19epoch:train:7401-7500batch: iter_time=1.109e-04, forward_time=0.158, loss_ctc=64.558, loss_att=50.454, acc=0.721, loss=54.685, backward_time=0.338, grad_norm=46.484, clip=100.000, loss_scale=1.606e+32, optim_step_time=0.135, optim0_lr0=9.301e-05, train_time=1.764 +[gpua002:0/64] 2023-12-08 15:39:21,578 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-08 15:39:40,654 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 15:39:44,479 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 15:39:44,479 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-08 15:39:44,482 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 15:45:50,613 (trainer:737) INFO: 19epoch:train:7501-7600batch: iter_time=2.759, forward_time=0.178, loss_ctc=69.286, loss_att=58.381, acc=0.717, loss=61.652, backward_time=0.284, grad_norm=64.099, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.300e-05, train_time=4.090 +[gpua002:0/64] 2023-12-08 15:47:53,843 (trainer:737) INFO: 19epoch:train:7601-7700batch: iter_time=8.221e-05, forward_time=0.148, loss_ctc=63.318, loss_att=53.563, acc=0.712, loss=56.489, backward_time=0.280, grad_norm=52.775, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.298e-05, train_time=1.232 +[gpua002:0/64] 2023-12-08 15:50:22,860 (trainer:737) INFO: 19epoch:train:7701-7800batch: iter_time=7.972e-05, forward_time=0.149, loss_ctc=64.638, loss_att=52.629, acc=0.719, loss=56.232, backward_time=0.294, grad_norm=46.129, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.296e-05, train_time=1.490 +[gpua002:0/64] 2023-12-08 15:53:32,406 (trainer:737) INFO: 19epoch:train:7801-7900batch: iter_time=8.324e-05, forward_time=0.148, loss_ctc=65.795, loss_att=58.637, acc=0.713, loss=60.785, backward_time=0.321, grad_norm=48.909, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.295e-05, train_time=1.895 +[gpua002:0/64] 2023-12-08 15:55:57,492 (trainer:737) INFO: 19epoch:train:7901-8000batch: iter_time=8.469e-05, forward_time=0.148, loss_ctc=74.415, loss_att=63.845, acc=0.706, loss=67.016, backward_time=0.297, grad_norm=50.323, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.293e-05, train_time=1.451 +[gpua002:0/64] 2023-12-08 15:58:38,110 (trainer:737) INFO: 19epoch:train:8001-8100batch: iter_time=8.457e-05, forward_time=0.151, loss_ctc=69.902, loss_att=53.219, acc=0.721, loss=58.224, backward_time=0.327, grad_norm=50.910, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.291e-05, train_time=1.606 +[gpua002:0/64] 2023-12-08 15:59:35,133 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 16:00:44,809 (trainer:737) INFO: 19epoch:train:8101-8200batch: iter_time=8.165e-05, forward_time=0.149, loss_ctc=75.298, loss_att=62.618, acc=0.704, loss=66.422, backward_time=0.284, grad_norm=57.027, clip=100.000, loss_scale=5.777e+31, optim_step_time=0.135, optim0_lr0=9.290e-05, train_time=1.267 +[gpua002:0/64] 2023-12-08 16:03:36,511 (trainer:737) INFO: 19epoch:train:8201-8300batch: iter_time=8.266e-05, forward_time=0.224, loss_ctc=69.778, loss_att=55.093, acc=0.723, loss=59.498, backward_time=0.340, grad_norm=49.357, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=9.288e-05, train_time=1.716 +[gpua002:0/64] 2023-12-08 16:06:48,260 (trainer:737) INFO: 19epoch:train:8301-8400batch: iter_time=8.140e-05, forward_time=0.155, loss_ctc=75.960, loss_att=60.662, acc=0.715, loss=65.252, backward_time=0.392, grad_norm=51.598, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=9.286e-05, train_time=1.918 +[gpua002:0/64] 2023-12-08 16:09:14,130 (trainer:737) INFO: 19epoch:train:8401-8500batch: iter_time=7.888e-05, forward_time=0.148, loss_ctc=67.419, loss_att=52.827, acc=0.711, loss=57.204, backward_time=0.315, grad_norm=48.136, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.285e-05, train_time=1.459 +[gpua002:0/64] 2023-12-08 16:11:30,679 (trainer:737) INFO: 19epoch:train:8501-8600batch: iter_time=7.909e-05, forward_time=0.147, loss_ctc=67.657, loss_att=58.868, acc=0.694, loss=61.504, backward_time=0.281, grad_norm=50.904, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.283e-05, train_time=1.365 +[gpua002:0/64] 2023-12-08 16:13:59,685 (trainer:737) INFO: 19epoch:train:8601-8700batch: iter_time=8.083e-05, forward_time=0.147, loss_ctc=55.631, loss_att=41.872, acc=0.719, loss=46.000, backward_time=0.295, grad_norm=45.806, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.281e-05, train_time=1.490 +[gpua002:0/64] 2023-12-08 16:15:26,111 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-08 16:15:45,388 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 16:15:49,247 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 16:15:49,247 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-08 16:15:49,250 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 16:21:29,963 (trainer:737) INFO: 19epoch:train:8701-8800batch: iter_time=3.129, forward_time=0.191, loss_ctc=66.549, loss_att=49.737, acc=0.728, loss=54.781, backward_time=0.291, grad_norm=50.337, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.280e-05, train_time=4.502 +[gpua002:0/64] 2023-12-08 16:23:46,094 (trainer:737) INFO: 19epoch:train:8801-8900batch: iter_time=8.174e-05, forward_time=0.148, loss_ctc=69.291, loss_att=59.057, acc=0.708, loss=62.127, backward_time=0.284, grad_norm=60.599, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.278e-05, train_time=1.362 +[gpua002:0/64] 2023-12-08 16:26:26,731 (trainer:737) INFO: 19epoch:train:8901-9000batch: iter_time=7.858e-05, forward_time=0.147, loss_ctc=68.143, loss_att=61.118, acc=0.695, loss=63.226, backward_time=0.287, grad_norm=53.006, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.276e-05, train_time=1.606 +[gpua002:0/64] 2023-12-08 16:28:59,943 (trainer:737) INFO: 19epoch:train:9001-9100batch: iter_time=8.419e-05, forward_time=0.147, loss_ctc=54.449, loss_att=44.792, acc=0.716, loss=47.689, backward_time=0.294, grad_norm=44.084, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.275e-05, train_time=1.532 +[gpua002:0/64] 2023-12-08 16:31:55,540 (trainer:737) INFO: 19epoch:train:9101-9200batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=76.801, loss_att=63.415, acc=0.704, loss=67.431, backward_time=0.337, grad_norm=53.406, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.273e-05, train_time=1.756 +[gpua002:0/64] 2023-12-08 16:34:45,959 (trainer:737) INFO: 19epoch:train:9201-9300batch: iter_time=8.474e-05, forward_time=0.235, loss_ctc=73.220, loss_att=58.945, acc=0.704, loss=63.227, backward_time=0.334, grad_norm=69.404, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=9.271e-05, train_time=1.704 +[gpua002:0/64] 2023-12-08 16:37:08,970 (trainer:737) INFO: 19epoch:train:9301-9400batch: iter_time=7.723e-05, forward_time=0.150, loss_ctc=71.117, loss_att=55.031, acc=0.714, loss=59.857, backward_time=0.285, grad_norm=48.018, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.270e-05, train_time=1.430 +[gpua002:0/64] 2023-12-08 16:39:34,965 (trainer:737) INFO: 19epoch:train:9401-9500batch: iter_time=8.351e-05, forward_time=0.148, loss_ctc=70.016, loss_att=53.782, acc=0.712, loss=58.652, backward_time=0.312, grad_norm=49.412, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.268e-05, train_time=1.460 +[gpua002:0/64] 2023-12-08 16:41:46,514 (trainer:737) INFO: 19epoch:train:9501-9600batch: iter_time=7.748e-05, forward_time=0.148, loss_ctc=75.482, loss_att=59.869, acc=0.715, loss=64.553, backward_time=0.286, grad_norm=53.172, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.266e-05, train_time=1.315 +[gpua002:0/64] 2023-12-08 16:44:51,160 (trainer:737) INFO: 19epoch:train:9601-9700batch: iter_time=7.550e-05, forward_time=0.148, loss_ctc=73.731, loss_att=58.561, acc=0.700, loss=63.112, backward_time=0.309, grad_norm=55.721, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.265e-05, train_time=1.846 +[gpua002:0/64] 2023-12-08 16:47:36,350 (trainer:737) INFO: 19epoch:train:9701-9800batch: iter_time=8.109e-05, forward_time=0.167, loss_ctc=63.755, loss_att=54.115, acc=0.694, loss=57.007, backward_time=0.297, grad_norm=50.053, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.263e-05, train_time=1.651 +[gpua002:0/64] 2023-12-08 16:50:27,404 (trainer:737) INFO: 19epoch:train:9801-9900batch: iter_time=3.054e-04, forward_time=0.255, loss_ctc=60.097, loss_att=47.261, acc=0.703, loss=51.112, backward_time=0.337, grad_norm=45.624, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=9.261e-05, train_time=1.711 +[gpua002:0/64] 2023-12-08 16:52:59,961 (trainer:737) INFO: 19epoch:train:9901-10000batch: iter_time=7.437e-05, forward_time=0.147, loss_ctc=63.726, loss_att=50.908, acc=0.718, loss=54.754, backward_time=0.318, grad_norm=55.494, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.260e-05, train_time=1.525 +[gpua002:0/64] 2023-12-08 16:53:20,157 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-08 16:53:39,581 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 16:53:43,444 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 16:53:43,444 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-08 16:53:43,447 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 17:00:13,031 (trainer:737) INFO: 19epoch:train:10001-10100batch: iter_time=2.985, forward_time=0.149, loss_ctc=69.744, loss_att=59.036, acc=0.716, loss=62.249, backward_time=0.282, grad_norm=69.385, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.258e-05, train_time=4.330 +[gpua002:0/64] 2023-12-08 17:02:15,904 (trainer:737) INFO: 19epoch:train:10101-10200batch: iter_time=8.041e-05, forward_time=0.148, loss_ctc=63.013, loss_att=53.719, acc=0.713, loss=56.507, backward_time=0.279, grad_norm=57.287, clip=100.000, loss_scale=6.369e+31, optim_step_time=0.135, optim0_lr0=9.256e-05, train_time=1.228 +[gpua002:0/64] 2023-12-08 17:04:25,492 (trainer:737) INFO: 19epoch:train:10201-10300batch: iter_time=7.958e-05, forward_time=0.148, loss_ctc=64.633, loss_att=52.347, acc=0.720, loss=56.033, backward_time=0.281, grad_norm=61.858, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.255e-05, train_time=1.296 +[gpua002:0/64] 2023-12-08 17:07:25,202 (trainer:737) INFO: 19epoch:train:10301-10400batch: iter_time=8.472e-05, forward_time=0.149, loss_ctc=65.597, loss_att=58.469, acc=0.713, loss=60.608, backward_time=0.323, grad_norm=51.905, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.253e-05, train_time=1.797 +[gpua002:0/64] 2023-12-08 17:10:04,692 (trainer:737) INFO: 19epoch:train:10401-10500batch: iter_time=7.766e-05, forward_time=0.214, loss_ctc=74.034, loss_att=63.955, acc=0.707, loss=66.979, backward_time=0.352, grad_norm=53.866, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.251e-05, train_time=1.594 +[gpua002:0/64] 2023-12-08 17:12:36,477 (trainer:737) INFO: 19epoch:train:10501-10600batch: iter_time=7.906e-05, forward_time=0.148, loss_ctc=69.683, loss_att=53.037, acc=0.723, loss=58.030, backward_time=0.300, grad_norm=49.923, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.250e-05, train_time=1.518 +[gpua002:0/64] 2023-12-08 17:15:08,871 (trainer:737) INFO: 19epoch:train:10601-10700batch: iter_time=7.908e-05, forward_time=0.149, loss_ctc=75.122, loss_att=61.818, acc=0.710, loss=65.809, backward_time=0.307, grad_norm=53.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.248e-05, train_time=1.524 +[gpua002:0/64] 2023-12-08 17:17:34,244 (trainer:737) INFO: 19epoch:train:10701-10800batch: iter_time=8.146e-05, forward_time=0.149, loss_ctc=69.831, loss_att=55.658, acc=0.720, loss=59.910, backward_time=0.288, grad_norm=49.104, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.246e-05, train_time=1.453 +[gpua002:0/64] 2023-12-08 17:20:39,245 (trainer:737) INFO: 19epoch:train:10801-10900batch: iter_time=7.854e-05, forward_time=0.149, loss_ctc=74.555, loss_att=60.085, acc=0.716, loss=64.426, backward_time=0.334, grad_norm=51.156, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.245e-05, train_time=1.850 +[gpua002:0/64] 2023-12-08 17:23:15,157 (trainer:737) INFO: 19epoch:train:10901-11000batch: iter_time=8.120e-05, forward_time=0.148, loss_ctc=67.364, loss_att=52.378, acc=0.713, loss=56.874, backward_time=0.294, grad_norm=47.151, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.243e-05, train_time=1.559 +[gpua002:0/64] 2023-12-08 17:25:17,146 (trainer:737) INFO: 19epoch:train:11001-11100batch: iter_time=8.080e-05, forward_time=0.148, loss_ctc=68.080, loss_att=59.709, acc=0.693, loss=62.221, backward_time=0.279, grad_norm=123.466, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.241e-05, train_time=1.220 +[gpua002:0/64] 2023-12-08 17:27:39,807 (trainer:737) INFO: 19epoch:train:11101-11200batch: iter_time=7.934e-05, forward_time=0.163, loss_ctc=55.112, loss_att=42.397, acc=0.718, loss=46.211, backward_time=0.290, grad_norm=41.369, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.240e-05, train_time=1.426 +[gpua002:0/64] 2023-12-08 17:29:21,295 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-08 17:29:40,771 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 17:29:44,700 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 17:29:44,700 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-08 17:29:44,703 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 17:35:26,382 (trainer:737) INFO: 19epoch:train:11201-11300batch: iter_time=2.957, forward_time=0.229, loss_ctc=65.756, loss_att=49.222, acc=0.730, loss=54.182, backward_time=0.327, grad_norm=50.056, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.238e-05, train_time=4.666 +[gpua002:0/64] 2023-12-08 17:37:28,388 (trainer:737) INFO: 19epoch:train:11301-11400batch: iter_time=7.882e-05, forward_time=0.148, loss_ctc=68.792, loss_att=58.916, acc=0.709, loss=61.879, backward_time=0.278, grad_norm=58.784, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.237e-05, train_time=1.220 +[gpua002:0/64] 2023-12-08 17:39:53,999 (trainer:737) INFO: 19epoch:train:11401-11500batch: iter_time=7.868e-05, forward_time=0.147, loss_ctc=68.085, loss_att=60.893, acc=0.697, loss=63.051, backward_time=0.286, grad_norm=58.918, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.235e-05, train_time=1.456 +[gpua002:0/64] 2023-12-08 17:42:16,110 (trainer:737) INFO: 19epoch:train:11501-11600batch: iter_time=7.907e-05, forward_time=0.147, loss_ctc=54.105, loss_att=44.606, acc=0.719, loss=47.456, backward_time=0.288, grad_norm=45.355, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.233e-05, train_time=1.421 +[gpua002:0/64] 2023-12-08 17:44:40,177 (trainer:737) INFO: 19epoch:train:11601-11700batch: iter_time=7.722e-05, forward_time=0.148, loss_ctc=75.574, loss_att=62.597, acc=0.707, loss=66.490, backward_time=0.308, grad_norm=51.887, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.232e-05, train_time=1.440 +[gpua002:0/64] 2023-12-08 17:44:42,658 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 17:47:14,149 (trainer:737) INFO: 19epoch:train:11701-11800batch: iter_time=8.005e-05, forward_time=0.235, loss_ctc=72.473, loss_att=58.391, acc=0.705, loss=62.616, backward_time=0.337, grad_norm=53.417, clip=100.000, loss_scale=4.097e+31, optim_step_time=0.138, optim0_lr0=9.230e-05, train_time=1.539 +[gpua002:0/64] 2023-12-08 17:49:26,984 (trainer:737) INFO: 19epoch:train:11801-11900batch: iter_time=7.662e-05, forward_time=0.152, loss_ctc=71.108, loss_att=54.726, acc=0.717, loss=59.641, backward_time=0.290, grad_norm=46.231, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.228e-05, train_time=1.328 +[gpua002:0/64] 2023-12-08 17:52:10,299 (trainer:737) INFO: 19epoch:train:11901-12000batch: iter_time=8.062e-05, forward_time=0.166, loss_ctc=69.599, loss_att=53.715, acc=0.713, loss=58.480, backward_time=0.294, grad_norm=52.775, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=9.227e-05, train_time=1.632 +[gpua002:0/64] 2023-12-08 17:55:00,796 (trainer:737) INFO: 19epoch:train:12001-12100batch: iter_time=8.250e-05, forward_time=0.148, loss_ctc=74.474, loss_att=59.079, acc=0.716, loss=63.698, backward_time=0.324, grad_norm=49.793, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.225e-05, train_time=1.705 +[gpua002:0/64] 2023-12-08 17:57:21,905 (trainer:737) INFO: 19epoch:train:12101-12200batch: iter_time=8.298e-05, forward_time=0.148, loss_ctc=73.470, loss_att=58.251, acc=0.701, loss=62.816, backward_time=0.285, grad_norm=58.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.223e-05, train_time=1.411 +[gpua002:0/64] 2023-12-08 18:00:33,893 (trainer:737) INFO: 19epoch:train:12201-12300batch: iter_time=7.994e-05, forward_time=0.147, loss_ctc=63.745, loss_att=53.800, acc=0.696, loss=56.784, backward_time=0.364, grad_norm=49.057, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.222e-05, train_time=1.920 +[gpua002:0/64] 2023-12-08 18:02:40,821 (trainer:737) INFO: 19epoch:train:12301-12400batch: iter_time=8.659e-05, forward_time=0.147, loss_ctc=59.826, loss_att=46.935, acc=0.704, loss=50.802, backward_time=0.282, grad_norm=47.816, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.220e-05, train_time=1.269 +[gpua002:0/64] 2023-12-08 18:05:00,050 (trainer:737) INFO: 19epoch:train:12401-12500batch: iter_time=7.855e-05, forward_time=0.147, loss_ctc=64.017, loss_att=50.690, acc=0.719, loss=54.688, backward_time=0.301, grad_norm=48.556, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.219e-05, train_time=1.392 +[gpua002:0/64] 2023-12-08 18:05:20,080 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-08 18:05:39,253 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 18:05:42,839 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 18:05:42,839 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-08 18:05:42,842 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 18:13:16,155 (trainer:737) INFO: 19epoch:train:12501-12600batch: iter_time=3.325, forward_time=0.188, loss_ctc=68.815, loss_att=57.534, acc=0.717, loss=60.919, backward_time=0.288, grad_norm=56.947, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.217e-05, train_time=4.961 +[gpua002:0/64] 2023-12-08 18:15:19,753 (trainer:737) INFO: 19epoch:train:12601-12700batch: iter_time=8.708e-05, forward_time=0.148, loss_ctc=62.821, loss_att=53.121, acc=0.710, loss=56.031, backward_time=0.280, grad_norm=53.799, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.215e-05, train_time=1.236 +[gpua002:0/64] 2023-12-08 18:17:44,908 (trainer:737) INFO: 19epoch:train:12701-12800batch: iter_time=8.224e-05, forward_time=0.148, loss_ctc=64.249, loss_att=52.297, acc=0.721, loss=55.882, backward_time=0.284, grad_norm=51.253, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.214e-05, train_time=1.451 +[gpua002:0/64] 2023-12-08 18:21:00,098 (trainer:737) INFO: 19epoch:train:12801-12900batch: iter_time=8.532e-05, forward_time=0.148, loss_ctc=65.799, loss_att=58.561, acc=0.714, loss=60.733, backward_time=0.324, grad_norm=53.409, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.212e-05, train_time=1.952 +[gpua002:0/64] 2023-12-08 18:23:28,598 (trainer:737) INFO: 19epoch:train:12901-13000batch: iter_time=8.267e-05, forward_time=0.149, loss_ctc=73.939, loss_att=63.312, acc=0.706, loss=66.501, backward_time=0.303, grad_norm=59.697, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.210e-05, train_time=1.485 +[gpua002:0/64] 2023-12-08 18:25:55,057 (trainer:737) INFO: 19epoch:train:13001-13100batch: iter_time=8.557e-05, forward_time=0.148, loss_ctc=69.836, loss_att=53.085, acc=0.724, loss=58.110, backward_time=0.296, grad_norm=50.323, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.209e-05, train_time=1.464 +[gpua002:0/64] 2023-12-08 18:28:26,289 (trainer:737) INFO: 19epoch:train:13101-13200batch: iter_time=8.481e-05, forward_time=0.155, loss_ctc=75.411, loss_att=62.813, acc=0.706, loss=66.593, backward_time=0.312, grad_norm=68.799, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.207e-05, train_time=1.512 +[gpua002:0/64] 2023-12-08 18:31:09,386 (trainer:737) INFO: 19epoch:train:13201-13300batch: iter_time=1.913e-04, forward_time=0.217, loss_ctc=69.614, loss_att=55.218, acc=0.722, loss=59.537, backward_time=0.340, grad_norm=58.061, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=9.206e-05, train_time=1.631 +[gpua002:0/64] 2023-12-08 18:34:00,167 (trainer:737) INFO: 19epoch:train:13301-13400batch: iter_time=8.524e-05, forward_time=0.186, loss_ctc=74.706, loss_att=59.665, acc=0.718, loss=64.177, backward_time=0.301, grad_norm=86.811, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=9.204e-05, train_time=1.707 +[gpua002:0/64] 2023-12-08 18:36:24,767 (trainer:737) INFO: 19epoch:train:13401-13500batch: iter_time=8.550e-05, forward_time=0.148, loss_ctc=67.388, loss_att=52.864, acc=0.707, loss=57.221, backward_time=0.290, grad_norm=50.009, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.202e-05, train_time=1.446 +[gpua002:0/64] 2023-12-08 18:38:43,184 (trainer:737) INFO: 19epoch:train:13501-13600batch: iter_time=8.684e-05, forward_time=0.148, loss_ctc=67.798, loss_att=58.971, acc=0.691, loss=61.619, backward_time=0.292, grad_norm=58.142, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=9.201e-05, train_time=1.384 +[gpua002:0/64] 2023-12-08 18:41:44,656 (trainer:737) INFO: 19epoch:train:13601-13700batch: iter_time=8.100e-05, forward_time=0.149, loss_ctc=54.849, loss_att=41.446, acc=0.720, loss=45.467, backward_time=0.322, grad_norm=46.785, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=9.199e-05, train_time=1.814 +[gpua002:0/64] 2023-12-08 18:43:19,362 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-08 18:43:38,654 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 18:43:42,289 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 18:43:42,289 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-08 18:43:42,293 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 18:49:23,279 (trainer:737) INFO: 19epoch:train:13701-13800batch: iter_time=3.153, forward_time=0.182, loss_ctc=66.473, loss_att=49.634, acc=0.725, loss=54.685, backward_time=0.309, grad_norm=56.099, clip=100.000, loss_scale=8.032e+31, optim_step_time=0.136, optim0_lr0=9.197e-05, train_time=4.586 +[gpua002:0/64] 2023-12-08 18:51:35,142 (trainer:737) INFO: 19epoch:train:13801-13900batch: iter_time=8.466e-05, forward_time=0.150, loss_ctc=69.359, loss_att=58.662, acc=0.711, loss=61.871, backward_time=0.288, grad_norm=60.314, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.196e-05, train_time=1.318 +[gpua002:0/64] 2023-12-08 18:54:05,337 (trainer:737) INFO: 19epoch:train:13901-14000batch: iter_time=8.548e-05, forward_time=0.148, loss_ctc=67.845, loss_att=62.008, acc=0.697, loss=63.759, backward_time=0.307, grad_norm=56.305, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.194e-05, train_time=1.502 +[gpua002:0/64] 2023-12-08 18:56:11,273 (trainer:737) INFO: 19epoch:train:14001-14100batch: iter_time=8.357e-05, forward_time=0.149, loss_ctc=53.814, loss_att=46.031, acc=0.719, loss=48.366, backward_time=0.291, grad_norm=44.772, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.193e-05, train_time=1.259 +[gpua002:0/64] 2023-12-08 18:59:16,196 (trainer:737) INFO: 19epoch:train:14101-14200batch: iter_time=9.200e-05, forward_time=0.148, loss_ctc=76.020, loss_att=63.946, acc=0.714, loss=67.568, backward_time=0.353, grad_norm=53.696, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.191e-05, train_time=1.849 +[gpua002:0/64] 2023-12-08 19:02:14,118 (trainer:737) INFO: 19epoch:train:14201-14300batch: iter_time=8.008e-05, forward_time=0.149, loss_ctc=71.534, loss_att=61.689, acc=0.703, loss=64.643, backward_time=0.361, grad_norm=55.553, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.189e-05, train_time=1.779 +[gpua002:0/64] 2023-12-08 19:05:05,232 (trainer:737) INFO: 19epoch:train:14301-14400batch: iter_time=7.972e-05, forward_time=0.148, loss_ctc=71.074, loss_att=55.734, acc=0.715, loss=60.336, backward_time=0.359, grad_norm=61.082, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.188e-05, train_time=1.711 +[gpua002:0/64] 2023-12-08 19:08:02,657 (trainer:737) INFO: 19epoch:train:14401-14500batch: iter_time=8.807e-05, forward_time=0.149, loss_ctc=69.596, loss_att=53.063, acc=0.721, loss=58.023, backward_time=0.307, grad_norm=53.627, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.186e-05, train_time=1.774 +[gpua002:0/64] 2023-12-08 19:10:55,265 (trainer:737) INFO: 19epoch:train:14501-14600batch: iter_time=8.676e-05, forward_time=0.228, loss_ctc=74.579, loss_att=60.092, acc=0.721, loss=64.438, backward_time=0.348, grad_norm=48.514, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.184e-05, train_time=1.726 +[gpua002:0/64] 2023-12-08 19:13:22,909 (trainer:737) INFO: 19epoch:train:14601-14700batch: iter_time=8.062e-05, forward_time=0.148, loss_ctc=73.678, loss_att=58.166, acc=0.709, loss=62.819, backward_time=0.317, grad_norm=52.550, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=9.183e-05, train_time=1.476 +[gpua002:0/64] 2023-12-08 19:15:55,313 (trainer:737) INFO: 19epoch:train:14701-14800batch: iter_time=7.754e-05, forward_time=0.148, loss_ctc=64.018, loss_att=54.033, acc=0.695, loss=57.029, backward_time=0.308, grad_norm=57.781, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.181e-05, train_time=1.524 +[gpua002:0/64] 2023-12-08 19:18:27,033 (trainer:737) INFO: 19epoch:train:14801-14900batch: iter_time=8.777e-05, forward_time=0.148, loss_ctc=59.994, loss_att=48.064, acc=0.706, loss=51.643, backward_time=0.299, grad_norm=57.806, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.180e-05, train_time=1.517 +[gpua002:0/64] 2023-12-08 19:20:36,242 (trainer:737) INFO: 19epoch:train:14901-15000batch: iter_time=7.783e-05, forward_time=0.148, loss_ctc=64.457, loss_att=51.722, acc=0.719, loss=55.542, backward_time=0.289, grad_norm=54.728, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.178e-05, train_time=1.292 +[gpua002:0/64] 2023-12-08 19:46:58,040 (trainer:343) INFO: 19epoch results: [train] iter_time=0.240, forward_time=0.161, loss_ctc=68.629, loss_att=55.801, acc=0.709, loss=59.649, backward_time=0.308, grad_norm=53.397, clip=100.000, loss_scale=1.067e+32, optim_step_time=0.135, optim0_lr0=9.301e-05, train_time=1.810, time=7 hours, 33 minutes and 2.28 seconds, total_count=285000, gpu_max_cached_mem_GB=36.262, [valid] loss_ctc=39.024, cer_ctc=0.203, loss_att=34.416, acc=0.725, cer=0.247, wer=0.946, loss=35.798, time=25 minutes and 57.66 seconds, total_count=88749, gpu_max_cached_mem_GB=36.262 +[gpua002:0/64] 2023-12-08 19:47:17,204 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua002:0/64] 2023-12-08 19:47:17,212 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/11epoch.pth +[gpua002:0/64] 2023-12-08 19:47:17,212 (trainer:272) INFO: 20/40epoch started. Estimated time to finish: 1 week, 15 hours and 47 minutes +[gpua002:0/64] 2023-12-08 19:47:17,224 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-08 19:47:35,720 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 19:47:39,160 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 19:47:39,160 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-08 19:47:39,163 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 19:54:12,246 (trainer:737) INFO: 20epoch:train:1-100batch: iter_time=2.640, forward_time=0.199, loss_ctc=74.825, loss_att=58.610, acc=0.695, loss=63.474, backward_time=0.290, grad_norm=65.073, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.176e-05, train_time=4.150 +[gpua002:0/64] 2023-12-08 19:56:37,276 (trainer:737) INFO: 20epoch:train:101-200batch: iter_time=7.700e-05, forward_time=0.149, loss_ctc=70.424, loss_att=60.605, acc=0.692, loss=63.551, backward_time=0.313, grad_norm=56.414, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.175e-05, train_time=1.450 +[gpua002:0/64] 2023-12-08 19:58:50,776 (trainer:737) INFO: 20epoch:train:201-300batch: iter_time=8.575e-05, forward_time=0.147, loss_ctc=75.907, loss_att=61.540, acc=0.699, loss=65.850, backward_time=0.283, grad_norm=61.490, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.173e-05, train_time=1.335 +[gpua002:0/64] 2023-12-08 20:01:16,134 (trainer:737) INFO: 20epoch:train:301-400batch: iter_time=8.270e-05, forward_time=0.146, loss_ctc=63.165, loss_att=59.295, acc=0.700, loss=60.456, backward_time=0.320, grad_norm=51.451, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.172e-05, train_time=1.453 +[gpua002:0/64] 2023-12-08 20:03:58,464 (trainer:737) INFO: 20epoch:train:401-500batch: iter_time=8.187e-05, forward_time=0.290, loss_ctc=69.506, loss_att=56.415, acc=0.676, loss=60.342, backward_time=0.345, grad_norm=64.057, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=9.170e-05, train_time=1.623 +[gpua002:0/64] 2023-12-08 20:06:33,865 (trainer:737) INFO: 20epoch:train:501-600batch: iter_time=8.129e-05, forward_time=0.148, loss_ctc=75.820, loss_att=60.329, acc=0.688, loss=64.977, backward_time=0.306, grad_norm=62.940, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.168e-05, train_time=1.554 +[gpua002:0/64] 2023-12-08 20:09:05,747 (trainer:737) INFO: 20epoch:train:601-700batch: iter_time=8.135e-05, forward_time=0.147, loss_ctc=77.264, loss_att=58.526, acc=0.708, loss=64.148, backward_time=0.300, grad_norm=60.563, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.167e-05, train_time=1.519 +[gpua002:0/64] 2023-12-08 20:11:32,998 (trainer:737) INFO: 20epoch:train:701-800batch: iter_time=7.947e-05, forward_time=0.149, loss_ctc=63.325, loss_att=46.631, acc=0.713, loss=51.640, backward_time=0.320, grad_norm=53.275, clip=100.000, loss_scale=1.606e+32, optim_step_time=0.135, optim0_lr0=9.165e-05, train_time=1.472 +[gpua002:0/64] 2023-12-08 20:14:01,991 (trainer:737) INFO: 20epoch:train:801-900batch: iter_time=8.325e-05, forward_time=0.147, loss_ctc=71.696, loss_att=58.058, acc=0.712, loss=62.149, backward_time=0.295, grad_norm=49.296, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.164e-05, train_time=1.490 +[gpua002:0/64] 2023-12-08 20:16:40,188 (trainer:737) INFO: 20epoch:train:901-1000batch: iter_time=8.033e-05, forward_time=0.149, loss_ctc=71.441, loss_att=61.665, acc=0.692, loss=64.598, backward_time=0.305, grad_norm=57.631, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.162e-05, train_time=1.582 +[gpua002:0/64] 2023-12-08 20:19:43,114 (trainer:737) INFO: 20epoch:train:1001-1100batch: iter_time=8.406e-05, forward_time=0.210, loss_ctc=77.164, loss_att=60.777, acc=0.702, loss=65.693, backward_time=0.360, grad_norm=67.187, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.160e-05, train_time=1.829 +[gpua002:0/64] 2023-12-08 20:22:20,784 (trainer:737) INFO: 20epoch:train:1101-1200batch: iter_time=8.815e-05, forward_time=0.152, loss_ctc=64.588, loss_att=52.498, acc=0.709, loss=56.125, backward_time=0.293, grad_norm=66.936, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.159e-05, train_time=1.576 +[gpua002:0/64] 2023-12-08 20:24:02,234 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-08 20:24:21,177 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 20:24:24,919 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 20:24:24,919 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-08 20:24:24,922 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 20:29:39,878 (trainer:737) INFO: 20epoch:train:1201-1300batch: iter_time=2.474, forward_time=0.148, loss_ctc=68.312, loss_att=57.896, acc=0.712, loss=61.020, backward_time=0.285, grad_norm=64.108, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.157e-05, train_time=4.391 +[gpua002:0/64] 2023-12-08 20:31:40,377 (trainer:737) INFO: 20epoch:train:1301-1400batch: iter_time=7.694e-05, forward_time=0.148, loss_ctc=68.728, loss_att=55.742, acc=0.705, loss=59.638, backward_time=0.279, grad_norm=60.874, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.156e-05, train_time=1.205 +[gpua002:0/64] 2023-12-08 20:34:00,350 (trainer:737) INFO: 20epoch:train:1401-1500batch: iter_time=7.939e-05, forward_time=0.149, loss_ctc=79.942, loss_att=68.750, acc=0.699, loss=72.108, backward_time=0.289, grad_norm=57.585, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.154e-05, train_time=1.400 +[gpua002:0/64] 2023-12-08 20:36:16,204 (trainer:737) INFO: 20epoch:train:1501-1600batch: iter_time=7.925e-05, forward_time=0.148, loss_ctc=66.098, loss_att=51.265, acc=0.721, loss=55.715, backward_time=0.284, grad_norm=56.840, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.152e-05, train_time=1.358 +[gpua002:0/64] 2023-12-08 20:38:26,993 (trainer:737) INFO: 20epoch:train:1601-1700batch: iter_time=2.950e-04, forward_time=0.159, loss_ctc=60.980, loss_att=57.456, acc=0.689, loss=58.513, backward_time=0.281, grad_norm=59.031, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.151e-05, train_time=1.308 +[gpua002:0/64] 2023-12-08 20:41:06,977 (trainer:737) INFO: 20epoch:train:1701-1800batch: iter_time=8.136e-05, forward_time=0.217, loss_ctc=75.107, loss_att=65.426, acc=0.685, loss=68.330, backward_time=0.334, grad_norm=57.549, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=9.149e-05, train_time=1.600 +[gpua002:0/64] 2023-12-08 20:43:59,939 (trainer:737) INFO: 20epoch:train:1801-1900batch: iter_time=7.707e-05, forward_time=0.149, loss_ctc=79.613, loss_att=61.398, acc=0.703, loss=66.863, backward_time=0.302, grad_norm=61.408, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.148e-05, train_time=1.729 +[gpua002:0/64] 2023-12-08 20:46:28,557 (trainer:737) INFO: 20epoch:train:1901-2000batch: iter_time=7.509e-05, forward_time=0.148, loss_ctc=63.963, loss_att=48.925, acc=0.721, loss=53.436, backward_time=0.291, grad_norm=62.762, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.146e-05, train_time=1.486 +[gpua002:0/64] 2023-12-08 20:49:20,367 (trainer:737) INFO: 20epoch:train:2001-2100batch: iter_time=7.662e-05, forward_time=0.148, loss_ctc=66.201, loss_att=48.551, acc=0.738, loss=53.846, backward_time=0.331, grad_norm=50.571, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.144e-05, train_time=1.718 +[gpua002:0/64] 2023-12-08 20:52:05,533 (trainer:737) INFO: 20epoch:train:2101-2200batch: iter_time=7.726e-05, forward_time=0.148, loss_ctc=66.113, loss_att=56.740, acc=0.711, loss=59.552, backward_time=0.320, grad_norm=56.765, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.143e-05, train_time=1.651 +[gpua002:0/64] 2023-12-08 20:54:29,572 (trainer:737) INFO: 20epoch:train:2201-2300batch: iter_time=7.522e-05, forward_time=0.150, loss_ctc=76.645, loss_att=67.280, acc=0.710, loss=70.090, backward_time=0.310, grad_norm=51.326, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.141e-05, train_time=1.440 +[gpua002:0/64] 2023-12-08 20:56:48,651 (trainer:737) INFO: 20epoch:train:2301-2400batch: iter_time=7.648e-05, forward_time=0.147, loss_ctc=73.401, loss_att=53.321, acc=0.715, loss=59.345, backward_time=0.306, grad_norm=58.535, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.140e-05, train_time=1.391 +[gpua002:0/64] 2023-12-08 20:58:55,142 (trainer:737) INFO: 20epoch:train:2401-2500batch: iter_time=7.690e-05, forward_time=0.147, loss_ctc=65.011, loss_att=55.747, acc=0.724, loss=58.526, backward_time=0.287, grad_norm=47.473, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.138e-05, train_time=1.265 +[gpua002:0/64] 2023-12-08 20:59:15,172 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-08 20:59:34,336 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 20:59:37,895 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 20:59:37,895 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-08 20:59:37,973 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 21:06:03,591 (trainer:737) INFO: 20epoch:train:2501-2600batch: iter_time=2.990, forward_time=0.192, loss_ctc=70.431, loss_att=55.310, acc=0.706, loss=59.847, backward_time=0.292, grad_norm=66.553, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.136e-05, train_time=4.284 +[gpua002:0/64] 2023-12-08 21:08:18,601 (trainer:737) INFO: 20epoch:train:2601-2700batch: iter_time=7.913e-05, forward_time=0.147, loss_ctc=68.480, loss_att=59.015, acc=0.696, loss=61.854, backward_time=0.294, grad_norm=54.710, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.135e-05, train_time=1.350 +[gpua002:0/64] 2023-12-08 21:10:30,886 (trainer:737) INFO: 20epoch:train:2701-2800batch: iter_time=7.747e-05, forward_time=0.149, loss_ctc=73.848, loss_att=60.356, acc=0.704, loss=64.404, backward_time=0.286, grad_norm=59.307, clip=100.000, loss_scale=3.213e+32, optim_step_time=0.134, optim0_lr0=9.133e-05, train_time=1.323 +[gpua002:0/64] 2023-12-08 21:12:52,525 (trainer:737) INFO: 20epoch:train:2801-2900batch: iter_time=8.407e-05, forward_time=0.148, loss_ctc=61.767, loss_att=58.454, acc=0.704, loss=59.448, backward_time=0.292, grad_norm=54.311, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.132e-05, train_time=1.416 +[gpua002:0/64] 2023-12-08 21:13:32,854 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 21:15:59,412 (trainer:737) INFO: 20epoch:train:2901-3000batch: iter_time=9.144e-05, forward_time=0.148, loss_ctc=67.146, loss_att=56.506, acc=0.678, loss=59.698, backward_time=0.320, grad_norm=70.520, clip=100.000, loss_scale=1.950e+32, optim_step_time=0.134, optim0_lr0=9.130e-05, train_time=1.869 +[gpua002:0/64] 2023-12-08 21:19:21,704 (trainer:737) INFO: 20epoch:train:3001-3100batch: iter_time=8.329e-05, forward_time=0.148, loss_ctc=74.599, loss_att=59.385, acc=0.692, loss=63.949, backward_time=0.315, grad_norm=61.822, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.129e-05, train_time=2.023 +[gpua002:0/64] 2023-12-08 21:21:35,806 (trainer:737) INFO: 20epoch:train:3101-3200batch: iter_time=8.521e-05, forward_time=0.147, loss_ctc=74.581, loss_att=57.523, acc=0.710, loss=62.641, backward_time=0.285, grad_norm=53.696, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.127e-05, train_time=1.341 +[gpua002:0/64] 2023-12-08 21:23:38,513 (trainer:737) INFO: 20epoch:train:3201-3300batch: iter_time=8.036e-05, forward_time=0.147, loss_ctc=62.506, loss_att=46.474, acc=0.713, loss=51.284, backward_time=0.280, grad_norm=51.742, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.125e-05, train_time=1.227 +[gpua002:0/64] 2023-12-08 21:26:34,621 (trainer:737) INFO: 20epoch:train:3301-3400batch: iter_time=8.383e-05, forward_time=0.148, loss_ctc=70.418, loss_att=56.726, acc=0.717, loss=60.834, backward_time=0.300, grad_norm=55.992, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.124e-05, train_time=1.761 +[gpua002:0/64] 2023-12-08 21:29:04,441 (trainer:737) INFO: 20epoch:train:3401-3500batch: iter_time=8.261e-05, forward_time=0.185, loss_ctc=69.478, loss_att=60.357, acc=0.698, loss=63.094, backward_time=0.341, grad_norm=59.692, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.122e-05, train_time=1.498 +[gpua002:0/64] 2023-12-08 21:31:38,915 (trainer:737) INFO: 20epoch:train:3501-3600batch: iter_time=0.001, forward_time=0.206, loss_ctc=75.601, loss_att=58.324, acc=0.714, loss=63.508, backward_time=0.309, grad_norm=57.461, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=9.121e-05, train_time=1.545 +[gpua002:0/64] 2023-12-08 21:34:17,895 (trainer:737) INFO: 20epoch:train:3601-3700batch: iter_time=7.775e-05, forward_time=0.146, loss_ctc=62.697, loss_att=51.175, acc=0.715, loss=54.631, backward_time=0.345, grad_norm=53.489, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.119e-05, train_time=1.589 +[gpua002:0/64] 2023-12-08 21:35:59,726 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-08 21:36:18,784 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 21:36:22,326 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 21:36:22,326 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-08 21:36:22,329 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 21:42:09,345 (trainer:737) INFO: 20epoch:train:3701-3800batch: iter_time=3.219, forward_time=0.147, loss_ctc=67.273, loss_att=57.885, acc=0.713, loss=60.701, backward_time=0.295, grad_norm=60.275, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.117e-05, train_time=4.714 +[gpua002:0/64] 2023-12-08 21:44:12,419 (trainer:737) INFO: 20epoch:train:3801-3900batch: iter_time=7.422e-05, forward_time=0.149, loss_ctc=67.500, loss_att=55.018, acc=0.712, loss=58.763, backward_time=0.281, grad_norm=57.611, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.116e-05, train_time=1.231 +[gpua002:0/64] 2023-12-08 21:46:15,701 (trainer:737) INFO: 20epoch:train:3901-4000batch: iter_time=8.452e-05, forward_time=0.148, loss_ctc=79.711, loss_att=67.471, acc=0.706, loss=71.143, backward_time=0.281, grad_norm=58.803, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.114e-05, train_time=1.233 +[gpua002:0/64] 2023-12-08 21:49:17,198 (trainer:737) INFO: 20epoch:train:4001-4100batch: iter_time=8.516e-05, forward_time=0.147, loss_ctc=64.844, loss_att=50.306, acc=0.725, loss=54.667, backward_time=0.317, grad_norm=57.149, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.113e-05, train_time=1.815 +[gpua002:0/64] 2023-12-08 21:51:27,000 (trainer:737) INFO: 20epoch:train:4101-4200batch: iter_time=8.269e-05, forward_time=0.147, loss_ctc=60.427, loss_att=56.771, acc=0.693, loss=57.868, backward_time=0.287, grad_norm=57.431, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.111e-05, train_time=1.298 +[gpua002:0/64] 2023-12-08 21:54:11,435 (trainer:737) INFO: 20epoch:train:4201-4300batch: iter_time=8.606e-05, forward_time=0.276, loss_ctc=74.153, loss_att=65.127, acc=0.687, loss=67.835, backward_time=0.332, grad_norm=57.619, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.110e-05, train_time=1.644 +[gpua002:0/64] 2023-12-08 21:56:19,404 (trainer:737) INFO: 20epoch:train:4301-4400batch: iter_time=7.759e-05, forward_time=0.148, loss_ctc=77.977, loss_att=60.849, acc=0.706, loss=65.988, backward_time=0.280, grad_norm=60.297, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.108e-05, train_time=1.279 +[gpua002:0/64] 2023-12-08 21:58:42,152 (trainer:737) INFO: 20epoch:train:4401-4500batch: iter_time=7.851e-05, forward_time=0.150, loss_ctc=63.371, loss_att=48.221, acc=0.725, loss=52.766, backward_time=0.291, grad_norm=52.906, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.106e-05, train_time=1.427 +[gpua002:0/64] 2023-12-08 22:01:43,327 (trainer:737) INFO: 20epoch:train:4501-4600batch: iter_time=7.780e-05, forward_time=0.148, loss_ctc=65.615, loss_att=48.155, acc=0.741, loss=53.393, backward_time=0.303, grad_norm=49.820, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.105e-05, train_time=1.812 +[gpua002:0/64] 2023-12-08 22:03:55,661 (trainer:737) INFO: 20epoch:train:4601-4700batch: iter_time=7.966e-05, forward_time=0.149, loss_ctc=65.374, loss_att=56.234, acc=0.712, loss=58.976, backward_time=0.292, grad_norm=59.705, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.103e-05, train_time=1.323 +[gpua002:0/64] 2023-12-08 22:06:54,919 (trainer:737) INFO: 20epoch:train:4701-4800batch: iter_time=8.144e-05, forward_time=0.148, loss_ctc=76.877, loss_att=67.124, acc=0.714, loss=70.050, backward_time=0.327, grad_norm=53.779, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.102e-05, train_time=1.793 +[gpua002:0/64] 2023-12-08 22:10:15,929 (trainer:737) INFO: 20epoch:train:4801-4900batch: iter_time=7.728e-05, forward_time=0.149, loss_ctc=72.071, loss_att=51.662, acc=0.722, loss=57.785, backward_time=0.449, grad_norm=56.051, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.100e-05, train_time=2.010 +[gpua002:0/64] 2023-12-08 22:12:43,469 (trainer:737) INFO: 20epoch:train:4901-5000batch: iter_time=8.035e-05, forward_time=0.148, loss_ctc=65.870, loss_att=56.192, acc=0.725, loss=59.096, backward_time=0.290, grad_norm=46.812, clip=100.000, loss_scale=2.904e+32, optim_step_time=0.136, optim0_lr0=9.099e-05, train_time=1.475 +[gpua002:0/64] 2023-12-08 22:13:03,497 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-08 22:13:22,634 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 22:13:26,409 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 22:13:26,410 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-08 22:13:26,413 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 22:19:45,800 (trainer:737) INFO: 20epoch:train:5001-5100batch: iter_time=2.935, forward_time=0.192, loss_ctc=70.265, loss_att=54.946, acc=0.716, loss=59.541, backward_time=0.287, grad_norm=68.045, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.097e-05, train_time=4.223 +[gpua002:0/64] 2023-12-08 22:21:47,183 (trainer:737) INFO: 20epoch:train:5101-5200batch: iter_time=8.310e-05, forward_time=0.148, loss_ctc=68.190, loss_att=57.754, acc=0.708, loss=60.884, backward_time=0.279, grad_norm=54.629, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.095e-05, train_time=1.214 +[gpua002:0/64] 2023-12-08 22:23:58,985 (trainer:737) INFO: 20epoch:train:5201-5300batch: iter_time=8.002e-05, forward_time=0.148, loss_ctc=73.419, loss_att=59.579, acc=0.715, loss=63.731, backward_time=0.305, grad_norm=60.594, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.094e-05, train_time=1.317 +[gpua002:0/64] 2023-12-08 22:24:50,318 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 22:26:10,488 (trainer:737) INFO: 20epoch:train:5301-5400batch: iter_time=7.942e-05, forward_time=0.148, loss_ctc=61.943, loss_att=57.312, acc=0.716, loss=58.701, backward_time=0.280, grad_norm=50.787, clip=100.000, loss_scale=2.262e+32, optim_step_time=0.135, optim0_lr0=9.092e-05, train_time=1.315 +[gpua002:0/64] 2023-12-08 22:30:39,171 (trainer:737) INFO: 20epoch:train:5401-5500batch: iter_time=7.954e-05, forward_time=0.148, loss_ctc=66.564, loss_att=56.276, acc=0.684, loss=59.362, backward_time=0.534, grad_norm=63.426, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.091e-05, train_time=2.687 +[gpua002:0/64] 2023-12-08 22:34:23,954 (trainer:737) INFO: 20epoch:train:5501-5600batch: iter_time=7.944e-05, forward_time=0.148, loss_ctc=74.201, loss_att=58.911, acc=0.706, loss=63.498, backward_time=0.466, grad_norm=52.624, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.089e-05, train_time=2.248 +[gpua002:0/64] 2023-12-08 22:37:19,870 (trainer:737) INFO: 20epoch:train:5601-5700batch: iter_time=8.001e-05, forward_time=0.149, loss_ctc=74.645, loss_att=58.971, acc=0.717, loss=63.673, backward_time=0.301, grad_norm=59.320, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.088e-05, train_time=1.759 +[gpua002:0/64] 2023-12-08 22:38:03,012 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-08 22:39:31,454 (trainer:737) INFO: 20epoch:train:5701-5800batch: iter_time=6.283e-04, forward_time=0.159, loss_ctc=61.783, loss_att=45.714, acc=0.732, loss=50.535, backward_time=0.290, grad_norm=55.231, clip=100.000, loss_scale=1.074e+32, optim_step_time=0.135, optim0_lr0=9.086e-05, train_time=1.316 +[gpua002:0/64] 2023-12-08 22:42:05,450 (trainer:737) INFO: 20epoch:train:5801-5900batch: iter_time=2.362e-04, forward_time=0.266, loss_ctc=69.779, loss_att=56.214, acc=0.729, loss=60.283, backward_time=0.323, grad_norm=52.531, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=9.084e-05, train_time=1.538 +[gpua002:0/64] 2023-12-08 22:44:47,310 (trainer:737) INFO: 20epoch:train:5901-6000batch: iter_time=8.086e-05, forward_time=0.148, loss_ctc=69.127, loss_att=59.684, acc=0.714, loss=62.517, backward_time=0.294, grad_norm=66.242, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.083e-05, train_time=1.620 +[gpua002:0/64] 2023-12-08 22:47:00,499 (trainer:737) INFO: 20epoch:train:6001-6100batch: iter_time=8.182e-05, forward_time=0.147, loss_ctc=75.216, loss_att=58.113, acc=0.726, loss=63.244, backward_time=0.282, grad_norm=56.380, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.081e-05, train_time=1.332 +[gpua002:0/64] 2023-12-08 22:49:29,866 (trainer:737) INFO: 20epoch:train:6101-6200batch: iter_time=8.190e-05, forward_time=0.148, loss_ctc=62.967, loss_att=50.636, acc=0.723, loss=54.335, backward_time=0.314, grad_norm=53.082, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.080e-05, train_time=1.493 +[gpua002:0/64] 2023-12-08 22:51:10,872 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-08 22:51:30,441 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 22:51:34,014 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 22:51:34,014 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-08 22:51:34,017 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 22:57:28,322 (trainer:737) INFO: 20epoch:train:6201-6300batch: iter_time=3.132, forward_time=0.154, loss_ctc=66.451, loss_att=56.722, acc=0.722, loss=59.641, backward_time=0.282, grad_norm=52.681, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.078e-05, train_time=4.784 +[gpua002:0/64] 2023-12-08 22:59:47,912 (trainer:737) INFO: 20epoch:train:6301-6400batch: iter_time=7.582e-05, forward_time=0.148, loss_ctc=66.491, loss_att=54.246, acc=0.710, loss=57.920, backward_time=0.290, grad_norm=64.013, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.077e-05, train_time=1.396 +[gpua002:0/64] 2023-12-08 23:02:13,061 (trainer:737) INFO: 20epoch:train:6401-6500batch: iter_time=7.924e-05, forward_time=0.148, loss_ctc=78.577, loss_att=67.320, acc=0.699, loss=70.697, backward_time=0.334, grad_norm=65.802, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.075e-05, train_time=1.451 +[gpua002:0/64] 2023-12-08 23:04:27,049 (trainer:737) INFO: 20epoch:train:6501-6600batch: iter_time=8.647e-05, forward_time=0.157, loss_ctc=64.257, loss_att=50.477, acc=0.720, loss=54.611, backward_time=0.286, grad_norm=52.134, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.074e-05, train_time=1.340 +[gpua002:0/64] 2023-12-08 23:06:59,852 (trainer:737) INFO: 20epoch:train:6601-6700batch: iter_time=7.372e-05, forward_time=0.208, loss_ctc=59.536, loss_att=56.917, acc=0.692, loss=57.703, backward_time=0.319, grad_norm=65.325, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=9.072e-05, train_time=1.528 +[gpua002:0/64] 2023-12-08 23:09:36,834 (trainer:737) INFO: 20epoch:train:6701-6800batch: iter_time=8.317e-05, forward_time=0.193, loss_ctc=74.273, loss_att=64.739, acc=0.675, loss=67.599, backward_time=0.300, grad_norm=57.594, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.070e-05, train_time=1.569 +[gpua002:0/64] 2023-12-08 23:12:39,618 (trainer:737) INFO: 20epoch:train:6801-6900batch: iter_time=8.385e-05, forward_time=0.148, loss_ctc=77.940, loss_att=59.901, acc=0.702, loss=65.313, backward_time=0.321, grad_norm=65.123, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.069e-05, train_time=1.828 +[gpua002:0/64] 2023-12-08 23:15:07,346 (trainer:737) INFO: 20epoch:train:6901-7000batch: iter_time=8.193e-05, forward_time=0.148, loss_ctc=62.969, loss_att=46.225, acc=0.723, loss=51.248, backward_time=0.305, grad_norm=50.653, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.067e-05, train_time=1.477 +[gpua002:0/64] 2023-12-08 23:17:40,293 (trainer:737) INFO: 20epoch:train:7001-7100batch: iter_time=7.838e-05, forward_time=0.150, loss_ctc=65.325, loss_att=48.241, acc=0.733, loss=53.366, backward_time=0.337, grad_norm=50.316, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.066e-05, train_time=1.529 +[gpua002:0/64] 2023-12-08 23:20:12,848 (trainer:737) INFO: 20epoch:train:7101-7200batch: iter_time=7.931e-05, forward_time=0.153, loss_ctc=65.117, loss_att=56.500, acc=0.701, loss=59.085, backward_time=0.285, grad_norm=62.924, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.064e-05, train_time=1.526 +[gpua002:0/64] 2023-12-08 23:22:31,912 (trainer:737) INFO: 20epoch:train:7201-7300batch: iter_time=7.795e-05, forward_time=0.148, loss_ctc=75.522, loss_att=65.765, acc=0.708, loss=68.692, backward_time=0.282, grad_norm=50.186, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.063e-05, train_time=1.390 +[gpua002:0/64] 2023-12-08 23:25:10,990 (trainer:737) INFO: 20epoch:train:7301-7400batch: iter_time=7.685e-05, forward_time=0.148, loss_ctc=72.350, loss_att=52.021, acc=0.718, loss=58.120, backward_time=0.298, grad_norm=56.939, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.061e-05, train_time=1.591 +[gpua002:0/64] 2023-12-08 23:28:01,923 (trainer:737) INFO: 20epoch:train:7401-7500batch: iter_time=8.071e-05, forward_time=0.187, loss_ctc=64.908, loss_att=55.339, acc=0.722, loss=58.210, backward_time=0.395, grad_norm=53.800, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.060e-05, train_time=1.709 +[gpua002:0/64] 2023-12-08 23:28:21,959 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-08 23:28:40,889 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-08 23:28:44,400 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-08 23:28:44,400 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-08 23:28:44,435 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-08 23:35:58,732 (trainer:737) INFO: 20epoch:train:7501-7600batch: iter_time=3.300, forward_time=0.174, loss_ctc=68.514, loss_att=54.860, acc=0.717, loss=58.956, backward_time=0.295, grad_norm=65.688, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=9.058e-05, train_time=4.768 +[gpua002:0/64] 2023-12-08 23:38:22,303 (trainer:737) INFO: 20epoch:train:7601-7700batch: iter_time=8.549e-05, forward_time=0.148, loss_ctc=67.293, loss_att=56.923, acc=0.710, loss=60.034, backward_time=0.286, grad_norm=58.140, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.057e-05, train_time=1.436 +[gpua002:0/64] 2023-12-08 23:40:47,420 (trainer:737) INFO: 20epoch:train:7701-7800batch: iter_time=8.429e-05, forward_time=0.149, loss_ctc=72.615, loss_att=59.408, acc=0.717, loss=63.370, backward_time=0.297, grad_norm=54.084, clip=100.000, loss_scale=1.355e+32, optim_step_time=0.135, optim0_lr0=9.055e-05, train_time=1.451 +[gpua002:0/64] 2023-12-08 23:43:24,917 (trainer:737) INFO: 20epoch:train:7801-7900batch: iter_time=8.231e-05, forward_time=0.153, loss_ctc=61.199, loss_att=56.746, acc=0.718, loss=58.082, backward_time=0.309, grad_norm=46.516, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.053e-05, train_time=1.575 +[gpua002:0/64] 2023-12-08 23:46:26,361 (trainer:737) INFO: 20epoch:train:7901-8000batch: iter_time=8.347e-05, forward_time=0.149, loss_ctc=66.061, loss_att=56.261, acc=0.684, loss=59.201, backward_time=0.361, grad_norm=63.251, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.052e-05, train_time=1.814 +[gpua002:0/64] 2023-12-08 23:48:35,421 (trainer:737) INFO: 20epoch:train:8001-8100batch: iter_time=8.061e-05, forward_time=0.149, loss_ctc=73.840, loss_att=58.645, acc=0.710, loss=63.204, backward_time=0.281, grad_norm=53.248, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.050e-05, train_time=1.291 +[gpua002:0/64] 2023-12-08 23:50:43,855 (trainer:737) INFO: 20epoch:train:8101-8200batch: iter_time=8.209e-05, forward_time=0.149, loss_ctc=74.413, loss_att=58.550, acc=0.720, loss=63.309, backward_time=0.283, grad_norm=54.244, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.049e-05, train_time=1.284 +[gpua002:0/64] 2023-12-08 23:53:28,169 (trainer:737) INFO: 20epoch:train:8201-8300batch: iter_time=8.239e-05, forward_time=0.159, loss_ctc=61.773, loss_att=46.103, acc=0.727, loss=50.804, backward_time=0.308, grad_norm=58.035, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.140, optim0_lr0=9.047e-05, train_time=1.643 +[gpua002:0/64] 2023-12-08 23:56:25,346 (trainer:737) INFO: 20epoch:train:8301-8400batch: iter_time=8.079e-05, forward_time=0.197, loss_ctc=69.802, loss_att=56.807, acc=0.730, loss=60.705, backward_time=0.355, grad_norm=49.898, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.046e-05, train_time=1.771 +[gpua002:0/64] 2023-12-08 23:59:43,336 (trainer:737) INFO: 20epoch:train:8401-8500batch: iter_time=7.492e-05, forward_time=0.164, loss_ctc=68.856, loss_att=59.216, acc=0.714, loss=62.108, backward_time=0.343, grad_norm=58.423, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.044e-05, train_time=1.980 +[gpua002:0/64] 2023-12-09 00:02:27,878 (trainer:737) INFO: 20epoch:train:8501-8600batch: iter_time=7.604e-05, forward_time=0.147, loss_ctc=74.098, loss_att=57.482, acc=0.727, loss=62.467, backward_time=0.347, grad_norm=51.290, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.043e-05, train_time=1.645 +[gpua002:0/64] 2023-12-09 00:04:43,960 (trainer:737) INFO: 20epoch:train:8601-8700batch: iter_time=7.817e-05, forward_time=0.147, loss_ctc=62.372, loss_att=50.298, acc=0.721, loss=53.920, backward_time=0.299, grad_norm=55.318, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.041e-05, train_time=1.361 +[gpua002:0/64] 2023-12-09 00:06:26,304 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-09 00:06:45,714 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 00:06:49,300 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 00:06:49,300 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-09 00:06:49,303 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 00:12:26,167 (trainer:737) INFO: 20epoch:train:8701-8800batch: iter_time=3.111, forward_time=0.179, loss_ctc=65.585, loss_att=56.159, acc=0.724, loss=58.987, backward_time=0.288, grad_norm=50.595, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.040e-05, train_time=4.622 +[gpua002:0/64] 2023-12-09 00:14:26,851 (trainer:737) INFO: 20epoch:train:8801-8900batch: iter_time=7.535e-05, forward_time=0.147, loss_ctc=65.306, loss_att=54.121, acc=0.711, loss=57.476, backward_time=0.279, grad_norm=61.178, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.038e-05, train_time=1.207 +[gpua002:0/64] 2023-12-09 00:16:51,820 (trainer:737) INFO: 20epoch:train:8901-9000batch: iter_time=8.229e-05, forward_time=0.170, loss_ctc=78.997, loss_att=67.920, acc=0.697, loss=71.243, backward_time=0.346, grad_norm=57.416, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=9.036e-05, train_time=1.449 +[gpua002:0/64] 2023-12-09 00:19:06,953 (trainer:737) INFO: 20epoch:train:9001-9100batch: iter_time=7.797e-05, forward_time=0.149, loss_ctc=64.094, loss_att=49.518, acc=0.722, loss=53.891, backward_time=0.292, grad_norm=51.576, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.035e-05, train_time=1.351 +[gpua002:0/64] 2023-12-09 00:21:40,267 (trainer:737) INFO: 20epoch:train:9101-9200batch: iter_time=8.369e-05, forward_time=0.146, loss_ctc=59.810, loss_att=57.459, acc=0.689, loss=58.164, backward_time=0.306, grad_norm=63.526, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.033e-05, train_time=1.533 +[gpua002:0/64] 2023-12-09 00:24:31,310 (trainer:737) INFO: 20epoch:train:9201-9300batch: iter_time=8.856e-05, forward_time=0.147, loss_ctc=73.257, loss_att=63.565, acc=0.678, loss=66.472, backward_time=0.338, grad_norm=60.423, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.032e-05, train_time=1.710 +[gpua002:0/64] 2023-12-09 00:27:10,978 (trainer:737) INFO: 20epoch:train:9301-9400batch: iter_time=8.201e-05, forward_time=0.152, loss_ctc=76.922, loss_att=60.198, acc=0.702, loss=65.215, backward_time=0.291, grad_norm=56.466, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.030e-05, train_time=1.596 +[gpua002:0/64] 2023-12-09 00:29:46,780 (trainer:737) INFO: 20epoch:train:9401-9500batch: iter_time=0.002, forward_time=0.195, loss_ctc=62.398, loss_att=46.452, acc=0.723, loss=51.236, backward_time=0.317, grad_norm=52.318, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.029e-05, train_time=1.558 +[gpua002:0/64] 2023-12-09 00:32:44,311 (trainer:737) INFO: 20epoch:train:9501-9600batch: iter_time=8.589e-05, forward_time=0.154, loss_ctc=64.907, loss_att=47.881, acc=0.734, loss=52.988, backward_time=0.336, grad_norm=55.169, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.027e-05, train_time=1.775 +[gpua002:0/64] 2023-12-09 00:35:00,133 (trainer:737) INFO: 20epoch:train:9601-9700batch: iter_time=7.944e-05, forward_time=0.147, loss_ctc=64.427, loss_att=55.242, acc=0.706, loss=57.997, backward_time=0.287, grad_norm=56.039, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.026e-05, train_time=1.358 +[gpua002:0/64] 2023-12-09 00:37:07,762 (trainer:737) INFO: 20epoch:train:9701-9800batch: iter_time=7.961e-05, forward_time=0.156, loss_ctc=75.322, loss_att=65.543, acc=0.708, loss=68.477, backward_time=0.283, grad_norm=56.352, clip=100.000, loss_scale=2.710e+32, optim_step_time=0.135, optim0_lr0=9.024e-05, train_time=1.276 +[gpua002:0/64] 2023-12-09 00:39:53,469 (trainer:737) INFO: 20epoch:train:9801-9900batch: iter_time=8.523e-05, forward_time=0.150, loss_ctc=72.128, loss_att=52.137, acc=0.716, loss=58.134, backward_time=0.344, grad_norm=60.665, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.023e-05, train_time=1.657 +[gpua002:0/64] 2023-12-09 00:42:02,246 (trainer:737) INFO: 20epoch:train:9901-10000batch: iter_time=8.085e-05, forward_time=0.150, loss_ctc=65.364, loss_att=55.696, acc=0.724, loss=58.596, backward_time=0.289, grad_norm=47.967, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.021e-05, train_time=1.287 +[gpua002:0/64] 2023-12-09 00:42:22,293 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-09 00:42:41,847 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 00:42:45,452 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 00:42:45,452 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-09 00:42:45,455 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 00:49:07,943 (trainer:737) INFO: 20epoch:train:10001-10100batch: iter_time=2.980, forward_time=0.177, loss_ctc=69.221, loss_att=53.491, acc=0.714, loss=58.210, backward_time=0.283, grad_norm=62.894, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.020e-05, train_time=4.257 +[gpua002:0/64] 2023-12-09 00:51:08,699 (trainer:737) INFO: 20epoch:train:10101-10200batch: iter_time=8.382e-05, forward_time=0.148, loss_ctc=67.423, loss_att=57.285, acc=0.702, loss=60.326, backward_time=0.280, grad_norm=54.981, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.018e-05, train_time=1.207 +[gpua002:0/64] 2023-12-09 00:53:36,097 (trainer:737) INFO: 20epoch:train:10201-10300batch: iter_time=8.132e-05, forward_time=0.150, loss_ctc=72.254, loss_att=58.810, acc=0.712, loss=62.843, backward_time=0.335, grad_norm=71.301, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=9.017e-05, train_time=1.474 +[gpua002:0/64] 2023-12-09 00:55:51,112 (trainer:737) INFO: 20epoch:train:10301-10400batch: iter_time=8.526e-05, forward_time=0.157, loss_ctc=60.906, loss_att=57.553, acc=0.711, loss=58.559, backward_time=0.288, grad_norm=47.659, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.015e-05, train_time=1.350 +[gpua002:0/64] 2023-12-09 00:58:54,920 (trainer:737) INFO: 20epoch:train:10401-10500batch: iter_time=8.337e-05, forward_time=0.166, loss_ctc=65.792, loss_att=55.751, acc=0.682, loss=58.763, backward_time=0.385, grad_norm=64.303, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=9.013e-05, train_time=1.838 +[gpua002:0/64] 2023-12-09 01:02:05,731 (trainer:737) INFO: 20epoch:train:10501-10600batch: iter_time=8.522e-05, forward_time=0.148, loss_ctc=73.586, loss_att=57.554, acc=0.701, loss=62.364, backward_time=0.351, grad_norm=58.799, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=9.012e-05, train_time=1.907 +[gpua002:0/64] 2023-12-09 01:04:01,819 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 01:04:31,354 (trainer:737) INFO: 20epoch:train:10601-10700batch: iter_time=8.294e-05, forward_time=0.148, loss_ctc=73.775, loss_att=56.137, acc=0.716, loss=61.428, backward_time=0.286, grad_norm=58.096, clip=100.000, loss_scale=2.868e+32, optim_step_time=0.135, optim0_lr0=9.010e-05, train_time=1.457 +[gpua002:0/64] 2023-12-09 01:06:45,479 (trainer:737) INFO: 20epoch:train:10701-10800batch: iter_time=8.141e-05, forward_time=0.181, loss_ctc=61.558, loss_att=45.412, acc=0.720, loss=50.256, backward_time=0.308, grad_norm=52.165, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=9.009e-05, train_time=1.341 +[gpua002:0/64] 2023-12-09 01:09:01,765 (trainer:737) INFO: 20epoch:train:10801-10900batch: iter_time=8.440e-05, forward_time=0.149, loss_ctc=68.952, loss_att=55.874, acc=0.723, loss=59.797, backward_time=0.287, grad_norm=62.580, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=9.007e-05, train_time=1.363 +[gpua002:0/64] 2023-12-09 01:11:48,136 (trainer:737) INFO: 20epoch:train:10901-11000batch: iter_time=8.469e-05, forward_time=0.152, loss_ctc=68.610, loss_att=59.351, acc=0.705, loss=62.129, backward_time=0.300, grad_norm=56.398, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=9.006e-05, train_time=1.664 +[gpua002:0/64] 2023-12-09 01:12:21,335 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 01:14:29,549 (trainer:737) INFO: 20epoch:train:11001-11100batch: iter_time=8.366e-05, forward_time=0.148, loss_ctc=73.784, loss_att=56.953, acc=0.720, loss=62.002, backward_time=0.298, grad_norm=54.703, clip=100.000, loss_scale=9.998e+31, optim_step_time=0.134, optim0_lr0=9.004e-05, train_time=1.614 +[gpua002:0/64] 2023-12-09 01:17:17,884 (trainer:737) INFO: 20epoch:train:11101-11200batch: iter_time=8.576e-05, forward_time=0.158, loss_ctc=62.035, loss_att=50.468, acc=0.719, loss=53.938, backward_time=0.311, grad_norm=50.679, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.003e-05, train_time=1.683 +[gpua002:0/64] 2023-12-09 01:18:57,948 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-09 01:19:17,403 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 01:19:21,018 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 01:19:21,019 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-09 01:19:21,022 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 01:24:59,674 (trainer:737) INFO: 20epoch:train:11201-11300batch: iter_time=3.149, forward_time=0.178, loss_ctc=66.406, loss_att=55.498, acc=0.720, loss=58.770, backward_time=0.290, grad_norm=60.618, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=9.001e-05, train_time=4.618 +[gpua002:0/64] 2023-12-09 01:27:00,533 (trainer:737) INFO: 20epoch:train:11301-11400batch: iter_time=7.977e-05, forward_time=0.147, loss_ctc=65.524, loss_att=52.973, acc=0.715, loss=56.738, backward_time=0.281, grad_norm=61.302, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=9.000e-05, train_time=1.208 +[gpua002:0/64] 2023-12-09 01:29:08,979 (trainer:737) INFO: 20epoch:train:11401-11500batch: iter_time=8.353e-05, forward_time=0.163, loss_ctc=78.406, loss_att=65.902, acc=0.705, loss=69.653, backward_time=0.286, grad_norm=62.352, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.998e-05, train_time=1.284 +[gpua002:0/64] 2023-12-09 01:31:55,106 (trainer:737) INFO: 20epoch:train:11501-11600batch: iter_time=7.862e-05, forward_time=0.147, loss_ctc=63.778, loss_att=49.626, acc=0.726, loss=53.872, backward_time=0.307, grad_norm=53.072, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.997e-05, train_time=1.661 +[gpua002:0/64] 2023-12-09 01:34:20,538 (trainer:737) INFO: 20epoch:train:11601-11700batch: iter_time=8.460e-05, forward_time=0.147, loss_ctc=59.457, loss_att=56.505, acc=0.694, loss=57.390, backward_time=0.317, grad_norm=57.836, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.995e-05, train_time=1.454 +[gpua002:0/64] 2023-12-09 01:37:09,835 (trainer:737) INFO: 20epoch:train:11701-11800batch: iter_time=8.323e-05, forward_time=0.147, loss_ctc=72.793, loss_att=62.771, acc=0.681, loss=65.778, backward_time=0.307, grad_norm=57.292, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.994e-05, train_time=1.693 +[gpua002:0/64] 2023-12-09 01:39:34,839 (trainer:737) INFO: 20epoch:train:11801-11900batch: iter_time=8.640e-05, forward_time=0.150, loss_ctc=77.357, loss_att=59.336, acc=0.707, loss=64.742, backward_time=0.287, grad_norm=63.729, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.992e-05, train_time=1.450 +[gpua002:0/64] 2023-12-09 01:42:20,383 (trainer:737) INFO: 20epoch:train:11901-12000batch: iter_time=8.262e-05, forward_time=0.204, loss_ctc=62.454, loss_att=45.655, acc=0.726, loss=50.695, backward_time=0.330, grad_norm=52.117, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.991e-05, train_time=1.655 +[gpua002:0/64] 2023-12-09 01:44:36,867 (trainer:737) INFO: 20epoch:train:12001-12100batch: iter_time=8.289e-05, forward_time=0.158, loss_ctc=64.945, loss_att=47.666, acc=0.735, loss=52.850, backward_time=0.294, grad_norm=53.014, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.989e-05, train_time=1.365 +[gpua002:0/64] 2023-12-09 01:47:15,472 (trainer:737) INFO: 20epoch:train:12101-12200batch: iter_time=8.383e-05, forward_time=0.168, loss_ctc=64.426, loss_att=55.539, acc=0.706, loss=58.205, backward_time=0.311, grad_norm=57.154, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=8.988e-05, train_time=1.586 +[gpua002:0/64] 2023-12-09 01:50:01,588 (trainer:737) INFO: 20epoch:train:12201-12300batch: iter_time=8.052e-05, forward_time=0.148, loss_ctc=75.416, loss_att=65.062, acc=0.711, loss=68.168, backward_time=0.302, grad_norm=57.690, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.986e-05, train_time=1.661 +[gpua002:0/64] 2023-12-09 01:52:09,870 (trainer:737) INFO: 20epoch:train:12301-12400batch: iter_time=8.406e-05, forward_time=0.147, loss_ctc=71.091, loss_att=51.233, acc=0.721, loss=57.190, backward_time=0.281, grad_norm=64.005, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.985e-05, train_time=1.283 +[gpua002:0/64] 2023-12-09 01:54:44,513 (trainer:737) INFO: 20epoch:train:12401-12500batch: iter_time=8.136e-05, forward_time=0.148, loss_ctc=64.559, loss_att=54.644, acc=0.726, loss=57.618, backward_time=0.297, grad_norm=52.997, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.983e-05, train_time=1.546 +[gpua002:0/64] 2023-12-09 01:55:04,670 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-09 01:55:23,899 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 01:55:27,495 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 01:55:27,495 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-09 01:55:27,498 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 02:01:53,186 (trainer:737) INFO: 20epoch:train:12501-12600batch: iter_time=3.014, forward_time=0.192, loss_ctc=69.501, loss_att=55.551, acc=0.718, loss=59.736, backward_time=0.287, grad_norm=73.590, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.982e-05, train_time=4.287 +[gpua002:0/64] 2023-12-09 02:03:56,585 (trainer:737) INFO: 20epoch:train:12601-12700batch: iter_time=8.343e-05, forward_time=0.148, loss_ctc=66.683, loss_att=56.900, acc=0.712, loss=59.835, backward_time=0.282, grad_norm=52.859, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.980e-05, train_time=1.234 +[gpua002:0/64] 2023-12-09 02:06:42,256 (trainer:737) INFO: 20epoch:train:12701-12800batch: iter_time=7.997e-05, forward_time=0.161, loss_ctc=72.075, loss_att=59.211, acc=0.718, loss=63.070, backward_time=0.317, grad_norm=58.329, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.979e-05, train_time=1.656 +[gpua002:0/64] 2023-12-09 02:08:56,594 (trainer:737) INFO: 20epoch:train:12801-12900batch: iter_time=7.926e-05, forward_time=0.151, loss_ctc=60.753, loss_att=57.057, acc=0.719, loss=58.166, backward_time=0.284, grad_norm=47.513, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.977e-05, train_time=1.343 +[gpua002:0/64] 2023-12-09 02:11:16,080 (trainer:737) INFO: 20epoch:train:12901-13000batch: iter_time=8.317e-05, forward_time=0.156, loss_ctc=65.686, loss_att=55.816, acc=0.689, loss=58.777, backward_time=0.299, grad_norm=61.802, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=8.976e-05, train_time=1.395 +[gpua002:0/64] 2023-12-09 02:13:59,313 (trainer:737) INFO: 20epoch:train:13001-13100batch: iter_time=8.139e-05, forward_time=0.153, loss_ctc=73.105, loss_att=58.720, acc=0.712, loss=63.036, backward_time=0.294, grad_norm=61.090, clip=100.000, loss_scale=1.428e+32, optim_step_time=0.135, optim0_lr0=8.974e-05, train_time=1.632 +[gpua002:0/64] 2023-12-09 02:16:55,644 (trainer:737) INFO: 20epoch:train:13101-13200batch: iter_time=7.899e-05, forward_time=0.149, loss_ctc=73.528, loss_att=58.421, acc=0.721, loss=62.953, backward_time=0.313, grad_norm=58.048, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.973e-05, train_time=1.763 +[gpua002:0/64] 2023-12-09 02:19:24,138 (trainer:737) INFO: 20epoch:train:13201-13300batch: iter_time=7.884e-05, forward_time=0.148, loss_ctc=61.952, loss_att=46.020, acc=0.731, loss=50.800, backward_time=0.341, grad_norm=51.921, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.971e-05, train_time=1.485 +[gpua002:0/64] 2023-12-09 02:23:01,659 (trainer:737) INFO: 20epoch:train:13301-13400batch: iter_time=8.210e-05, forward_time=0.199, loss_ctc=69.111, loss_att=55.854, acc=0.732, loss=59.831, backward_time=0.333, grad_norm=50.337, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.143, optim0_lr0=8.970e-05, train_time=2.175 +[gpua002:0/64] 2023-12-09 02:25:59,071 (trainer:737) INFO: 20epoch:train:13401-13500batch: iter_time=8.212e-05, forward_time=0.167, loss_ctc=68.614, loss_att=59.704, acc=0.715, loss=62.377, backward_time=0.308, grad_norm=59.515, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.968e-05, train_time=1.774 +[gpua002:0/64] 2023-12-09 02:28:02,714 (trainer:737) INFO: 20epoch:train:13501-13600batch: iter_time=7.814e-05, forward_time=0.149, loss_ctc=73.654, loss_att=57.249, acc=0.727, loss=62.170, backward_time=0.289, grad_norm=58.682, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.967e-05, train_time=1.236 +[gpua002:0/64] 2023-12-09 02:30:08,732 (trainer:737) INFO: 20epoch:train:13601-13700batch: iter_time=7.327e-05, forward_time=0.157, loss_ctc=61.457, loss_att=49.932, acc=0.724, loss=53.390, backward_time=0.286, grad_norm=51.572, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.965e-05, train_time=1.260 +[gpua002:0/64] 2023-12-09 02:31:39,941 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-09 02:31:59,621 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 02:32:03,084 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 02:32:03,084 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-09 02:32:03,087 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 02:37:35,001 (trainer:737) INFO: 20epoch:train:13701-13800batch: iter_time=3.041, forward_time=0.203, loss_ctc=66.619, loss_att=56.439, acc=0.724, loss=59.493, backward_time=0.304, grad_norm=69.111, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=8.964e-05, train_time=4.462 +[gpua002:0/64] 2023-12-09 02:39:36,778 (trainer:737) INFO: 20epoch:train:13801-13900batch: iter_time=7.837e-05, forward_time=0.148, loss_ctc=65.428, loss_att=53.637, acc=0.719, loss=57.174, backward_time=0.282, grad_norm=57.121, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.962e-05, train_time=1.218 +[gpua002:0/64] 2023-12-09 02:41:42,400 (trainer:737) INFO: 20epoch:train:13901-14000batch: iter_time=7.595e-05, forward_time=0.153, loss_ctc=77.489, loss_att=66.070, acc=0.712, loss=69.496, backward_time=0.283, grad_norm=57.898, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=8.961e-05, train_time=1.256 +[gpua002:0/64] 2023-12-09 02:42:11,232 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 02:44:31,395 (trainer:737) INFO: 20epoch:train:14001-14100batch: iter_time=7.726e-05, forward_time=0.147, loss_ctc=64.099, loss_att=49.978, acc=0.731, loss=54.214, backward_time=0.296, grad_norm=54.834, clip=100.000, loss_scale=9.916e+31, optim_step_time=0.135, optim0_lr0=8.959e-05, train_time=1.690 +[gpua002:0/64] 2023-12-09 02:47:09,310 (trainer:737) INFO: 20epoch:train:14101-14200batch: iter_time=7.681e-05, forward_time=0.158, loss_ctc=58.936, loss_att=55.888, acc=0.698, loss=56.803, backward_time=0.301, grad_norm=59.768, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.958e-05, train_time=1.579 +[gpua002:0/64] 2023-12-09 02:49:38,887 (trainer:737) INFO: 20epoch:train:14201-14300batch: iter_time=3.258e-04, forward_time=0.160, loss_ctc=72.754, loss_att=64.410, acc=0.691, loss=66.913, backward_time=0.305, grad_norm=56.509, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.956e-05, train_time=1.496 +[gpua002:0/64] 2023-12-09 02:52:22,544 (trainer:737) INFO: 20epoch:train:14301-14400batch: iter_time=7.582e-05, forward_time=0.146, loss_ctc=76.016, loss_att=59.312, acc=0.714, loss=64.323, backward_time=0.312, grad_norm=57.225, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.955e-05, train_time=1.636 +[gpua002:0/64] 2023-12-09 02:55:05,007 (trainer:737) INFO: 20epoch:train:14401-14500batch: iter_time=7.750e-05, forward_time=0.177, loss_ctc=61.933, loss_att=46.948, acc=0.731, loss=51.443, backward_time=0.321, grad_norm=51.742, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.953e-05, train_time=1.624 +[gpua002:0/64] 2023-12-09 02:57:40,574 (trainer:737) INFO: 20epoch:train:14501-14600batch: iter_time=7.930e-05, forward_time=0.165, loss_ctc=64.636, loss_att=47.339, acc=0.747, loss=52.528, backward_time=0.315, grad_norm=50.724, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.952e-05, train_time=1.555 +[gpua002:0/64] 2023-12-09 03:00:19,305 (trainer:737) INFO: 20epoch:train:14601-14700batch: iter_time=8.894e-05, forward_time=0.149, loss_ctc=64.484, loss_att=55.438, acc=0.717, loss=58.151, backward_time=0.333, grad_norm=53.902, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.950e-05, train_time=1.587 +[gpua002:0/64] 2023-12-09 03:02:49,953 (trainer:737) INFO: 20epoch:train:14701-14800batch: iter_time=8.215e-05, forward_time=0.149, loss_ctc=75.318, loss_att=65.235, acc=0.721, loss=68.260, backward_time=0.293, grad_norm=51.957, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.949e-05, train_time=1.506 +[gpua002:0/64] 2023-12-09 03:05:45,602 (trainer:737) INFO: 20epoch:train:14801-14900batch: iter_time=8.132e-05, forward_time=0.150, loss_ctc=71.175, loss_att=50.871, acc=0.728, loss=56.962, backward_time=0.327, grad_norm=59.268, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.947e-05, train_time=1.756 +[gpua002:0/64] 2023-12-09 03:08:49,066 (trainer:737) INFO: 20epoch:train:14901-15000batch: iter_time=8.085e-05, forward_time=0.150, loss_ctc=64.403, loss_att=55.157, acc=0.729, loss=57.931, backward_time=0.299, grad_norm=55.321, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.946e-05, train_time=1.834 +[gpua002:0/64] 2023-12-09 03:35:39,133 (trainer:343) INFO: 20epoch results: [train] iter_time=0.240, forward_time=0.159, loss_ctc=68.886, loss_att=56.400, acc=0.712, loss=60.146, backward_time=0.308, grad_norm=57.302, clip=100.000, loss_scale=1.486e+32, optim_step_time=0.135, optim0_lr0=9.060e-05, train_time=1.766, time=7 hours, 21 minutes and 55.83 seconds, total_count=300000, gpu_max_cached_mem_GB=36.262, [valid] loss_ctc=39.538, cer_ctc=0.205, loss_att=37.110, acc=0.718, cer=0.259, wer=0.945, loss=37.838, time=26 minutes and 25.94 seconds, total_count=93420, gpu_max_cached_mem_GB=36.262 +[gpua002:0/64] 2023-12-09 03:35:59,059 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-09 03:35:59,099 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/14epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/15epoch.pth +[gpua002:0/64] 2023-12-09 03:35:59,099 (trainer:272) INFO: 21/40epoch started. Estimated time to finish: 1 week, 3 hours and 16 minutes +[gpua002:0/64] 2023-12-09 03:35:59,195 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-09 03:36:17,733 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 03:36:21,149 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 03:36:21,150 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-09 03:36:21,154 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 03:44:48,228 (trainer:737) INFO: 21epoch:train:1-100batch: iter_time=2.409, forward_time=0.184, loss_ctc=62.901, loss_att=51.826, acc=0.691, loss=55.149, backward_time=0.289, grad_norm=58.580, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.944e-05, train_time=5.290 +[gpua002:0/64] 2023-12-09 03:47:05,451 (trainer:737) INFO: 21epoch:train:101-200batch: iter_time=7.922e-05, forward_time=0.148, loss_ctc=72.650, loss_att=56.485, acc=0.677, loss=61.335, backward_time=0.293, grad_norm=67.572, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.943e-05, train_time=1.372 +[gpua002:0/64] 2023-12-09 03:49:22,093 (trainer:737) INFO: 21epoch:train:201-300batch: iter_time=7.711e-05, forward_time=0.148, loss_ctc=76.882, loss_att=60.964, acc=0.700, loss=65.740, backward_time=0.297, grad_norm=82.290, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.941e-05, train_time=1.366 +[gpua002:0/64] 2023-12-09 03:51:40,284 (trainer:737) INFO: 21epoch:train:301-400batch: iter_time=8.289e-05, forward_time=0.147, loss_ctc=69.915, loss_att=55.637, acc=0.701, loss=59.920, backward_time=0.294, grad_norm=73.166, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.940e-05, train_time=1.382 +[gpua002:0/64] 2023-12-09 03:54:11,796 (trainer:737) INFO: 21epoch:train:401-500batch: iter_time=7.818e-05, forward_time=0.149, loss_ctc=71.592, loss_att=57.626, acc=0.688, loss=61.816, backward_time=0.302, grad_norm=75.450, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.938e-05, train_time=1.514 +[gpua002:0/64] 2023-12-09 03:56:28,320 (trainer:737) INFO: 21epoch:train:501-600batch: iter_time=8.054e-05, forward_time=0.150, loss_ctc=70.713, loss_att=50.215, acc=0.731, loss=56.365, backward_time=0.294, grad_norm=52.920, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.937e-05, train_time=1.365 +[gpua002:0/64] 2023-12-09 03:59:12,959 (trainer:737) INFO: 21epoch:train:601-700batch: iter_time=7.824e-05, forward_time=0.148, loss_ctc=63.827, loss_att=49.052, acc=0.708, loss=53.485, backward_time=0.306, grad_norm=65.863, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.935e-05, train_time=1.646 +[gpua002:0/64] 2023-12-09 04:02:03,072 (trainer:737) INFO: 21epoch:train:701-800batch: iter_time=8.122e-05, forward_time=0.180, loss_ctc=61.325, loss_att=48.880, acc=0.708, loss=52.614, backward_time=0.327, grad_norm=52.677, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.934e-05, train_time=1.701 +[gpua002:0/64] 2023-12-09 04:04:40,166 (trainer:737) INFO: 21epoch:train:801-900batch: iter_time=7.986e-05, forward_time=0.201, loss_ctc=80.930, loss_att=71.868, acc=0.680, loss=74.587, backward_time=0.346, grad_norm=62.184, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=8.932e-05, train_time=1.571 +[gpua002:0/64] 2023-12-09 04:07:25,555 (trainer:737) INFO: 21epoch:train:901-1000batch: iter_time=8.258e-05, forward_time=0.148, loss_ctc=72.653, loss_att=49.572, acc=0.715, loss=56.496, backward_time=0.332, grad_norm=63.321, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.931e-05, train_time=1.654 +[gpua002:0/64] 2023-12-09 04:09:06,144 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 04:09:34,670 (trainer:737) INFO: 21epoch:train:1001-1100batch: iter_time=9.070e-05, forward_time=0.148, loss_ctc=66.116, loss_att=53.191, acc=0.711, loss=57.068, backward_time=0.281, grad_norm=52.337, clip=100.000, loss_scale=1.262e+32, optim_step_time=0.134, optim0_lr0=8.929e-05, train_time=1.291 +[gpua002:0/64] 2023-12-09 04:12:22,389 (trainer:737) INFO: 21epoch:train:1101-1200batch: iter_time=8.519e-05, forward_time=0.148, loss_ctc=66.737, loss_att=50.392, acc=0.718, loss=55.295, backward_time=0.337, grad_norm=54.725, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=8.928e-05, train_time=1.677 +[gpua002:0/64] 2023-12-09 04:13:47,300 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-09 04:14:06,542 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 04:14:10,154 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 04:14:10,155 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-09 04:14:10,159 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 04:23:13,133 (trainer:737) INFO: 21epoch:train:1201-1300batch: iter_time=2.968, forward_time=0.182, loss_ctc=60.533, loss_att=50.381, acc=0.698, loss=53.427, backward_time=0.287, grad_norm=58.880, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.926e-05, train_time=6.507 +[gpua002:0/64] 2023-12-09 04:25:33,613 (trainer:737) INFO: 21epoch:train:1301-1400batch: iter_time=8.065e-05, forward_time=0.147, loss_ctc=63.754, loss_att=54.649, acc=0.694, loss=57.380, backward_time=0.284, grad_norm=77.092, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.925e-05, train_time=1.405 +[gpua002:0/64] 2023-12-09 04:27:13,199 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 04:27:55,986 (trainer:737) INFO: 21epoch:train:1401-1500batch: iter_time=8.500e-05, forward_time=0.147, loss_ctc=69.227, loss_att=52.798, acc=0.714, loss=57.727, backward_time=0.286, grad_norm=64.022, clip=100.000, loss_scale=6.761e+31, optim_step_time=0.134, optim0_lr0=8.923e-05, train_time=1.423 +[gpua002:0/64] 2023-12-09 04:30:05,011 (trainer:737) INFO: 21epoch:train:1501-1600batch: iter_time=7.713e-05, forward_time=0.151, loss_ctc=68.338, loss_att=53.535, acc=0.717, loss=57.976, backward_time=0.289, grad_norm=69.140, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.922e-05, train_time=1.290 +[gpua002:0/64] 2023-12-09 04:32:52,103 (trainer:737) INFO: 21epoch:train:1601-1700batch: iter_time=7.873e-05, forward_time=0.148, loss_ctc=69.435, loss_att=59.032, acc=0.707, loss=62.153, backward_time=0.354, grad_norm=105.469, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.920e-05, train_time=1.671 +[gpua002:0/64] 2023-12-09 04:35:29,959 (trainer:737) INFO: 21epoch:train:1701-1800batch: iter_time=7.889e-05, forward_time=0.149, loss_ctc=71.649, loss_att=56.547, acc=0.703, loss=61.078, backward_time=0.291, grad_norm=57.225, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.919e-05, train_time=1.578 +[gpua002:0/64] 2023-12-09 04:37:51,852 (trainer:737) INFO: 21epoch:train:1801-1900batch: iter_time=8.257e-05, forward_time=0.204, loss_ctc=68.589, loss_att=52.553, acc=0.728, loss=57.364, backward_time=0.318, grad_norm=64.620, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=8.917e-05, train_time=1.419 +[gpua002:0/64] 2023-12-09 04:40:18,143 (trainer:737) INFO: 21epoch:train:1901-2000batch: iter_time=7.794e-05, forward_time=0.185, loss_ctc=61.241, loss_att=49.341, acc=0.721, loss=52.911, backward_time=0.290, grad_norm=63.930, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=8.916e-05, train_time=1.463 +[gpua002:0/64] 2023-12-09 04:43:21,610 (trainer:737) INFO: 21epoch:train:2001-2100batch: iter_time=7.741e-05, forward_time=0.148, loss_ctc=72.771, loss_att=58.490, acc=0.708, loss=62.774, backward_time=0.317, grad_norm=56.305, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.915e-05, train_time=1.834 +[gpua002:0/64] 2023-12-09 04:46:00,826 (trainer:737) INFO: 21epoch:train:2101-2200batch: iter_time=7.488e-05, forward_time=0.150, loss_ctc=69.752, loss_att=63.394, acc=0.697, loss=65.301, backward_time=0.286, grad_norm=77.359, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.913e-05, train_time=1.592 +[gpua002:0/64] 2023-12-09 04:48:18,037 (trainer:737) INFO: 21epoch:train:2201-2300batch: iter_time=7.608e-05, forward_time=0.149, loss_ctc=72.159, loss_att=47.535, acc=0.726, loss=54.922, backward_time=0.291, grad_norm=61.498, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.912e-05, train_time=1.372 +[gpua002:0/64] 2023-12-09 04:50:29,507 (trainer:737) INFO: 21epoch:train:2301-2400batch: iter_time=7.677e-05, forward_time=0.151, loss_ctc=63.059, loss_att=50.699, acc=0.725, loss=54.407, backward_time=0.291, grad_norm=61.894, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.910e-05, train_time=1.314 +[gpua002:0/64] 2023-12-09 04:53:11,151 (trainer:737) INFO: 21epoch:train:2401-2500batch: iter_time=7.495e-05, forward_time=0.174, loss_ctc=64.454, loss_att=52.968, acc=0.723, loss=56.414, backward_time=0.356, grad_norm=54.651, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.909e-05, train_time=1.616 +[gpua002:0/64] 2023-12-09 04:53:27,323 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-09 04:53:46,571 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 04:53:50,171 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 04:53:50,171 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-09 04:53:50,176 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 04:59:55,336 (trainer:737) INFO: 21epoch:train:2501-2600batch: iter_time=2.764, forward_time=0.176, loss_ctc=61.890, loss_att=50.538, acc=0.701, loss=53.944, backward_time=0.287, grad_norm=65.711, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.907e-05, train_time=4.042 +[gpua002:0/64] 2023-12-09 05:02:10,330 (trainer:737) INFO: 21epoch:train:2601-2700batch: iter_time=7.886e-05, forward_time=0.148, loss_ctc=67.971, loss_att=55.001, acc=0.684, loss=58.892, backward_time=0.281, grad_norm=69.302, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.906e-05, train_time=1.350 +[gpua002:0/64] 2023-12-09 05:04:31,026 (trainer:737) INFO: 21epoch:train:2701-2800batch: iter_time=7.916e-05, forward_time=0.148, loss_ctc=70.615, loss_att=59.822, acc=0.705, loss=63.060, backward_time=0.331, grad_norm=62.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.904e-05, train_time=1.407 +[gpua002:0/64] 2023-12-09 05:07:16,155 (trainer:737) INFO: 21epoch:train:2801-2900batch: iter_time=7.978e-05, forward_time=0.147, loss_ctc=68.283, loss_att=54.338, acc=0.706, loss=58.522, backward_time=0.297, grad_norm=98.341, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.903e-05, train_time=1.651 +[gpua002:0/64] 2023-12-09 05:09:54,591 (trainer:737) INFO: 21epoch:train:2901-3000batch: iter_time=8.392e-05, forward_time=0.149, loss_ctc=66.752, loss_att=55.791, acc=0.693, loss=59.079, backward_time=0.333, grad_norm=77.732, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.901e-05, train_time=1.584 +[gpua002:0/64] 2023-12-09 05:12:39,681 (trainer:737) INFO: 21epoch:train:3001-3100batch: iter_time=8.210e-05, forward_time=0.175, loss_ctc=69.440, loss_att=48.765, acc=0.737, loss=54.968, backward_time=0.323, grad_norm=54.214, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.900e-05, train_time=1.651 +[gpua002:0/64] 2023-12-09 05:15:18,458 (trainer:737) INFO: 21epoch:train:3101-3200batch: iter_time=7.834e-05, forward_time=0.158, loss_ctc=63.622, loss_att=48.486, acc=0.711, loss=53.027, backward_time=0.316, grad_norm=66.624, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.898e-05, train_time=1.587 +[gpua002:0/64] 2023-12-09 05:17:45,931 (trainer:737) INFO: 21epoch:train:3201-3300batch: iter_time=7.379e-05, forward_time=0.148, loss_ctc=60.874, loss_att=48.230, acc=0.714, loss=52.024, backward_time=0.324, grad_norm=46.158, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.897e-05, train_time=1.475 +[gpua002:0/64] 2023-12-09 05:19:57,729 (trainer:737) INFO: 21epoch:train:3301-3400batch: iter_time=7.968e-05, forward_time=0.148, loss_ctc=77.906, loss_att=71.490, acc=0.685, loss=73.415, backward_time=0.300, grad_norm=66.847, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.895e-05, train_time=1.318 +[gpua002:0/64] 2023-12-09 05:22:26,732 (trainer:737) INFO: 21epoch:train:3401-3500batch: iter_time=0.001, forward_time=0.202, loss_ctc=70.558, loss_att=49.099, acc=0.719, loss=55.537, backward_time=0.313, grad_norm=55.304, clip=100.000, loss_scale=5.395e+31, optim_step_time=0.137, optim0_lr0=8.894e-05, train_time=1.490 +[gpua002:0/64] 2023-12-09 05:25:14,268 (trainer:737) INFO: 21epoch:train:3501-3600batch: iter_time=7.663e-05, forward_time=0.171, loss_ctc=64.765, loss_att=52.037, acc=0.716, loss=55.855, backward_time=0.304, grad_norm=51.166, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=8.892e-05, train_time=1.675 +[gpua002:0/64] 2023-12-09 05:27:37,939 (trainer:737) INFO: 21epoch:train:3601-3700batch: iter_time=7.987e-05, forward_time=0.148, loss_ctc=64.730, loss_att=49.371, acc=0.723, loss=53.979, backward_time=0.308, grad_norm=59.790, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.891e-05, train_time=1.437 +[gpua002:0/64] 2023-12-09 05:29:08,422 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-09 05:29:27,944 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 05:29:31,850 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 05:29:31,850 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-09 05:29:31,853 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 05:34:52,000 (trainer:737) INFO: 21epoch:train:3701-3800batch: iter_time=2.946, forward_time=0.174, loss_ctc=60.092, loss_att=49.545, acc=0.703, loss=52.709, backward_time=0.298, grad_norm=56.345, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.890e-05, train_time=4.340 +[gpua002:0/64] 2023-12-09 05:36:55,670 (trainer:737) INFO: 21epoch:train:3801-3900batch: iter_time=7.506e-05, forward_time=0.150, loss_ctc=63.531, loss_att=53.413, acc=0.689, loss=56.448, backward_time=0.281, grad_norm=53.163, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=8.888e-05, train_time=1.237 +[gpua002:0/64] 2023-12-09 05:39:24,213 (trainer:737) INFO: 21epoch:train:3901-4000batch: iter_time=7.555e-05, forward_time=0.149, loss_ctc=66.962, loss_att=50.405, acc=0.709, loss=55.372, backward_time=0.289, grad_norm=63.199, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.887e-05, train_time=1.485 +[gpua002:0/64] 2023-12-09 05:42:13,205 (trainer:737) INFO: 21epoch:train:4001-4100batch: iter_time=7.882e-05, forward_time=0.243, loss_ctc=68.376, loss_att=53.357, acc=0.714, loss=57.863, backward_time=0.346, grad_norm=71.589, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.158, optim0_lr0=8.885e-05, train_time=1.690 +[gpua002:0/64] 2023-12-09 05:44:31,861 (trainer:737) INFO: 21epoch:train:4101-4200batch: iter_time=7.776e-05, forward_time=0.149, loss_ctc=68.623, loss_att=58.394, acc=0.706, loss=61.463, backward_time=0.285, grad_norm=90.029, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.884e-05, train_time=1.386 +[gpua002:0/64] 2023-12-09 05:44:35,436 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-09 05:47:06,117 (trainer:737) INFO: 21epoch:train:4201-4300batch: iter_time=7.956e-05, forward_time=0.150, loss_ctc=70.443, loss_att=54.419, acc=0.705, loss=59.226, backward_time=0.301, grad_norm=62.689, clip=100.000, loss_scale=4.138e+31, optim_step_time=0.134, optim0_lr0=8.882e-05, train_time=1.542 +[gpua002:0/64] 2023-12-09 05:49:17,602 (trainer:737) INFO: 21epoch:train:4301-4400batch: iter_time=7.574e-05, forward_time=0.148, loss_ctc=67.678, loss_att=50.288, acc=0.725, loss=55.505, backward_time=0.282, grad_norm=61.781, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.881e-05, train_time=1.315 +[gpua002:0/64] 2023-12-09 05:51:37,191 (trainer:737) INFO: 21epoch:train:4401-4500batch: iter_time=7.652e-05, forward_time=0.159, loss_ctc=60.492, loss_att=46.983, acc=0.722, loss=51.035, backward_time=0.289, grad_norm=56.306, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.879e-05, train_time=1.396 +[gpua002:0/64] 2023-12-09 05:54:34,156 (trainer:737) INFO: 21epoch:train:4501-4600batch: iter_time=8.179e-05, forward_time=0.227, loss_ctc=72.323, loss_att=58.116, acc=0.699, loss=62.378, backward_time=0.330, grad_norm=56.605, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=8.878e-05, train_time=1.769 +[gpua002:0/64] 2023-12-09 05:57:19,020 (trainer:737) INFO: 21epoch:train:4601-4700batch: iter_time=7.652e-05, forward_time=0.148, loss_ctc=68.657, loss_att=62.319, acc=0.699, loss=64.220, backward_time=0.295, grad_norm=54.450, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.876e-05, train_time=1.649 +[gpua002:0/64] 2023-12-09 05:59:47,402 (trainer:737) INFO: 21epoch:train:4701-4800batch: iter_time=7.614e-05, forward_time=0.148, loss_ctc=71.320, loss_att=47.743, acc=0.717, loss=54.816, backward_time=0.287, grad_norm=61.992, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.875e-05, train_time=1.484 +[gpua002:0/64] 2023-12-09 06:02:02,468 (trainer:737) INFO: 21epoch:train:4801-4900batch: iter_time=9.051e-05, forward_time=0.147, loss_ctc=62.947, loss_att=50.377, acc=0.722, loss=54.148, backward_time=0.288, grad_norm=52.886, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.873e-05, train_time=1.350 +[gpua002:0/64] 2023-12-09 06:04:17,886 (trainer:737) INFO: 21epoch:train:4901-5000batch: iter_time=7.721e-05, forward_time=0.150, loss_ctc=64.014, loss_att=51.206, acc=0.716, loss=55.049, backward_time=0.291, grad_norm=50.353, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.872e-05, train_time=1.354 +[gpua002:0/64] 2023-12-09 06:04:37,915 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-09 06:04:57,051 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 06:05:00,612 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 06:05:00,612 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-09 06:05:00,616 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 06:10:46,676 (trainer:737) INFO: 21epoch:train:5001-5100batch: iter_time=2.593, forward_time=0.184, loss_ctc=61.848, loss_att=50.917, acc=0.708, loss=54.196, backward_time=0.285, grad_norm=59.168, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.871e-05, train_time=3.887 +[gpua002:0/64] 2023-12-09 06:13:01,068 (trainer:737) INFO: 21epoch:train:5101-5200batch: iter_time=8.027e-05, forward_time=0.149, loss_ctc=67.705, loss_att=53.629, acc=0.705, loss=57.852, backward_time=0.294, grad_norm=65.652, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.869e-05, train_time=1.344 +[gpua002:0/64] 2023-12-09 06:15:08,434 (trainer:737) INFO: 21epoch:train:5201-5300batch: iter_time=7.911e-05, forward_time=0.149, loss_ctc=71.818, loss_att=61.213, acc=0.712, loss=64.394, backward_time=0.286, grad_norm=68.395, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.868e-05, train_time=1.273 +[gpua002:0/64] 2023-12-09 06:17:16,250 (trainer:737) INFO: 21epoch:train:5301-5400batch: iter_time=7.803e-05, forward_time=0.151, loss_ctc=67.136, loss_att=54.270, acc=0.712, loss=58.130, backward_time=0.296, grad_norm=76.567, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.866e-05, train_time=1.278 +[gpua002:0/64] 2023-12-09 06:19:28,405 (trainer:737) INFO: 21epoch:train:5401-5500batch: iter_time=8.130e-05, forward_time=0.149, loss_ctc=66.968, loss_att=56.535, acc=0.702, loss=59.665, backward_time=0.290, grad_norm=74.019, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=8.865e-05, train_time=1.321 +[gpua002:0/64] 2023-12-09 06:22:16,407 (trainer:737) INFO: 21epoch:train:5501-5600batch: iter_time=8.678e-05, forward_time=0.279, loss_ctc=69.760, loss_att=50.885, acc=0.739, loss=56.548, backward_time=0.325, grad_norm=54.112, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=8.863e-05, train_time=1.680 +[gpua002:0/64] 2023-12-09 06:24:57,099 (trainer:737) INFO: 21epoch:train:5601-5700batch: iter_time=8.069e-05, forward_time=0.149, loss_ctc=62.895, loss_att=48.532, acc=0.726, loss=52.841, backward_time=0.298, grad_norm=63.185, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.862e-05, train_time=1.607 +[gpua002:0/64] 2023-12-09 06:27:22,861 (trainer:737) INFO: 21epoch:train:5701-5800batch: iter_time=8.300e-05, forward_time=0.149, loss_ctc=60.111, loss_att=48.704, acc=0.725, loss=52.127, backward_time=0.305, grad_norm=50.441, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.860e-05, train_time=1.457 +[gpua002:0/64] 2023-12-09 06:29:52,133 (trainer:737) INFO: 21epoch:train:5801-5900batch: iter_time=8.068e-05, forward_time=0.148, loss_ctc=76.912, loss_att=71.015, acc=0.686, loss=72.784, backward_time=0.324, grad_norm=64.665, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.859e-05, train_time=1.493 +[gpua002:0/64] 2023-12-09 06:32:41,622 (trainer:737) INFO: 21epoch:train:5901-6000batch: iter_time=8.316e-05, forward_time=0.148, loss_ctc=68.918, loss_att=49.226, acc=0.726, loss=55.134, backward_time=0.335, grad_norm=55.841, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.858e-05, train_time=1.695 +[gpua002:0/64] 2023-12-09 06:35:32,324 (trainer:737) INFO: 21epoch:train:6001-6100batch: iter_time=8.291e-05, forward_time=0.149, loss_ctc=64.965, loss_att=51.737, acc=0.725, loss=55.706, backward_time=0.325, grad_norm=50.227, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.856e-05, train_time=1.707 +[gpua002:0/64] 2023-12-09 06:37:50,953 (trainer:737) INFO: 21epoch:train:6101-6200batch: iter_time=7.908e-05, forward_time=0.149, loss_ctc=64.539, loss_att=50.342, acc=0.734, loss=54.601, backward_time=0.304, grad_norm=50.343, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=8.855e-05, train_time=1.386 +[gpua002:0/64] 2023-12-09 06:39:11,991 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-09 06:39:31,186 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-09 06:39:34,890 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-09 06:39:34,890 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-09 06:39:34,894 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-09 06:45:50,753 (trainer:737) INFO: 21epoch:train:6201-6300batch: iter_time=3.380, forward_time=0.192, loss_ctc=59.287, loss_att=49.599, acc=0.710, loss=52.505, backward_time=0.286, grad_norm=52.031, clip=100.000, loss_scale=7.991e+31, optim_step_time=0.136, optim0_lr0=8.853e-05, train_time=4.798 +[gpua002:0/64] 2023-12-09 06:47:52,542 (trainer:737) INFO: 21epoch:train:6301-6400batch: iter_time=7.881e-05, forward_time=0.148, loss_ctc=62.528, loss_att=53.239, acc=0.704, loss=56.026, backward_time=0.279, grad_norm=54.073, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.852e-05, train_time=1.218 +[gpua002:0/64] 2023-12-09 06:50:00,561 (trainer:737) INFO: 21epoch:train:6401-6500batch: iter_time=7.510e-05, forward_time=0.150, loss_ctc=68.649, loss_att=52.238, acc=0.720, loss=57.162, backward_time=0.283, grad_norm=63.260, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.850e-05, train_time=1.280 +[gpua002:0/64] 2023-12-09 06:52:48,496 (trainer:737) INFO: 21epoch:train:6501-6600batch: iter_time=7.804e-05, forward_time=0.147, loss_ctc=68.647, loss_att=53.771, acc=0.722, loss=58.234, backward_time=0.335, grad_norm=74.182, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.849e-05, train_time=1.679 +[gpua002:0/64] 2023-12-09 06:55:25,154 (trainer:737) INFO: 21epoch:train:6601-6700batch: iter_time=7.851e-05, forward_time=0.148, loss_ctc=67.700, loss_att=57.968, acc=0.710, loss=60.888, backward_time=0.306, grad_norm=81.631, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.847e-05, train_time=1.567 +[gpua002:0/64] 2023-12-09 06:58:11,602 (trainer:737) INFO: 21epoch:train:6701-6800batch: iter_time=7.673e-05, forward_time=0.148, loss_ctc=70.155, loss_att=54.747, acc=0.713, loss=59.369, backward_time=0.321, grad_norm=58.439, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.846e-05, train_time=1.664 +[gpua002:0/64] 2023-12-09 07:00:32,156 (trainer:737) INFO: 21epoch:train:6801-6900batch: iter_time=8.032e-05, forward_time=0.148, loss_ctc=67.410, loss_att=51.817, acc=0.733, loss=56.495, backward_time=0.287, grad_norm=55.303, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=8.845e-05, train_time=1.405 +srun: Job step aborted: Waiting up to 32 seconds for job step to finish. +slurmstepd: error: *** STEP 2737380.0 ON gpua002 CANCELLED AT 2023-12-09T08:44:58 DUE TO TIME LIMIT *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.8.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.8.log new file mode 100644 index 0000000000000000000000000000000000000000..79a70b90c0e4c5b64ea83c7059409be37361c97b --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.8.log @@ -0,0 +1,4133 @@ +# Running on gpua002.delta.ncsa.illinois.edu +# Started at Tue Dec 5 10:37:26 CST 2023 +# SLURMD_NODENAME=gpua002 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2730378 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1701967026 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2730378 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1701794226 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[002,005-007,022-023,030-031,054-057,082-083,085-086]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=758779 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua002 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_a5cd89ca-c1a2-4049-88ed-87dd2582eda7 +[gpua002:0/64] 2023-12-05 10:41:22,679 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua002:0/64] 2023-12-05 10:41:25,724 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua002:0/64] 2023-12-05 10:41:25,757 (s2t:464) INFO: Vocabulary size: 50002 +[gpua002:0/64] 2023-12-05 10:41:37,039 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua002:0/64] 2023-12-05 10:41:37,050 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua002:0/64] 2023-12-05 10:41:37,050 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua002:0/64] 2023-12-05 10:41:37,050 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua002:0/64] 2023-12-05 10:41:37,067 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua002:0/64] 2023-12-05 10:41:42,567 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 10:41:43,508 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 10:41:43,508 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua002:0/64] 2023-12-05 10:41:43,509 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 10:42:12,708 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua002:759383:759383 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:759383:759383 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:759383:759383 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua002:0/64] 2023-12-05 10:42:19,126 (trainer:284) INFO: 11/40epoch started +[gpua002:0/64] 2023-12-05 10:42:19,173 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-05 10:42:37,663 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 10:42:41,229 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 10:42:41,229 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-05 10:42:41,233 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua002:759386:759386 [3] NCCL INFO cudaDriverVersion 12020 +gpua002:759386:759386 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:759386:759386 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:759386:759451 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:759386:759451 [3] NCCL INFO Using network IB +gpua002:759386:759451 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua002:759386:759451 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua002:759386:759451 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua002:759386:759451 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua002:759386:759451 [3] NCCL INFO Connected all rings +gpua002:759386:759451 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua002:759386:759451 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua002:759386:759451 [3] NCCL INFO Connected all trees +gpua002:759386:759451 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:759386:759451 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:759386:759451 [3] NCCL INFO comm 0x97ef4810 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua006:2668185:2668185 [1] NCCL INFO cudaDriverVersion 12020 +gpua006:2668185:2668185 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2668185:2668185 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2668185:2668249 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2668185:2668249 [1] NCCL INFO Using network IB +gpua006:2668185:2668249 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua006:2668185:2668249 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua006:2668185:2668249 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua006:2668185:2668249 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua006:2668185:2668249 [1] NCCL INFO Connected all rings +gpua006:2668185:2668249 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua006:2668185:2668249 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua006:2668185:2668249 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua006:2668185:2668249 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua006:2668185:2668249 [1] NCCL INFO Connected all trees +gpua006:2668185:2668249 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2668185:2668249 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2668185:2668249 [1] NCCL INFO comm 0xdbc1010 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua031:650364:650364 [2] NCCL INFO cudaDriverVersion 12020 +gpua031:650364:650364 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:650364:650364 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:650364:650465 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:650364:650465 [2] NCCL INFO Using network IB +gpua031:650364:650465 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua031:650364:650465 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua031:650364:650465 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua031:650364:650465 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua031:650364:650465 [2] NCCL INFO Connected all rings +gpua031:650364:650465 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua031:650364:650465 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua031:650364:650465 [2] NCCL INFO Connected all trees +gpua031:650364:650465 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:650364:650465 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:650364:650465 [2] NCCL INFO comm 0xce7ab40 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua056:1040036:1040036 [0] NCCL INFO cudaDriverVersion 12020 +gpua056:1040036:1040036 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1040036:1040036 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1040036:1040111 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1040036:1040111 [0] NCCL INFO Using network IB +gpua056:1040036:1040111 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua056:1040036:1040111 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1040036:1040111 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1040036:1040111 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua056:1040036:1040111 [0] NCCL INFO Connected all rings +gpua056:1040036:1040111 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1040036:1040111 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua056:1040036:1040111 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua056:1040036:1040111 [0] NCCL INFO Connected all trees +gpua056:1040036:1040111 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1040036:1040111 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1040036:1040111 [0] NCCL INFO comm 0x11ca0e50 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:2350520:2350520 [2] NCCL INFO cudaDriverVersion 12020 +gpua005:2350520:2350520 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2350520:2350520 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2350520:2350670 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2350520:2350670 [2] NCCL INFO Using network IB +gpua005:2350520:2350670 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua005:2350520:2350670 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua005:2350520:2350670 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua005:2350520:2350670 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua005:2350520:2350670 [2] NCCL INFO Connected all rings +gpua005:2350520:2350670 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua005:2350520:2350670 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua005:2350520:2350670 [2] NCCL INFO Connected all trees +gpua005:2350520:2350670 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2350520:2350670 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2350520:2350670 [2] NCCL INFO comm 0xbd8d040 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua085:1176318:1176318 [2] NCCL INFO cudaDriverVersion 12020 +gpua085:1176318:1176318 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1176318:1176318 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1176318:1176385 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1176318:1176385 [2] NCCL INFO Using network IB +gpua085:1176318:1176385 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua085:1176318:1176385 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua085:1176318:1176385 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua085:1176318:1176385 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua085:1176318:1176385 [2] NCCL INFO Connected all rings +gpua085:1176318:1176385 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua085:1176318:1176385 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua085:1176318:1176385 [2] NCCL INFO Connected all trees +gpua085:1176318:1176385 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1176318:1176385 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1176318:1176385 [2] NCCL INFO comm 0x9d0a7830 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:650365:650365 [3] NCCL INFO cudaDriverVersion 12020 +gpua031:650365:650365 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:650365:650365 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:650365:650464 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:650365:650464 [3] NCCL INFO Using network IB +gpua031:650365:650464 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua031:650365:650464 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua031:650365:650464 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua031:650365:650464 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua031:650365:650464 [3] NCCL INFO Connected all rings +gpua031:650365:650464 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua031:650365:650464 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua031:650365:650464 [3] NCCL INFO Connected all trees +gpua031:650365:650464 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:650365:650464 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:650365:650464 [3] NCCL INFO comm 0xecedd490 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua023:515040:515040 [0] NCCL INFO cudaDriverVersion 12020 +gpua023:515040:515040 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:515040:515040 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:515040:515122 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:515040:515122 [0] NCCL INFO Using network IB +gpua023:515040:515122 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua023:515040:515122 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua023:515040:515122 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:515040:515122 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua023:515040:515122 [0] NCCL INFO Connected all rings +gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua023:515040:515122 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua023:515040:515122 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua023:515040:515122 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua023:515040:515122 [0] NCCL INFO Connected all trees +gpua023:515040:515122 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:515040:515122 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:515040:515122 [0] NCCL INFO comm 0x188d2610 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:271985:271985 [2] NCCL INFO cudaDriverVersion 12020 +gpua007:271985:271985 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:271985:271985 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:271985:272076 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:271985:272076 [2] NCCL INFO Using network IB +gpua007:271985:272076 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua007:271985:272076 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua007:271985:272076 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua007:271985:272076 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua007:271985:272076 [2] NCCL INFO Connected all rings +gpua007:271985:272076 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua007:271985:272076 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua007:271985:272076 [2] NCCL INFO Connected all trees +gpua007:271985:272076 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:271985:272076 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:271985:272076 [2] NCCL INFO comm 0x1ff80c710 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua085:1176319:1176319 [3] NCCL INFO cudaDriverVersion 12020 +gpua085:1176319:1176319 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1176319:1176319 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1176319:1176383 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1176319:1176383 [3] NCCL INFO Using network IB +gpua085:1176319:1176383 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua085:1176319:1176383 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua085:1176319:1176383 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1176319:1176383 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1176319:1176383 [3] NCCL INFO Connected all rings +gpua085:1176319:1176383 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua085:1176319:1176383 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua085:1176319:1176383 [3] NCCL INFO Connected all trees +gpua085:1176319:1176383 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1176319:1176383 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1176319:1176383 [3] NCCL INFO comm 0x11c64c90 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua006:2668184:2668184 [0] NCCL INFO cudaDriverVersion 12020 +gpua006:2668184:2668184 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2668184:2668184 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2668184:2668250 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2668184:2668250 [0] NCCL INFO Using network IB +gpua006:2668184:2668250 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua006:2668184:2668250 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2668184:2668250 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua006:2668184:2668250 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua006:2668184:2668250 [0] NCCL INFO Connected all rings +gpua006:2668184:2668250 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2668184:2668250 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua006:2668184:2668250 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua006:2668184:2668250 [0] NCCL INFO Connected all trees +gpua006:2668184:2668250 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2668184:2668250 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2668184:2668250 [0] NCCL INFO comm 0x137c1f50 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1040038:1040038 [2] NCCL INFO cudaDriverVersion 12020 +gpua056:1040038:1040038 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1040038:1040038 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1040038:1040114 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1040038:1040114 [2] NCCL INFO Using network IB +gpua056:1040038:1040114 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua056:1040038:1040114 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua056:1040038:1040114 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1040038:1040114 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua056:1040038:1040114 [2] NCCL INFO Connected all rings +gpua056:1040038:1040114 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1040038:1040114 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua056:1040038:1040114 [2] NCCL INFO Connected all trees +gpua056:1040038:1040114 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1040038:1040114 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1040038:1040114 [2] NCCL INFO comm 0xc236f00 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua007:271984:271984 [1] NCCL INFO cudaDriverVersion 12020 +gpua007:271984:271984 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:271984:271984 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:271984:272075 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:271984:272075 [1] NCCL INFO Using network IB +gpua007:271984:272075 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua007:271984:272075 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua007:271984:272075 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua007:271984:272075 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua007:271984:272075 [1] NCCL INFO Connected all rings +gpua007:271984:272075 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua007:271984:272075 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua007:271984:272075 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua007:271984:272075 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua007:271984:272075 [1] NCCL INFO Connected all trees +gpua007:271984:272075 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:271984:272075 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:271984:272075 [1] NCCL INFO comm 0xab40fcc0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua007:271983:271983 [0] NCCL INFO cudaDriverVersion 12020 +gpua007:271983:271983 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:271983:271983 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:271983:272074 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:271983:272074 [0] NCCL INFO Using network IB +gpua007:271983:272074 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua007:271983:272074 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua007:271983:272074 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:271983:272074 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua007:271983:272074 [0] NCCL INFO Connected all rings +gpua007:271983:272074 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua007:271983:272074 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua007:271983:272074 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua007:271983:272074 [0] NCCL INFO Connected all trees +gpua007:271983:272074 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:271983:272074 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:271983:272074 [0] NCCL INFO comm 0xcfd80a0 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:271986:271986 [3] NCCL INFO cudaDriverVersion 12020 +gpua007:271986:271986 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:271986:271986 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:271986:272077 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:271986:272077 [3] NCCL INFO Using network IB +gpua007:271986:272077 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua007:271986:272077 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua007:271986:272077 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua007:271986:272077 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua007:271986:272077 [3] NCCL INFO Connected all rings +gpua007:271986:272077 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua007:271986:272077 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua007:271986:272077 [3] NCCL INFO Connected all trees +gpua007:271986:272077 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:271986:272077 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:271986:272077 [3] NCCL INFO comm 0xdcd04d0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:1749901:1749901 [1] NCCL INFO cudaDriverVersion 12020 +gpua083:1749901:1749901 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1749901:1749901 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1749901:1749996 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1749901:1749996 [1] NCCL INFO Using network IB +gpua083:1749901:1749996 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua083:1749901:1749996 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua083:1749901:1749996 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua083:1749901:1749996 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua083:1749901:1749996 [1] NCCL INFO Connected all rings +gpua083:1749901:1749996 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua083:1749901:1749996 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua083:1749901:1749996 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua083:1749901:1749996 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua083:1749901:1749996 [1] NCCL INFO Connected all trees +gpua083:1749901:1749996 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1749901:1749996 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1749901:1749996 [1] NCCL INFO comm 0x192e66b0 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:488395:488395 [0] NCCL INFO cudaDriverVersion 12020 +gpua082:488395:488395 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:488395:488395 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:488395:488466 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:488395:488466 [0] NCCL INFO Using network IB +gpua082:488395:488466 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua082:488395:488466 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:488395:488466 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:488395:488466 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua082:488395:488466 [0] NCCL INFO Connected all rings +gpua083:1749902:1749902 [2] NCCL INFO cudaDriverVersion 12020 +gpua083:1749902:1749902 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1749902:1749902 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1749902:1749994 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1749902:1749994 [2] NCCL INFO Using network IB +gpua083:1749902:1749994 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua083:1749902:1749994 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua083:1749902:1749994 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua083:1749902:1749994 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua083:1749902:1749994 [2] NCCL INFO Connected all rings +gpua083:1749902:1749994 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua083:1749902:1749994 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua082:488395:488466 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua082:488395:488466 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:488395:488466 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua082:488395:488466 [0] NCCL INFO Connected all trees +gpua082:488395:488466 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:488395:488466 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:488395:488466 [0] NCCL INFO comm 0xf1c1970 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua083:1749902:1749994 [2] NCCL INFO Connected all trees +gpua083:1749902:1749994 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1749902:1749994 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1749902:1749994 [2] NCCL INFO comm 0xf98e0a0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua085:1176316:1176316 [0] NCCL INFO cudaDriverVersion 12020 +gpua085:1176316:1176316 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1176316:1176316 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1176316:1176384 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1176316:1176384 [0] NCCL INFO Using network IB +gpua085:1176316:1176384 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua085:1176316:1176384 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1176316:1176384 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua085:1176316:1176384 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua085:1176316:1176384 [0] NCCL INFO Connected all rings +gpua085:1176316:1176384 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua085:1176316:1176384 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua085:1176316:1176384 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua085:1176316:1176384 [0] NCCL INFO Connected all trees +gpua085:1176316:1176384 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1176316:1176384 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1176316:1176384 [0] NCCL INFO comm 0x137f2f80 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua083:1749903:1749903 [3] NCCL INFO cudaDriverVersion 12020 +gpua083:1749903:1749903 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1749903:1749903 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1749903:1749993 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1749903:1749993 [3] NCCL INFO Using network IB +gpua083:1749903:1749993 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua083:1749903:1749993 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua083:1749903:1749993 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua083:1749903:1749993 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua083:1749903:1749993 [3] NCCL INFO Connected all rings +gpua083:1749903:1749993 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua083:1749903:1749993 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua083:1749903:1749993 [3] NCCL INFO Connected all trees +gpua083:1749903:1749993 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1749903:1749993 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1749903:1749993 [3] NCCL INFO comm 0x2ee85da0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua005:2350519:2350519 [1] NCCL INFO cudaDriverVersion 12020 +gpua005:2350519:2350519 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2350519:2350519 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2350519:2350668 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2350519:2350668 [1] NCCL INFO Using network IB +gpua005:2350519:2350668 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua005:2350519:2350668 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua005:2350519:2350668 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua005:2350519:2350668 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua005:2350519:2350668 [1] NCCL INFO Connected all rings +gpua005:2350519:2350668 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua005:2350519:2350668 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua005:2350519:2350668 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua005:2350519:2350668 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua005:2350519:2350668 [1] NCCL INFO Connected all trees +gpua005:2350519:2350668 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2350519:2350668 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2350519:2350668 [1] NCCL INFO comm 0x1feb5780 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua005:2350521:2350521 [3] NCCL INFO cudaDriverVersion 12020 +gpua005:2350521:2350521 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2350521:2350521 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2350521:2350669 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2350521:2350669 [3] NCCL INFO Using network IB +gpua005:2350521:2350669 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua005:2350521:2350669 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua005:2350521:2350669 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua005:2350521:2350669 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua005:2350521:2350669 [3] NCCL INFO Connected all rings +gpua005:2350521:2350669 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua005:2350521:2350669 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua005:2350521:2350669 [3] NCCL INFO Connected all trees +gpua005:2350521:2350669 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2350521:2350669 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2350521:2350669 [3] NCCL INFO comm 0xb77ff20 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua055:483081:483081 [2] NCCL INFO cudaDriverVersion 12020 +gpua055:483081:483081 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:483081:483081 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:483081:483147 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:483081:483147 [2] NCCL INFO Using network IB +gpua055:483081:483147 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua055:483081:483147 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua055:483081:483147 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua055:483081:483147 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua055:483081:483147 [2] NCCL INFO Connected all rings +gpua055:483081:483147 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua055:483081:483147 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua022:620896:620896 [1] NCCL INFO cudaDriverVersion 12020 +gpua022:620896:620896 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:620896:620896 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:620896:620968 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:620896:620968 [1] NCCL INFO Using network IB +gpua022:620896:620968 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua022:620896:620968 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua022:620896:620968 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua022:620896:620968 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua022:620896:620968 [1] NCCL INFO Connected all rings +gpua022:620896:620968 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua022:620896:620968 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua055:483081:483147 [2] NCCL INFO Connected all trees +gpua055:483081:483147 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:483081:483147 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:483081:483147 [2] NCCL INFO comm 0xcf006e0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua086:645165:645165 [1] NCCL INFO cudaDriverVersion 12020 +gpua086:645165:645165 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:645165:645165 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:645165:645252 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:645165:645252 [1] NCCL INFO Using network IB +gpua086:645165:645252 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua086:645165:645252 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua086:645165:645252 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua086:645165:645252 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua086:645165:645252 [1] NCCL INFO Connected all rings +gpua086:645165:645252 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua086:645165:645252 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua022:620896:620968 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua022:620896:620968 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua022:620896:620968 [1] NCCL INFO Connected all trees +gpua022:620896:620968 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:620896:620968 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:620896:620968 [1] NCCL INFO comm 0xe9777ae0 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua086:645165:645252 [1] NCCL INFO Connected all trees +gpua086:645165:645252 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:645165:645252 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:645165:645252 [1] NCCL INFO comm 0xb2c0b60 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua006:2668186:2668186 [2] NCCL INFO cudaDriverVersion 12020 +gpua006:2668186:2668186 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2668186:2668186 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2668186:2668248 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2668186:2668248 [2] NCCL INFO Using network IB +gpua006:2668186:2668248 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua006:2668186:2668248 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua006:2668186:2668248 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua006:2668186:2668248 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua006:2668186:2668248 [2] NCCL INFO Connected all rings +gpua006:2668186:2668248 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua006:2668186:2668248 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua056:1040039:1040039 [3] NCCL INFO cudaDriverVersion 12020 +gpua056:1040039:1040039 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1040039:1040039 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1040039:1040112 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1040039:1040112 [3] NCCL INFO Using network IB +gpua056:1040039:1040112 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua056:1040039:1040112 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua056:1040039:1040112 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1040039:1040112 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua056:1040039:1040112 [3] NCCL INFO Connected all rings +gpua056:1040039:1040112 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua056:1040039:1040112 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua006:2668186:2668248 [2] NCCL INFO Connected all trees +gpua006:2668186:2668248 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2668186:2668248 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2668186:2668248 [2] NCCL INFO comm 0x2d746560 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua056:1040039:1040112 [3] NCCL INFO Connected all trees +gpua056:1040039:1040112 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1040039:1040112 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1040039:1040112 [3] NCCL INFO comm 0xeba524e0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua002:759385:759385 [2] NCCL INFO cudaDriverVersion 12020 +gpua002:759385:759385 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:759385:759385 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:759385:759452 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:759385:759452 [2] NCCL INFO Using network IB +gpua002:759385:759452 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua002:759385:759452 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua002:759385:759452 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua002:759385:759452 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua002:759385:759452 [2] NCCL INFO Connected all rings +gpua002:759385:759452 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua002:759385:759452 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua002:759385:759452 [2] NCCL INFO Connected all trees +gpua002:759385:759452 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:759385:759452 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:759385:759452 [2] NCCL INFO comm 0xe8cbd9e0 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua083:1749900:1749900 [0] NCCL INFO cudaDriverVersion 12020 +gpua083:1749900:1749900 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1749900:1749900 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1749900:1749995 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1749900:1749995 [0] NCCL INFO Using network IB +gpua083:1749900:1749995 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua083:1749900:1749995 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua083:1749900:1749995 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1749900:1749995 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua083:1749900:1749995 [0] NCCL INFO Connected all rings +gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1749900:1749995 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua083:1749900:1749995 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua083:1749900:1749995 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua083:1749900:1749995 [0] NCCL INFO Connected all trees +gpua083:1749900:1749995 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1749900:1749995 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1749900:1749995 [0] NCCL INFO comm 0x9293fe90 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua002:759383:759449 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:759383:759449 [0] NCCL INFO Using network IB +gpua002:759383:759449 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua002:759383:759449 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua002:759383:759449 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua002:759383:759449 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua002:759383:759449 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:759383:759449 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:759383:759449 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua002:759383:759449 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua002:759383:759449 [0] NCCL INFO Connected all rings +gpua005:2350518:2350518 [0] NCCL INFO cudaDriverVersion 12020 +gpua005:2350518:2350518 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2350518:2350518 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2350518:2350671 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2350518:2350671 [0] NCCL INFO Using network IB +gpua005:2350518:2350671 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua005:2350518:2350671 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua005:2350518:2350671 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2350518:2350671 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua005:2350518:2350671 [0] NCCL INFO Connected all rings +gpua031:650363:650363 [1] NCCL INFO cudaDriverVersion 12020 +gpua031:650363:650363 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:650363:650363 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:650363:650462 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:650363:650462 [1] NCCL INFO Using network IB +gpua031:650363:650462 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua031:650363:650462 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua031:650363:650462 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua031:650363:650462 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua031:650363:650462 [1] NCCL INFO Connected all rings +gpua031:650363:650462 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua031:650363:650462 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua002:759383:759449 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua002:759383:759449 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:759383:759449 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua002:759383:759449 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua002:759383:759449 [0] NCCL INFO Connected all trees +gpua002:759383:759449 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:759383:759449 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:759383:759449 [0] NCCL INFO comm 0x11dcf110 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2350518:2350671 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2350518:2350671 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua005:2350518:2350671 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua005:2350518:2350671 [0] NCCL INFO Connected all trees +gpua005:2350518:2350671 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2350518:2350671 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2350518:2350671 [0] NCCL INFO comm 0x13074490 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua031:650363:650462 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua031:650363:650462 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua031:650363:650462 [1] NCCL INFO Connected all trees +gpua031:650363:650462 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:650363:650462 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:650363:650462 [1] NCCL INFO comm 0x1104cca0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua085:1176317:1176317 [1] NCCL INFO cudaDriverVersion 12020 +gpua085:1176317:1176317 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.85<0> +gpua085:1176317:1176317 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua085:1176317:1176386 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.85<0> +gpua085:1176317:1176386 [1] NCCL INFO Using network IB +gpua085:1176317:1176386 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua085:1176317:1176386 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua085:1176317:1176386 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua085:1176317:1176386 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua085:1176317:1176386 [1] NCCL INFO Connected all rings +gpua085:1176317:1176386 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua085:1176317:1176386 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua006:2668187:2668187 [3] NCCL INFO cudaDriverVersion 12020 +gpua006:2668187:2668187 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.6<0> +gpua006:2668187:2668187 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua006:2668187:2668251 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.6<0> +gpua006:2668187:2668251 [3] NCCL INFO Using network IB +gpua006:2668187:2668251 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua006:2668187:2668251 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua006:2668187:2668251 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2668187:2668251 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua006:2668187:2668251 [3] NCCL INFO Connected all rings +gpua006:2668187:2668251 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua006:2668187:2668251 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua085:1176317:1176386 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua085:1176317:1176386 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua085:1176317:1176386 [1] NCCL INFO Connected all trees +gpua085:1176317:1176386 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua085:1176317:1176386 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua085:1176317:1176386 [1] NCCL INFO comm 0x103908e0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua006:2668187:2668251 [3] NCCL INFO Connected all trees +gpua006:2668187:2668251 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua006:2668187:2668251 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua006:2668187:2668251 [3] NCCL INFO comm 0x11cf6910 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:865423:865423 [3] NCCL INFO cudaDriverVersion 12020 +gpua030:865423:865423 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:865423:865423 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:865423:865521 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:865423:865521 [3] NCCL INFO Using network IB +gpua030:865423:865521 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua030:865423:865521 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua030:865423:865521 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua030:865423:865521 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua030:865423:865521 [3] NCCL INFO Connected all rings +gpua030:865423:865521 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua030:865423:865521 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua030:865423:865521 [3] NCCL INFO Connected all trees +gpua030:865423:865521 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:865423:865521 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:865423:865521 [3] NCCL INFO comm 0x9c0b9120 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua031:650362:650362 [0] NCCL INFO cudaDriverVersion 12020 +gpua031:650362:650362 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:650362:650362 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:650362:650463 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:650362:650463 [0] NCCL INFO Using network IB +gpua031:650362:650463 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua031:650362:650463 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua031:650362:650463 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:650362:650463 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua031:650362:650463 [0] NCCL INFO Connected all rings +gpua031:650362:650463 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua031:650362:650463 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua031:650362:650463 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua031:650362:650463 [0] NCCL INFO Connected all trees +gpua031:650362:650463 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:650362:650463 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:650362:650463 [0] NCCL INFO comm 0xa9b5120 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua022:620897:620897 [2] NCCL INFO cudaDriverVersion 12020 +gpua022:620897:620897 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:620897:620897 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:620897:620970 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:620897:620970 [2] NCCL INFO Using network IB +gpua022:620897:620970 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua022:620897:620970 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua022:620897:620970 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua022:620897:620970 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua022:620897:620970 [2] NCCL INFO Connected all rings +gpua022:620897:620970 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua022:620897:620970 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua022:620897:620970 [2] NCCL INFO Connected all trees +gpua022:620897:620970 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:620897:620970 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:620897:620970 [2] NCCL INFO comm 0xe5936860 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua002:759384:759384 [1] NCCL INFO cudaDriverVersion 12020 +gpua002:759384:759384 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.2<0> +gpua002:759384:759384 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua002:759384:759450 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.2<0> +gpua002:759384:759450 [1] NCCL INFO Using network IB +gpua002:759384:759450 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua002:759384:759450 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua002:759384:759450 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua002:759384:759450 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua002:759384:759450 [1] NCCL INFO Connected all rings +gpua002:759384:759450 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua002:759384:759450 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua002:759384:759450 [1] NCCL INFO Connected all trees +gpua002:759384:759450 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua002:759384:759450 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua002:759384:759450 [1] NCCL INFO comm 0xf3ec910 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua055:483079:483079 [0] NCCL INFO cudaDriverVersion 12020 +gpua055:483079:483079 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:483079:483079 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:483079:483146 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:483079:483146 [0] NCCL INFO Using network IB +gpua055:483079:483146 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua055:483079:483146 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua055:483079:483146 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:483079:483146 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua055:483079:483146 [0] NCCL INFO Connected all rings +gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:483079:483146 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua055:483079:483146 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua055:483079:483146 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua055:483079:483146 [0] NCCL INFO Connected all trees +gpua055:483079:483146 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:483079:483146 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:483079:483146 [0] NCCL INFO comm 0xe3cf4320 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua055:483080:483080 [1] NCCL INFO cudaDriverVersion 12020 +gpua055:483080:483080 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:483080:483080 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:483080:483145 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:483080:483145 [1] NCCL INFO Using network IB +gpua055:483080:483145 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua055:483080:483145 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua055:483080:483145 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua055:483080:483145 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua055:483080:483145 [1] NCCL INFO Connected all rings +gpua055:483080:483145 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua055:483080:483145 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua055:483080:483145 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua055:483080:483145 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua055:483080:483145 [1] NCCL INFO Connected all trees +gpua055:483080:483145 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:483080:483145 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:483080:483145 [1] NCCL INFO comm 0x7f840e4fa260 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua030:865421:865421 [1] NCCL INFO cudaDriverVersion 12020 +gpua030:865421:865421 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:865421:865421 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:865421:865519 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:865421:865519 [1] NCCL INFO Using network IB +gpua030:865421:865519 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua030:865421:865519 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua030:865421:865519 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua030:865421:865519 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua030:865421:865519 [1] NCCL INFO Connected all rings +gpua030:865421:865519 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua030:865421:865519 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua030:865421:865519 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua030:865421:865519 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua030:865421:865519 [1] NCCL INFO Connected all trees +gpua030:865421:865519 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:865421:865519 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:865421:865519 [1] NCCL INFO comm 0x4558ecd0 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua022:620898:620898 [3] NCCL INFO cudaDriverVersion 12020 +gpua022:620898:620898 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:620898:620898 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:620898:620967 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:620898:620967 [3] NCCL INFO Using network IB +gpua022:620898:620967 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua022:620898:620967 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua022:620898:620967 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua022:620898:620967 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua022:620898:620967 [3] NCCL INFO Connected all rings +gpua022:620898:620967 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua022:620898:620967 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua022:620898:620967 [3] NCCL INFO Connected all trees +gpua022:620898:620967 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:620898:620967 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:620898:620967 [3] NCCL INFO comm 0x1989b030 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua022:620895:620895 [0] NCCL INFO cudaDriverVersion 12020 +gpua022:620895:620895 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.22<0> +gpua022:620895:620895 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua022:620895:620969 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.22<0> +gpua022:620895:620969 [0] NCCL INFO Using network IB +gpua022:620895:620969 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua022:620895:620969 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:620895:620969 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua022:620895:620969 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua022:620895:620969 [0] NCCL INFO Connected all rings +gpua022:620895:620969 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua022:620895:620969 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:620895:620969 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua022:620895:620969 [0] NCCL INFO Connected all trees +gpua022:620895:620969 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua022:620895:620969 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua022:620895:620969 [0] NCCL INFO comm 0xf163490 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua056:1040037:1040037 [1] NCCL INFO cudaDriverVersion 12020 +gpua056:1040037:1040037 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.56<0> +gpua056:1040037:1040037 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua056:1040037:1040113 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.56<0> +gpua056:1040037:1040113 [1] NCCL INFO Using network IB +gpua056:1040037:1040113 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua056:1040037:1040113 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua056:1040037:1040113 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1040037:1040113 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua056:1040037:1040113 [1] NCCL INFO Connected all rings +gpua056:1040037:1040113 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua056:1040037:1040113 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua056:1040037:1040113 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1040037:1040113 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua056:1040037:1040113 [1] NCCL INFO Connected all trees +gpua056:1040037:1040113 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua056:1040037:1040113 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua056:1040037:1040113 [1] NCCL INFO comm 0xd078850 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:488396:488396 [1] NCCL INFO cudaDriverVersion 12020 +gpua082:488396:488396 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:488396:488396 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:488396:488464 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:488396:488464 [1] NCCL INFO Using network IB +gpua082:488396:488464 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua082:488396:488464 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua082:488396:488464 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:488396:488464 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua082:488396:488464 [1] NCCL INFO Connected all rings +gpua082:488396:488464 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua082:488396:488464 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua082:488396:488464 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:488396:488464 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua082:488396:488464 [1] NCCL INFO Connected all trees +gpua082:488396:488464 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:488396:488464 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:488396:488464 [1] NCCL INFO comm 0xe491dc70 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua086:645167:645167 [3] NCCL INFO cudaDriverVersion 12020 +gpua086:645167:645167 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:645167:645167 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:645167:645255 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:645167:645255 [3] NCCL INFO Using network IB +gpua086:645167:645255 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua086:645167:645255 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua086:645167:645255 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua086:645167:645255 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua086:645167:645255 [3] NCCL INFO Connected all rings +gpua086:645167:645255 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua086:645167:645255 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua086:645167:645255 [3] NCCL INFO Connected all trees +gpua086:645167:645255 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:645167:645255 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:645167:645255 [3] NCCL INFO comm 0x13f89b20 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:645164:645164 [0] NCCL INFO cudaDriverVersion 12020 +gpua086:645164:645164 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:645164:645164 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:645164:645254 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:645164:645254 [0] NCCL INFO Using network IB +gpua086:645164:645254 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua086:645164:645254 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua086:645164:645254 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:645164:645254 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:645164:645254 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua086:645164:645254 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua086:645164:645254 [0] NCCL INFO Connected all rings +gpua086:645164:645254 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:645164:645254 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua086:645164:645254 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua086:645164:645254 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua086:645164:645254 [0] NCCL INFO Connected all trees +gpua086:645164:645254 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:645164:645254 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:645164:645254 [0] NCCL INFO comm 0xe9723c60 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua086:645166:645166 [2] NCCL INFO cudaDriverVersion 12020 +gpua086:645166:645166 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:645166:645166 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:645166:645253 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:645166:645253 [2] NCCL INFO Using network IB +gpua086:645166:645253 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua086:645166:645253 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua086:645166:645253 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua086:645166:645253 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua086:645166:645253 [2] NCCL INFO Connected all rings +gpua086:645166:645253 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua086:645166:645253 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua086:645166:645253 [2] NCCL INFO Connected all trees +gpua086:645166:645253 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:645166:645253 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:645166:645253 [2] NCCL INFO comm 0x16076290 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua023:515041:515041 [1] NCCL INFO cudaDriverVersion 12020 +gpua023:515041:515041 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:515041:515041 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:515041:515123 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:515041:515123 [1] NCCL INFO Using network IB +gpua023:515041:515123 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua023:515041:515123 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua023:515041:515123 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua023:515041:515123 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua023:515041:515123 [1] NCCL INFO Connected all rings +gpua023:515041:515123 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua023:515041:515123 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua023:515041:515123 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua023:515041:515123 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua023:515041:515123 [1] NCCL INFO Connected all trees +gpua023:515041:515123 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:515041:515123 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:515041:515123 [1] NCCL INFO comm 0xea6dc70 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua082:488397:488397 [2] NCCL INFO cudaDriverVersion 12020 +gpua082:488397:488397 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:488397:488397 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:488397:488465 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:488397:488465 [2] NCCL INFO Using network IB +gpua082:488397:488465 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua082:488397:488465 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua082:488397:488465 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:488397:488465 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua082:488397:488465 [2] NCCL INFO Connected all rings +gpua082:488397:488465 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:488397:488465 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua082:488397:488465 [2] NCCL INFO Connected all trees +gpua082:488397:488465 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:488397:488465 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:488397:488465 [2] NCCL INFO comm 0x21de7c20 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua082:488398:488398 [3] NCCL INFO cudaDriverVersion 12020 +gpua082:488398:488398 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.82<0> +gpua082:488398:488398 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua082:488398:488463 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.82<0> +gpua082:488398:488463 [3] NCCL INFO Using network IB +gpua082:488398:488463 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua082:488398:488463 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua082:488398:488463 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:488398:488463 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua082:488398:488463 [3] NCCL INFO Connected all rings +gpua082:488398:488463 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua082:488398:488463 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua082:488398:488463 [3] NCCL INFO Connected all trees +gpua082:488398:488463 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua082:488398:488463 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua082:488398:488463 [3] NCCL INFO comm 0x9c0baa70 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua023:515043:515043 [3] NCCL INFO cudaDriverVersion 12020 +gpua023:515043:515043 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:515043:515043 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:515043:515121 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:515043:515121 [3] NCCL INFO Using network IB +gpua023:515043:515121 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua023:515043:515121 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua023:515043:515121 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua023:515043:515121 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua023:515043:515121 [3] NCCL INFO Connected all rings +gpua023:515043:515121 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua023:515043:515121 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua023:515043:515121 [3] NCCL INFO Connected all trees +gpua023:515043:515121 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:515043:515121 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:515043:515121 [3] NCCL INFO comm 0x30417370 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:865422:865422 [2] NCCL INFO cudaDriverVersion 12020 +gpua030:865422:865422 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:865422:865422 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:865422:865520 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:865422:865520 [2] NCCL INFO Using network IB +gpua030:865422:865520 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua030:865422:865520 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua030:865422:865520 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua030:865422:865520 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua030:865422:865520 [2] NCCL INFO Connected all rings +gpua030:865422:865520 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua030:865422:865520 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua023:515042:515042 [2] NCCL INFO cudaDriverVersion 12020 +gpua023:515042:515042 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.23<0> +gpua023:515042:515042 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua023:515042:515124 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.23<0> +gpua023:515042:515124 [2] NCCL INFO Using network IB +gpua023:515042:515124 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua023:515042:515124 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua023:515042:515124 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua023:515042:515124 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua023:515042:515124 [2] NCCL INFO Connected all rings +gpua023:515042:515124 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua023:515042:515124 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua030:865422:865520 [2] NCCL INFO Connected all trees +gpua030:865422:865520 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:865422:865520 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:865422:865520 [2] NCCL INFO comm 0xb2e9020 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua023:515042:515124 [2] NCCL INFO Connected all trees +gpua023:515042:515124 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua023:515042:515124 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua023:515042:515124 [2] NCCL INFO comm 0xc822590 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua055:483082:483082 [3] NCCL INFO cudaDriverVersion 12020 +gpua055:483082:483082 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.55<0> +gpua055:483082:483082 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua055:483082:483148 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.55<0> +gpua055:483082:483148 [3] NCCL INFO Using network IB +gpua055:483082:483148 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua055:483082:483148 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua055:483082:483148 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua055:483082:483148 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua055:483082:483148 [3] NCCL INFO Connected all rings +gpua055:483082:483148 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua055:483082:483148 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua055:483082:483148 [3] NCCL INFO Connected all trees +gpua055:483082:483148 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua055:483082:483148 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua055:483082:483148 [3] NCCL INFO comm 0x2f4d00b0 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua057:382967:382967 [1] NCCL INFO cudaDriverVersion 12020 +gpua057:382967:382967 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:382967:382967 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:382967:383048 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:382967:383048 [1] NCCL INFO Using network IB +gpua057:382967:383048 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua057:382967:383048 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua057:382967:383048 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:382967:383048 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua057:382967:383048 [1] NCCL INFO Connected all rings +gpua057:382967:383048 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua057:382967:383048 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua057:382967:383048 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:382967:383048 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua057:382967:383048 [1] NCCL INFO Connected all trees +gpua057:382967:383048 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:382967:383048 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:382967:383048 [1] NCCL INFO comm 0x111c0880 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua057:382968:382968 [2] NCCL INFO cudaDriverVersion 12020 +gpua057:382968:382968 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:382968:382968 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:382968:383052 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:382968:383052 [2] NCCL INFO Using network IB +gpua057:382968:383052 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua057:382968:383052 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua057:382968:383052 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:382968:383052 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua057:382968:383052 [2] NCCL INFO Connected all rings +gpua057:382968:383052 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:382968:383052 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua057:382968:383052 [2] NCCL INFO Connected all trees +gpua057:382968:383052 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:382968:383052 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:382968:383052 [2] NCCL INFO comm 0xe8e68a0 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua057:382966:382966 [0] NCCL INFO cudaDriverVersion 12020 +gpua057:382966:382966 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:382966:382966 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:382966:383051 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:382966:383051 [0] NCCL INFO Using network IB +gpua057:382966:383051 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua057:382966:383051 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua057:382966:383051 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:382966:383051 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua057:382966:383051 [0] NCCL INFO Connected all rings +gpua057:382966:383051 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua057:382966:383051 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua057:382966:383051 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua057:382966:383051 [0] NCCL INFO Connected all trees +gpua057:382966:383051 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:382966:383051 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:382966:383051 [0] NCCL INFO comm 0x94110050 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua030:865420:865420 [0] NCCL INFO cudaDriverVersion 12020 +gpua030:865420:865420 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:865420:865420 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:865420:865522 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:865420:865522 [0] NCCL INFO Using network IB +gpua030:865420:865522 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua030:865420:865522 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:865420:865522 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua030:865420:865522 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua030:865420:865522 [0] NCCL INFO Connected all rings +gpua030:865420:865522 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua030:865420:865522 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua030:865420:865522 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua030:865420:865522 [0] NCCL INFO Connected all trees +gpua030:865420:865522 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:865420:865522 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:865420:865522 [0] NCCL INFO comm 0x1ca3dac0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua057:382969:382969 [3] NCCL INFO cudaDriverVersion 12020 +gpua057:382969:382969 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.57<0> +gpua057:382969:382969 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua057:382969:383049 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.57<0> +gpua057:382969:383049 [3] NCCL INFO Using network IB +gpua057:382969:383049 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua057:382969:383049 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua057:382969:383049 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:382969:383049 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua057:382969:383049 [3] NCCL INFO Connected all rings +gpua057:382969:383049 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua057:382969:383049 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua057:382969:383049 [3] NCCL INFO Connected all trees +gpua057:382969:383049 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua057:382969:383049 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua057:382969:383049 [3] NCCL INFO comm 0xdb93830 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua054:295150:295150 [0] NCCL INFO cudaDriverVersion 12020 +gpua054:295150:295150 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:295150:295150 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:295150:295229 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:295150:295229 [0] NCCL INFO Using network IB +gpua054:295150:295229 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua054:295150:295229 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:295150:295229 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua054:295150:295229 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua054:295150:295229 [0] NCCL INFO Connected all rings +gpua054:295150:295229 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua054:295150:295229 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:295150:295229 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua054:295150:295229 [0] NCCL INFO Connected all trees +gpua054:295150:295229 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:295150:295229 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:295150:295229 [0] NCCL INFO comm 0xdeab6a0 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua054:295152:295152 [2] NCCL INFO cudaDriverVersion 12020 +gpua054:295152:295152 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:295152:295152 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:295152:295225 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:295152:295225 [2] NCCL INFO Using network IB +gpua054:295152:295225 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua054:295152:295225 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua054:295152:295225 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua054:295152:295225 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua054:295152:295225 [2] NCCL INFO Connected all rings +gpua054:295152:295225 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua054:295152:295225 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua054:295152:295225 [2] NCCL INFO Connected all trees +gpua054:295152:295225 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:295152:295225 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:295152:295225 [2] NCCL INFO comm 0x110ea820 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua054:295153:295153 [3] NCCL INFO cudaDriverVersion 12020 +gpua054:295153:295153 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:295153:295153 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:295153:295224 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:295153:295224 [3] NCCL INFO Using network IB +gpua054:295153:295224 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua054:295153:295224 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua054:295153:295224 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua054:295153:295224 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua054:295153:295224 [3] NCCL INFO Connected all rings +gpua054:295153:295224 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua054:295153:295224 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua054:295153:295224 [3] NCCL INFO Connected all trees +gpua054:295153:295224 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:295153:295224 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:295153:295224 [3] NCCL INFO comm 0x3476b510 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua054:295151:295151 [1] NCCL INFO cudaDriverVersion 12020 +gpua054:295151:295151 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:295151:295151 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:295151:295223 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:295151:295223 [1] NCCL INFO Using network IB +gpua054:295151:295223 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua054:295151:295223 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua054:295151:295223 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua054:295151:295223 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua054:295151:295223 [1] NCCL INFO Connected all rings +gpua054:295151:295223 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua054:295151:295223 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua054:295151:295223 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua054:295151:295223 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua054:295151:295223 [1] NCCL INFO Connected all trees +gpua054:295151:295223 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:295151:295223 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:295151:295223 [1] NCCL INFO comm 0xaba9b60 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +[gpua002:0/64] 2023-12-05 10:49:53,767 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua002:0/64] 2023-12-05 10:53:12,403 (trainer:737) INFO: 11epoch:train:1-100batch: iter_time=2.771, forward_time=0.244, loss_ctc=84.286, loss_att=77.376, acc=0.656, loss=79.449, backward_time=0.371, grad_norm=51.679, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.133, optim0_lr0=1.265e-04, train_time=6.532 +[gpua002:0/64] 2023-12-05 10:59:33,576 (trainer:737) INFO: 11epoch:train:101-200batch: iter_time=9.336e-05, forward_time=0.142, loss_ctc=64.141, loss_att=59.453, acc=0.646, loss=60.859, backward_time=0.772, grad_norm=43.120, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.264e-04, train_time=3.812 +[gpua002:0/64] 2023-12-05 11:05:24,503 (trainer:737) INFO: 11epoch:train:201-300batch: iter_time=9.313e-05, forward_time=0.142, loss_ctc=66.929, loss_att=56.024, acc=0.683, loss=59.296, backward_time=0.602, grad_norm=40.839, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.264e-04, train_time=3.509 +[gpua002:0/64] 2023-12-05 11:10:29,670 (trainer:737) INFO: 11epoch:train:301-400batch: iter_time=0.001, forward_time=0.189, loss_ctc=92.659, loss_att=72.639, acc=0.656, loss=78.645, backward_time=0.441, grad_norm=51.718, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.133, optim0_lr0=1.263e-04, train_time=3.051 +[gpua002:0/64] 2023-12-05 11:13:57,747 (trainer:737) INFO: 11epoch:train:401-500batch: iter_time=9.291e-05, forward_time=0.148, loss_ctc=82.669, loss_att=83.608, acc=0.659, loss=83.326, backward_time=0.353, grad_norm=46.190, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.132, optim0_lr0=1.263e-04, train_time=2.081 +[gpua002:0/64] 2023-12-05 11:17:25,409 (trainer:737) INFO: 11epoch:train:501-600batch: iter_time=9.154e-05, forward_time=0.142, loss_ctc=73.211, loss_att=54.921, acc=0.687, loss=60.408, backward_time=0.376, grad_norm=46.128, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.263e-04, train_time=2.076 +[gpua002:0/64] 2023-12-05 11:20:43,747 (trainer:737) INFO: 11epoch:train:601-700batch: iter_time=9.160e-05, forward_time=0.142, loss_ctc=88.048, loss_att=67.648, acc=0.646, loss=73.768, backward_time=0.421, grad_norm=53.318, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.262e-04, train_time=1.983 +[gpua002:0/64] 2023-12-05 11:23:53,554 (trainer:737) INFO: 11epoch:train:701-800batch: iter_time=9.381e-05, forward_time=0.206, loss_ctc=87.674, loss_att=71.373, acc=0.659, loss=76.264, backward_time=0.348, grad_norm=56.345, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.133, optim0_lr0=1.262e-04, train_time=1.898 +[gpua002:0/64] 2023-12-05 11:26:57,990 (trainer:737) INFO: 11epoch:train:801-900batch: iter_time=9.098e-05, forward_time=0.159, loss_ctc=88.068, loss_att=82.073, acc=0.663, loss=83.872, backward_time=0.352, grad_norm=47.507, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.132, optim0_lr0=1.261e-04, train_time=1.844 +[gpua002:0/64] 2023-12-05 11:30:03,050 (trainer:737) INFO: 11epoch:train:901-1000batch: iter_time=9.000e-05, forward_time=0.142, loss_ctc=86.070, loss_att=81.244, acc=0.658, loss=82.692, backward_time=0.337, grad_norm=52.675, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.261e-04, train_time=1.850 +[gpua002:0/64] 2023-12-05 11:33:05,994 (trainer:737) INFO: 11epoch:train:1001-1100batch: iter_time=8.649e-05, forward_time=0.142, loss_ctc=76.203, loss_att=62.061, acc=0.675, loss=66.304, backward_time=0.360, grad_norm=45.084, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.261e-04, train_time=1.829 +[gpua002:0/64] 2023-12-05 11:35:59,386 (trainer:737) INFO: 11epoch:train:1101-1200batch: iter_time=8.641e-05, forward_time=0.142, loss_ctc=76.682, loss_att=59.707, acc=0.679, loss=64.799, backward_time=0.306, grad_norm=46.506, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.260e-04, train_time=1.734 +[gpua002:0/64] 2023-12-05 11:37:38,369 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-05 11:37:58,311 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 11:38:02,159 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 11:38:02,159 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-05 11:38:02,932 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 11:46:49,776 (trainer:737) INFO: 11epoch:train:1201-1300batch: iter_time=2.912, forward_time=0.233, loss_ctc=90.614, loss_att=77.249, acc=0.661, loss=81.259, backward_time=0.322, grad_norm=53.931, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.132, optim0_lr0=1.260e-04, train_time=6.503 +[gpua002:0/64] 2023-12-05 11:49:05,939 (trainer:737) INFO: 11epoch:train:1301-1400batch: iter_time=8.211e-05, forward_time=0.148, loss_ctc=71.150, loss_att=60.460, acc=0.655, loss=63.667, backward_time=0.291, grad_norm=48.521, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.259e-04, train_time=1.362 +[gpua002:0/64] 2023-12-05 11:51:19,799 (trainer:737) INFO: 11epoch:train:1401-1500batch: iter_time=7.869e-05, forward_time=0.146, loss_ctc=65.965, loss_att=56.938, acc=0.666, loss=59.646, backward_time=0.286, grad_norm=41.435, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.259e-04, train_time=1.338 +[gpua002:0/64] 2023-12-05 11:53:54,188 (trainer:737) INFO: 11epoch:train:1501-1600batch: iter_time=8.354e-05, forward_time=0.144, loss_ctc=71.211, loss_att=56.328, acc=0.678, loss=60.793, backward_time=0.360, grad_norm=44.592, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.258e-04, train_time=1.544 +[gpua002:0/64] 2023-12-05 11:56:10,201 (trainer:737) INFO: 11epoch:train:1601-1700batch: iter_time=8.482e-05, forward_time=0.145, loss_ctc=93.299, loss_att=79.033, acc=0.648, loss=83.313, backward_time=0.290, grad_norm=53.410, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.258e-04, train_time=1.360 +[gpua002:0/64] 2023-12-05 11:58:53,663 (trainer:737) INFO: 11epoch:train:1701-1800batch: iter_time=8.284e-05, forward_time=0.145, loss_ctc=78.225, loss_att=67.398, acc=0.692, loss=70.646, backward_time=0.325, grad_norm=45.651, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.258e-04, train_time=1.634 +[gpua002:0/64] 2023-12-05 12:01:48,699 (trainer:737) INFO: 11epoch:train:1801-1900batch: iter_time=8.582e-05, forward_time=0.146, loss_ctc=77.105, loss_att=63.333, acc=0.648, loss=67.464, backward_time=0.299, grad_norm=54.051, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.131, optim0_lr0=1.257e-04, train_time=1.750 +[gpua002:0/64] 2023-12-05 12:04:07,887 (trainer:737) INFO: 11epoch:train:1901-2000batch: iter_time=8.610e-05, forward_time=0.149, loss_ctc=91.199, loss_att=70.945, acc=0.654, loss=77.021, backward_time=0.305, grad_norm=52.860, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.132, optim0_lr0=1.257e-04, train_time=1.392 +[gpua002:0/64] 2023-12-05 12:06:50,966 (trainer:737) INFO: 11epoch:train:2001-2100batch: iter_time=5.495e-04, forward_time=0.169, loss_ctc=84.939, loss_att=73.624, acc=0.653, loss=77.019, backward_time=0.320, grad_norm=60.091, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.134, optim0_lr0=1.256e-04, train_time=1.631 +[gpua002:0/64] 2023-12-05 12:09:17,328 (trainer:737) INFO: 11epoch:train:2101-2200batch: iter_time=8.401e-05, forward_time=0.213, loss_ctc=88.914, loss_att=79.545, acc=0.655, loss=82.356, backward_time=0.324, grad_norm=48.157, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.135, optim0_lr0=1.256e-04, train_time=1.463 +[gpua002:0/64] 2023-12-05 12:11:19,712 (trainer:737) INFO: 11epoch:train:2201-2300batch: iter_time=8.380e-05, forward_time=0.159, loss_ctc=75.638, loss_att=70.875, acc=0.655, loss=72.304, backward_time=0.279, grad_norm=46.804, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.256e-04, train_time=1.224 +[gpua002:0/64] 2023-12-05 12:13:39,361 (trainer:737) INFO: 11epoch:train:2301-2400batch: iter_time=8.490e-05, forward_time=0.149, loss_ctc=75.775, loss_att=55.530, acc=0.692, loss=61.604, backward_time=0.317, grad_norm=44.180, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.255e-04, train_time=1.396 +[gpua002:0/64] 2023-12-05 12:15:58,541 (trainer:737) INFO: 11epoch:train:2401-2500batch: iter_time=8.503e-05, forward_time=0.146, loss_ctc=84.750, loss_att=67.538, acc=0.681, loss=72.702, backward_time=0.288, grad_norm=47.704, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.255e-04, train_time=1.391 +[gpua002:0/64] 2023-12-05 12:16:18,644 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-05 12:16:37,658 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 12:16:41,060 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 12:16:41,060 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-05 12:16:41,100 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 12:27:45,244 (trainer:737) INFO: 11epoch:train:2501-2600batch: iter_time=3.012, forward_time=0.166, loss_ctc=83.505, loss_att=72.303, acc=0.656, loss=75.664, backward_time=0.286, grad_norm=51.827, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.132, optim0_lr0=1.254e-04, train_time=7.067 +[gpua002:0/64] 2023-12-05 12:29:59,931 (trainer:737) INFO: 11epoch:train:2601-2700batch: iter_time=8.239e-05, forward_time=0.155, loss_ctc=62.746, loss_att=54.447, acc=0.658, loss=56.937, backward_time=0.285, grad_norm=42.173, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.254e-04, train_time=1.347 +[gpua002:0/64] 2023-12-05 12:32:43,117 (trainer:737) INFO: 11epoch:train:2701-2800batch: iter_time=8.711e-05, forward_time=0.185, loss_ctc=66.270, loss_att=54.529, acc=0.683, loss=58.052, backward_time=0.335, grad_norm=41.779, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.134, optim0_lr0=1.253e-04, train_time=1.631 +[gpua002:0/64] 2023-12-05 12:35:17,877 (trainer:737) INFO: 11epoch:train:2801-2900batch: iter_time=8.318e-05, forward_time=0.148, loss_ctc=89.198, loss_att=69.020, acc=0.662, loss=75.073, backward_time=0.317, grad_norm=49.881, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.253e-04, train_time=1.548 +[gpua002:0/64] 2023-12-05 12:38:08,417 (trainer:737) INFO: 11epoch:train:2901-3000batch: iter_time=8.552e-05, forward_time=0.145, loss_ctc=81.595, loss_att=78.994, acc=0.667, loss=79.774, backward_time=0.304, grad_norm=45.607, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.132, optim0_lr0=1.253e-04, train_time=1.705 +[gpua002:0/64] 2023-12-05 12:40:55,350 (trainer:737) INFO: 11epoch:train:3001-3100batch: iter_time=8.537e-05, forward_time=0.149, loss_ctc=72.485, loss_att=53.885, acc=0.686, loss=59.465, backward_time=0.299, grad_norm=48.959, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.252e-04, train_time=1.669 +[gpua002:0/64] 2023-12-05 12:43:30,656 (trainer:737) INFO: 11epoch:train:3101-3200batch: iter_time=8.641e-05, forward_time=0.145, loss_ctc=84.015, loss_att=64.913, acc=0.641, loss=70.644, backward_time=0.325, grad_norm=63.843, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.252e-04, train_time=1.553 +[gpua002:0/64] 2023-12-05 12:45:56,603 (trainer:737) INFO: 11epoch:train:3201-3300batch: iter_time=8.530e-05, forward_time=0.145, loss_ctc=86.059, loss_att=69.471, acc=0.663, loss=74.447, backward_time=0.296, grad_norm=53.282, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.132, optim0_lr0=1.251e-04, train_time=1.459 +[gpua002:0/64] 2023-12-05 12:48:59,982 (trainer:737) INFO: 11epoch:train:3301-3400batch: iter_time=2.572e-04, forward_time=0.153, loss_ctc=85.934, loss_att=78.780, acc=0.657, loss=80.926, backward_time=0.360, grad_norm=49.116, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.133, optim0_lr0=1.251e-04, train_time=1.834 +[gpua002:0/64] 2023-12-05 12:51:35,534 (trainer:737) INFO: 11epoch:train:3401-3500batch: iter_time=8.136e-05, forward_time=0.147, loss_ctc=84.499, loss_att=77.888, acc=0.663, loss=79.871, backward_time=0.315, grad_norm=49.459, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.251e-04, train_time=1.555 +[gpua002:0/64] 2023-12-05 12:54:18,911 (trainer:737) INFO: 11epoch:train:3501-3600batch: iter_time=8.412e-05, forward_time=0.166, loss_ctc=73.484, loss_att=59.714, acc=0.679, loss=63.845, backward_time=0.348, grad_norm=41.700, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.250e-04, train_time=1.633 +[gpua002:0/64] 2023-12-05 12:57:03,985 (trainer:737) INFO: 11epoch:train:3601-3700batch: iter_time=8.585e-05, forward_time=0.171, loss_ctc=74.242, loss_att=57.686, acc=0.679, loss=62.653, backward_time=0.333, grad_norm=48.182, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.250e-04, train_time=1.651 +[gpua002:0/64] 2023-12-05 12:58:39,581 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-05 12:58:58,858 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 12:59:02,383 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 12:59:02,383 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-05 12:59:02,412 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 13:07:03,297 (trainer:737) INFO: 11epoch:train:3701-3800batch: iter_time=2.309, forward_time=0.150, loss_ctc=89.867, loss_att=75.519, acc=0.666, loss=79.823, backward_time=0.289, grad_norm=51.731, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.132, optim0_lr0=1.249e-04, train_time=5.992 +[gpua002:0/64] 2023-12-05 13:09:09,253 (trainer:737) INFO: 11epoch:train:3801-3900batch: iter_time=8.337e-05, forward_time=0.146, loss_ctc=69.306, loss_att=57.733, acc=0.664, loss=61.205, backward_time=0.278, grad_norm=40.598, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.131, optim0_lr0=1.249e-04, train_time=1.260 +[gpua002:0/64] 2023-12-05 13:12:01,695 (trainer:737) INFO: 11epoch:train:3901-4000batch: iter_time=8.307e-05, forward_time=0.151, loss_ctc=65.267, loss_att=55.339, acc=0.673, loss=58.317, backward_time=0.314, grad_norm=39.412, clip=100.000, loss_scale=4.952e+27, optim_step_time=0.134, optim0_lr0=1.249e-04, train_time=1.724 +[gpua002:0/64] 2023-12-05 13:14:24,754 (trainer:737) INFO: 11epoch:train:4001-4100batch: iter_time=8.366e-05, forward_time=0.147, loss_ctc=70.303, loss_att=55.516, acc=0.684, loss=59.952, backward_time=0.308, grad_norm=39.813, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.248e-04, train_time=1.430 +[gpua002:0/64] 2023-12-05 13:16:52,804 (trainer:737) INFO: 11epoch:train:4101-4200batch: iter_time=8.250e-05, forward_time=0.145, loss_ctc=91.313, loss_att=76.697, acc=0.654, loss=81.082, backward_time=0.292, grad_norm=51.488, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.248e-04, train_time=1.480 +[gpua002:0/64] 2023-12-05 13:19:54,122 (trainer:737) INFO: 11epoch:train:4201-4300batch: iter_time=8.322e-05, forward_time=0.145, loss_ctc=77.448, loss_att=65.984, acc=0.698, loss=69.423, backward_time=0.317, grad_norm=41.716, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.247e-04, train_time=1.813 +[gpua002:0/64] 2023-12-05 13:22:49,101 (trainer:737) INFO: 11epoch:train:4301-4400batch: iter_time=8.267e-05, forward_time=0.175, loss_ctc=76.522, loss_att=62.211, acc=0.656, loss=66.504, backward_time=0.342, grad_norm=50.425, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.132, optim0_lr0=1.247e-04, train_time=1.750 +[gpua002:0/64] 2023-12-05 13:25:53,962 (trainer:737) INFO: 11epoch:train:4401-4500batch: iter_time=8.149e-05, forward_time=0.176, loss_ctc=90.391, loss_att=69.084, acc=0.661, loss=75.476, backward_time=0.336, grad_norm=53.183, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.132, optim0_lr0=1.247e-04, train_time=1.848 +[gpua002:0/64] 2023-12-05 13:28:37,118 (trainer:737) INFO: 11epoch:train:4501-4600batch: iter_time=8.239e-05, forward_time=0.144, loss_ctc=83.002, loss_att=71.645, acc=0.658, loss=75.052, backward_time=0.304, grad_norm=54.693, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.246e-04, train_time=1.631 +[gpua002:0/64] 2023-12-05 13:31:16,235 (trainer:737) INFO: 11epoch:train:4601-4700batch: iter_time=8.442e-05, forward_time=0.149, loss_ctc=87.081, loss_att=77.854, acc=0.660, loss=80.622, backward_time=0.325, grad_norm=46.108, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.246e-04, train_time=1.591 +[gpua002:0/64] 2023-12-05 13:34:09,837 (trainer:737) INFO: 11epoch:train:4701-4800batch: iter_time=8.556e-05, forward_time=0.146, loss_ctc=75.051, loss_att=70.067, acc=0.660, loss=71.562, backward_time=0.369, grad_norm=44.873, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.245e-04, train_time=1.736 +[gpua002:0/64] 2023-12-05 13:36:58,159 (trainer:737) INFO: 11epoch:train:4801-4900batch: iter_time=8.501e-05, forward_time=0.153, loss_ctc=74.315, loss_att=53.987, acc=0.696, loss=60.085, backward_time=0.342, grad_norm=48.490, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.132, optim0_lr0=1.245e-04, train_time=1.683 +[gpua002:0/64] 2023-12-05 13:39:29,765 (trainer:737) INFO: 11epoch:train:4901-5000batch: iter_time=8.137e-05, forward_time=0.146, loss_ctc=84.564, loss_att=66.787, acc=0.686, loss=72.120, backward_time=0.305, grad_norm=45.542, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.245e-04, train_time=1.516 +[gpua002:0/64] 2023-12-05 13:39:49,794 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-05 13:40:08,933 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 13:40:12,374 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 13:40:12,374 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-05 13:40:12,381 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 13:51:08,301 (trainer:737) INFO: 11epoch:train:5001-5100batch: iter_time=2.966, forward_time=0.182, loss_ctc=81.810, loss_att=75.090, acc=0.669, loss=77.106, backward_time=0.416, grad_norm=48.106, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.244e-04, train_time=6.985 +[gpua002:0/64] 2023-12-05 13:55:42,473 (trainer:737) INFO: 11epoch:train:5101-5200batch: iter_time=8.512e-05, forward_time=0.145, loss_ctc=62.420, loss_att=58.069, acc=0.659, loss=59.374, backward_time=0.399, grad_norm=44.385, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.244e-04, train_time=2.741 +[gpua002:0/64] 2023-12-05 14:00:37,412 (trainer:737) INFO: 11epoch:train:5201-5300batch: iter_time=8.665e-05, forward_time=0.147, loss_ctc=65.738, loss_att=54.857, acc=0.692, loss=58.121, backward_time=0.443, grad_norm=42.706, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.243e-04, train_time=2.950 +[gpua002:0/64] 2023-12-05 14:06:07,054 (trainer:737) INFO: 11epoch:train:5301-5400batch: iter_time=8.708e-05, forward_time=0.148, loss_ctc=87.655, loss_att=69.823, acc=0.667, loss=75.172, backward_time=0.633, grad_norm=49.885, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.243e-04, train_time=3.296 +[gpua002:0/64] 2023-12-05 14:12:39,450 (trainer:737) INFO: 11epoch:train:5401-5500batch: iter_time=8.862e-05, forward_time=0.147, loss_ctc=80.224, loss_att=80.574, acc=0.667, loss=80.469, backward_time=0.585, grad_norm=43.807, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.243e-04, train_time=3.924 +[gpua002:0/64] 2023-12-05 14:17:33,226 (trainer:737) INFO: 11epoch:train:5501-5600batch: iter_time=8.863e-05, forward_time=0.162, loss_ctc=71.886, loss_att=53.427, acc=0.698, loss=58.964, backward_time=0.511, grad_norm=45.755, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.242e-04, train_time=2.937 +[gpua002:0/64] 2023-12-05 14:23:28,376 (trainer:737) INFO: 11epoch:train:5601-5700batch: iter_time=9.157e-05, forward_time=0.145, loss_ctc=82.772, loss_att=64.958, acc=0.662, loss=70.302, backward_time=0.541, grad_norm=47.317, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.242e-04, train_time=3.551 +[gpua002:0/64] 2023-12-05 14:31:00,133 (trainer:737) INFO: 11epoch:train:5701-5800batch: iter_time=9.392e-05, forward_time=0.171, loss_ctc=85.125, loss_att=69.602, acc=0.670, loss=74.259, backward_time=0.748, grad_norm=53.918, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.241e-04, train_time=4.517 +[gpua002:0/64] 2023-12-05 14:39:00,514 (trainer:737) INFO: 11epoch:train:5801-5900batch: iter_time=9.502e-05, forward_time=0.166, loss_ctc=84.331, loss_att=77.429, acc=0.677, loss=79.500, backward_time=0.908, grad_norm=48.424, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.133, optim0_lr0=1.241e-04, train_time=4.804 +[gpua002:0/64] 2023-12-05 14:46:28,114 (trainer:737) INFO: 11epoch:train:5901-6000batch: iter_time=8.644e-05, forward_time=0.146, loss_ctc=83.329, loss_att=79.226, acc=0.668, loss=80.457, backward_time=0.751, grad_norm=49.144, clip=100.000, loss_scale=9.904e+27, optim_step_time=0.131, optim0_lr0=1.241e-04, train_time=4.476 +[gpua002:0/64] 2023-12-05 14:52:56,099 (trainer:737) INFO: 11epoch:train:6001-6100batch: iter_time=8.528e-05, forward_time=0.147, loss_ctc=73.847, loss_att=60.582, acc=0.681, loss=64.562, backward_time=0.602, grad_norm=41.831, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.240e-04, train_time=3.880 +[gpua002:0/64] 2023-12-05 14:58:11,010 (trainer:737) INFO: 11epoch:train:6101-6200batch: iter_time=8.766e-05, forward_time=0.145, loss_ctc=73.064, loss_att=57.017, acc=0.687, loss=61.831, backward_time=0.610, grad_norm=44.687, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.240e-04, train_time=3.149 +[gpua002:0/64] 2023-12-05 15:01:51,127 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-05 15:02:10,196 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 15:02:13,648 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 15:02:13,648 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-05 15:02:13,655 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 15:11:28,552 (trainer:737) INFO: 11epoch:train:6201-6300batch: iter_time=4.646, forward_time=0.180, loss_ctc=88.079, loss_att=75.173, acc=0.680, loss=79.045, backward_time=0.389, grad_norm=49.208, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.239e-04, train_time=7.975 +[gpua002:0/64] 2023-12-05 15:14:06,440 (trainer:737) INFO: 11epoch:train:6301-6400batch: iter_time=8.312e-05, forward_time=0.148, loss_ctc=69.397, loss_att=58.814, acc=0.674, loss=61.989, backward_time=0.296, grad_norm=44.301, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.239e-04, train_time=1.579 +[gpua002:0/64] 2023-12-05 15:16:59,220 (trainer:737) INFO: 11epoch:train:6401-6500batch: iter_time=8.352e-05, forward_time=0.145, loss_ctc=64.600, loss_att=57.448, acc=0.683, loss=59.594, backward_time=0.348, grad_norm=40.571, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.239e-04, train_time=1.728 +[gpua002:0/64] 2023-12-05 15:19:32,320 (trainer:737) INFO: 11epoch:train:6501-6600batch: iter_time=8.676e-05, forward_time=0.145, loss_ctc=69.820, loss_att=55.860, acc=0.688, loss=60.048, backward_time=0.300, grad_norm=40.565, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.238e-04, train_time=1.531 +[gpua002:0/64] 2023-12-05 15:22:16,190 (trainer:737) INFO: 11epoch:train:6601-6700batch: iter_time=8.365e-05, forward_time=0.145, loss_ctc=90.046, loss_att=78.141, acc=0.657, loss=81.713, backward_time=0.335, grad_norm=49.611, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.238e-04, train_time=1.638 +[gpua002:0/64] 2023-12-05 15:25:50,235 (trainer:737) INFO: 11epoch:train:6701-6800batch: iter_time=8.458e-05, forward_time=0.146, loss_ctc=76.963, loss_att=68.068, acc=0.696, loss=70.737, backward_time=0.323, grad_norm=44.983, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.237e-04, train_time=2.140 +[gpua002:0/64] 2023-12-05 15:28:21,894 (trainer:737) INFO: 11epoch:train:6801-6900batch: iter_time=8.522e-05, forward_time=0.145, loss_ctc=75.717, loss_att=62.103, acc=0.672, loss=66.187, backward_time=0.298, grad_norm=49.547, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.237e-04, train_time=1.516 +[gpua002:0/64] 2023-12-05 15:31:17,554 (trainer:737) INFO: 11epoch:train:6901-7000batch: iter_time=8.241e-05, forward_time=0.147, loss_ctc=86.362, loss_att=69.069, acc=0.668, loss=74.257, backward_time=0.369, grad_norm=51.508, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.237e-04, train_time=1.756 +[gpua002:0/64] 2023-12-05 15:34:17,798 (trainer:737) INFO: 11epoch:train:7001-7100batch: iter_time=8.902e-05, forward_time=0.265, loss_ctc=82.039, loss_att=72.051, acc=0.669, loss=75.047, backward_time=0.325, grad_norm=51.136, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.135, optim0_lr0=1.236e-04, train_time=1.800 +[gpua002:0/64] 2023-12-05 15:37:15,159 (trainer:737) INFO: 11epoch:train:7101-7200batch: iter_time=8.433e-05, forward_time=0.147, loss_ctc=87.247, loss_att=78.780, acc=0.668, loss=81.320, backward_time=0.370, grad_norm=49.543, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.236e-04, train_time=1.775 +[gpua002:0/64] 2023-12-05 15:39:52,054 (trainer:737) INFO: 11epoch:train:7201-7300batch: iter_time=8.200e-05, forward_time=0.146, loss_ctc=73.654, loss_att=69.981, acc=0.672, loss=71.083, backward_time=0.295, grad_norm=43.491, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.235e-04, train_time=1.569 +[gpua002:0/64] 2023-12-05 15:42:37,971 (trainer:737) INFO: 11epoch:train:7301-7400batch: iter_time=8.580e-05, forward_time=0.147, loss_ctc=73.838, loss_att=54.948, acc=0.702, loss=60.615, backward_time=0.299, grad_norm=45.091, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.235e-04, train_time=1.659 +[gpua002:0/64] 2023-12-05 15:45:47,812 (trainer:737) INFO: 11epoch:train:7401-7500batch: iter_time=8.489e-05, forward_time=0.145, loss_ctc=84.072, loss_att=66.468, acc=0.691, loss=71.750, backward_time=0.313, grad_norm=45.908, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.235e-04, train_time=1.898 +[gpua002:0/64] 2023-12-05 15:46:07,842 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-05 15:46:26,875 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 15:46:30,591 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 15:46:30,591 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-05 15:46:30,594 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 15:57:12,997 (trainer:737) INFO: 11epoch:train:7501-7600batch: iter_time=3.220, forward_time=0.145, loss_ctc=81.999, loss_att=72.228, acc=0.676, loss=75.159, backward_time=0.278, grad_norm=44.913, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.234e-04, train_time=6.852 +[gpua002:0/64] 2023-12-05 15:59:36,615 (trainer:737) INFO: 11epoch:train:7601-7700batch: iter_time=8.542e-05, forward_time=0.145, loss_ctc=62.204, loss_att=56.375, acc=0.666, loss=58.124, backward_time=0.291, grad_norm=43.175, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.234e-04, train_time=1.436 +[gpua002:0/64] 2023-12-05 16:02:26,269 (trainer:737) INFO: 11epoch:train:7701-7800batch: iter_time=8.654e-05, forward_time=0.144, loss_ctc=65.693, loss_att=54.022, acc=0.698, loss=57.523, backward_time=0.320, grad_norm=41.170, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.131, optim0_lr0=1.233e-04, train_time=1.696 +[gpua002:0/64] 2023-12-05 16:05:16,394 (trainer:737) INFO: 11epoch:train:7801-7900batch: iter_time=8.752e-05, forward_time=0.145, loss_ctc=87.260, loss_att=68.849, acc=0.668, loss=74.372, backward_time=0.327, grad_norm=55.806, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.233e-04, train_time=1.701 +[gpua002:0/64] 2023-12-05 16:07:58,966 (trainer:737) INFO: 11epoch:train:7901-8000batch: iter_time=8.844e-05, forward_time=0.145, loss_ctc=80.351, loss_att=79.441, acc=0.670, loss=79.714, backward_time=0.338, grad_norm=45.900, clip=100.000, loss_scale=1.981e+28, optim_step_time=0.132, optim0_lr0=1.233e-04, train_time=1.626 +[gpua002:0/64] 2023-12-05 16:11:06,282 (trainer:737) INFO: 11epoch:train:8001-8100batch: iter_time=8.676e-05, forward_time=0.300, loss_ctc=70.801, loss_att=52.308, acc=0.700, loss=57.856, backward_time=0.351, grad_norm=45.207, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.135, optim0_lr0=1.232e-04, train_time=1.873 +[gpua002:0/64] 2023-12-05 16:13:11,390 (trainer:737) INFO: 11epoch:train:8101-8200batch: iter_time=8.848e-05, forward_time=0.145, loss_ctc=81.087, loss_att=63.406, acc=0.665, loss=68.710, backward_time=0.275, grad_norm=50.029, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.232e-04, train_time=1.249 +[gpua002:0/64] 2023-12-05 16:16:04,868 (trainer:737) INFO: 11epoch:train:8201-8300batch: iter_time=8.741e-05, forward_time=0.145, loss_ctc=83.928, loss_att=68.333, acc=0.673, loss=73.011, backward_time=0.352, grad_norm=50.473, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.231e-04, train_time=1.736 +[gpua002:0/64] 2023-12-05 16:18:56,413 (trainer:737) INFO: 11epoch:train:8301-8400batch: iter_time=8.697e-05, forward_time=0.145, loss_ctc=83.871, loss_att=76.947, acc=0.680, loss=79.024, backward_time=0.336, grad_norm=47.674, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.231e-04, train_time=1.715 +[gpua002:0/64] 2023-12-05 16:21:55,820 (trainer:737) INFO: 11epoch:train:8401-8500batch: iter_time=8.683e-05, forward_time=0.145, loss_ctc=83.562, loss_att=78.851, acc=0.670, loss=80.264, backward_time=0.325, grad_norm=48.565, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.231e-04, train_time=1.794 +[gpua002:0/64] 2023-12-05 16:24:30,744 (trainer:737) INFO: 11epoch:train:8501-8600batch: iter_time=8.808e-05, forward_time=0.144, loss_ctc=73.051, loss_att=60.429, acc=0.685, loss=64.215, backward_time=0.366, grad_norm=44.240, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.230e-04, train_time=1.549 +[gpua002:0/64] 2023-12-05 16:27:08,007 (trainer:737) INFO: 11epoch:train:8601-8700batch: iter_time=8.603e-05, forward_time=0.145, loss_ctc=72.938, loss_att=56.372, acc=0.693, loss=61.341, backward_time=0.298, grad_norm=44.913, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.230e-04, train_time=1.572 +[gpua002:0/64] 2023-12-05 16:28:50,302 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-05 16:29:09,308 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 16:29:12,801 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 16:29:12,801 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-05 16:29:12,804 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 16:42:12,308 (trainer:737) INFO: 11epoch:train:8701-8800batch: iter_time=3.153, forward_time=0.198, loss_ctc=88.483, loss_att=75.975, acc=0.673, loss=79.728, backward_time=0.304, grad_norm=53.642, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.230e-04, train_time=9.041 +[gpua002:0/64] 2023-12-05 16:45:52,064 (trainer:737) INFO: 11epoch:train:8801-8900batch: iter_time=7.926e-05, forward_time=0.145, loss_ctc=69.160, loss_att=59.212, acc=0.666, loss=62.197, backward_time=0.369, grad_norm=42.576, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.229e-04, train_time=2.199 +[gpua002:0/64] 2023-12-05 16:50:59,013 (trainer:737) INFO: 11epoch:train:8901-9000batch: iter_time=8.466e-05, forward_time=0.144, loss_ctc=64.623, loss_att=55.882, acc=0.677, loss=58.504, backward_time=0.455, grad_norm=43.149, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.229e-04, train_time=3.069 +[gpua002:0/64] 2023-12-05 16:55:39,965 (trainer:737) INFO: 11epoch:train:9001-9100batch: iter_time=8.372e-05, forward_time=0.145, loss_ctc=69.870, loss_att=55.187, acc=0.688, loss=59.592, backward_time=0.527, grad_norm=40.131, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.228e-04, train_time=2.809 +[gpua002:0/64] 2023-12-05 17:02:55,416 (trainer:737) INFO: 11epoch:train:9101-9200batch: iter_time=8.534e-05, forward_time=0.160, loss_ctc=89.539, loss_att=77.367, acc=0.656, loss=81.019, backward_time=0.692, grad_norm=55.707, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.228e-04, train_time=4.354 +[gpua002:0/64] 2023-12-05 17:12:59,967 (trainer:737) INFO: 11epoch:train:9201-9300batch: iter_time=9.352e-05, forward_time=0.146, loss_ctc=76.123, loss_att=65.489, acc=0.699, loss=68.679, backward_time=1.081, grad_norm=48.256, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.228e-04, train_time=6.045 +[gpua002:0/64] 2023-12-05 17:17:36,948 (trainer:737) INFO: 11epoch:train:9301-9400batch: iter_time=8.484e-05, forward_time=0.145, loss_ctc=75.287, loss_att=62.243, acc=0.657, loss=66.156, backward_time=0.465, grad_norm=49.715, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.227e-04, train_time=2.770 +[gpua002:0/64] 2023-12-05 17:21:53,421 (trainer:737) INFO: 11epoch:train:9401-9500batch: iter_time=8.697e-05, forward_time=0.182, loss_ctc=86.045, loss_att=67.880, acc=0.667, loss=73.330, backward_time=0.468, grad_norm=49.854, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.134, optim0_lr0=1.227e-04, train_time=2.565 +[gpua002:0/64] 2023-12-05 17:27:06,712 (trainer:737) INFO: 11epoch:train:9501-9600batch: iter_time=8.894e-05, forward_time=0.165, loss_ctc=80.620, loss_att=71.417, acc=0.662, loss=74.178, backward_time=0.478, grad_norm=53.000, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.133, optim0_lr0=1.226e-04, train_time=3.131 +[gpua002:0/64] 2023-12-05 17:32:22,117 (trainer:737) INFO: 11epoch:train:9601-9700batch: iter_time=8.942e-05, forward_time=0.146, loss_ctc=86.187, loss_att=77.116, acc=0.664, loss=79.837, backward_time=0.580, grad_norm=49.356, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.226e-04, train_time=3.155 +[gpua002:0/64] 2023-12-05 17:37:56,194 (trainer:737) INFO: 11epoch:train:9701-9800batch: iter_time=8.755e-05, forward_time=0.145, loss_ctc=74.715, loss_att=69.614, acc=0.663, loss=71.144, backward_time=0.554, grad_norm=46.850, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.226e-04, train_time=3.341 +[gpua002:0/64] 2023-12-05 17:43:38,539 (trainer:737) INFO: 11epoch:train:9801-9900batch: iter_time=8.958e-05, forward_time=0.146, loss_ctc=73.123, loss_att=53.893, acc=0.700, loss=59.662, backward_time=0.549, grad_norm=44.382, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.132, optim0_lr0=1.225e-04, train_time=3.423 +[gpua002:0/64] 2023-12-05 17:49:31,444 (trainer:737) INFO: 11epoch:train:9901-10000batch: iter_time=8.682e-05, forward_time=0.145, loss_ctc=83.631, loss_att=65.858, acc=0.690, loss=71.190, backward_time=0.595, grad_norm=49.571, clip=100.000, loss_scale=3.961e+28, optim_step_time=0.131, optim0_lr0=1.225e-04, train_time=3.529 +[gpua002:0/64] 2023-12-05 17:49:51,473 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-05 17:50:10,479 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 17:50:14,017 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 17:50:14,017 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-05 17:50:14,020 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 18:04:18,939 (trainer:737) INFO: 11epoch:train:10001-10100batch: iter_time=3.214, forward_time=0.198, loss_ctc=81.475, loss_att=72.507, acc=0.676, loss=75.197, backward_time=0.286, grad_norm=49.979, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.225e-04, train_time=8.875 +[gpua002:0/64] 2023-12-05 18:06:38,699 (trainer:737) INFO: 11epoch:train:10101-10200batch: iter_time=8.260e-05, forward_time=0.145, loss_ctc=61.081, loss_att=55.485, acc=0.671, loss=57.164, backward_time=0.284, grad_norm=43.419, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.224e-04, train_time=1.397 +[gpua002:0/64] 2023-12-05 18:09:11,313 (trainer:737) INFO: 11epoch:train:10201-10300batch: iter_time=8.392e-05, forward_time=0.147, loss_ctc=65.114, loss_att=53.284, acc=0.700, loss=56.833, backward_time=0.333, grad_norm=39.360, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.224e-04, train_time=1.526 +[gpua002:0/64] 2023-12-05 18:11:48,022 (trainer:737) INFO: 11epoch:train:10301-10400batch: iter_time=8.581e-05, forward_time=0.145, loss_ctc=86.568, loss_att=68.642, acc=0.671, loss=74.020, backward_time=0.337, grad_norm=52.716, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.223e-04, train_time=1.567 +[gpua002:0/64] 2023-12-05 18:14:43,833 (trainer:737) INFO: 11epoch:train:10401-10500batch: iter_time=8.518e-05, forward_time=0.146, loss_ctc=79.502, loss_att=79.598, acc=0.674, loss=79.569, backward_time=0.324, grad_norm=44.432, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.223e-04, train_time=1.758 +[gpua002:0/64] 2023-12-05 18:17:48,515 (trainer:737) INFO: 11epoch:train:10501-10600batch: iter_time=8.780e-05, forward_time=0.147, loss_ctc=69.901, loss_att=52.023, acc=0.704, loss=57.387, backward_time=0.319, grad_norm=41.427, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.223e-04, train_time=1.847 +[gpua002:0/64] 2023-12-05 18:20:39,339 (trainer:737) INFO: 11epoch:train:10601-10700batch: iter_time=8.329e-05, forward_time=0.146, loss_ctc=82.873, loss_att=63.385, acc=0.667, loss=69.231, backward_time=0.296, grad_norm=58.164, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.222e-04, train_time=1.708 +[gpua002:0/64] 2023-12-05 18:23:23,339 (trainer:737) INFO: 11epoch:train:10701-10800batch: iter_time=8.392e-05, forward_time=0.145, loss_ctc=82.463, loss_att=68.182, acc=0.673, loss=72.466, backward_time=0.338, grad_norm=49.554, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.222e-04, train_time=1.640 +[gpua002:0/64] 2023-12-05 18:26:33,930 (trainer:737) INFO: 11epoch:train:10801-10900batch: iter_time=8.566e-05, forward_time=0.146, loss_ctc=84.067, loss_att=77.089, acc=0.680, loss=79.182, backward_time=0.358, grad_norm=49.480, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.221e-04, train_time=1.906 +[gpua002:0/64] 2023-12-05 18:29:09,695 (trainer:737) INFO: 11epoch:train:10901-11000batch: iter_time=8.175e-05, forward_time=0.182, loss_ctc=83.095, loss_att=78.717, acc=0.670, loss=80.030, backward_time=0.312, grad_norm=48.207, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.135, optim0_lr0=1.221e-04, train_time=1.556 +[gpua002:0/64] 2023-12-05 18:31:54,345 (trainer:737) INFO: 11epoch:train:11001-11100batch: iter_time=8.296e-05, forward_time=0.200, loss_ctc=72.727, loss_att=58.776, acc=0.690, loss=62.961, backward_time=0.324, grad_norm=41.529, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.136, optim0_lr0=1.221e-04, train_time=1.647 +[gpua002:0/64] 2023-12-05 18:34:12,547 (trainer:737) INFO: 11epoch:train:11101-11200batch: iter_time=8.298e-05, forward_time=0.145, loss_ctc=72.842, loss_att=56.740, acc=0.693, loss=61.570, backward_time=0.295, grad_norm=44.514, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.220e-04, train_time=1.382 +[gpua002:0/64] 2023-12-05 18:36:01,730 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-05 18:36:20,676 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 18:36:24,167 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 18:36:24,167 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-05 18:36:24,170 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 18:42:41,977 (trainer:737) INFO: 11epoch:train:11201-11300batch: iter_time=3.144, forward_time=0.146, loss_ctc=86.884, loss_att=74.593, acc=0.678, loss=78.281, backward_time=0.290, grad_norm=47.822, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.220e-04, train_time=5.094 +[gpua002:0/64] 2023-12-05 18:45:02,447 (trainer:737) INFO: 11epoch:train:11301-11400batch: iter_time=7.894e-05, forward_time=0.145, loss_ctc=68.315, loss_att=58.117, acc=0.670, loss=61.176, backward_time=0.278, grad_norm=45.008, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.220e-04, train_time=1.404 +[gpua002:0/64] 2023-12-05 18:48:16,657 (trainer:737) INFO: 11epoch:train:11401-11500batch: iter_time=8.096e-05, forward_time=0.145, loss_ctc=64.511, loss_att=55.020, acc=0.679, loss=57.867, backward_time=0.341, grad_norm=40.632, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.219e-04, train_time=1.942 +[gpua002:0/64] 2023-12-05 18:50:36,565 (trainer:737) INFO: 11epoch:train:11501-11600batch: iter_time=8.263e-05, forward_time=0.146, loss_ctc=69.293, loss_att=54.726, acc=0.690, loss=59.096, backward_time=0.306, grad_norm=41.459, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.219e-04, train_time=1.399 +[gpua002:0/64] 2023-12-05 18:53:34,583 (trainer:737) INFO: 11epoch:train:11601-11700batch: iter_time=8.377e-05, forward_time=0.158, loss_ctc=89.055, loss_att=75.994, acc=0.660, loss=79.912, backward_time=0.307, grad_norm=55.094, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.218e-04, train_time=1.779 +[gpua002:0/64] 2023-12-05 18:56:16,477 (trainer:737) INFO: 11epoch:train:11701-11800batch: iter_time=8.432e-05, forward_time=0.222, loss_ctc=74.997, loss_att=64.143, acc=0.705, loss=67.399, backward_time=0.328, grad_norm=42.013, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.132, optim0_lr0=1.218e-04, train_time=1.619 +[gpua002:0/64] 2023-12-05 18:58:49,355 (trainer:737) INFO: 11epoch:train:11801-11900batch: iter_time=8.340e-05, forward_time=0.145, loss_ctc=74.372, loss_att=61.545, acc=0.661, loss=65.393, backward_time=0.293, grad_norm=49.508, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.218e-04, train_time=1.529 +[gpua002:0/64] 2023-12-05 19:01:39,451 (trainer:737) INFO: 11epoch:train:11901-12000batch: iter_time=8.425e-05, forward_time=0.145, loss_ctc=84.493, loss_att=68.164, acc=0.668, loss=73.062, backward_time=0.356, grad_norm=52.710, clip=100.000, loss_scale=7.923e+28, optim_step_time=0.131, optim0_lr0=1.217e-04, train_time=1.701 +[gpua002:0/64] 2023-12-05 19:04:06,405 (trainer:737) INFO: 11epoch:train:12001-12100batch: iter_time=8.075e-05, forward_time=0.144, loss_ctc=80.045, loss_att=70.470, acc=0.667, loss=73.343, backward_time=0.283, grad_norm=51.905, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.217e-04, train_time=1.469 +[gpua002:0/64] 2023-12-05 19:06:44,660 (trainer:737) INFO: 11epoch:train:12101-12200batch: iter_time=8.443e-05, forward_time=0.145, loss_ctc=86.132, loss_att=77.630, acc=0.663, loss=80.180, backward_time=0.314, grad_norm=57.078, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.217e-04, train_time=1.582 +[gpua002:0/64] 2023-12-05 19:09:32,019 (trainer:737) INFO: 11epoch:train:12201-12300batch: iter_time=8.138e-05, forward_time=0.145, loss_ctc=72.910, loss_att=68.772, acc=0.666, loss=70.014, backward_time=0.320, grad_norm=44.815, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.216e-04, train_time=1.673 +[gpua002:0/64] 2023-12-05 19:12:17,753 (trainer:737) INFO: 11epoch:train:12301-12400batch: iter_time=8.272e-05, forward_time=0.145, loss_ctc=72.427, loss_att=53.116, acc=0.701, loss=58.909, backward_time=0.319, grad_norm=44.293, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.216e-04, train_time=1.657 +[gpua002:0/64] 2023-12-05 19:15:24,171 (trainer:737) INFO: 11epoch:train:12401-12500batch: iter_time=8.342e-05, forward_time=0.255, loss_ctc=82.405, loss_att=65.571, acc=0.693, loss=70.621, backward_time=0.338, grad_norm=45.172, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.134, optim0_lr0=1.215e-04, train_time=1.864 +[gpua002:0/64] 2023-12-05 19:15:44,199 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-05 19:16:03,295 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 19:16:06,742 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 19:16:06,743 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-05 19:16:06,746 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 19:27:44,717 (trainer:737) INFO: 11epoch:train:12501-12600batch: iter_time=3.092, forward_time=0.146, loss_ctc=81.275, loss_att=72.556, acc=0.678, loss=75.172, backward_time=0.371, grad_norm=51.136, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.215e-04, train_time=7.405 +[gpua002:0/64] 2023-12-05 19:32:38,127 (trainer:737) INFO: 11epoch:train:12601-12700batch: iter_time=9.083e-05, forward_time=0.149, loss_ctc=60.930, loss_att=55.830, acc=0.669, loss=57.360, backward_time=0.431, grad_norm=40.126, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.215e-04, train_time=2.934 +[gpua002:0/64] 2023-12-05 19:39:07,127 (trainer:737) INFO: 11epoch:train:12701-12800batch: iter_time=9.003e-05, forward_time=0.145, loss_ctc=64.775, loss_att=53.093, acc=0.701, loss=56.598, backward_time=0.517, grad_norm=41.311, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.214e-04, train_time=3.890 +[gpua002:0/64] 2023-12-05 19:45:01,341 (trainer:737) INFO: 11epoch:train:12801-12900batch: iter_time=8.758e-05, forward_time=0.257, loss_ctc=85.849, loss_att=68.204, acc=0.674, loss=73.497, backward_time=0.498, grad_norm=49.800, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.135, optim0_lr0=1.214e-04, train_time=3.542 +[gpua002:0/64] 2023-12-05 19:51:49,028 (trainer:737) INFO: 11epoch:train:12901-13000batch: iter_time=8.884e-05, forward_time=0.147, loss_ctc=79.492, loss_att=79.190, acc=0.675, loss=79.280, backward_time=0.537, grad_norm=44.853, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.214e-04, train_time=4.077 +[gpua002:0/64] 2023-12-05 19:58:39,367 (trainer:737) INFO: 11epoch:train:13001-13100batch: iter_time=9.279e-05, forward_time=0.146, loss_ctc=69.763, loss_att=51.624, acc=0.706, loss=57.066, backward_time=0.489, grad_norm=43.168, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.213e-04, train_time=4.103 +[gpua002:0/64] 2023-12-05 20:04:13,634 (trainer:737) INFO: 11epoch:train:13101-13200batch: iter_time=9.068e-05, forward_time=0.145, loss_ctc=79.084, loss_att=62.978, acc=0.670, loss=67.810, backward_time=0.480, grad_norm=52.403, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.213e-04, train_time=3.342 +[gpua002:0/64] 2023-12-05 20:08:02,444 (trainer:737) INFO: 11epoch:train:13201-13300batch: iter_time=8.778e-05, forward_time=0.146, loss_ctc=83.167, loss_att=68.404, acc=0.676, loss=72.833, backward_time=0.414, grad_norm=52.384, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.212e-04, train_time=2.288 +[gpua002:0/64] 2023-12-05 20:11:52,050 (trainer:737) INFO: 11epoch:train:13301-13400batch: iter_time=8.508e-05, forward_time=0.146, loss_ctc=83.339, loss_att=76.222, acc=0.684, loss=78.358, backward_time=0.362, grad_norm=47.852, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.212e-04, train_time=2.296 +[gpua002:0/64] 2023-12-05 20:15:26,531 (trainer:737) INFO: 11epoch:train:13401-13500batch: iter_time=8.669e-05, forward_time=0.146, loss_ctc=82.283, loss_att=77.952, acc=0.673, loss=79.251, backward_time=0.394, grad_norm=47.911, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.212e-04, train_time=2.145 +[gpua002:0/64] 2023-12-05 20:19:14,927 (trainer:737) INFO: 11epoch:train:13501-13600batch: iter_time=8.599e-05, forward_time=0.147, loss_ctc=71.967, loss_att=59.256, acc=0.689, loss=63.069, backward_time=0.477, grad_norm=42.635, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.211e-04, train_time=2.284 +[gpua002:0/64] 2023-12-05 20:22:47,752 (trainer:737) INFO: 11epoch:train:13601-13700batch: iter_time=8.857e-05, forward_time=0.146, loss_ctc=71.676, loss_att=55.787, acc=0.696, loss=60.554, backward_time=0.495, grad_norm=43.835, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.211e-04, train_time=2.128 +[gpua002:0/64] 2023-12-05 20:24:49,846 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-05 20:25:08,902 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 20:25:12,463 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 20:25:12,463 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-05 20:25:12,466 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 20:31:18,363 (trainer:737) INFO: 11epoch:train:13701-13800batch: iter_time=3.354, forward_time=0.184, loss_ctc=86.760, loss_att=73.907, acc=0.678, loss=77.763, backward_time=0.329, grad_norm=51.411, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.134, optim0_lr0=1.211e-04, train_time=5.106 +[gpua002:0/64] 2023-12-05 20:33:49,811 (trainer:737) INFO: 11epoch:train:13801-13900batch: iter_time=8.447e-05, forward_time=0.148, loss_ctc=68.096, loss_att=57.684, acc=0.673, loss=60.808, backward_time=0.333, grad_norm=46.959, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.131, optim0_lr0=1.210e-04, train_time=1.514 +[gpua002:0/64] 2023-12-05 20:36:15,948 (trainer:737) INFO: 11epoch:train:13901-14000batch: iter_time=8.905e-05, forward_time=0.145, loss_ctc=63.665, loss_att=54.596, acc=0.683, loss=57.316, backward_time=0.338, grad_norm=40.244, clip=100.000, loss_scale=1.585e+29, optim_step_time=0.132, optim0_lr0=1.210e-04, train_time=1.461 +[gpua002:0/64] 2023-12-05 20:39:08,898 (trainer:737) INFO: 11epoch:train:14001-14100batch: iter_time=8.778e-05, forward_time=0.197, loss_ctc=69.081, loss_att=54.274, acc=0.691, loss=58.716, backward_time=0.311, grad_norm=44.684, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.137, optim0_lr0=1.210e-04, train_time=1.730 +[gpua002:0/64] 2023-12-05 20:41:51,145 (trainer:737) INFO: 11epoch:train:14101-14200batch: iter_time=8.598e-05, forward_time=0.223, loss_ctc=88.730, loss_att=76.422, acc=0.658, loss=80.115, backward_time=0.322, grad_norm=55.263, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.209e-04, train_time=1.622 +[gpua002:0/64] 2023-12-05 20:44:01,714 (trainer:737) INFO: 11epoch:train:14201-14300batch: iter_time=8.425e-05, forward_time=0.146, loss_ctc=75.532, loss_att=64.670, acc=0.703, loss=67.929, backward_time=0.279, grad_norm=45.178, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.131, optim0_lr0=1.209e-04, train_time=1.305 +[gpua002:0/64] 2023-12-05 20:47:16,161 (trainer:737) INFO: 11epoch:train:14301-14400batch: iter_time=8.445e-05, forward_time=0.144, loss_ctc=74.005, loss_att=61.263, acc=0.659, loss=65.086, backward_time=0.304, grad_norm=48.631, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.131, optim0_lr0=1.208e-04, train_time=1.944 +[gpua002:0/64] 2023-12-05 20:50:35,116 (trainer:737) INFO: 11epoch:train:14401-14500batch: iter_time=3.284e-04, forward_time=0.198, loss_ctc=83.695, loss_att=66.522, acc=0.669, loss=71.674, backward_time=0.365, grad_norm=48.728, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.135, optim0_lr0=1.208e-04, train_time=1.989 +[gpua002:0/64] 2023-12-05 20:52:51,644 (trainer:737) INFO: 11epoch:train:14501-14600batch: iter_time=8.308e-05, forward_time=0.147, loss_ctc=79.936, loss_att=69.608, acc=0.669, loss=72.706, backward_time=0.289, grad_norm=48.921, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.131, optim0_lr0=1.208e-04, train_time=1.365 +[gpua002:0/64] 2023-12-05 20:55:33,072 (trainer:737) INFO: 11epoch:train:14601-14700batch: iter_time=7.950e-05, forward_time=0.168, loss_ctc=85.745, loss_att=76.420, acc=0.668, loss=79.217, backward_time=0.363, grad_norm=50.695, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.135, optim0_lr0=1.207e-04, train_time=1.614 +[gpua002:0/64] 2023-12-05 20:57:53,725 (trainer:737) INFO: 11epoch:train:14701-14800batch: iter_time=8.395e-05, forward_time=0.185, loss_ctc=73.297, loss_att=68.704, acc=0.668, loss=70.082, backward_time=0.307, grad_norm=45.440, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.135, optim0_lr0=1.207e-04, train_time=1.405 +[gpua002:0/64] 2023-12-05 21:00:07,342 (trainer:737) INFO: 11epoch:train:14801-14900batch: iter_time=8.336e-05, forward_time=0.145, loss_ctc=72.086, loss_att=52.884, acc=0.702, loss=58.645, backward_time=0.288, grad_norm=46.452, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.131, optim0_lr0=1.207e-04, train_time=1.337 +[gpua002:0/64] 2023-12-05 21:03:08,183 (trainer:737) INFO: 11epoch:train:14901-15000batch: iter_time=8.457e-05, forward_time=0.208, loss_ctc=82.252, loss_att=64.947, acc=0.695, loss=70.138, backward_time=0.367, grad_norm=46.262, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.133, optim0_lr0=1.206e-04, train_time=1.808 +[gpua002:0/64] 2023-12-05 21:28:57,689 (trainer:343) INFO: 11epoch results: [train] iter_time=0.252, forward_time=0.158, loss_ctc=78.241, loss_att=66.163, acc=0.674, loss=69.787, backward_time=0.379, grad_norm=47.511, clip=100.000, loss_scale=6.305e+28, optim_step_time=0.132, optim0_lr0=1.235e-04, train_time=2.483, time=10 hours, 21 minutes and 13.38 seconds, total_count=165000, gpu_max_cached_mem_GB=35.877, [valid] loss_ctc=47.202, cer_ctc=0.251, loss_att=42.302, acc=0.660, cer=0.313, wer=0.977, loss=43.772, time=25 minutes and 24.94 seconds, total_count=51381, gpu_max_cached_mem_GB=35.877 +[gpua002:0/64] 2023-12-05 21:29:25,488 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua002:0/64] 2023-12-05 21:29:25,493 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/6epoch.pth +[gpua002:0/64] 2023-12-05 21:29:25,493 (trainer:272) INFO: 12/40epoch started. Estimated time to finish: 1 week, 6 days and 46 minutes +[gpua002:0/64] 2023-12-05 21:29:25,505 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-05 21:29:44,975 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 21:29:48,611 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 21:29:48,611 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-05 21:29:48,638 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 21:36:37,923 (trainer:737) INFO: 12epoch:train:1-100batch: iter_time=2.631, forward_time=0.180, loss_ctc=75.985, loss_att=64.044, acc=0.663, loss=67.626, backward_time=0.291, grad_norm=53.171, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.206e-04, train_time=4.324 +[gpua002:0/64] 2023-12-05 21:38:41,898 (trainer:737) INFO: 12epoch:train:101-200batch: iter_time=7.937e-05, forward_time=0.146, loss_ctc=76.447, loss_att=61.144, acc=0.675, loss=65.735, backward_time=0.281, grad_norm=48.003, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.205e-04, train_time=1.240 +[gpua002:0/64] 2023-12-05 21:41:02,823 (trainer:737) INFO: 12epoch:train:201-300batch: iter_time=7.928e-05, forward_time=0.147, loss_ctc=74.713, loss_att=62.969, acc=0.682, loss=66.492, backward_time=0.287, grad_norm=46.578, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.205e-04, train_time=1.409 +[gpua002:0/64] 2023-12-05 21:43:08,975 (trainer:737) INFO: 12epoch:train:301-400batch: iter_time=7.706e-05, forward_time=0.146, loss_ctc=85.515, loss_att=60.095, acc=0.686, loss=67.721, backward_time=0.281, grad_norm=55.023, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.205e-04, train_time=1.261 +[gpua002:0/64] 2023-12-05 21:45:21,465 (trainer:737) INFO: 12epoch:train:401-500batch: iter_time=8.244e-05, forward_time=0.147, loss_ctc=77.725, loss_att=67.655, acc=0.651, loss=70.676, backward_time=0.309, grad_norm=50.843, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.204e-04, train_time=1.325 +[gpua002:0/64] 2023-12-05 21:48:08,116 (trainer:737) INFO: 12epoch:train:501-600batch: iter_time=8.052e-05, forward_time=0.147, loss_ctc=75.219, loss_att=59.178, acc=0.680, loss=63.991, backward_time=0.342, grad_norm=45.087, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.204e-04, train_time=1.666 +[gpua002:0/64] 2023-12-05 21:50:47,273 (trainer:737) INFO: 12epoch:train:601-700batch: iter_time=8.410e-05, forward_time=0.147, loss_ctc=77.257, loss_att=68.368, acc=0.667, loss=71.035, backward_time=0.300, grad_norm=46.360, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.204e-04, train_time=1.591 +[gpua002:0/64] 2023-12-05 21:53:28,753 (trainer:737) INFO: 12epoch:train:701-800batch: iter_time=8.117e-05, forward_time=0.147, loss_ctc=64.910, loss_att=53.729, acc=0.685, loss=57.083, backward_time=0.361, grad_norm=40.148, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.203e-04, train_time=1.615 +[gpua002:0/64] 2023-12-05 21:56:03,147 (trainer:737) INFO: 12epoch:train:801-900batch: iter_time=7.814e-05, forward_time=0.147, loss_ctc=71.430, loss_att=57.835, acc=0.680, loss=61.914, backward_time=0.301, grad_norm=45.092, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.134, optim0_lr0=1.203e-04, train_time=1.544 +[gpua002:0/64] 2023-12-05 21:58:37,138 (trainer:737) INFO: 12epoch:train:901-1000batch: iter_time=7.835e-05, forward_time=0.200, loss_ctc=85.969, loss_att=67.876, acc=0.684, loss=73.304, backward_time=0.377, grad_norm=52.093, clip=100.000, loss_scale=3.169e+29, optim_step_time=0.140, optim0_lr0=1.203e-04, train_time=1.540 +[gpua002:0/64] 2023-12-05 22:01:19,915 (trainer:737) INFO: 12epoch:train:1001-1100batch: iter_time=8.044e-05, forward_time=0.148, loss_ctc=72.378, loss_att=59.774, acc=0.684, loss=63.555, backward_time=0.358, grad_norm=42.429, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.202e-04, train_time=1.628 +[gpua002:0/64] 2023-12-05 22:03:38,564 (trainer:737) INFO: 12epoch:train:1101-1200batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=76.038, loss_att=61.414, acc=0.693, loss=65.801, backward_time=0.281, grad_norm=43.730, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.202e-04, train_time=1.386 +[gpua002:0/64] 2023-12-05 22:05:18,073 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-05 22:05:37,011 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 22:05:40,458 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 22:05:40,458 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-05 22:05:40,461 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 22:14:02,700 (trainer:737) INFO: 12epoch:train:1201-1300batch: iter_time=2.555, forward_time=0.149, loss_ctc=73.940, loss_att=66.858, acc=0.664, loss=68.982, backward_time=0.323, grad_norm=50.482, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.201e-04, train_time=6.241 +[gpua002:0/64] 2023-12-05 22:16:16,347 (trainer:737) INFO: 12epoch:train:1301-1400batch: iter_time=7.962e-05, forward_time=0.146, loss_ctc=73.315, loss_att=60.674, acc=0.646, loss=64.466, backward_time=0.282, grad_norm=50.578, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.201e-04, train_time=1.336 +[gpua002:0/64] 2023-12-05 22:19:04,170 (trainer:737) INFO: 12epoch:train:1401-1500batch: iter_time=8.031e-05, forward_time=0.181, loss_ctc=79.085, loss_att=66.747, acc=0.679, loss=70.448, backward_time=0.364, grad_norm=48.985, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.138, optim0_lr0=1.201e-04, train_time=1.677 +[gpua002:0/64] 2023-12-05 22:21:57,254 (trainer:737) INFO: 12epoch:train:1501-1600batch: iter_time=8.030e-05, forward_time=0.146, loss_ctc=86.692, loss_att=63.503, acc=0.688, loss=70.460, backward_time=0.322, grad_norm=60.843, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.200e-04, train_time=1.732 +[gpua002:0/64] 2023-12-05 22:24:16,862 (trainer:737) INFO: 12epoch:train:1601-1700batch: iter_time=8.267e-05, forward_time=0.146, loss_ctc=76.035, loss_att=60.268, acc=0.671, loss=64.998, backward_time=0.289, grad_norm=49.181, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.200e-04, train_time=1.396 +[gpua002:0/64] 2023-12-05 22:27:02,284 (trainer:737) INFO: 12epoch:train:1701-1800batch: iter_time=8.087e-05, forward_time=0.146, loss_ctc=74.525, loss_att=60.514, acc=0.665, loss=64.718, backward_time=0.321, grad_norm=46.122, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.200e-04, train_time=1.654 +[gpua002:0/64] 2023-12-05 22:29:46,218 (trainer:737) INFO: 12epoch:train:1801-1900batch: iter_time=7.741e-05, forward_time=0.166, loss_ctc=74.736, loss_att=60.956, acc=0.674, loss=65.090, backward_time=0.315, grad_norm=45.523, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.199e-04, train_time=1.639 +[gpua002:0/64] 2023-12-05 22:32:22,033 (trainer:737) INFO: 12epoch:train:1901-2000batch: iter_time=7.836e-05, forward_time=0.146, loss_ctc=71.080, loss_att=58.348, acc=0.667, loss=62.168, backward_time=0.319, grad_norm=43.761, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.199e-04, train_time=1.558 +[gpua002:0/64] 2023-12-05 22:35:07,264 (trainer:737) INFO: 12epoch:train:2001-2100batch: iter_time=7.953e-05, forward_time=0.147, loss_ctc=62.914, loss_att=51.687, acc=0.699, loss=55.055, backward_time=0.301, grad_norm=39.074, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.199e-04, train_time=1.652 +[gpua002:0/64] 2023-12-05 22:37:38,119 (trainer:737) INFO: 12epoch:train:2101-2200batch: iter_time=8.003e-05, forward_time=0.146, loss_ctc=83.688, loss_att=64.695, acc=0.665, loss=70.393, backward_time=0.313, grad_norm=58.826, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.198e-04, train_time=1.508 +[gpua002:0/64] 2023-12-05 22:40:22,934 (trainer:737) INFO: 12epoch:train:2201-2300batch: iter_time=8.034e-05, forward_time=0.146, loss_ctc=68.162, loss_att=55.978, acc=0.685, loss=59.633, backward_time=0.323, grad_norm=36.942, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.198e-04, train_time=1.648 +[gpua002:0/64] 2023-12-05 22:42:34,946 (trainer:737) INFO: 12epoch:train:2301-2400batch: iter_time=7.854e-05, forward_time=0.146, loss_ctc=80.420, loss_att=63.821, acc=0.678, loss=68.800, backward_time=0.283, grad_norm=49.317, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.198e-04, train_time=1.320 +[gpua002:0/64] 2023-12-05 22:45:18,541 (trainer:737) INFO: 12epoch:train:2401-2500batch: iter_time=7.517e-05, forward_time=0.210, loss_ctc=74.416, loss_att=64.893, acc=0.666, loss=67.750, backward_time=0.342, grad_norm=46.967, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.141, optim0_lr0=1.197e-04, train_time=1.636 +[gpua002:0/64] 2023-12-05 22:45:38,252 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-05 22:45:56,936 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 22:46:00,405 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 22:46:00,405 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-05 22:46:00,408 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 22:55:38,119 (trainer:737) INFO: 12epoch:train:2501-2600batch: iter_time=2.495, forward_time=0.147, loss_ctc=72.969, loss_att=62.147, acc=0.660, loss=65.394, backward_time=0.301, grad_norm=51.932, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.197e-04, train_time=6.195 +[gpua002:0/64] 2023-12-05 22:59:26,884 (trainer:737) INFO: 12epoch:train:2601-2700batch: iter_time=7.803e-05, forward_time=0.147, loss_ctc=75.705, loss_att=58.761, acc=0.679, loss=63.844, backward_time=0.498, grad_norm=45.692, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.196e-04, train_time=2.287 +[gpua002:0/64] 2023-12-05 23:03:15,315 (trainer:737) INFO: 12epoch:train:2701-2800batch: iter_time=8.640e-05, forward_time=0.148, loss_ctc=73.461, loss_att=61.278, acc=0.687, loss=64.933, backward_time=0.474, grad_norm=45.706, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.134, optim0_lr0=1.196e-04, train_time=2.284 +[gpua002:0/64] 2023-12-05 23:07:08,109 (trainer:737) INFO: 12epoch:train:2801-2900batch: iter_time=8.818e-05, forward_time=0.147, loss_ctc=80.789, loss_att=58.206, acc=0.695, loss=64.981, backward_time=0.471, grad_norm=56.426, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.196e-04, train_time=2.328 +[gpua002:0/64] 2023-12-05 23:11:22,893 (trainer:737) INFO: 12epoch:train:2901-3000batch: iter_time=8.812e-05, forward_time=0.147, loss_ctc=75.004, loss_att=61.846, acc=0.664, loss=65.793, backward_time=0.462, grad_norm=46.837, clip=100.000, loss_scale=6.338e+29, optim_step_time=0.133, optim0_lr0=1.195e-04, train_time=2.548 +[gpua002:0/64] 2023-12-05 23:14:45,764 (trainer:737) INFO: 12epoch:train:3001-3100batch: iter_time=8.969e-05, forward_time=0.146, loss_ctc=73.807, loss_att=57.959, acc=0.672, loss=62.714, backward_time=0.480, grad_norm=45.442, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.195e-04, train_time=2.028 +[gpua002:0/64] 2023-12-05 23:18:08,068 (trainer:737) INFO: 12epoch:train:3101-3200batch: iter_time=8.811e-05, forward_time=0.146, loss_ctc=76.127, loss_att=62.777, acc=0.675, loss=66.782, backward_time=0.400, grad_norm=46.259, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.195e-04, train_time=2.023 +[gpua002:0/64] 2023-12-05 23:21:42,650 (trainer:737) INFO: 12epoch:train:3201-3300batch: iter_time=2.749e-04, forward_time=0.149, loss_ctc=63.874, loss_att=52.604, acc=0.687, loss=55.985, backward_time=0.449, grad_norm=40.205, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.194e-04, train_time=2.146 +[gpua002:0/64] 2023-12-05 23:25:41,127 (trainer:737) INFO: 12epoch:train:3301-3400batch: iter_time=8.490e-05, forward_time=0.200, loss_ctc=71.307, loss_att=57.375, acc=0.674, loss=61.555, backward_time=0.499, grad_norm=48.621, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.137, optim0_lr0=1.194e-04, train_time=2.385 +[gpua002:0/64] 2023-12-05 23:30:14,942 (trainer:737) INFO: 12epoch:train:3401-3500batch: iter_time=8.032e-05, forward_time=0.167, loss_ctc=82.002, loss_att=65.824, acc=0.686, loss=70.677, backward_time=0.626, grad_norm=51.006, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.194e-04, train_time=2.738 +[gpua002:0/64] 2023-12-05 23:34:04,162 (trainer:737) INFO: 12epoch:train:3501-3600batch: iter_time=8.032e-05, forward_time=0.147, loss_ctc=71.324, loss_att=57.222, acc=0.681, loss=61.453, backward_time=0.402, grad_norm=44.865, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.193e-04, train_time=2.292 +[gpua002:0/64] 2023-12-05 23:37:35,839 (trainer:737) INFO: 12epoch:train:3601-3700batch: iter_time=8.107e-05, forward_time=0.146, loss_ctc=74.968, loss_att=60.025, acc=0.687, loss=64.508, backward_time=0.360, grad_norm=45.551, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.193e-04, train_time=2.117 +[gpua002:0/64] 2023-12-05 23:39:14,321 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-05 23:39:33,326 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-05 23:39:36,785 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-05 23:39:36,785 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-05 23:39:36,788 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-05 23:48:37,076 (trainer:737) INFO: 12epoch:train:3701-3800batch: iter_time=3.057, forward_time=0.180, loss_ctc=72.408, loss_att=65.526, acc=0.666, loss=67.591, backward_time=0.302, grad_norm=46.833, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.135, optim0_lr0=1.193e-04, train_time=6.612 +[gpua002:0/64] 2023-12-05 23:51:26,547 (trainer:737) INFO: 12epoch:train:3801-3900batch: iter_time=8.177e-05, forward_time=0.146, loss_ctc=71.674, loss_att=60.791, acc=0.661, loss=64.056, backward_time=0.306, grad_norm=48.408, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.192e-04, train_time=1.694 +[gpua002:0/64] 2023-12-05 23:54:27,975 (trainer:737) INFO: 12epoch:train:3901-4000batch: iter_time=8.041e-05, forward_time=0.147, loss_ctc=78.818, loss_att=66.317, acc=0.692, loss=70.067, backward_time=0.397, grad_norm=45.443, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.192e-04, train_time=1.814 +[gpua002:0/64] 2023-12-05 23:57:22,715 (trainer:737) INFO: 12epoch:train:4001-4100batch: iter_time=8.042e-05, forward_time=0.147, loss_ctc=82.032, loss_att=62.621, acc=0.693, loss=68.444, backward_time=0.347, grad_norm=60.507, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.192e-04, train_time=1.747 +[gpua002:0/64] 2023-12-06 00:00:06,831 (trainer:737) INFO: 12epoch:train:4101-4200batch: iter_time=7.924e-05, forward_time=0.147, loss_ctc=74.516, loss_att=61.499, acc=0.677, loss=65.404, backward_time=0.320, grad_norm=52.075, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.191e-04, train_time=1.641 +[gpua002:0/64] 2023-12-06 00:02:49,765 (trainer:737) INFO: 12epoch:train:4201-4300batch: iter_time=8.152e-05, forward_time=0.147, loss_ctc=73.136, loss_att=60.229, acc=0.681, loss=64.101, backward_time=0.319, grad_norm=43.714, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.134, optim0_lr0=1.191e-04, train_time=1.629 +[gpua002:0/64] 2023-12-06 00:05:28,096 (trainer:737) INFO: 12epoch:train:4301-4400batch: iter_time=7.928e-05, forward_time=0.199, loss_ctc=74.294, loss_att=61.028, acc=0.686, loss=65.008, backward_time=0.345, grad_norm=43.579, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.137, optim0_lr0=1.190e-04, train_time=1.583 +[gpua002:0/64] 2023-12-06 00:08:18,533 (trainer:737) INFO: 12epoch:train:4401-4500batch: iter_time=8.115e-05, forward_time=0.184, loss_ctc=70.307, loss_att=61.816, acc=0.671, loss=64.363, backward_time=0.308, grad_norm=45.628, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.135, optim0_lr0=1.190e-04, train_time=1.704 +[gpua002:0/64] 2023-12-06 00:11:29,744 (trainer:737) INFO: 12epoch:train:4501-4600batch: iter_time=8.433e-05, forward_time=0.147, loss_ctc=62.199, loss_att=50.130, acc=0.712, loss=53.750, backward_time=0.359, grad_norm=37.126, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.190e-04, train_time=1.912 +[gpua002:0/64] 2023-12-06 00:14:02,259 (trainer:737) INFO: 12epoch:train:4601-4700batch: iter_time=8.396e-05, forward_time=0.146, loss_ctc=82.500, loss_att=63.892, acc=0.676, loss=69.475, backward_time=0.292, grad_norm=65.674, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.189e-04, train_time=1.525 +[gpua002:0/64] 2023-12-06 00:16:28,315 (trainer:737) INFO: 12epoch:train:4701-4800batch: iter_time=7.992e-05, forward_time=0.147, loss_ctc=68.129, loss_att=57.329, acc=0.691, loss=60.569, backward_time=0.294, grad_norm=39.717, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.189e-04, train_time=1.460 +[gpua002:0/64] 2023-12-06 00:19:04,024 (trainer:737) INFO: 12epoch:train:4801-4900batch: iter_time=8.028e-05, forward_time=0.147, loss_ctc=79.672, loss_att=63.780, acc=0.697, loss=68.548, backward_time=0.292, grad_norm=45.417, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.189e-04, train_time=1.557 +[gpua002:0/64] 2023-12-06 00:21:50,008 (trainer:737) INFO: 12epoch:train:4901-5000batch: iter_time=8.413e-05, forward_time=0.147, loss_ctc=73.942, loss_att=65.498, acc=0.680, loss=68.031, backward_time=0.333, grad_norm=45.095, clip=100.000, loss_scale=1.268e+30, optim_step_time=0.133, optim0_lr0=1.188e-04, train_time=1.660 +[gpua002:0/64] 2023-12-06 00:22:10,037 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-06 00:22:28,999 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 00:22:32,499 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 00:22:32,499 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-06 00:22:32,515 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 00:29:10,425 (trainer:737) INFO: 12epoch:train:5001-5100batch: iter_time=2.834, forward_time=0.174, loss_ctc=71.244, loss_att=60.916, acc=0.679, loss=64.014, backward_time=0.301, grad_norm=47.999, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=1.188e-04, train_time=4.404 +[gpua002:0/64] 2023-12-06 00:31:51,150 (trainer:737) INFO: 12epoch:train:5101-5200batch: iter_time=7.776e-05, forward_time=0.146, loss_ctc=74.799, loss_att=59.229, acc=0.688, loss=63.900, backward_time=0.373, grad_norm=47.047, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.188e-04, train_time=1.607 +[gpua002:0/64] 2023-12-06 00:34:11,363 (trainer:737) INFO: 12epoch:train:5201-5300batch: iter_time=7.855e-05, forward_time=0.146, loss_ctc=73.498, loss_att=61.580, acc=0.693, loss=65.155, backward_time=0.283, grad_norm=44.056, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.187e-04, train_time=1.402 +[gpua002:0/64] 2023-12-06 00:36:43,546 (trainer:737) INFO: 12epoch:train:5301-5400batch: iter_time=7.738e-05, forward_time=0.147, loss_ctc=81.904, loss_att=57.819, acc=0.699, loss=65.044, backward_time=0.288, grad_norm=51.526, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.187e-04, train_time=1.522 +[gpua002:0/64] 2023-12-06 00:39:10,109 (trainer:737) INFO: 12epoch:train:5401-5500batch: iter_time=7.891e-05, forward_time=0.147, loss_ctc=75.234, loss_att=64.833, acc=0.668, loss=67.953, backward_time=0.297, grad_norm=47.161, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.187e-04, train_time=1.465 +[gpua002:0/64] 2023-12-06 00:42:19,242 (trainer:737) INFO: 12epoch:train:5501-5600batch: iter_time=7.978e-05, forward_time=0.146, loss_ctc=73.266, loss_att=56.683, acc=0.692, loss=61.658, backward_time=0.375, grad_norm=41.877, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.186e-04, train_time=1.891 +[gpua002:0/64] 2023-12-06 00:45:16,073 (trainer:737) INFO: 12epoch:train:5601-5700batch: iter_time=7.843e-05, forward_time=0.150, loss_ctc=75.384, loss_att=65.919, acc=0.681, loss=68.759, backward_time=0.325, grad_norm=43.119, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.186e-04, train_time=1.768 +[gpua002:0/64] 2023-12-06 00:47:56,477 (trainer:737) INFO: 12epoch:train:5701-5800batch: iter_time=7.952e-05, forward_time=0.221, loss_ctc=62.964, loss_att=51.889, acc=0.700, loss=55.212, backward_time=0.362, grad_norm=38.039, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=1.186e-04, train_time=1.604 +[gpua002:0/64] 2023-12-06 00:50:43,090 (trainer:737) INFO: 12epoch:train:5801-5900batch: iter_time=8.126e-05, forward_time=0.148, loss_ctc=70.667, loss_att=57.074, acc=0.688, loss=61.151, backward_time=0.321, grad_norm=44.221, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.185e-04, train_time=1.666 +[gpua002:0/64] 2023-12-06 00:53:12,939 (trainer:737) INFO: 12epoch:train:5901-6000batch: iter_time=7.996e-05, forward_time=0.146, loss_ctc=82.949, loss_att=65.956, acc=0.691, loss=71.054, backward_time=0.306, grad_norm=52.384, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.185e-04, train_time=1.498 +[gpua002:0/64] 2023-12-06 00:56:02,273 (trainer:737) INFO: 12epoch:train:6001-6100batch: iter_time=8.277e-05, forward_time=0.146, loss_ctc=70.530, loss_att=58.555, acc=0.691, loss=62.148, backward_time=0.309, grad_norm=41.527, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.185e-04, train_time=1.693 +[gpua002:0/64] 2023-12-06 00:58:58,777 (trainer:737) INFO: 12epoch:train:6101-6200batch: iter_time=8.243e-05, forward_time=0.147, loss_ctc=74.792, loss_att=59.805, acc=0.702, loss=64.301, backward_time=0.338, grad_norm=46.792, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.184e-04, train_time=1.765 +[gpua002:0/64] 2023-12-06 01:00:23,305 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-06 01:00:42,074 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 01:00:45,917 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 01:00:45,917 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-06 01:00:45,920 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 01:09:54,570 (trainer:737) INFO: 12epoch:train:6201-6300batch: iter_time=3.260, forward_time=0.188, loss_ctc=71.207, loss_att=63.751, acc=0.684, loss=65.988, backward_time=0.289, grad_norm=45.723, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=1.184e-04, train_time=6.558 +[gpua002:0/64] 2023-12-06 01:12:20,947 (trainer:737) INFO: 12epoch:train:6301-6400batch: iter_time=7.810e-05, forward_time=0.146, loss_ctc=71.064, loss_att=59.177, acc=0.667, loss=62.743, backward_time=0.316, grad_norm=45.780, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.183e-04, train_time=1.464 +[gpua002:0/64] 2023-12-06 01:15:01,740 (trainer:737) INFO: 12epoch:train:6401-6500batch: iter_time=8.350e-05, forward_time=0.146, loss_ctc=77.993, loss_att=64.289, acc=0.697, loss=68.400, backward_time=0.303, grad_norm=44.147, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.183e-04, train_time=1.608 +[gpua002:0/64] 2023-12-06 01:17:53,642 (trainer:737) INFO: 12epoch:train:6501-6600batch: iter_time=8.444e-05, forward_time=0.213, loss_ctc=84.209, loss_att=62.705, acc=0.695, loss=69.156, backward_time=0.346, grad_norm=55.314, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.138, optim0_lr0=1.183e-04, train_time=1.718 +[gpua002:0/64] 2023-12-06 01:20:29,645 (trainer:737) INFO: 12epoch:train:6601-6700batch: iter_time=8.883e-05, forward_time=0.147, loss_ctc=73.446, loss_att=60.075, acc=0.683, loss=64.086, backward_time=0.311, grad_norm=45.275, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.182e-04, train_time=1.560 +[gpua002:0/64] 2023-12-06 01:23:06,634 (trainer:737) INFO: 12epoch:train:6701-6800batch: iter_time=8.519e-05, forward_time=0.146, loss_ctc=72.208, loss_att=58.716, acc=0.683, loss=62.763, backward_time=0.330, grad_norm=43.040, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.133, optim0_lr0=1.182e-04, train_time=1.570 +[gpua002:0/64] 2023-12-06 01:25:37,486 (trainer:737) INFO: 12epoch:train:6801-6900batch: iter_time=8.155e-05, forward_time=0.146, loss_ctc=73.368, loss_att=59.153, acc=0.695, loss=63.417, backward_time=0.299, grad_norm=43.632, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.134, optim0_lr0=1.182e-04, train_time=1.508 +[gpua002:0/64] 2023-12-06 01:28:38,562 (trainer:737) INFO: 12epoch:train:6901-7000batch: iter_time=8.232e-05, forward_time=0.262, loss_ctc=69.513, loss_att=60.118, acc=0.678, loss=62.936, backward_time=0.335, grad_norm=43.194, clip=100.000, loss_scale=2.535e+30, optim_step_time=0.158, optim0_lr0=1.181e-04, train_time=1.810 +[gpua002:0/64] 2023-12-06 01:31:02,369 (trainer:737) INFO: 12epoch:train:7001-7100batch: iter_time=7.877e-05, forward_time=0.146, loss_ctc=62.174, loss_att=50.482, acc=0.711, loss=53.990, backward_time=0.287, grad_norm=36.810, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.181e-04, train_time=1.438 +[gpua002:0/64] 2023-12-06 01:34:00,676 (trainer:737) INFO: 12epoch:train:7101-7200batch: iter_time=8.221e-05, forward_time=0.146, loss_ctc=81.682, loss_att=63.995, acc=0.679, loss=69.301, backward_time=0.358, grad_norm=56.267, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.181e-04, train_time=1.783 +[gpua002:0/64] 2023-12-06 01:36:39,098 (trainer:737) INFO: 12epoch:train:7201-7300batch: iter_time=8.667e-05, forward_time=0.146, loss_ctc=66.752, loss_att=56.234, acc=0.694, loss=59.390, backward_time=0.306, grad_norm=41.192, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.180e-04, train_time=1.584 +[gpua002:0/64] 2023-12-06 01:38:56,578 (trainer:737) INFO: 12epoch:train:7301-7400batch: iter_time=7.968e-05, forward_time=0.146, loss_ctc=79.581, loss_att=63.071, acc=0.701, loss=68.024, backward_time=0.287, grad_norm=43.872, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.180e-04, train_time=1.375 +[gpua002:0/64] 2023-12-06 01:41:43,512 (trainer:737) INFO: 12epoch:train:7401-7500batch: iter_time=8.018e-05, forward_time=0.253, loss_ctc=73.687, loss_att=64.150, acc=0.683, loss=67.011, backward_time=0.346, grad_norm=50.426, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=1.180e-04, train_time=1.669 +[gpua002:0/64] 2023-12-06 01:42:03,658 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-06 01:42:22,957 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 01:42:26,512 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 01:42:26,512 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-06 01:42:26,515 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 01:56:49,562 (trainer:737) INFO: 12epoch:train:7501-7600batch: iter_time=3.141, forward_time=0.181, loss_ctc=70.851, loss_att=62.095, acc=0.669, loss=64.722, backward_time=0.292, grad_norm=48.609, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=1.179e-04, train_time=9.060 +[gpua002:0/64] 2023-12-06 01:59:27,122 (trainer:737) INFO: 12epoch:train:7601-7700batch: iter_time=7.726e-05, forward_time=0.148, loss_ctc=74.596, loss_att=59.844, acc=0.681, loss=64.269, backward_time=0.310, grad_norm=45.905, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.140, optim0_lr0=1.179e-04, train_time=1.576 +[gpua002:0/64] 2023-12-06 02:01:54,578 (trainer:737) INFO: 12epoch:train:7701-7800batch: iter_time=8.097e-05, forward_time=0.145, loss_ctc=72.879, loss_att=61.250, acc=0.692, loss=64.739, backward_time=0.290, grad_norm=43.843, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=1.179e-04, train_time=1.474 +[gpua002:0/64] 2023-12-06 02:04:25,007 (trainer:737) INFO: 12epoch:train:7801-7900batch: iter_time=8.064e-05, forward_time=0.147, loss_ctc=79.118, loss_att=57.135, acc=0.699, loss=63.730, backward_time=0.291, grad_norm=58.503, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.178e-04, train_time=1.504 +[gpua002:0/64] 2023-12-06 02:07:08,957 (trainer:737) INFO: 12epoch:train:7901-8000batch: iter_time=7.414e-04, forward_time=0.148, loss_ctc=73.651, loss_att=62.675, acc=0.667, loss=65.968, backward_time=0.297, grad_norm=45.315, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=1.178e-04, train_time=1.639 +[gpua002:0/64] 2023-12-06 02:09:54,632 (trainer:737) INFO: 12epoch:train:8001-8100batch: iter_time=8.255e-05, forward_time=0.155, loss_ctc=73.158, loss_att=57.610, acc=0.675, loss=62.274, backward_time=0.304, grad_norm=45.175, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=1.178e-04, train_time=1.657 +[gpua002:0/64] 2023-12-06 02:12:27,041 (trainer:737) INFO: 12epoch:train:8101-8200batch: iter_time=8.279e-05, forward_time=0.235, loss_ctc=74.895, loss_att=62.554, acc=0.679, loss=66.257, backward_time=0.331, grad_norm=47.663, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=1.177e-04, train_time=1.524 +[gpua002:0/64] 2023-12-06 02:15:02,715 (trainer:737) INFO: 12epoch:train:8201-8300batch: iter_time=8.260e-05, forward_time=0.146, loss_ctc=62.716, loss_att=51.484, acc=0.694, loss=54.854, backward_time=0.303, grad_norm=38.528, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.177e-04, train_time=1.557 +[gpua002:0/64] 2023-12-06 02:17:25,975 (trainer:737) INFO: 12epoch:train:8301-8400batch: iter_time=8.494e-05, forward_time=0.149, loss_ctc=69.710, loss_att=55.774, acc=0.680, loss=59.955, backward_time=0.300, grad_norm=46.123, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.177e-04, train_time=1.432 +[gpua002:0/64] 2023-12-06 02:20:01,983 (trainer:737) INFO: 12epoch:train:8401-8500batch: iter_time=8.178e-05, forward_time=0.150, loss_ctc=81.260, loss_att=65.026, acc=0.692, loss=69.896, backward_time=0.324, grad_norm=52.172, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=1.176e-04, train_time=1.560 +[gpua002:0/64] 2023-12-06 02:23:05,365 (trainer:737) INFO: 12epoch:train:8501-8600batch: iter_time=8.185e-05, forward_time=0.146, loss_ctc=70.252, loss_att=56.865, acc=0.684, loss=60.881, backward_time=0.347, grad_norm=42.952, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=1.176e-04, train_time=1.834 +[gpua002:0/64] 2023-12-06 02:25:22,303 (trainer:737) INFO: 12epoch:train:8601-8700batch: iter_time=8.200e-05, forward_time=0.148, loss_ctc=73.939, loss_att=59.293, acc=0.690, loss=63.687, backward_time=0.305, grad_norm=43.632, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.176e-04, train_time=1.369 +[gpua002:0/64] 2023-12-06 02:26:46,823 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-06 02:27:06,276 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 02:27:09,848 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 02:27:09,848 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-06 02:27:09,851 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 02:36:30,227 (trainer:737) INFO: 12epoch:train:8701-8800batch: iter_time=3.152, forward_time=0.190, loss_ctc=71.823, loss_att=64.823, acc=0.665, loss=66.923, backward_time=0.286, grad_norm=48.678, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.175e-04, train_time=6.679 +[gpua002:0/64] 2023-12-06 02:38:56,598 (trainer:737) INFO: 12epoch:train:8801-8900batch: iter_time=7.731e-05, forward_time=0.146, loss_ctc=70.824, loss_att=58.777, acc=0.659, loss=62.391, backward_time=0.294, grad_norm=48.138, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.175e-04, train_time=1.463 +[gpua002:0/64] 2023-12-06 02:41:21,038 (trainer:737) INFO: 12epoch:train:8901-9000batch: iter_time=8.052e-05, forward_time=0.146, loss_ctc=77.038, loss_att=64.164, acc=0.690, loss=68.026, backward_time=0.295, grad_norm=45.295, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=1.175e-04, train_time=1.444 +[gpua002:0/64] 2023-12-06 02:44:03,936 (trainer:737) INFO: 12epoch:train:9001-9100batch: iter_time=8.192e-05, forward_time=0.146, loss_ctc=80.207, loss_att=61.440, acc=0.699, loss=67.070, backward_time=0.292, grad_norm=54.083, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.174e-04, train_time=1.629 +[gpua002:0/64] 2023-12-06 02:46:40,896 (trainer:737) INFO: 12epoch:train:9101-9200batch: iter_time=7.715e-05, forward_time=0.151, loss_ctc=73.688, loss_att=58.660, acc=0.681, loss=63.169, backward_time=0.324, grad_norm=47.201, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.174e-04, train_time=1.569 +[gpua002:0/64] 2023-12-06 02:49:49,997 (trainer:737) INFO: 12epoch:train:9201-9300batch: iter_time=7.846e-05, forward_time=0.150, loss_ctc=72.103, loss_att=57.431, acc=0.680, loss=61.833, backward_time=0.368, grad_norm=45.292, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.174e-04, train_time=1.891 +[gpua002:0/64] 2023-12-06 02:52:31,199 (trainer:737) INFO: 12epoch:train:9301-9400batch: iter_time=8.137e-05, forward_time=0.146, loss_ctc=73.434, loss_att=60.531, acc=0.680, loss=64.402, backward_time=0.310, grad_norm=44.618, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.173e-04, train_time=1.611 +[gpua002:0/64] 2023-12-06 02:54:59,470 (trainer:737) INFO: 12epoch:train:9401-9500batch: iter_time=8.181e-05, forward_time=0.146, loss_ctc=69.109, loss_att=56.355, acc=0.678, loss=60.181, backward_time=0.301, grad_norm=45.781, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.173e-04, train_time=1.483 +[gpua002:0/64] 2023-12-06 02:57:37,356 (trainer:737) INFO: 12epoch:train:9501-9600batch: iter_time=8.307e-05, forward_time=0.215, loss_ctc=61.973, loss_att=49.768, acc=0.711, loss=53.429, backward_time=0.341, grad_norm=38.835, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=1.173e-04, train_time=1.579 +[gpua002:0/64] 2023-12-06 03:00:21,862 (trainer:737) INFO: 12epoch:train:9601-9700batch: iter_time=7.883e-05, forward_time=0.155, loss_ctc=81.588, loss_att=62.518, acc=0.676, loss=68.239, backward_time=0.328, grad_norm=59.059, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.172e-04, train_time=1.645 +[gpua002:0/64] 2023-12-06 03:02:44,521 (trainer:737) INFO: 12epoch:train:9701-9800batch: iter_time=8.070e-05, forward_time=0.147, loss_ctc=66.581, loss_att=54.967, acc=0.691, loss=58.452, backward_time=0.299, grad_norm=39.513, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.172e-04, train_time=1.426 +[gpua002:0/64] 2023-12-06 03:05:27,647 (trainer:737) INFO: 12epoch:train:9801-9900batch: iter_time=7.949e-05, forward_time=0.149, loss_ctc=79.584, loss_att=62.694, acc=0.685, loss=67.761, backward_time=0.323, grad_norm=46.951, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.172e-04, train_time=1.631 +[gpua002:0/64] 2023-12-06 03:07:56,020 (trainer:737) INFO: 12epoch:train:9901-10000batch: iter_time=7.601e-05, forward_time=0.147, loss_ctc=73.210, loss_att=64.456, acc=0.669, loss=67.082, backward_time=0.296, grad_norm=45.538, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.171e-04, train_time=1.484 +[gpua002:0/64] 2023-12-06 03:08:16,048 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-06 03:08:35,508 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 03:08:39,123 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 03:08:39,123 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-06 03:08:39,126 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 03:19:02,687 (trainer:737) INFO: 12epoch:train:10001-10100batch: iter_time=3.152, forward_time=0.148, loss_ctc=70.539, loss_att=60.510, acc=0.671, loss=63.518, backward_time=0.288, grad_norm=50.148, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=1.171e-04, train_time=6.666 +[gpua002:0/64] 2023-12-06 03:21:48,025 (trainer:737) INFO: 12epoch:train:10101-10200batch: iter_time=7.580e-05, forward_time=0.152, loss_ctc=74.750, loss_att=58.079, acc=0.686, loss=63.080, backward_time=0.316, grad_norm=46.989, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=1.171e-04, train_time=1.653 +[gpua002:0/64] 2023-12-06 03:24:06,909 (trainer:737) INFO: 12epoch:train:10201-10300batch: iter_time=8.019e-05, forward_time=0.146, loss_ctc=72.842, loss_att=60.345, acc=0.694, loss=64.094, backward_time=0.281, grad_norm=46.184, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.170e-04, train_time=1.389 +[gpua002:0/64] 2023-12-06 03:26:34,466 (trainer:737) INFO: 12epoch:train:10301-10400batch: iter_time=8.074e-05, forward_time=0.147, loss_ctc=79.488, loss_att=56.300, acc=0.704, loss=63.256, backward_time=0.282, grad_norm=56.423, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=1.170e-04, train_time=1.475 +[gpua002:0/64] 2023-12-06 03:29:17,538 (trainer:737) INFO: 12epoch:train:10401-10500batch: iter_time=7.579e-05, forward_time=0.203, loss_ctc=73.196, loss_att=61.026, acc=0.671, loss=64.677, backward_time=0.325, grad_norm=47.215, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=1.170e-04, train_time=1.631 +[gpua002:0/64] 2023-12-06 03:32:05,109 (trainer:737) INFO: 12epoch:train:10501-10600batch: iter_time=8.017e-05, forward_time=0.164, loss_ctc=72.313, loss_att=56.178, acc=0.680, loss=61.018, backward_time=0.309, grad_norm=43.211, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=1.169e-04, train_time=1.675 +[gpua002:0/64] 2023-12-06 03:34:18,498 (trainer:737) INFO: 12epoch:train:10601-10700batch: iter_time=8.125e-05, forward_time=0.147, loss_ctc=74.361, loss_att=61.441, acc=0.684, loss=65.317, backward_time=0.293, grad_norm=43.144, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.169e-04, train_time=1.334 +[gpua002:0/64] 2023-12-06 03:36:52,449 (trainer:737) INFO: 12epoch:train:10701-10800batch: iter_time=8.731e-05, forward_time=0.147, loss_ctc=62.523, loss_att=51.352, acc=0.694, loss=54.703, backward_time=0.328, grad_norm=38.059, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.169e-04, train_time=1.539 +[gpua002:0/64] 2023-12-06 03:39:31,548 (trainer:737) INFO: 12epoch:train:10801-10900batch: iter_time=8.474e-05, forward_time=0.151, loss_ctc=69.524, loss_att=55.748, acc=0.681, loss=59.880, backward_time=0.295, grad_norm=47.597, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.168e-04, train_time=1.591 +[gpua002:0/64] 2023-12-06 03:42:29,093 (trainer:737) INFO: 12epoch:train:10901-11000batch: iter_time=7.826e-05, forward_time=0.147, loss_ctc=81.353, loss_att=65.518, acc=0.693, loss=70.269, backward_time=0.309, grad_norm=52.004, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=1.168e-04, train_time=1.775 +[gpua002:0/64] 2023-12-06 03:45:10,969 (trainer:737) INFO: 12epoch:train:11001-11100batch: iter_time=7.813e-05, forward_time=0.147, loss_ctc=69.742, loss_att=56.305, acc=0.686, loss=60.336, backward_time=0.323, grad_norm=40.404, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=1.168e-04, train_time=1.618 +[gpua002:0/64] 2023-12-06 03:47:24,503 (trainer:737) INFO: 12epoch:train:11101-11200batch: iter_time=7.269e-05, forward_time=0.149, loss_ctc=74.022, loss_att=58.995, acc=0.694, loss=63.503, backward_time=0.283, grad_norm=44.341, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=1.167e-04, train_time=1.335 +[gpua002:0/64] 2023-12-06 03:48:58,066 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-06 03:49:17,410 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 03:49:20,981 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 03:49:20,981 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-06 03:49:20,985 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 03:55:01,837 (trainer:737) INFO: 12epoch:train:11201-11300batch: iter_time=3.106, forward_time=0.175, loss_ctc=70.874, loss_att=63.142, acc=0.670, loss=65.461, backward_time=0.291, grad_norm=45.514, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=1.167e-04, train_time=4.573 +[gpua002:0/64] 2023-12-06 03:57:11,720 (trainer:737) INFO: 12epoch:train:11301-11400batch: iter_time=7.814e-05, forward_time=0.147, loss_ctc=70.215, loss_att=57.900, acc=0.662, loss=61.594, backward_time=0.281, grad_norm=49.982, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.167e-04, train_time=1.299 +[gpua002:0/64] 2023-12-06 03:59:19,570 (trainer:737) INFO: 12epoch:train:11401-11500batch: iter_time=8.332e-05, forward_time=0.146, loss_ctc=77.001, loss_att=63.757, acc=0.692, loss=67.730, backward_time=0.280, grad_norm=45.642, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.166e-04, train_time=1.278 +[gpua002:0/64] 2023-12-06 04:01:49,214 (trainer:737) INFO: 12epoch:train:11501-11600batch: iter_time=8.176e-05, forward_time=0.146, loss_ctc=81.816, loss_att=60.874, acc=0.701, loss=67.157, backward_time=0.312, grad_norm=58.900, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.166e-04, train_time=1.496 +[gpua002:0/64] 2023-12-06 04:04:42,429 (trainer:737) INFO: 12epoch:train:11601-11700batch: iter_time=8.147e-05, forward_time=0.151, loss_ctc=72.727, loss_att=57.895, acc=0.685, loss=62.345, backward_time=0.340, grad_norm=46.567, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.166e-04, train_time=1.732 +[gpua002:0/64] 2023-12-06 04:07:36,276 (trainer:737) INFO: 12epoch:train:11701-11800batch: iter_time=8.072e-05, forward_time=0.146, loss_ctc=71.945, loss_att=56.767, acc=0.682, loss=61.321, backward_time=0.346, grad_norm=44.526, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.165e-04, train_time=1.738 +[gpua002:0/64] 2023-12-06 04:09:44,621 (trainer:737) INFO: 12epoch:train:11801-11900batch: iter_time=8.322e-05, forward_time=0.148, loss_ctc=72.931, loss_att=59.929, acc=0.681, loss=63.830, backward_time=0.284, grad_norm=46.639, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.165e-04, train_time=1.283 +[gpua002:0/64] 2023-12-06 04:12:23,814 (trainer:737) INFO: 12epoch:train:11901-12000batch: iter_time=8.176e-05, forward_time=0.174, loss_ctc=68.727, loss_att=55.727, acc=0.682, loss=59.627, backward_time=0.309, grad_norm=45.190, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.165e-04, train_time=1.592 +[gpua002:0/64] 2023-12-06 04:14:53,191 (trainer:737) INFO: 12epoch:train:12001-12100batch: iter_time=7.923e-05, forward_time=0.194, loss_ctc=61.549, loss_att=49.265, acc=0.712, loss=52.950, backward_time=0.354, grad_norm=35.589, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=1.164e-04, train_time=1.493 +[gpua002:0/64] 2023-12-06 04:17:40,957 (trainer:737) INFO: 12epoch:train:12101-12200batch: iter_time=7.879e-05, forward_time=0.148, loss_ctc=81.147, loss_att=62.365, acc=0.678, loss=68.000, backward_time=0.324, grad_norm=54.093, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.164e-04, train_time=1.678 +[gpua002:0/64] 2023-12-06 04:20:34,821 (trainer:737) INFO: 12epoch:train:12201-12300batch: iter_time=7.968e-05, forward_time=0.147, loss_ctc=66.532, loss_att=54.677, acc=0.694, loss=58.233, backward_time=0.360, grad_norm=39.142, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.164e-04, train_time=1.738 +[gpua002:0/64] 2023-12-06 04:23:07,262 (trainer:737) INFO: 12epoch:train:12301-12400batch: iter_time=7.756e-05, forward_time=0.148, loss_ctc=78.164, loss_att=61.372, acc=0.687, loss=66.410, backward_time=0.322, grad_norm=45.188, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.163e-04, train_time=1.524 +[gpua002:0/64] 2023-12-06 04:25:26,518 (trainer:737) INFO: 12epoch:train:12401-12500batch: iter_time=7.589e-05, forward_time=0.150, loss_ctc=72.059, loss_att=63.150, acc=0.673, loss=65.823, backward_time=0.301, grad_norm=46.030, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.163e-04, train_time=1.392 +[gpua002:0/64] 2023-12-06 04:25:46,599 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-06 04:26:05,705 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 04:26:09,312 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 04:26:09,312 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-06 04:26:09,315 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 04:39:42,507 (trainer:737) INFO: 12epoch:train:12501-12600batch: iter_time=3.144, forward_time=0.198, loss_ctc=70.607, loss_att=62.009, acc=0.683, loss=64.589, backward_time=0.584, grad_norm=46.590, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=1.163e-04, train_time=8.560 +[gpua002:0/64] 2023-12-06 04:45:10,205 (trainer:737) INFO: 12epoch:train:12601-12700batch: iter_time=8.552e-05, forward_time=0.146, loss_ctc=74.258, loss_att=59.463, acc=0.692, loss=63.901, backward_time=0.429, grad_norm=41.285, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.162e-04, train_time=3.277 +[gpua002:0/64] 2023-12-06 04:50:39,180 (trainer:737) INFO: 12epoch:train:12701-12800batch: iter_time=8.550e-05, forward_time=0.146, loss_ctc=71.900, loss_att=60.867, acc=0.698, loss=64.177, backward_time=0.443, grad_norm=44.088, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.162e-04, train_time=3.290 +[gpua002:0/64] 2023-12-06 04:54:36,336 (trainer:737) INFO: 12epoch:train:12801-12900batch: iter_time=8.371e-05, forward_time=0.146, loss_ctc=75.774, loss_att=56.958, acc=0.706, loss=62.603, backward_time=0.475, grad_norm=49.651, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.162e-04, train_time=2.371 +[gpua002:0/64] 2023-12-06 05:00:30,719 (trainer:737) INFO: 12epoch:train:12901-13000batch: iter_time=8.285e-05, forward_time=0.146, loss_ctc=72.876, loss_att=63.788, acc=0.673, loss=66.514, backward_time=0.600, grad_norm=46.425, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=1.161e-04, train_time=3.544 +[gpua002:0/64] 2023-12-06 05:07:18,573 (trainer:737) INFO: 12epoch:train:13001-13100batch: iter_time=8.154e-05, forward_time=0.175, loss_ctc=71.905, loss_att=56.124, acc=0.697, loss=60.858, backward_time=0.643, grad_norm=42.431, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=1.161e-04, train_time=4.078 +[gpua002:0/64] 2023-12-06 05:15:07,574 (trainer:737) INFO: 12epoch:train:13101-13200batch: iter_time=8.538e-05, forward_time=0.149, loss_ctc=74.592, loss_att=65.189, acc=0.687, loss=68.010, backward_time=0.843, grad_norm=44.926, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.161e-04, train_time=4.690 +[gpua002:0/64] 2023-12-06 05:21:20,683 (trainer:737) INFO: 12epoch:train:13201-13300batch: iter_time=8.724e-05, forward_time=0.146, loss_ctc=62.323, loss_att=51.354, acc=0.702, loss=54.645, backward_time=0.592, grad_norm=37.498, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.160e-04, train_time=3.731 +[gpua002:0/64] 2023-12-06 05:26:51,365 (trainer:737) INFO: 12epoch:train:13301-13400batch: iter_time=9.027e-05, forward_time=0.146, loss_ctc=68.880, loss_att=55.931, acc=0.691, loss=59.816, backward_time=0.551, grad_norm=46.692, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.160e-04, train_time=3.307 +[gpua002:0/64] 2023-12-06 05:33:11,985 (trainer:737) INFO: 12epoch:train:13401-13500batch: iter_time=8.268e-05, forward_time=0.147, loss_ctc=79.712, loss_att=64.769, acc=0.698, loss=69.252, backward_time=0.534, grad_norm=53.006, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.160e-04, train_time=3.806 +[gpua002:0/64] 2023-12-06 05:40:41,207 (trainer:737) INFO: 12epoch:train:13501-13600batch: iter_time=8.811e-05, forward_time=0.147, loss_ctc=69.639, loss_att=58.308, acc=0.696, loss=61.708, backward_time=0.661, grad_norm=40.707, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.159e-04, train_time=4.492 +[gpua002:0/64] 2023-12-06 05:46:20,133 (trainer:737) INFO: 12epoch:train:13601-13700batch: iter_time=8.438e-05, forward_time=0.147, loss_ctc=73.148, loss_att=59.055, acc=0.706, loss=63.283, backward_time=0.548, grad_norm=42.295, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.159e-04, train_time=3.389 +[gpua002:0/64] 2023-12-06 05:49:14,945 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-06 05:49:34,241 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 05:49:38,155 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 05:49:38,155 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-06 05:49:38,158 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 05:55:28,194 (trainer:737) INFO: 12epoch:train:13701-13800batch: iter_time=3.135, forward_time=0.208, loss_ctc=70.194, loss_att=63.345, acc=0.688, loss=65.399, backward_time=0.362, grad_norm=45.049, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=1.159e-04, train_time=5.480 +[gpua002:0/64] 2023-12-06 05:57:41,200 (trainer:737) INFO: 12epoch:train:13801-13900batch: iter_time=7.761e-05, forward_time=0.148, loss_ctc=68.890, loss_att=57.668, acc=0.675, loss=61.034, backward_time=0.283, grad_norm=52.731, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.158e-04, train_time=1.330 +[gpua002:0/64] 2023-12-06 06:00:22,172 (trainer:737) INFO: 12epoch:train:13901-14000batch: iter_time=7.702e-05, forward_time=0.147, loss_ctc=76.974, loss_att=63.671, acc=0.702, loss=67.662, backward_time=0.309, grad_norm=42.805, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.158e-04, train_time=1.610 +[gpua002:0/64] 2023-12-06 06:02:59,481 (trainer:737) INFO: 12epoch:train:14001-14100batch: iter_time=7.714e-05, forward_time=0.148, loss_ctc=80.764, loss_att=61.543, acc=0.704, loss=67.309, backward_time=0.322, grad_norm=59.878, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.158e-04, train_time=1.573 +[gpua002:0/64] 2023-12-06 06:05:16,582 (trainer:737) INFO: 12epoch:train:14101-14200batch: iter_time=7.899e-05, forward_time=0.149, loss_ctc=72.304, loss_att=59.627, acc=0.687, loss=63.430, backward_time=0.298, grad_norm=47.012, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.157e-04, train_time=1.371 +[gpua002:0/64] 2023-12-06 06:08:07,104 (trainer:737) INFO: 12epoch:train:14201-14300batch: iter_time=8.357e-05, forward_time=0.164, loss_ctc=71.222, loss_att=57.849, acc=0.689, loss=61.861, backward_time=0.363, grad_norm=48.460, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.157e-04, train_time=1.705 +[gpua002:0/64] 2023-12-06 06:10:54,105 (trainer:737) INFO: 12epoch:train:14301-14400batch: iter_time=8.146e-05, forward_time=0.154, loss_ctc=72.669, loss_att=59.277, acc=0.696, loss=63.294, backward_time=0.347, grad_norm=46.877, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.157e-04, train_time=1.670 +[gpua002:0/64] 2023-12-06 06:13:46,140 (trainer:737) INFO: 12epoch:train:14401-14500batch: iter_time=7.840e-05, forward_time=0.173, loss_ctc=67.987, loss_att=59.995, acc=0.680, loss=62.392, backward_time=0.328, grad_norm=42.575, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=1.156e-04, train_time=1.720 +[gpua002:0/64] 2023-12-06 06:16:38,930 (trainer:737) INFO: 12epoch:train:14501-14600batch: iter_time=8.166e-05, forward_time=0.147, loss_ctc=61.465, loss_att=49.447, acc=0.718, loss=53.053, backward_time=0.314, grad_norm=40.450, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.156e-04, train_time=1.728 +[gpua002:0/64] 2023-12-06 06:19:12,781 (trainer:737) INFO: 12epoch:train:14601-14700batch: iter_time=7.899e-05, forward_time=0.147, loss_ctc=80.377, loss_att=62.504, acc=0.685, loss=67.866, backward_time=0.290, grad_norm=55.003, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.156e-04, train_time=1.538 +[gpua002:0/64] 2023-12-06 06:21:45,581 (trainer:737) INFO: 12epoch:train:14701-14800batch: iter_time=8.185e-05, forward_time=0.147, loss_ctc=66.682, loss_att=56.156, acc=0.697, loss=59.313, backward_time=0.293, grad_norm=41.393, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.155e-04, train_time=1.528 +[gpua002:0/64] 2023-12-06 06:24:12,301 (trainer:737) INFO: 12epoch:train:14801-14900batch: iter_time=8.276e-05, forward_time=0.192, loss_ctc=78.617, loss_att=62.282, acc=0.704, loss=67.182, backward_time=0.310, grad_norm=45.901, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=1.155e-04, train_time=1.467 +[gpua002:0/64] 2023-12-06 06:26:37,387 (trainer:737) INFO: 12epoch:train:14901-15000batch: iter_time=7.961e-05, forward_time=0.146, loss_ctc=72.763, loss_att=63.915, acc=0.687, loss=66.570, backward_time=0.294, grad_norm=45.026, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.155e-04, train_time=1.451 +[gpua002:0/64] 2023-12-06 06:53:06,275 (trainer:343) INFO: 12epoch results: [train] iter_time=0.238, forward_time=0.157, loss_ctc=73.645, loss_att=60.091, acc=0.684, loss=64.157, backward_time=0.347, grad_norm=46.655, clip=100.000, loss_scale=1.075e+31, optim_step_time=0.134, optim0_lr0=1.180e-04, train_time=2.149, time=8 hours, 57 minutes and 35.9 seconds, total_count=180000, gpu_max_cached_mem_GB=35.877, [valid] loss_ctc=47.799, cer_ctc=0.247, loss_att=43.524, acc=0.645, cer=0.387, wer=1.000, loss=44.806, time=26 minutes and 4.68 seconds, total_count=56052, gpu_max_cached_mem_GB=35.877 +[gpua002:0/64] 2023-12-06 06:53:24,854 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-06 06:53:24,859 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/7epoch.pth +[gpua002:0/64] 2023-12-06 06:53:24,859 (trainer:272) INFO: 13/40epoch started. Estimated time to finish: 1 week, 4 days and 18 hours +[gpua002:0/64] 2023-12-06 06:53:24,869 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-06 06:53:43,359 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 06:53:46,975 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 06:53:46,975 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-06 06:53:46,978 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 07:00:47,338 (trainer:737) INFO: 13epoch:train:1-100batch: iter_time=3.154, forward_time=0.198, loss_ctc=82.587, loss_att=70.477, acc=0.672, loss=74.110, backward_time=0.288, grad_norm=55.136, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.155e-04, train_time=4.424 +[gpua002:0/64] 2023-12-06 07:03:08,346 (trainer:737) INFO: 13epoch:train:101-200batch: iter_time=8.012e-05, forward_time=0.146, loss_ctc=80.907, loss_att=75.216, acc=0.679, loss=76.924, backward_time=0.298, grad_norm=51.276, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.154e-04, train_time=1.409 +[gpua002:0/64] 2023-12-06 07:05:15,548 (trainer:737) INFO: 13epoch:train:201-300batch: iter_time=7.926e-05, forward_time=0.146, loss_ctc=84.293, loss_att=69.908, acc=0.659, loss=74.223, backward_time=0.280, grad_norm=55.758, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.154e-04, train_time=1.273 +[gpua002:0/64] 2023-12-06 07:07:37,775 (trainer:737) INFO: 13epoch:train:301-400batch: iter_time=8.266e-05, forward_time=0.147, loss_ctc=85.370, loss_att=67.779, acc=0.691, loss=73.056, backward_time=0.299, grad_norm=49.637, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.154e-04, train_time=1.422 +[gpua002:0/64] 2023-12-06 07:10:30,087 (trainer:737) INFO: 13epoch:train:401-500batch: iter_time=8.313e-05, forward_time=0.152, loss_ctc=72.749, loss_att=63.852, acc=0.656, loss=66.521, backward_time=0.342, grad_norm=49.622, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.153e-04, train_time=1.723 +[gpua002:0/64] 2023-12-06 07:12:55,885 (trainer:737) INFO: 13epoch:train:501-600batch: iter_time=1.616e-04, forward_time=0.208, loss_ctc=74.420, loss_att=65.457, acc=0.664, loss=68.146, backward_time=0.325, grad_norm=53.603, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=1.153e-04, train_time=1.458 +[gpua002:0/64] 2023-12-06 07:15:24,339 (trainer:737) INFO: 13epoch:train:601-700batch: iter_time=7.849e-05, forward_time=0.159, loss_ctc=76.366, loss_att=61.298, acc=0.694, loss=65.818, backward_time=0.298, grad_norm=46.021, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.153e-04, train_time=1.484 +[gpua002:0/64] 2023-12-06 07:17:59,143 (trainer:737) INFO: 13epoch:train:701-800batch: iter_time=7.978e-05, forward_time=0.147, loss_ctc=82.482, loss_att=64.347, acc=0.676, loss=69.788, backward_time=0.334, grad_norm=50.928, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.152e-04, train_time=1.547 +[gpua002:0/64] 2023-12-06 07:20:29,406 (trainer:737) INFO: 13epoch:train:801-900batch: iter_time=8.065e-05, forward_time=0.146, loss_ctc=79.457, loss_att=68.063, acc=0.690, loss=71.482, backward_time=0.316, grad_norm=44.210, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.152e-04, train_time=1.503 +[gpua002:0/64] 2023-12-06 07:23:10,232 (trainer:737) INFO: 13epoch:train:901-1000batch: iter_time=8.213e-05, forward_time=0.146, loss_ctc=91.553, loss_att=67.859, acc=0.674, loss=74.967, backward_time=0.301, grad_norm=57.381, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.152e-04, train_time=1.608 +[gpua002:0/64] 2023-12-06 07:25:42,360 (trainer:737) INFO: 13epoch:train:1001-1100batch: iter_time=8.027e-05, forward_time=0.158, loss_ctc=73.171, loss_att=61.884, acc=0.689, loss=65.270, backward_time=0.305, grad_norm=41.722, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.151e-04, train_time=1.521 +[gpua002:0/64] 2023-12-06 07:28:25,215 (trainer:737) INFO: 13epoch:train:1101-1200batch: iter_time=7.859e-05, forward_time=0.151, loss_ctc=76.542, loss_att=65.321, acc=0.666, loss=68.687, backward_time=0.318, grad_norm=52.693, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.151e-04, train_time=1.628 +[gpua002:0/64] 2023-12-06 07:30:06,751 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-06 07:30:26,103 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 07:30:29,646 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 07:30:29,646 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-06 07:30:29,649 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 07:39:10,964 (trainer:737) INFO: 13epoch:train:1201-1300batch: iter_time=2.676, forward_time=0.190, loss_ctc=78.990, loss_att=72.080, acc=0.679, loss=74.153, backward_time=0.292, grad_norm=53.550, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.151e-04, train_time=6.457 +[gpua002:0/64] 2023-12-06 07:41:38,128 (trainer:737) INFO: 13epoch:train:1301-1400batch: iter_time=7.832e-05, forward_time=0.146, loss_ctc=80.116, loss_att=70.417, acc=0.671, loss=73.327, backward_time=0.302, grad_norm=51.728, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.150e-04, train_time=1.471 +[gpua002:0/64] 2023-12-06 07:43:59,901 (trainer:737) INFO: 13epoch:train:1401-1500batch: iter_time=8.096e-05, forward_time=0.145, loss_ctc=76.395, loss_att=70.639, acc=0.664, loss=72.366, backward_time=0.283, grad_norm=49.785, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.150e-04, train_time=1.418 +[gpua002:0/64] 2023-12-06 07:46:54,344 (trainer:737) INFO: 13epoch:train:1501-1600batch: iter_time=7.921e-05, forward_time=0.146, loss_ctc=91.251, loss_att=69.944, acc=0.671, loss=76.336, backward_time=0.314, grad_norm=53.267, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.150e-04, train_time=1.744 +[gpua002:0/64] 2023-12-06 07:49:33,557 (trainer:737) INFO: 13epoch:train:1601-1700batch: iter_time=7.929e-05, forward_time=0.145, loss_ctc=74.619, loss_att=61.851, acc=0.666, loss=65.681, backward_time=0.331, grad_norm=49.118, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.149e-04, train_time=1.592 +[gpua002:0/64] 2023-12-06 07:51:54,744 (trainer:737) INFO: 13epoch:train:1701-1800batch: iter_time=7.945e-05, forward_time=0.145, loss_ctc=71.016, loss_att=58.695, acc=0.665, loss=62.391, backward_time=0.290, grad_norm=48.553, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.149e-04, train_time=1.411 +[gpua002:0/64] 2023-12-06 07:54:10,170 (trainer:737) INFO: 13epoch:train:1801-1900batch: iter_time=7.961e-05, forward_time=0.153, loss_ctc=75.815, loss_att=66.237, acc=0.666, loss=69.111, backward_time=0.285, grad_norm=49.551, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.149e-04, train_time=1.355 +[gpua002:0/64] 2023-12-06 07:56:54,813 (trainer:737) INFO: 13epoch:train:1901-2000batch: iter_time=8.314e-05, forward_time=0.146, loss_ctc=82.668, loss_att=65.473, acc=0.674, loss=70.631, backward_time=0.338, grad_norm=50.191, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.148e-04, train_time=1.646 +[gpua002:0/64] 2023-12-06 07:59:28,451 (trainer:737) INFO: 13epoch:train:2001-2100batch: iter_time=8.207e-05, forward_time=0.147, loss_ctc=74.509, loss_att=60.507, acc=0.688, loss=64.708, backward_time=0.302, grad_norm=45.364, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.148e-04, train_time=1.536 +[gpua002:0/64] 2023-12-06 08:02:26,633 (trainer:737) INFO: 13epoch:train:2101-2200batch: iter_time=8.779e-05, forward_time=0.207, loss_ctc=79.194, loss_att=66.236, acc=0.683, loss=70.124, backward_time=0.330, grad_norm=46.187, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.148e-04, train_time=1.782 +[gpua002:0/64] 2023-12-06 08:05:06,458 (trainer:737) INFO: 13epoch:train:2201-2300batch: iter_time=8.119e-05, forward_time=0.160, loss_ctc=91.379, loss_att=74.727, acc=0.653, loss=79.723, backward_time=0.327, grad_norm=64.852, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.148e-04, train_time=1.598 +[gpua002:0/64] 2023-12-06 08:07:25,195 (trainer:737) INFO: 13epoch:train:2301-2400batch: iter_time=7.931e-05, forward_time=0.146, loss_ctc=71.254, loss_att=56.894, acc=0.689, loss=61.202, backward_time=0.292, grad_norm=50.705, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.147e-04, train_time=1.387 +[gpua002:0/64] 2023-12-06 08:09:59,527 (trainer:737) INFO: 13epoch:train:2401-2500batch: iter_time=8.328e-05, forward_time=0.145, loss_ctc=73.372, loss_att=61.929, acc=0.691, loss=65.362, backward_time=0.306, grad_norm=43.316, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.147e-04, train_time=1.543 +[gpua002:0/64] 2023-12-06 08:10:19,556 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-06 08:10:38,711 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 08:10:42,322 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 08:10:42,322 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-06 08:10:42,325 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 08:20:03,637 (trainer:737) INFO: 13epoch:train:2501-2600batch: iter_time=2.817, forward_time=0.154, loss_ctc=80.727, loss_att=70.255, acc=0.680, loss=73.397, backward_time=0.285, grad_norm=49.860, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.147e-04, train_time=6.041 +[gpua002:0/64] 2023-12-06 08:22:31,323 (trainer:737) INFO: 13epoch:train:2601-2700batch: iter_time=8.220e-05, forward_time=0.147, loss_ctc=79.524, loss_att=74.186, acc=0.687, loss=75.788, backward_time=0.310, grad_norm=48.798, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.146e-04, train_time=1.477 +[gpua002:0/64] 2023-12-06 08:25:10,668 (trainer:737) INFO: 13epoch:train:2701-2800batch: iter_time=7.923e-05, forward_time=0.146, loss_ctc=81.078, loss_att=67.340, acc=0.674, loss=71.462, backward_time=0.312, grad_norm=50.179, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.146e-04, train_time=1.593 +[gpua002:0/64] 2023-12-06 08:28:00,797 (trainer:737) INFO: 13epoch:train:2801-2900batch: iter_time=8.060e-05, forward_time=0.147, loss_ctc=83.955, loss_att=66.614, acc=0.696, loss=71.816, backward_time=0.318, grad_norm=48.600, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.146e-04, train_time=1.701 +[gpua002:0/64] 2023-12-06 08:30:47,775 (trainer:737) INFO: 13epoch:train:2901-3000batch: iter_time=8.052e-05, forward_time=0.234, loss_ctc=72.154, loss_att=62.590, acc=0.666, loss=65.459, backward_time=0.319, grad_norm=45.449, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.148, optim0_lr0=1.145e-04, train_time=1.670 +[gpua002:0/64] 2023-12-06 08:33:33,036 (trainer:737) INFO: 13epoch:train:3001-3100batch: iter_time=8.135e-05, forward_time=0.146, loss_ctc=73.278, loss_att=64.379, acc=0.672, loss=67.049, backward_time=0.306, grad_norm=50.710, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.145e-04, train_time=1.652 +[gpua002:0/64] 2023-12-06 08:36:04,466 (trainer:737) INFO: 13epoch:train:3101-3200batch: iter_time=8.198e-05, forward_time=0.146, loss_ctc=74.326, loss_att=59.985, acc=0.703, loss=64.287, backward_time=0.303, grad_norm=47.475, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.145e-04, train_time=1.514 +[gpua002:0/64] 2023-12-06 08:38:45,804 (trainer:737) INFO: 13epoch:train:3201-3300batch: iter_time=7.980e-05, forward_time=0.147, loss_ctc=80.088, loss_att=63.951, acc=0.682, loss=68.792, backward_time=0.311, grad_norm=49.523, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.144e-04, train_time=1.613 +[gpua002:0/64] 2023-12-06 08:41:16,166 (trainer:737) INFO: 13epoch:train:3301-3400batch: iter_time=7.864e-05, forward_time=0.154, loss_ctc=78.477, loss_att=67.248, acc=0.696, loss=70.616, backward_time=0.298, grad_norm=48.855, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.144e-04, train_time=1.503 +[gpua002:0/64] 2023-12-06 08:43:33,545 (trainer:737) INFO: 13epoch:train:3401-3500batch: iter_time=7.733e-05, forward_time=0.147, loss_ctc=87.299, loss_att=65.959, acc=0.681, loss=72.361, backward_time=0.287, grad_norm=58.673, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.144e-04, train_time=1.374 +[gpua002:0/64] 2023-12-06 08:46:20,837 (trainer:737) INFO: 13epoch:train:3501-3600batch: iter_time=8.400e-05, forward_time=0.189, loss_ctc=72.079, loss_att=60.591, acc=0.696, loss=64.037, backward_time=0.351, grad_norm=43.497, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.143e-04, train_time=1.673 +[gpua002:0/64] 2023-12-06 08:48:41,282 (trainer:737) INFO: 13epoch:train:3601-3700batch: iter_time=8.494e-05, forward_time=0.165, loss_ctc=74.066, loss_att=63.564, acc=0.674, loss=66.715, backward_time=0.311, grad_norm=49.883, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.143e-04, train_time=1.404 +[gpua002:0/64] 2023-12-06 08:50:42,432 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-06 08:51:01,710 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 08:51:05,226 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 08:51:05,227 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-06 08:51:05,230 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 08:56:03,165 (trainer:737) INFO: 13epoch:train:3701-3800batch: iter_time=2.686, forward_time=0.156, loss_ctc=77.665, loss_att=70.182, acc=0.685, loss=72.427, backward_time=0.304, grad_norm=47.562, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.143e-04, train_time=4.418 +[gpua002:0/64] 2023-12-06 08:58:04,646 (trainer:737) INFO: 13epoch:train:3801-3900batch: iter_time=7.466e-05, forward_time=0.146, loss_ctc=79.178, loss_att=69.039, acc=0.677, loss=72.081, backward_time=0.282, grad_norm=49.816, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.143e-04, train_time=1.215 +[gpua002:0/64] 2023-12-06 09:00:13,544 (trainer:737) INFO: 13epoch:train:3901-4000batch: iter_time=8.150e-05, forward_time=0.146, loss_ctc=75.253, loss_att=69.027, acc=0.670, loss=70.895, backward_time=0.291, grad_norm=49.008, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.142e-04, train_time=1.289 +[gpua002:0/64] 2023-12-06 09:02:49,393 (trainer:737) INFO: 13epoch:train:4001-4100batch: iter_time=8.098e-05, forward_time=0.147, loss_ctc=90.049, loss_att=69.091, acc=0.676, loss=75.378, backward_time=0.303, grad_norm=51.996, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.142e-04, train_time=1.558 +[gpua002:0/64] 2023-12-06 09:05:43,744 (trainer:737) INFO: 13epoch:train:4101-4200batch: iter_time=7.982e-05, forward_time=0.149, loss_ctc=72.906, loss_att=60.395, acc=0.671, loss=64.148, backward_time=0.306, grad_norm=48.132, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.142e-04, train_time=1.743 +[gpua002:0/64] 2023-12-06 09:07:56,854 (trainer:737) INFO: 13epoch:train:4201-4300batch: iter_time=8.117e-05, forward_time=0.195, loss_ctc=69.565, loss_att=57.625, acc=0.669, loss=61.207, backward_time=0.316, grad_norm=48.984, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=1.141e-04, train_time=1.331 +[gpua002:0/64] 2023-12-06 09:10:06,463 (trainer:737) INFO: 13epoch:train:4301-4400batch: iter_time=7.960e-05, forward_time=0.158, loss_ctc=74.086, loss_att=64.966, acc=0.672, loss=67.702, backward_time=0.295, grad_norm=48.957, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.141e-04, train_time=1.296 +[gpua002:0/64] 2023-12-06 09:12:36,857 (trainer:737) INFO: 13epoch:train:4401-4500batch: iter_time=8.098e-05, forward_time=0.146, loss_ctc=81.756, loss_att=64.419, acc=0.682, loss=69.620, backward_time=0.292, grad_norm=52.791, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.141e-04, train_time=1.504 +[gpua002:0/64] 2023-12-06 09:15:46,804 (trainer:737) INFO: 13epoch:train:4501-4600batch: iter_time=7.954e-05, forward_time=0.149, loss_ctc=73.283, loss_att=59.464, acc=0.693, loss=63.610, backward_time=0.352, grad_norm=45.522, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.140e-04, train_time=1.899 +[gpua002:0/64] 2023-12-06 09:18:06,933 (trainer:737) INFO: 13epoch:train:4601-4700batch: iter_time=8.082e-05, forward_time=0.145, loss_ctc=78.026, loss_att=65.025, acc=0.687, loss=68.925, backward_time=0.295, grad_norm=44.464, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.140e-04, train_time=1.402 +[gpua002:0/64] 2023-12-06 09:21:11,197 (trainer:737) INFO: 13epoch:train:4701-4800batch: iter_time=7.661e-05, forward_time=0.148, loss_ctc=88.247, loss_att=72.791, acc=0.657, loss=77.428, backward_time=0.317, grad_norm=63.217, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.140e-04, train_time=1.842 +[gpua002:0/64] 2023-12-06 09:23:27,240 (trainer:737) INFO: 13epoch:train:4801-4900batch: iter_time=7.816e-05, forward_time=0.145, loss_ctc=70.659, loss_att=56.492, acc=0.694, loss=60.742, backward_time=0.284, grad_norm=49.104, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.139e-04, train_time=1.360 +[gpua002:0/64] 2023-12-06 09:25:47,130 (trainer:737) INFO: 13epoch:train:4901-5000batch: iter_time=7.880e-05, forward_time=0.152, loss_ctc=72.664, loss_att=61.496, acc=0.695, loss=64.846, backward_time=0.307, grad_norm=43.298, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.139e-04, train_time=1.399 +[gpua002:0/64] 2023-12-06 09:26:07,250 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-06 09:26:26,414 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 09:26:30,022 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 09:26:30,023 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-06 09:26:30,026 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 09:33:01,899 (trainer:737) INFO: 13epoch:train:5001-5100batch: iter_time=3.042, forward_time=0.189, loss_ctc=79.677, loss_att=69.173, acc=0.687, loss=72.324, backward_time=0.288, grad_norm=52.394, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.139e-04, train_time=4.347 +[gpua002:0/64] 2023-12-06 09:35:38,228 (trainer:737) INFO: 13epoch:train:5101-5200batch: iter_time=7.911e-05, forward_time=0.147, loss_ctc=78.735, loss_att=74.126, acc=0.689, loss=75.508, backward_time=0.358, grad_norm=48.110, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.139e-04, train_time=1.563 +[gpua002:0/64] 2023-12-06 09:37:45,766 (trainer:737) INFO: 13epoch:train:5201-5300batch: iter_time=7.532e-05, forward_time=0.146, loss_ctc=78.898, loss_att=67.793, acc=0.671, loss=71.125, backward_time=0.283, grad_norm=49.436, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.138e-04, train_time=1.275 +[gpua002:0/64] 2023-12-06 09:40:13,225 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 09:40:22,805 (trainer:737) INFO: 13epoch:train:5301-5400batch: iter_time=8.120e-05, forward_time=0.146, loss_ctc=83.458, loss_att=65.945, acc=0.699, loss=71.199, backward_time=0.317, grad_norm=50.547, clip=100.000, loss_scale=3.114e+32, optim_step_time=0.133, optim0_lr0=1.138e-04, train_time=1.570 +[gpua002:0/64] 2023-12-06 09:43:33,206 (trainer:737) INFO: 13epoch:train:5401-5500batch: iter_time=7.853e-05, forward_time=0.160, loss_ctc=71.501, loss_att=62.851, acc=0.664, loss=65.446, backward_time=0.292, grad_norm=49.218, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.138e-04, train_time=1.904 +[gpua002:0/64] 2023-12-06 09:45:41,364 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 09:45:52,193 (trainer:737) INFO: 13epoch:train:5501-5600batch: iter_time=7.880e-05, forward_time=0.146, loss_ctc=72.404, loss_att=63.978, acc=0.676, loss=66.505, backward_time=0.283, grad_norm=51.782, clip=100.000, loss_scale=1.557e+32, optim_step_time=0.133, optim0_lr0=1.137e-04, train_time=1.390 +[gpua002:0/64] 2023-12-06 09:48:25,468 (trainer:737) INFO: 13epoch:train:5601-5700batch: iter_time=8.101e-05, forward_time=0.162, loss_ctc=74.048, loss_att=59.750, acc=0.704, loss=64.040, backward_time=0.305, grad_norm=44.658, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.137e-04, train_time=1.533 +[gpua002:0/64] 2023-12-06 09:51:16,193 (trainer:737) INFO: 13epoch:train:5701-5800batch: iter_time=7.963e-05, forward_time=0.183, loss_ctc=78.977, loss_att=63.366, acc=0.687, loss=68.049, backward_time=0.360, grad_norm=48.896, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.137e-04, train_time=1.706 +[gpua002:0/64] 2023-12-06 09:54:12,651 (trainer:737) INFO: 13epoch:train:5801-5900batch: iter_time=8.231e-05, forward_time=0.146, loss_ctc=77.615, loss_att=66.376, acc=0.699, loss=69.748, backward_time=0.319, grad_norm=47.901, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.136e-04, train_time=1.765 +[gpua002:0/64] 2023-12-06 09:56:46,219 (trainer:737) INFO: 13epoch:train:5901-6000batch: iter_time=8.468e-05, forward_time=0.147, loss_ctc=85.710, loss_att=65.035, acc=0.682, loss=71.238, backward_time=0.290, grad_norm=62.798, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.136e-04, train_time=1.535 +[gpua002:0/64] 2023-12-06 09:59:05,404 (trainer:737) INFO: 13epoch:train:6001-6100batch: iter_time=7.978e-05, forward_time=0.146, loss_ctc=70.330, loss_att=59.729, acc=0.698, loss=62.909, backward_time=0.286, grad_norm=41.594, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.136e-04, train_time=1.392 +[gpua002:0/64] 2023-12-06 10:01:20,577 (trainer:737) INFO: 13epoch:train:6101-6200batch: iter_time=7.786e-05, forward_time=0.164, loss_ctc=72.941, loss_att=62.793, acc=0.676, loss=65.837, backward_time=0.283, grad_norm=50.402, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.135e-04, train_time=1.352 +[gpua002:0/64] 2023-12-06 10:02:46,931 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-06 10:03:05,957 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 10:03:09,509 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 10:03:09,509 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-06 10:03:09,512 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 10:09:31,020 (trainer:737) INFO: 13epoch:train:6201-6300batch: iter_time=3.517, forward_time=0.214, loss_ctc=76.749, loss_att=67.536, acc=0.698, loss=70.300, backward_time=0.295, grad_norm=49.356, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.135e-04, train_time=4.904 +[gpua002:0/64] 2023-12-06 10:11:32,271 (trainer:737) INFO: 13epoch:train:6301-6400batch: iter_time=7.947e-05, forward_time=0.148, loss_ctc=78.478, loss_att=67.043, acc=0.696, loss=70.473, backward_time=0.279, grad_norm=48.094, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.135e-04, train_time=1.212 +[gpua002:0/64] 2023-12-06 10:13:54,930 (trainer:737) INFO: 13epoch:train:6401-6500batch: iter_time=8.307e-05, forward_time=0.146, loss_ctc=75.187, loss_att=68.390, acc=0.682, loss=70.429, backward_time=0.288, grad_norm=45.770, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.135e-04, train_time=1.426 +[gpua002:0/64] 2023-12-06 10:16:20,200 (trainer:737) INFO: 13epoch:train:6501-6600batch: iter_time=8.445e-05, forward_time=0.146, loss_ctc=89.347, loss_att=68.901, acc=0.688, loss=75.035, backward_time=0.294, grad_norm=53.057, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.134e-04, train_time=1.452 +[gpua002:0/64] 2023-12-06 10:18:46,124 (trainer:737) INFO: 13epoch:train:6601-6700batch: iter_time=7.990e-05, forward_time=0.146, loss_ctc=72.151, loss_att=61.187, acc=0.683, loss=64.477, backward_time=0.299, grad_norm=47.292, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.134e-04, train_time=1.459 +[gpua002:0/64] 2023-12-06 10:21:17,212 (trainer:737) INFO: 13epoch:train:6701-6800batch: iter_time=7.903e-05, forward_time=0.146, loss_ctc=68.676, loss_att=58.209, acc=0.676, loss=61.349, backward_time=0.294, grad_norm=47.727, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.134e-04, train_time=1.510 +[gpua002:0/64] 2023-12-06 10:24:20,396 (trainer:737) INFO: 13epoch:train:6801-6900batch: iter_time=7.514e-05, forward_time=0.271, loss_ctc=74.118, loss_att=65.245, acc=0.685, loss=67.907, backward_time=0.330, grad_norm=47.761, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.143, optim0_lr0=1.133e-04, train_time=1.832 +[gpua002:0/64] 2023-12-06 10:27:03,857 (trainer:737) INFO: 13epoch:train:6901-7000batch: iter_time=7.559e-05, forward_time=0.169, loss_ctc=80.635, loss_att=64.054, acc=0.692, loss=69.028, backward_time=0.318, grad_norm=49.547, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.133e-04, train_time=1.634 +[gpua002:0/64] 2023-12-06 10:29:55,037 (trainer:737) INFO: 13epoch:train:7001-7100batch: iter_time=7.629e-05, forward_time=0.147, loss_ctc=72.902, loss_att=58.797, acc=0.704, loss=63.028, backward_time=0.325, grad_norm=41.723, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.133e-04, train_time=1.712 +[gpua002:0/64] 2023-12-06 10:32:13,801 (trainer:737) INFO: 13epoch:train:7101-7200batch: iter_time=7.774e-05, forward_time=0.147, loss_ctc=77.784, loss_att=65.091, acc=0.692, loss=68.899, backward_time=0.292, grad_norm=46.586, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.132e-04, train_time=1.387 +[gpua002:0/64] 2023-12-06 10:34:29,529 (trainer:737) INFO: 13epoch:train:7201-7300batch: iter_time=7.589e-05, forward_time=0.148, loss_ctc=86.914, loss_att=72.343, acc=0.669, loss=76.714, backward_time=0.284, grad_norm=60.313, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.132e-04, train_time=1.356 +[gpua002:0/64] 2023-12-06 10:37:02,237 (trainer:737) INFO: 13epoch:train:7301-7400batch: iter_time=7.771e-05, forward_time=0.146, loss_ctc=69.256, loss_att=55.984, acc=0.700, loss=59.966, backward_time=0.288, grad_norm=43.901, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.132e-04, train_time=1.527 +[gpua002:0/64] 2023-12-06 10:39:12,951 (trainer:737) INFO: 13epoch:train:7401-7500batch: iter_time=7.355e-05, forward_time=0.146, loss_ctc=72.279, loss_att=61.781, acc=0.698, loss=64.930, backward_time=0.279, grad_norm=46.579, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.132e-04, train_time=1.307 +[gpua002:0/64] 2023-12-06 10:39:32,979 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-06 10:39:52,264 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 10:39:55,884 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 10:39:55,885 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-06 10:39:55,888 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 10:46:24,378 (trainer:737) INFO: 13epoch:train:7501-7600batch: iter_time=2.773, forward_time=0.198, loss_ctc=79.512, loss_att=69.235, acc=0.680, loss=72.318, backward_time=0.285, grad_norm=53.158, clip=100.000, loss_scale=8.762e+31, optim_step_time=0.134, optim0_lr0=1.131e-04, train_time=4.314 +[gpua002:0/64] 2023-12-06 10:46:59,768 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 10:48:47,251 (trainer:737) INFO: 13epoch:train:7601-7700batch: iter_time=8.243e-05, forward_time=0.146, loss_ctc=77.792, loss_att=74.106, acc=0.679, loss=75.212, backward_time=0.296, grad_norm=47.033, clip=100.000, loss_scale=1.041e+32, optim_step_time=0.133, optim0_lr0=1.131e-04, train_time=1.429 +[gpua002:0/64] 2023-12-06 10:51:03,779 (trainer:737) INFO: 13epoch:train:7701-7800batch: iter_time=8.514e-05, forward_time=0.147, loss_ctc=78.748, loss_att=66.379, acc=0.664, loss=70.090, backward_time=0.287, grad_norm=49.631, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.131e-04, train_time=1.365 +[gpua002:0/64] 2023-12-06 10:54:04,066 (trainer:737) INFO: 13epoch:train:7801-7900batch: iter_time=8.341e-05, forward_time=0.146, loss_ctc=83.303, loss_att=66.000, acc=0.689, loss=71.191, backward_time=0.327, grad_norm=53.609, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.130e-04, train_time=1.803 +[gpua002:0/64] 2023-12-06 10:56:33,570 (trainer:737) INFO: 13epoch:train:7901-8000batch: iter_time=8.039e-05, forward_time=0.146, loss_ctc=70.013, loss_att=58.483, acc=0.667, loss=61.942, backward_time=0.295, grad_norm=50.915, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.130e-04, train_time=1.495 +[gpua002:0/64] 2023-12-06 10:59:25,031 (trainer:737) INFO: 13epoch:train:8001-8100batch: iter_time=5.642e-04, forward_time=0.266, loss_ctc=71.875, loss_att=63.618, acc=0.667, loss=66.095, backward_time=0.316, grad_norm=50.796, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=1.130e-04, train_time=1.714 +[gpua002:0/64] 2023-12-06 11:02:21,346 (trainer:737) INFO: 13epoch:train:8101-8200batch: iter_time=7.906e-05, forward_time=0.146, loss_ctc=73.927, loss_att=59.408, acc=0.696, loss=63.763, backward_time=0.320, grad_norm=46.801, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.129e-04, train_time=1.763 +[gpua002:0/64] 2023-12-06 11:05:09,430 (trainer:737) INFO: 13epoch:train:8201-8300batch: iter_time=7.520e-05, forward_time=0.146, loss_ctc=78.297, loss_att=62.322, acc=0.679, loss=67.114, backward_time=0.315, grad_norm=47.193, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.129e-04, train_time=1.681 +[gpua002:0/64] 2023-12-06 11:07:48,380 (trainer:737) INFO: 13epoch:train:8301-8400batch: iter_time=8.124e-05, forward_time=0.146, loss_ctc=76.486, loss_att=65.975, acc=0.695, loss=69.128, backward_time=0.328, grad_norm=44.452, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.129e-04, train_time=1.589 +[gpua002:0/64] 2023-12-06 11:10:09,479 (trainer:737) INFO: 13epoch:train:8401-8500batch: iter_time=8.258e-05, forward_time=0.146, loss_ctc=83.763, loss_att=63.389, acc=0.682, loss=69.501, backward_time=0.290, grad_norm=54.455, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.129e-04, train_time=1.411 +[gpua002:0/64] 2023-12-06 11:12:32,582 (trainer:737) INFO: 13epoch:train:8501-8600batch: iter_time=8.240e-05, forward_time=0.147, loss_ctc=71.440, loss_att=60.490, acc=0.690, loss=63.775, backward_time=0.287, grad_norm=42.846, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.128e-04, train_time=1.431 +[gpua002:0/64] 2023-12-06 11:15:15,855 (trainer:737) INFO: 13epoch:train:8601-8700batch: iter_time=8.220e-05, forward_time=0.192, loss_ctc=71.885, loss_att=61.924, acc=0.674, loss=64.912, backward_time=0.379, grad_norm=52.421, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=1.128e-04, train_time=1.632 +[gpua002:0/64] 2023-12-06 11:16:39,300 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-06 11:16:58,782 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 11:17:02,362 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 11:17:02,362 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-06 11:17:02,366 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 11:25:20,910 (trainer:737) INFO: 13epoch:train:8701-8800batch: iter_time=3.078, forward_time=0.150, loss_ctc=77.155, loss_att=67.673, acc=0.692, loss=70.517, backward_time=0.282, grad_norm=48.563, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.128e-04, train_time=6.051 +[gpua002:0/64] 2023-12-06 11:27:28,675 (trainer:737) INFO: 13epoch:train:8801-8900batch: iter_time=7.859e-05, forward_time=0.146, loss_ctc=78.046, loss_att=67.393, acc=0.684, loss=70.589, backward_time=0.287, grad_norm=48.779, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.127e-04, train_time=1.277 +[gpua002:0/64] 2023-12-06 11:30:19,749 (trainer:737) INFO: 13epoch:train:8901-9000batch: iter_time=8.201e-05, forward_time=0.146, loss_ctc=73.983, loss_att=67.544, acc=0.675, loss=69.476, backward_time=0.310, grad_norm=46.032, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.127e-04, train_time=1.711 +[gpua002:0/64] 2023-12-06 11:32:33,716 (trainer:737) INFO: 13epoch:train:9001-9100batch: iter_time=8.167e-05, forward_time=0.146, loss_ctc=87.472, loss_att=67.032, acc=0.682, loss=73.164, backward_time=0.288, grad_norm=51.965, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.127e-04, train_time=1.339 +[gpua002:0/64] 2023-12-06 11:35:06,169 (trainer:737) INFO: 13epoch:train:9101-9200batch: iter_time=8.560e-05, forward_time=0.183, loss_ctc=71.730, loss_att=59.081, acc=0.677, loss=62.876, backward_time=0.294, grad_norm=50.433, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.126e-04, train_time=1.524 +[gpua002:0/64] 2023-12-06 11:37:34,237 (trainer:737) INFO: 13epoch:train:9201-9300batch: iter_time=8.085e-05, forward_time=0.146, loss_ctc=68.025, loss_att=56.489, acc=0.671, loss=59.950, backward_time=0.285, grad_norm=49.035, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.126e-04, train_time=1.480 +[gpua002:0/64] 2023-12-06 11:40:24,968 (trainer:737) INFO: 13epoch:train:9301-9400batch: iter_time=7.816e-05, forward_time=0.193, loss_ctc=73.645, loss_att=64.874, acc=0.670, loss=67.505, backward_time=0.328, grad_norm=46.145, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.126e-04, train_time=1.707 +[gpua002:0/64] 2023-12-06 11:43:03,918 (trainer:737) INFO: 13epoch:train:9401-9500batch: iter_time=7.363e-05, forward_time=0.148, loss_ctc=79.941, loss_att=63.900, acc=0.678, loss=68.713, backward_time=0.295, grad_norm=51.940, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.126e-04, train_time=1.589 +[gpua002:0/64] 2023-12-06 11:45:16,516 (trainer:737) INFO: 13epoch:train:9501-9600batch: iter_time=7.757e-05, forward_time=0.147, loss_ctc=72.508, loss_att=58.999, acc=0.691, loss=63.052, backward_time=0.290, grad_norm=44.255, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.125e-04, train_time=1.326 +[gpua002:0/64] 2023-12-06 11:47:51,918 (trainer:737) INFO: 13epoch:train:9601-9700batch: iter_time=8.555e-05, forward_time=0.146, loss_ctc=76.652, loss_att=64.628, acc=0.686, loss=68.235, backward_time=0.297, grad_norm=45.665, clip=100.000, loss_scale=1.387e+32, optim_step_time=0.133, optim0_lr0=1.125e-04, train_time=1.554 +[gpua002:0/64] 2023-12-06 11:50:37,632 (trainer:737) INFO: 13epoch:train:9701-9800batch: iter_time=8.154e-05, forward_time=0.191, loss_ctc=86.006, loss_att=72.189, acc=0.655, loss=76.335, backward_time=0.354, grad_norm=64.913, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.143, optim0_lr0=1.125e-04, train_time=1.657 +[gpua002:0/64] 2023-12-06 11:52:45,428 (trainer:737) INFO: 13epoch:train:9801-9900batch: iter_time=8.027e-05, forward_time=0.146, loss_ctc=67.928, loss_att=55.182, acc=0.692, loss=59.006, backward_time=0.285, grad_norm=46.729, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.124e-04, train_time=1.278 +[gpua002:0/64] 2023-12-06 11:55:24,354 (trainer:737) INFO: 13epoch:train:9901-10000batch: iter_time=7.981e-05, forward_time=0.146, loss_ctc=70.966, loss_att=60.588, acc=0.695, loss=63.702, backward_time=0.306, grad_norm=42.581, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.124e-04, train_time=1.589 +[gpua002:0/64] 2023-12-06 11:55:44,382 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-06 11:56:03,832 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 11:56:07,550 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 11:56:07,550 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-06 11:56:08,115 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 12:02:34,035 (trainer:737) INFO: 13epoch:train:10001-10100batch: iter_time=2.941, forward_time=0.172, loss_ctc=79.156, loss_att=69.031, acc=0.682, loss=72.069, backward_time=0.283, grad_norm=52.423, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.124e-04, train_time=4.296 +[gpua002:0/64] 2023-12-06 12:04:44,304 (trainer:737) INFO: 13epoch:train:10101-10200batch: iter_time=7.926e-05, forward_time=0.147, loss_ctc=77.307, loss_att=73.604, acc=0.690, loss=74.715, backward_time=0.292, grad_norm=47.636, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.123e-04, train_time=1.303 +[gpua002:0/64] 2023-12-06 12:05:24,176 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 12:07:03,130 (trainer:737) INFO: 13epoch:train:10201-10300batch: iter_time=8.021e-05, forward_time=0.147, loss_ctc=77.704, loss_att=65.840, acc=0.679, loss=69.399, backward_time=0.284, grad_norm=47.437, clip=100.000, loss_scale=1.057e+32, optim_step_time=0.134, optim0_lr0=1.123e-04, train_time=1.388 +[gpua002:0/64] 2023-12-06 12:09:53,646 (trainer:737) INFO: 13epoch:train:10301-10400batch: iter_time=8.223e-05, forward_time=0.147, loss_ctc=81.293, loss_att=64.728, acc=0.703, loss=69.698, backward_time=0.293, grad_norm=45.844, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.123e-04, train_time=1.705 +[gpua002:0/64] 2023-12-06 12:12:02,558 (trainer:737) INFO: 13epoch:train:10401-10500batch: iter_time=8.108e-05, forward_time=0.147, loss_ctc=70.600, loss_att=61.790, acc=0.671, loss=64.433, backward_time=0.282, grad_norm=47.474, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.123e-04, train_time=1.289 +[gpua002:0/64] 2023-12-06 12:14:32,470 (trainer:737) INFO: 13epoch:train:10501-10600batch: iter_time=8.430e-05, forward_time=0.148, loss_ctc=71.082, loss_att=63.338, acc=0.679, loss=65.661, backward_time=0.320, grad_norm=51.930, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.122e-04, train_time=1.499 +[gpua002:0/64] 2023-12-06 12:17:02,794 (trainer:737) INFO: 13epoch:train:10601-10700batch: iter_time=4.763e-04, forward_time=0.247, loss_ctc=73.498, loss_att=59.109, acc=0.707, loss=63.426, backward_time=0.311, grad_norm=45.885, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.146, optim0_lr0=1.122e-04, train_time=1.503 +[gpua002:0/64] 2023-12-06 12:19:58,891 (trainer:737) INFO: 13epoch:train:10701-10800batch: iter_time=8.182e-05, forward_time=0.162, loss_ctc=77.496, loss_att=62.825, acc=0.688, loss=67.226, backward_time=0.315, grad_norm=51.683, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.122e-04, train_time=1.761 +[gpua002:0/64] 2023-12-06 12:22:21,164 (trainer:737) INFO: 13epoch:train:10801-10900batch: iter_time=8.216e-05, forward_time=0.146, loss_ctc=75.853, loss_att=65.836, acc=0.702, loss=68.841, backward_time=0.291, grad_norm=44.266, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.121e-04, train_time=1.422 +[gpua002:0/64] 2023-12-06 12:25:08,720 (trainer:737) INFO: 13epoch:train:10901-11000batch: iter_time=7.937e-05, forward_time=0.146, loss_ctc=84.207, loss_att=63.600, acc=0.688, loss=69.782, backward_time=0.329, grad_norm=60.335, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.121e-04, train_time=1.675 +[gpua002:0/64] 2023-12-06 12:27:33,518 (trainer:737) INFO: 13epoch:train:11001-11100batch: iter_time=8.058e-05, forward_time=0.146, loss_ctc=69.439, loss_att=59.273, acc=0.702, loss=62.323, backward_time=0.301, grad_norm=40.930, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.121e-04, train_time=1.448 +[gpua002:0/64] 2023-12-06 12:30:04,698 (trainer:737) INFO: 13epoch:train:11101-11200batch: iter_time=8.107e-05, forward_time=0.146, loss_ctc=70.968, loss_att=61.562, acc=0.683, loss=64.384, backward_time=0.290, grad_norm=48.249, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.121e-04, train_time=1.512 +[gpua002:0/64] 2023-12-06 12:31:55,431 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-06 12:32:14,671 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 12:32:18,221 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 12:32:18,221 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-06 12:32:18,224 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 12:38:36,917 (trainer:737) INFO: 13epoch:train:11201-11300batch: iter_time=3.452, forward_time=0.193, loss_ctc=75.982, loss_att=67.496, acc=0.695, loss=70.042, backward_time=0.303, grad_norm=51.436, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.120e-04, train_time=5.122 +[gpua002:0/64] 2023-12-06 12:40:37,873 (trainer:737) INFO: 13epoch:train:11301-11400batch: iter_time=7.729e-05, forward_time=0.149, loss_ctc=77.612, loss_att=67.187, acc=0.684, loss=70.314, backward_time=0.282, grad_norm=51.616, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.120e-04, train_time=1.209 +[gpua002:0/64] 2023-12-06 12:43:01,513 (trainer:737) INFO: 13epoch:train:11401-11500batch: iter_time=8.048e-05, forward_time=0.146, loss_ctc=73.459, loss_att=68.192, acc=0.676, loss=69.772, backward_time=0.291, grad_norm=46.124, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.120e-04, train_time=1.436 +[gpua002:0/64] 2023-12-06 12:46:05,830 (trainer:737) INFO: 13epoch:train:11501-11600batch: iter_time=8.243e-05, forward_time=0.163, loss_ctc=88.220, loss_att=67.586, acc=0.681, loss=73.776, backward_time=0.326, grad_norm=54.219, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=1.119e-04, train_time=1.843 +[gpua002:0/64] 2023-12-06 12:49:15,687 (trainer:737) INFO: 13epoch:train:11601-11700batch: iter_time=7.620e-05, forward_time=0.208, loss_ctc=71.572, loss_att=60.041, acc=0.673, loss=63.500, backward_time=0.425, grad_norm=47.470, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=1.119e-04, train_time=1.898 +[gpua002:0/64] 2023-12-06 12:51:51,027 (trainer:737) INFO: 13epoch:train:11701-11800batch: iter_time=7.877e-05, forward_time=0.146, loss_ctc=67.326, loss_att=56.168, acc=0.675, loss=59.515, backward_time=0.299, grad_norm=47.599, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.119e-04, train_time=1.553 +[gpua002:0/64] 2023-12-06 12:54:24,721 (trainer:737) INFO: 13epoch:train:11801-11900batch: iter_time=7.747e-05, forward_time=0.146, loss_ctc=72.577, loss_att=64.013, acc=0.679, loss=66.583, backward_time=0.296, grad_norm=48.827, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.118e-04, train_time=1.537 +[gpua002:0/64] 2023-12-06 12:57:04,002 (trainer:737) INFO: 13epoch:train:11901-12000batch: iter_time=7.949e-05, forward_time=0.200, loss_ctc=79.184, loss_att=63.378, acc=0.683, loss=68.120, backward_time=0.333, grad_norm=52.129, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.145, optim0_lr0=1.118e-04, train_time=1.593 +[gpua002:0/64] 2023-12-06 13:00:14,899 (trainer:737) INFO: 13epoch:train:12001-12100batch: iter_time=7.145e-05, forward_time=0.146, loss_ctc=71.537, loss_att=57.771, acc=0.700, loss=61.901, backward_time=0.310, grad_norm=45.668, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.118e-04, train_time=1.908 +[gpua002:0/64] 2023-12-06 13:03:01,970 (trainer:737) INFO: 13epoch:train:12101-12200batch: iter_time=7.772e-05, forward_time=0.147, loss_ctc=76.057, loss_att=63.315, acc=0.693, loss=67.138, backward_time=0.325, grad_norm=47.313, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.118e-04, train_time=1.671 +[gpua002:0/64] 2023-12-06 13:05:15,183 (trainer:737) INFO: 13epoch:train:12201-12300batch: iter_time=7.645e-05, forward_time=0.146, loss_ctc=84.672, loss_att=70.975, acc=0.663, loss=75.084, backward_time=0.284, grad_norm=57.725, clip=100.000, loss_scale=1.371e+32, optim_step_time=0.133, optim0_lr0=1.117e-04, train_time=1.332 +[gpua002:0/64] 2023-12-06 13:07:32,997 (trainer:737) INFO: 13epoch:train:12301-12400batch: iter_time=7.610e-05, forward_time=0.146, loss_ctc=68.194, loss_att=54.610, acc=0.700, loss=58.685, backward_time=0.310, grad_norm=50.037, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.117e-04, train_time=1.378 +[gpua002:0/64] 2023-12-06 13:09:56,537 (trainer:737) INFO: 13epoch:train:12401-12500batch: iter_time=4.419e-04, forward_time=0.165, loss_ctc=70.987, loss_att=59.619, acc=0.704, loss=63.030, backward_time=0.301, grad_norm=44.626, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.117e-04, train_time=1.435 +[gpua002:0/64] 2023-12-06 13:10:16,566 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-06 13:10:35,473 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 13:10:39,039 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 13:10:39,039 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-06 13:10:39,042 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 13:17:30,527 (trainer:737) INFO: 13epoch:train:12501-12600batch: iter_time=3.056, forward_time=0.205, loss_ctc=78.678, loss_att=68.502, acc=0.689, loss=71.555, backward_time=0.303, grad_norm=56.119, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.116e-04, train_time=4.540 +[gpua002:0/64] 2023-12-06 13:19:37,841 (trainer:737) INFO: 13epoch:train:12601-12700batch: iter_time=8.089e-05, forward_time=0.148, loss_ctc=77.303, loss_att=72.690, acc=0.695, loss=74.074, backward_time=0.297, grad_norm=47.032, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.116e-04, train_time=1.273 +[gpua002:0/64] 2023-12-06 13:21:59,855 (trainer:737) INFO: 13epoch:train:12701-12800batch: iter_time=8.397e-05, forward_time=0.215, loss_ctc=78.360, loss_att=65.595, acc=0.680, loss=69.425, backward_time=0.388, grad_norm=48.259, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.145, optim0_lr0=1.116e-04, train_time=1.420 +[gpua002:0/64] 2023-12-06 13:24:30,693 (trainer:737) INFO: 13epoch:train:12801-12900batch: iter_time=8.206e-05, forward_time=0.147, loss_ctc=81.684, loss_att=64.603, acc=0.705, loss=69.727, backward_time=0.297, grad_norm=47.082, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.116e-04, train_time=1.508 +[gpua002:0/64] 2023-12-06 13:26:56,741 (trainer:737) INFO: 13epoch:train:12901-13000batch: iter_time=8.106e-05, forward_time=0.147, loss_ctc=69.411, loss_att=61.074, acc=0.672, loss=63.576, backward_time=0.296, grad_norm=50.157, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.115e-04, train_time=1.460 +[gpua002:0/64] 2023-12-06 13:29:35,219 (trainer:737) INFO: 13epoch:train:13001-13100batch: iter_time=8.061e-05, forward_time=0.164, loss_ctc=70.202, loss_att=62.712, acc=0.682, loss=64.959, backward_time=0.321, grad_norm=47.809, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.115e-04, train_time=1.584 +[gpua002:0/64] 2023-12-06 13:32:18,162 (trainer:737) INFO: 13epoch:train:13101-13200batch: iter_time=8.233e-05, forward_time=0.147, loss_ctc=73.217, loss_att=59.076, acc=0.709, loss=63.318, backward_time=0.295, grad_norm=46.550, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.115e-04, train_time=1.629 +[gpua002:0/64] 2023-12-06 13:35:23,456 (trainer:737) INFO: 13epoch:train:13201-13300batch: iter_time=8.622e-05, forward_time=0.239, loss_ctc=77.490, loss_att=62.505, acc=0.690, loss=67.001, backward_time=0.369, grad_norm=49.262, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.149, optim0_lr0=1.114e-04, train_time=1.853 +[gpua002:0/64] 2023-12-06 13:37:46,132 (trainer:737) INFO: 13epoch:train:13301-13400batch: iter_time=8.052e-05, forward_time=0.147, loss_ctc=75.425, loss_att=65.421, acc=0.705, loss=68.422, backward_time=0.316, grad_norm=46.211, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.114e-04, train_time=1.427 +[gpua002:0/64] 2023-12-06 13:39:49,277 (trainer:737) INFO: 13epoch:train:13401-13500batch: iter_time=7.937e-05, forward_time=0.147, loss_ctc=83.528, loss_att=63.999, acc=0.688, loss=69.858, backward_time=0.280, grad_norm=62.072, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.114e-04, train_time=1.231 +[gpua002:0/64] 2023-12-06 13:42:28,548 (trainer:737) INFO: 13epoch:train:13501-13600batch: iter_time=7.832e-05, forward_time=0.244, loss_ctc=70.129, loss_att=59.248, acc=0.703, loss=62.512, backward_time=0.379, grad_norm=45.343, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.114e-04, train_time=1.591 +[gpua002:0/64] 2023-12-06 13:45:52,099 (trainer:737) INFO: 13epoch:train:13601-13700batch: iter_time=8.283e-05, forward_time=0.147, loss_ctc=70.415, loss_att=61.706, acc=0.682, loss=64.319, backward_time=0.307, grad_norm=49.291, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.113e-04, train_time=2.037 +[gpua002:0/64] 2023-12-06 13:47:20,354 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-06 13:47:39,659 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 13:47:43,182 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 13:47:43,182 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-06 13:47:43,185 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 13:59:08,390 (trainer:737) INFO: 13epoch:train:13701-13800batch: iter_time=3.259, forward_time=0.146, loss_ctc=75.590, loss_att=67.647, acc=0.696, loss=70.030, backward_time=0.282, grad_norm=46.977, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.113e-04, train_time=7.963 +[gpua002:0/64] 2023-12-06 14:01:09,852 (trainer:737) INFO: 13epoch:train:13801-13900batch: iter_time=7.547e-05, forward_time=0.145, loss_ctc=77.665, loss_att=67.090, acc=0.687, loss=70.263, backward_time=0.279, grad_norm=52.011, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.113e-04, train_time=1.214 +[gpua002:0/64] 2023-12-06 14:03:50,699 (trainer:737) INFO: 13epoch:train:13901-14000batch: iter_time=7.565e-05, forward_time=0.148, loss_ctc=73.146, loss_att=67.386, acc=0.678, loss=69.114, backward_time=0.346, grad_norm=46.861, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.112e-04, train_time=1.608 +[gpua002:0/64] 2023-12-06 14:06:05,773 (trainer:737) INFO: 13epoch:train:14001-14100batch: iter_time=8.031e-05, forward_time=0.166, loss_ctc=87.500, loss_att=67.096, acc=0.685, loss=73.217, backward_time=0.283, grad_norm=53.089, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.112e-04, train_time=1.350 +[gpua002:0/64] 2023-12-06 14:08:30,354 (trainer:737) INFO: 13epoch:train:14101-14200batch: iter_time=8.267e-05, forward_time=0.204, loss_ctc=71.056, loss_att=59.146, acc=0.678, loss=62.719, backward_time=0.355, grad_norm=48.276, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.112e-04, train_time=1.445 +[gpua002:0/64] 2023-12-06 14:10:59,764 (trainer:737) INFO: 13epoch:train:14201-14300batch: iter_time=7.773e-05, forward_time=0.147, loss_ctc=66.998, loss_att=55.521, acc=0.679, loss=58.964, backward_time=0.300, grad_norm=48.762, clip=100.000, loss_scale=2.742e+32, optim_step_time=0.134, optim0_lr0=1.112e-04, train_time=1.495 +[gpua002:0/64] 2023-12-06 14:14:36,896 (trainer:737) INFO: 13epoch:train:14301-14400batch: iter_time=7.860e-05, forward_time=0.147, loss_ctc=73.112, loss_att=63.840, acc=0.680, loss=66.622, backward_time=0.448, grad_norm=47.002, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.111e-04, train_time=2.171 +[gpua002:0/64] 2023-12-06 14:17:31,127 (trainer:737) INFO: 13epoch:train:14401-14500batch: iter_time=7.664e-05, forward_time=0.147, loss_ctc=79.010, loss_att=63.271, acc=0.684, loss=67.993, backward_time=0.298, grad_norm=50.413, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.111e-04, train_time=1.742 +[gpua002:0/64] 2023-12-06 14:20:11,250 (trainer:737) INFO: 13epoch:train:14501-14600batch: iter_time=7.497e-05, forward_time=0.147, loss_ctc=71.867, loss_att=57.775, acc=0.701, loss=62.002, backward_time=0.315, grad_norm=43.561, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.111e-04, train_time=1.601 +[gpua002:0/64] 2023-12-06 14:22:42,354 (trainer:737) INFO: 13epoch:train:14601-14700batch: iter_time=7.918e-05, forward_time=0.146, loss_ctc=76.026, loss_att=63.133, acc=0.695, loss=67.001, backward_time=0.287, grad_norm=45.897, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.110e-04, train_time=1.511 +[gpua002:0/64] 2023-12-06 14:25:20,212 (trainer:737) INFO: 13epoch:train:14701-14800batch: iter_time=8.171e-05, forward_time=0.291, loss_ctc=84.103, loss_att=70.662, acc=0.664, loss=74.694, backward_time=0.316, grad_norm=60.364, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.140, optim0_lr0=1.110e-04, train_time=1.578 +[gpua002:0/64] 2023-12-06 14:25:36,005 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 14:27:49,831 (trainer:737) INFO: 13epoch:train:14801-14900batch: iter_time=7.804e-05, forward_time=0.148, loss_ctc=67.116, loss_att=54.160, acc=0.702, loss=58.047, backward_time=0.295, grad_norm=45.444, clip=100.000, loss_scale=1.819e+32, optim_step_time=0.135, optim0_lr0=1.110e-04, train_time=1.496 +[gpua002:0/64] 2023-12-06 14:30:31,734 (trainer:737) INFO: 13epoch:train:14901-15000batch: iter_time=7.857e-05, forward_time=0.148, loss_ctc=70.667, loss_att=59.402, acc=0.705, loss=62.781, backward_time=0.333, grad_norm=39.903, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.110e-04, train_time=1.619 +[gpua002:0/64] 2023-12-06 14:57:34,013 (trainer:343) INFO: 13epoch results: [train] iter_time=0.243, forward_time=0.160, loss_ctc=76.709, loss_att=64.469, acc=0.683, loss=68.141, backward_time=0.308, grad_norm=49.380, clip=100.000, loss_scale=1.403e+32, optim_step_time=0.135, optim0_lr0=1.132e-04, train_time=1.828, time=7 hours, 37 minutes and 31.13 seconds, total_count=195000, gpu_max_cached_mem_GB=37.561, [valid] loss_ctc=46.963, cer_ctc=0.240, loss_att=41.203, acc=0.657, cer=0.379, wer=0.997, loss=42.931, time=26 minutes and 37.86 seconds, total_count=60723, gpu_max_cached_mem_GB=37.561 +[gpua002:0/64] 2023-12-06 14:57:53,402 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-06 14:57:53,410 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/8epoch.pth +[gpua002:0/64] 2023-12-06 14:57:53,410 (trainer:272) INFO: 14/40epoch started. Estimated time to finish: 1 week, 3 days and 14 hours +[gpua002:0/64] 2023-12-06 14:57:53,423 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-06 14:58:12,331 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 14:58:15,986 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 14:58:15,986 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-06 14:58:15,990 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 15:04:56,648 (trainer:737) INFO: 14epoch:train:1-100batch: iter_time=2.637, forward_time=0.183, loss_ctc=71.212, loss_att=55.223, acc=0.691, loss=60.020, backward_time=0.287, grad_norm=60.032, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.109e-04, train_time=4.232 +[gpua002:0/64] 2023-12-06 15:07:01,497 (trainer:737) INFO: 14epoch:train:101-200batch: iter_time=8.732e-05, forward_time=0.147, loss_ctc=74.957, loss_att=58.071, acc=0.679, loss=63.137, backward_time=0.288, grad_norm=54.187, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.109e-04, train_time=1.248 +[gpua002:0/64] 2023-12-06 15:09:02,256 (trainer:737) INFO: 14epoch:train:201-300batch: iter_time=8.648e-05, forward_time=0.147, loss_ctc=72.155, loss_att=60.810, acc=0.704, loss=64.213, backward_time=0.283, grad_norm=47.624, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.109e-04, train_time=1.207 +[gpua002:0/64] 2023-12-06 15:11:06,702 (trainer:737) INFO: 14epoch:train:301-400batch: iter_time=7.807e-05, forward_time=0.148, loss_ctc=64.385, loss_att=59.534, acc=0.693, loss=60.990, backward_time=0.286, grad_norm=41.994, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.108e-04, train_time=1.244 +[gpua002:0/64] 2023-12-06 15:13:25,750 (trainer:737) INFO: 14epoch:train:401-500batch: iter_time=8.208e-05, forward_time=0.148, loss_ctc=68.933, loss_att=61.415, acc=0.689, loss=63.670, backward_time=0.299, grad_norm=43.620, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.108e-04, train_time=1.390 +[gpua002:0/64] 2023-12-06 15:15:54,015 (trainer:737) INFO: 14epoch:train:501-600batch: iter_time=8.122e-05, forward_time=0.150, loss_ctc=74.111, loss_att=56.232, acc=0.692, loss=61.596, backward_time=0.306, grad_norm=49.561, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.108e-04, train_time=1.482 +[gpua002:0/64] 2023-12-06 15:18:29,161 (trainer:737) INFO: 14epoch:train:601-700batch: iter_time=7.843e-05, forward_time=0.153, loss_ctc=75.298, loss_att=57.398, acc=0.691, loss=62.768, backward_time=0.329, grad_norm=52.720, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.108e-04, train_time=1.551 +[gpua002:0/64] 2023-12-06 15:21:05,110 (trainer:737) INFO: 14epoch:train:701-800batch: iter_time=8.036e-05, forward_time=0.198, loss_ctc=84.932, loss_att=71.549, acc=0.674, loss=75.564, backward_time=0.338, grad_norm=48.166, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.107e-04, train_time=1.559 +[gpua002:0/64] 2023-12-06 15:23:37,891 (trainer:737) INFO: 14epoch:train:801-900batch: iter_time=8.075e-05, forward_time=0.160, loss_ctc=79.134, loss_att=68.409, acc=0.664, loss=71.626, backward_time=0.303, grad_norm=48.268, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.107e-04, train_time=1.528 +[gpua002:0/64] 2023-12-06 15:26:10,951 (trainer:737) INFO: 14epoch:train:901-1000batch: iter_time=7.994e-05, forward_time=0.146, loss_ctc=72.116, loss_att=62.085, acc=0.678, loss=65.094, backward_time=0.307, grad_norm=54.270, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.107e-04, train_time=1.530 +[gpua002:0/64] 2023-12-06 15:29:23,184 (trainer:737) INFO: 14epoch:train:1001-1100batch: iter_time=7.993e-05, forward_time=0.148, loss_ctc=71.728, loss_att=54.963, acc=0.689, loss=59.992, backward_time=0.404, grad_norm=47.993, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.106e-04, train_time=1.922 +[gpua002:0/64] 2023-12-06 15:34:32,718 (trainer:737) INFO: 14epoch:train:1101-1200batch: iter_time=0.001, forward_time=0.171, loss_ctc=76.489, loss_att=58.123, acc=0.688, loss=63.632, backward_time=0.530, grad_norm=50.302, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.147, optim0_lr0=1.106e-04, train_time=3.095 +[gpua002:0/64] 2023-12-06 15:36:11,424 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-06 15:36:30,623 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 15:36:34,198 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 15:36:34,198 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-06 15:36:34,201 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 15:53:19,129 (trainer:737) INFO: 14epoch:train:1201-1300batch: iter_time=6.741, forward_time=0.169, loss_ctc=73.590, loss_att=61.609, acc=0.694, loss=65.203, backward_time=0.317, grad_norm=47.662, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.106e-04, train_time=11.264 +[gpua002:0/64] 2023-12-06 15:55:21,343 (trainer:737) INFO: 14epoch:train:1301-1400batch: iter_time=7.240e-05, forward_time=0.146, loss_ctc=76.403, loss_att=56.548, acc=0.687, loss=62.505, backward_time=0.279, grad_norm=53.185, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.106e-04, train_time=1.222 +[gpua002:0/64] 2023-12-06 15:58:50,347 (trainer:737) INFO: 14epoch:train:1401-1500batch: iter_time=7.713e-05, forward_time=0.298, loss_ctc=66.591, loss_att=54.350, acc=0.702, loss=58.022, backward_time=0.466, grad_norm=44.459, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.139, optim0_lr0=1.105e-04, train_time=2.089 +[gpua002:0/64] 2023-12-06 16:02:53,418 (trainer:737) INFO: 14epoch:train:1501-1600batch: iter_time=7.765e-05, forward_time=0.146, loss_ctc=65.954, loss_att=54.833, acc=0.709, loss=58.170, backward_time=0.349, grad_norm=41.283, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.105e-04, train_time=2.431 +[gpua002:0/64] 2023-12-06 16:06:23,167 (trainer:737) INFO: 14epoch:train:1601-1700batch: iter_time=7.996e-05, forward_time=0.147, loss_ctc=74.897, loss_att=70.989, acc=0.687, loss=72.162, backward_time=0.362, grad_norm=46.543, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.105e-04, train_time=2.097 +[gpua002:0/64] 2023-12-06 16:09:12,094 (trainer:737) INFO: 14epoch:train:1701-1800batch: iter_time=2.711e-04, forward_time=0.152, loss_ctc=65.444, loss_att=54.022, acc=0.693, loss=57.448, backward_time=0.355, grad_norm=44.423, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.104e-04, train_time=1.689 +[gpua002:0/64] 2023-12-06 16:12:00,847 (trainer:737) INFO: 14epoch:train:1801-1900batch: iter_time=7.563e-05, forward_time=0.156, loss_ctc=78.246, loss_att=55.710, acc=0.702, loss=62.471, backward_time=0.312, grad_norm=57.592, clip=100.000, loss_scale=3.034e+32, optim_step_time=0.134, optim0_lr0=1.104e-04, train_time=1.687 +[gpua002:0/64] 2023-12-06 16:14:27,292 (trainer:737) INFO: 14epoch:train:1901-2000batch: iter_time=7.672e-05, forward_time=0.151, loss_ctc=78.481, loss_att=63.549, acc=0.688, loss=68.029, backward_time=0.293, grad_norm=48.774, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.104e-04, train_time=1.464 +[gpua002:0/64] 2023-12-06 16:17:18,327 (trainer:737) INFO: 14epoch:train:2001-2100batch: iter_time=8.181e-05, forward_time=0.212, loss_ctc=76.610, loss_att=63.695, acc=0.679, loss=67.569, backward_time=0.333, grad_norm=48.004, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.104e-04, train_time=1.710 +[gpua002:0/64] 2023-12-06 16:18:44,007 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 16:20:03,640 (trainer:737) INFO: 14epoch:train:2101-2200batch: iter_time=8.361e-05, forward_time=0.147, loss_ctc=70.480, loss_att=62.921, acc=0.681, loss=65.189, backward_time=0.342, grad_norm=45.675, clip=100.000, loss_scale=2.475e+32, optim_step_time=0.133, optim0_lr0=1.103e-04, train_time=1.653 +[gpua002:0/64] 2023-12-06 16:22:55,274 (trainer:737) INFO: 14epoch:train:2201-2300batch: iter_time=8.291e-05, forward_time=0.156, loss_ctc=71.238, loss_att=56.823, acc=0.692, loss=61.147, backward_time=0.374, grad_norm=49.000, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.103e-04, train_time=1.716 +[gpua002:0/64] 2023-12-06 16:25:39,631 (trainer:737) INFO: 14epoch:train:2301-2400batch: iter_time=7.884e-05, forward_time=0.149, loss_ctc=70.024, loss_att=53.670, acc=0.695, loss=58.576, backward_time=0.308, grad_norm=43.713, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.103e-04, train_time=1.643 +[gpua002:0/64] 2023-12-06 16:27:53,749 (trainer:737) INFO: 14epoch:train:2401-2500batch: iter_time=7.897e-05, forward_time=0.154, loss_ctc=82.010, loss_att=68.359, acc=0.681, loss=72.454, backward_time=0.283, grad_norm=58.007, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.103e-04, train_time=1.341 +[gpua002:0/64] 2023-12-06 16:28:13,778 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-06 16:28:32,636 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 16:28:36,157 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 16:28:36,157 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-06 16:28:36,161 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 16:35:22,821 (trainer:737) INFO: 14epoch:train:2501-2600batch: iter_time=3.033, forward_time=0.184, loss_ctc=68.897, loss_att=51.959, acc=0.706, loss=57.041, backward_time=0.296, grad_norm=46.127, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.102e-04, train_time=4.490 +[gpua002:0/64] 2023-12-06 16:37:52,234 (trainer:737) INFO: 14epoch:train:2601-2700batch: iter_time=8.734e-05, forward_time=0.146, loss_ctc=72.976, loss_att=54.778, acc=0.692, loss=60.237, backward_time=0.314, grad_norm=51.237, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.102e-04, train_time=1.494 +[gpua002:0/64] 2023-12-06 16:40:02,292 (trainer:737) INFO: 14epoch:train:2701-2800batch: iter_time=8.201e-05, forward_time=0.146, loss_ctc=70.444, loss_att=58.875, acc=0.711, loss=62.346, backward_time=0.280, grad_norm=43.607, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.102e-04, train_time=1.300 +[gpua002:0/64] 2023-12-06 16:42:08,271 (trainer:737) INFO: 14epoch:train:2801-2900batch: iter_time=8.917e-05, forward_time=0.148, loss_ctc=62.176, loss_att=57.977, acc=0.702, loss=59.236, backward_time=0.281, grad_norm=39.580, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.101e-04, train_time=1.260 +[gpua002:0/64] 2023-12-06 16:44:22,186 (trainer:737) INFO: 14epoch:train:2901-3000batch: iter_time=8.128e-05, forward_time=0.147, loss_ctc=68.294, loss_att=60.657, acc=0.698, loss=62.948, backward_time=0.284, grad_norm=42.580, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.101e-04, train_time=1.339 +[gpua002:0/64] 2023-12-06 16:47:27,465 (trainer:737) INFO: 14epoch:train:3001-3100batch: iter_time=8.433e-05, forward_time=0.154, loss_ctc=73.430, loss_att=55.279, acc=0.701, loss=60.724, backward_time=0.351, grad_norm=46.518, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.101e-04, train_time=1.853 +[gpua002:0/64] 2023-12-06 16:50:09,663 (trainer:737) INFO: 14epoch:train:3101-3200batch: iter_time=8.105e-05, forward_time=0.148, loss_ctc=71.823, loss_att=55.437, acc=0.700, loss=60.353, backward_time=0.315, grad_norm=48.659, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.101e-04, train_time=1.622 +[gpua002:0/64] 2023-12-06 16:52:27,482 (trainer:737) INFO: 14epoch:train:3201-3300batch: iter_time=8.095e-05, forward_time=0.152, loss_ctc=82.665, loss_att=69.800, acc=0.681, loss=73.660, backward_time=0.300, grad_norm=52.326, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.100e-04, train_time=1.378 +[gpua002:0/64] 2023-12-06 16:55:20,386 (trainer:737) INFO: 14epoch:train:3301-3400batch: iter_time=8.636e-05, forward_time=0.176, loss_ctc=77.570, loss_att=66.973, acc=0.671, loss=70.152, backward_time=0.318, grad_norm=47.158, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.100e-04, train_time=1.729 +[gpua002:0/64] 2023-12-06 16:58:02,342 (trainer:737) INFO: 14epoch:train:3401-3500batch: iter_time=8.364e-05, forward_time=0.148, loss_ctc=69.299, loss_att=60.220, acc=0.688, loss=62.943, backward_time=0.319, grad_norm=49.850, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.100e-04, train_time=1.619 +[gpua002:0/64] 2023-12-06 17:00:12,769 (trainer:737) INFO: 14epoch:train:3501-3600batch: iter_time=7.821e-05, forward_time=0.146, loss_ctc=68.896, loss_att=53.211, acc=0.697, loss=57.917, backward_time=0.282, grad_norm=47.858, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.099e-04, train_time=1.304 +[gpua002:0/64] 2023-12-06 17:02:42,063 (trainer:737) INFO: 14epoch:train:3601-3700batch: iter_time=8.061e-05, forward_time=0.146, loss_ctc=73.676, loss_att=56.886, acc=0.694, loss=61.923, backward_time=0.300, grad_norm=49.310, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.099e-04, train_time=1.493 +[gpua002:0/64] 2023-12-06 17:04:02,452 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-06 17:04:21,865 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 17:04:25,455 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 17:04:25,455 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-06 17:04:25,458 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 17:10:22,665 (trainer:737) INFO: 14epoch:train:3701-3800batch: iter_time=2.894, forward_time=0.202, loss_ctc=72.818, loss_att=61.747, acc=0.694, loss=65.068, backward_time=0.288, grad_norm=48.922, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.099e-04, train_time=4.606 +[gpua002:0/64] 2023-12-06 17:12:37,744 (trainer:737) INFO: 14epoch:train:3801-3900batch: iter_time=7.651e-05, forward_time=0.147, loss_ctc=74.813, loss_att=55.331, acc=0.693, loss=61.176, backward_time=0.280, grad_norm=55.379, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.099e-04, train_time=1.351 +[gpua002:0/64] 2023-12-06 17:14:42,943 (trainer:737) INFO: 14epoch:train:3901-4000batch: iter_time=7.510e-05, forward_time=0.146, loss_ctc=66.196, loss_att=54.549, acc=0.695, loss=58.043, backward_time=0.282, grad_norm=46.272, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.098e-04, train_time=1.252 +[gpua002:0/64] 2023-12-06 17:17:23,418 (trainer:737) INFO: 14epoch:train:4001-4100batch: iter_time=5.475e-04, forward_time=0.275, loss_ctc=65.699, loss_att=53.670, acc=0.709, loss=57.279, backward_time=0.307, grad_norm=43.543, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.147, optim0_lr0=1.098e-04, train_time=1.605 +[gpua002:0/64] 2023-12-06 17:20:03,352 (trainer:737) INFO: 14epoch:train:4101-4200batch: iter_time=7.785e-05, forward_time=0.148, loss_ctc=74.528, loss_att=70.607, acc=0.682, loss=71.783, backward_time=0.295, grad_norm=48.253, clip=100.000, loss_scale=2.385e+32, optim_step_time=0.133, optim0_lr0=1.098e-04, train_time=1.599 +[gpua002:0/64] 2023-12-06 17:23:02,156 (trainer:737) INFO: 14epoch:train:4201-4300batch: iter_time=7.591e-05, forward_time=0.146, loss_ctc=64.350, loss_att=52.179, acc=0.695, loss=55.830, backward_time=0.311, grad_norm=41.768, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.098e-04, train_time=1.788 +[gpua002:0/64] 2023-12-06 17:25:30,475 (trainer:737) INFO: 14epoch:train:4301-4400batch: iter_time=7.594e-05, forward_time=0.146, loss_ctc=79.605, loss_att=54.600, acc=0.705, loss=62.102, backward_time=0.280, grad_norm=51.265, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.097e-04, train_time=1.483 +[gpua002:0/64] 2023-12-06 17:28:03,172 (trainer:737) INFO: 14epoch:train:4401-4500batch: iter_time=7.609e-05, forward_time=0.146, loss_ctc=78.266, loss_att=62.346, acc=0.686, loss=67.122, backward_time=0.291, grad_norm=49.576, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.097e-04, train_time=1.527 +[gpua002:0/64] 2023-12-06 17:30:14,320 (trainer:737) INFO: 14epoch:train:4501-4600batch: iter_time=7.569e-05, forward_time=0.146, loss_ctc=75.741, loss_att=65.476, acc=0.663, loss=68.556, backward_time=0.293, grad_norm=47.678, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.097e-04, train_time=1.311 +[gpua002:0/64] 2023-12-06 17:33:14,959 (trainer:737) INFO: 14epoch:train:4601-4700batch: iter_time=3.396e-04, forward_time=0.249, loss_ctc=69.714, loss_att=62.297, acc=0.684, loss=64.522, backward_time=0.332, grad_norm=43.784, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.139, optim0_lr0=1.096e-04, train_time=1.806 +[gpua002:0/64] 2023-12-06 17:35:44,040 (trainer:737) INFO: 14epoch:train:4701-4800batch: iter_time=7.726e-05, forward_time=0.146, loss_ctc=69.908, loss_att=56.104, acc=0.692, loss=60.245, backward_time=0.289, grad_norm=47.872, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.096e-04, train_time=1.490 +[gpua002:0/64] 2023-12-06 17:38:16,852 (trainer:737) INFO: 14epoch:train:4801-4900batch: iter_time=7.852e-05, forward_time=0.146, loss_ctc=69.282, loss_att=53.951, acc=0.686, loss=58.550, backward_time=0.284, grad_norm=44.472, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.096e-04, train_time=1.529 +[gpua002:0/64] 2023-12-06 17:40:26,096 (trainer:737) INFO: 14epoch:train:4901-5000batch: iter_time=7.573e-05, forward_time=0.159, loss_ctc=79.321, loss_att=66.792, acc=0.675, loss=70.551, backward_time=0.278, grad_norm=55.730, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.096e-04, train_time=1.292 +[gpua002:0/64] 2023-12-06 17:40:46,125 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-06 17:41:05,428 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 17:41:09,016 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 17:41:09,016 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-06 17:41:09,019 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 17:48:05,571 (trainer:737) INFO: 14epoch:train:5001-5100batch: iter_time=3.129, forward_time=0.223, loss_ctc=68.200, loss_att=50.656, acc=0.706, loss=55.919, backward_time=0.314, grad_norm=47.671, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.140, optim0_lr0=1.095e-04, train_time=4.595 +[gpua002:0/64] 2023-12-06 17:50:07,253 (trainer:737) INFO: 14epoch:train:5101-5200batch: iter_time=7.800e-05, forward_time=0.146, loss_ctc=73.284, loss_att=54.311, acc=0.689, loss=60.003, backward_time=0.279, grad_norm=48.722, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.095e-04, train_time=1.217 +[gpua002:0/64] 2023-12-06 17:52:43,337 (trainer:737) INFO: 14epoch:train:5201-5300batch: iter_time=8.240e-05, forward_time=0.146, loss_ctc=70.572, loss_att=57.109, acc=0.707, loss=61.148, backward_time=0.289, grad_norm=48.849, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.095e-04, train_time=1.561 +[gpua002:0/64] 2023-12-06 17:55:25,690 (trainer:737) INFO: 14epoch:train:5301-5400batch: iter_time=7.860e-05, forward_time=0.148, loss_ctc=61.501, loss_att=56.804, acc=0.703, loss=58.213, backward_time=0.302, grad_norm=38.531, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.095e-04, train_time=1.623 +[gpua002:0/64] 2023-12-06 17:57:36,121 (trainer:737) INFO: 14epoch:train:5401-5500batch: iter_time=7.900e-05, forward_time=0.146, loss_ctc=67.259, loss_att=59.246, acc=0.694, loss=61.650, backward_time=0.288, grad_norm=40.795, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.094e-04, train_time=1.304 +[gpua002:0/64] 2023-12-06 18:00:11,765 (trainer:737) INFO: 14epoch:train:5501-5600batch: iter_time=8.096e-05, forward_time=0.147, loss_ctc=72.173, loss_att=52.746, acc=0.703, loss=58.574, backward_time=0.306, grad_norm=48.010, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.094e-04, train_time=1.556 +[gpua002:0/64] 2023-12-06 18:02:24,280 (trainer:737) INFO: 14epoch:train:5601-5700batch: iter_time=7.816e-05, forward_time=0.149, loss_ctc=71.213, loss_att=54.253, acc=0.696, loss=59.341, backward_time=0.285, grad_norm=51.616, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.094e-04, train_time=1.325 +[gpua002:0/64] 2023-12-06 18:04:41,059 (trainer:737) INFO: 14epoch:train:5701-5800batch: iter_time=8.061e-05, forward_time=0.147, loss_ctc=82.343, loss_att=69.035, acc=0.679, loss=73.027, backward_time=0.280, grad_norm=48.923, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.093e-04, train_time=1.368 +[gpua002:0/64] 2023-12-06 18:07:27,385 (trainer:737) INFO: 14epoch:train:5801-5900batch: iter_time=7.951e-05, forward_time=0.147, loss_ctc=77.528, loss_att=68.552, acc=0.659, loss=71.245, backward_time=0.347, grad_norm=55.467, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.093e-04, train_time=1.663 +[gpua002:0/64] 2023-12-06 18:10:26,807 (trainer:737) INFO: 14epoch:train:5901-6000batch: iter_time=7.983e-05, forward_time=0.265, loss_ctc=68.924, loss_att=58.982, acc=0.690, loss=61.965, backward_time=0.424, grad_norm=45.498, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.142, optim0_lr0=1.093e-04, train_time=1.794 +[gpua002:0/64] 2023-12-06 18:12:47,968 (trainer:737) INFO: 14epoch:train:6001-6100batch: iter_time=7.878e-05, forward_time=0.147, loss_ctc=67.894, loss_att=52.149, acc=0.696, loss=56.873, backward_time=0.280, grad_norm=45.620, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.093e-04, train_time=1.412 +[gpua002:0/64] 2023-12-06 18:15:17,178 (trainer:737) INFO: 14epoch:train:6101-6200batch: iter_time=7.939e-05, forward_time=0.147, loss_ctc=72.433, loss_att=56.119, acc=0.688, loss=61.013, backward_time=0.313, grad_norm=54.172, clip=100.000, loss_scale=4.770e+32, optim_step_time=0.135, optim0_lr0=1.092e-04, train_time=1.492 +[gpua002:0/64] 2023-12-06 18:16:51,974 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-06 18:17:11,474 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 18:17:15,359 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 18:17:15,360 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-06 18:17:15,363 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 18:22:28,339 (trainer:737) INFO: 14epoch:train:6201-6300batch: iter_time=2.828, forward_time=0.179, loss_ctc=72.151, loss_att=58.599, acc=0.694, loss=62.665, backward_time=0.307, grad_norm=47.680, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.092e-04, train_time=4.311 +[gpua002:0/64] 2023-12-06 18:24:37,550 (trainer:737) INFO: 14epoch:train:6301-6400batch: iter_time=7.277e-05, forward_time=0.147, loss_ctc=74.455, loss_att=54.603, acc=0.693, loss=60.559, backward_time=0.280, grad_norm=51.828, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.092e-04, train_time=1.292 +[gpua002:0/64] 2023-12-06 18:26:59,080 (trainer:737) INFO: 14epoch:train:6401-6500batch: iter_time=7.926e-05, forward_time=0.278, loss_ctc=65.566, loss_att=52.956, acc=0.701, loss=56.739, backward_time=0.303, grad_norm=44.871, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.142, optim0_lr0=1.092e-04, train_time=1.415 +[gpua002:0/64] 2023-12-06 18:29:40,772 (trainer:737) INFO: 14epoch:train:6501-6600batch: iter_time=7.842e-05, forward_time=0.145, loss_ctc=65.262, loss_att=53.086, acc=0.710, loss=56.739, backward_time=0.300, grad_norm=41.420, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.091e-04, train_time=1.617 +[gpua002:0/64] 2023-12-06 18:29:43,112 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 18:32:21,546 (trainer:737) INFO: 14epoch:train:6601-6700batch: iter_time=8.073e-05, forward_time=0.145, loss_ctc=74.147, loss_att=69.166, acc=0.687, loss=70.660, backward_time=0.309, grad_norm=44.696, clip=100.000, loss_scale=3.278e+32, optim_step_time=0.133, optim0_lr0=1.091e-04, train_time=1.607 +[gpua002:0/64] 2023-12-06 18:34:49,198 (trainer:737) INFO: 14epoch:train:6701-6800batch: iter_time=8.411e-05, forward_time=0.145, loss_ctc=64.724, loss_att=51.939, acc=0.696, loss=55.775, backward_time=0.289, grad_norm=45.584, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.091e-04, train_time=1.476 +[gpua002:0/64] 2023-12-06 18:37:12,540 (trainer:737) INFO: 14epoch:train:6801-6900batch: iter_time=7.921e-05, forward_time=0.145, loss_ctc=76.426, loss_att=54.301, acc=0.707, loss=60.938, backward_time=0.291, grad_norm=49.451, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.090e-04, train_time=1.433 +[gpua002:0/64] 2023-12-06 18:39:35,271 (trainer:737) INFO: 14epoch:train:6901-7000batch: iter_time=7.893e-05, forward_time=0.185, loss_ctc=77.340, loss_att=61.554, acc=0.689, loss=66.290, backward_time=0.288, grad_norm=49.374, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.090e-04, train_time=1.427 +[gpua002:0/64] 2023-12-06 18:42:09,431 (trainer:737) INFO: 14epoch:train:7001-7100batch: iter_time=7.710e-05, forward_time=0.219, loss_ctc=75.020, loss_att=63.539, acc=0.671, loss=66.983, backward_time=0.317, grad_norm=46.496, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.090e-04, train_time=1.541 +[gpua002:0/64] 2023-12-06 18:44:49,919 (trainer:737) INFO: 14epoch:train:7101-7200batch: iter_time=7.861e-05, forward_time=0.147, loss_ctc=69.571, loss_att=61.751, acc=0.687, loss=64.097, backward_time=0.335, grad_norm=45.633, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.090e-04, train_time=1.605 +[gpua002:0/64] 2023-12-06 18:47:17,581 (trainer:737) INFO: 14epoch:train:7201-7300batch: iter_time=7.801e-05, forward_time=0.146, loss_ctc=69.586, loss_att=55.821, acc=0.691, loss=59.950, backward_time=0.325, grad_norm=45.798, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.089e-04, train_time=1.476 +[gpua002:0/64] 2023-12-06 18:50:01,801 (trainer:737) INFO: 14epoch:train:7301-7400batch: iter_time=7.724e-05, forward_time=0.146, loss_ctc=68.150, loss_att=53.081, acc=0.690, loss=57.602, backward_time=0.309, grad_norm=42.248, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.089e-04, train_time=1.642 +[gpua002:0/64] 2023-12-06 18:52:35,733 (trainer:737) INFO: 14epoch:train:7401-7500batch: iter_time=2.805e-04, forward_time=0.283, loss_ctc=80.177, loss_att=65.701, acc=0.683, loss=70.044, backward_time=0.314, grad_norm=52.786, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=1.089e-04, train_time=1.538 +[gpua002:0/64] 2023-12-06 18:52:55,805 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-06 18:53:14,782 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 18:53:18,374 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 18:53:18,374 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-06 18:53:18,377 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 18:59:54,051 (trainer:737) INFO: 14epoch:train:7501-7600batch: iter_time=3.030, forward_time=0.203, loss_ctc=67.727, loss_att=52.831, acc=0.712, loss=57.300, backward_time=0.290, grad_norm=47.749, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.089e-04, train_time=4.383 +[gpua002:0/64] 2023-12-06 19:01:54,327 (trainer:737) INFO: 14epoch:train:7601-7700batch: iter_time=8.643e-05, forward_time=0.146, loss_ctc=72.631, loss_att=55.743, acc=0.694, loss=60.810, backward_time=0.279, grad_norm=49.405, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.088e-04, train_time=1.203 +[gpua002:0/64] 2023-12-06 19:03:59,813 (trainer:737) INFO: 14epoch:train:7701-7800batch: iter_time=8.772e-05, forward_time=0.146, loss_ctc=69.421, loss_att=58.784, acc=0.714, loss=61.975, backward_time=0.286, grad_norm=45.615, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.088e-04, train_time=1.255 +[gpua002:0/64] 2023-12-06 19:06:35,196 (trainer:737) INFO: 14epoch:train:7801-7900batch: iter_time=7.929e-04, forward_time=0.170, loss_ctc=61.914, loss_att=57.939, acc=0.707, loss=59.132, backward_time=0.344, grad_norm=45.519, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.137, optim0_lr0=1.088e-04, train_time=1.554 +[gpua002:0/64] 2023-12-06 19:09:17,076 (trainer:737) INFO: 14epoch:train:7901-8000batch: iter_time=8.433e-05, forward_time=0.149, loss_ctc=67.161, loss_att=60.168, acc=0.701, loss=62.266, backward_time=0.326, grad_norm=42.002, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.087e-04, train_time=1.619 +[gpua002:0/64] 2023-12-06 19:12:00,517 (trainer:737) INFO: 14epoch:train:8001-8100batch: iter_time=8.533e-05, forward_time=0.147, loss_ctc=72.383, loss_att=54.497, acc=0.705, loss=59.863, backward_time=0.320, grad_norm=45.866, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.087e-04, train_time=1.634 +[gpua002:0/64] 2023-12-06 19:15:03,938 (trainer:737) INFO: 14epoch:train:8101-8200batch: iter_time=8.606e-05, forward_time=0.146, loss_ctc=71.208, loss_att=55.092, acc=0.702, loss=59.927, backward_time=0.302, grad_norm=50.467, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.087e-04, train_time=1.834 +[gpua002:0/64] 2023-12-06 19:17:33,312 (trainer:737) INFO: 14epoch:train:8201-8300batch: iter_time=7.999e-05, forward_time=0.199, loss_ctc=81.860, loss_att=68.130, acc=0.689, loss=72.249, backward_time=0.373, grad_norm=46.875, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.140, optim0_lr0=1.087e-04, train_time=1.494 +[gpua002:0/64] 2023-12-06 19:19:41,611 (trainer:737) INFO: 14epoch:train:8301-8400batch: iter_time=8.071e-05, forward_time=0.147, loss_ctc=76.617, loss_att=66.490, acc=0.678, loss=69.528, backward_time=0.290, grad_norm=48.937, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.086e-04, train_time=1.283 +[gpua002:0/64] 2023-12-06 19:22:31,158 (trainer:737) INFO: 14epoch:train:8401-8500batch: iter_time=8.555e-05, forward_time=0.146, loss_ctc=68.637, loss_att=60.332, acc=0.691, loss=62.824, backward_time=0.347, grad_norm=47.989, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.086e-04, train_time=1.695 +[gpua002:0/64] 2023-12-06 19:24:58,325 (trainer:737) INFO: 14epoch:train:8501-8600batch: iter_time=7.834e-05, forward_time=0.146, loss_ctc=67.401, loss_att=52.223, acc=0.702, loss=56.776, backward_time=0.292, grad_norm=45.703, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.086e-04, train_time=1.471 +[gpua002:0/64] 2023-12-06 19:27:05,792 (trainer:737) INFO: 14epoch:train:8601-8700batch: iter_time=7.976e-05, forward_time=0.146, loss_ctc=72.366, loss_att=55.555, acc=0.698, loss=60.598, backward_time=0.280, grad_norm=47.350, clip=100.000, loss_scale=6.425e+32, optim_step_time=0.133, optim0_lr0=1.086e-04, train_time=1.274 +[gpua002:0/64] 2023-12-06 19:28:37,361 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-06 19:28:56,884 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 19:29:00,484 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 19:29:00,484 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-06 19:29:00,487 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 19:34:58,817 (trainer:737) INFO: 14epoch:train:8701-8800batch: iter_time=3.142, forward_time=0.190, loss_ctc=71.602, loss_att=59.910, acc=0.708, loss=63.417, backward_time=0.331, grad_norm=45.483, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.085e-04, train_time=4.730 +[gpua002:0/64] 2023-12-06 19:37:00,839 (trainer:737) INFO: 14epoch:train:8801-8900batch: iter_time=8.444e-05, forward_time=0.147, loss_ctc=74.113, loss_att=54.409, acc=0.700, loss=60.320, backward_time=0.280, grad_norm=50.484, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.085e-04, train_time=1.220 +[gpua002:0/64] 2023-12-06 19:39:08,767 (trainer:737) INFO: 14epoch:train:8901-9000batch: iter_time=8.293e-05, forward_time=0.147, loss_ctc=65.958, loss_att=53.462, acc=0.712, loss=57.210, backward_time=0.280, grad_norm=45.531, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.085e-04, train_time=1.279 +[gpua002:0/64] 2023-12-06 19:41:40,024 (trainer:737) INFO: 14epoch:train:9001-9100batch: iter_time=8.358e-05, forward_time=0.270, loss_ctc=64.634, loss_att=53.678, acc=0.718, loss=56.965, backward_time=0.306, grad_norm=41.443, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.168, optim0_lr0=1.085e-04, train_time=1.513 +[gpua002:0/64] 2023-12-06 19:44:21,102 (trainer:737) INFO: 14epoch:train:9101-9200batch: iter_time=7.628e-05, forward_time=0.149, loss_ctc=73.770, loss_att=70.023, acc=0.693, loss=71.147, backward_time=0.313, grad_norm=47.957, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.084e-04, train_time=1.611 +[gpua002:0/64] 2023-12-06 19:46:24,822 (trainer:737) INFO: 14epoch:train:9201-9300batch: iter_time=7.442e-05, forward_time=0.146, loss_ctc=64.170, loss_att=52.479, acc=0.703, loss=55.986, backward_time=0.283, grad_norm=42.265, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.084e-04, train_time=1.237 +[gpua002:0/64] 2023-12-06 19:48:59,998 (trainer:737) INFO: 14epoch:train:9301-9400batch: iter_time=7.839e-05, forward_time=0.147, loss_ctc=73.787, loss_att=53.982, acc=0.711, loss=59.924, backward_time=0.291, grad_norm=48.063, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.084e-04, train_time=1.551 +[gpua002:0/64] 2023-12-06 19:52:07,996 (trainer:737) INFO: 14epoch:train:9401-9500batch: iter_time=8.184e-05, forward_time=0.149, loss_ctc=76.885, loss_att=62.217, acc=0.694, loss=66.617, backward_time=0.314, grad_norm=49.042, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.083e-04, train_time=1.880 +[gpua002:0/64] 2023-12-06 19:54:37,607 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 19:54:38,820 (trainer:737) INFO: 14epoch:train:9501-9600batch: iter_time=7.881e-05, forward_time=0.251, loss_ctc=74.562, loss_att=62.708, acc=0.684, loss=66.264, backward_time=0.320, grad_norm=49.778, clip=100.000, loss_scale=6.458e+32, optim_step_time=0.136, optim0_lr0=1.083e-04, train_time=1.508 +[gpua002:0/64] 2023-12-06 19:56:39,554 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 19:57:15,904 (trainer:737) INFO: 14epoch:train:9601-9700batch: iter_time=8.077e-05, forward_time=0.147, loss_ctc=68.762, loss_att=61.713, acc=0.688, loss=63.828, backward_time=0.292, grad_norm=43.501, clip=100.000, loss_scale=2.885e+32, optim_step_time=0.133, optim0_lr0=1.083e-04, train_time=1.571 +[gpua002:0/64] 2023-12-06 19:59:49,951 (trainer:737) INFO: 14epoch:train:9701-9800batch: iter_time=8.162e-05, forward_time=0.146, loss_ctc=69.338, loss_att=55.520, acc=0.699, loss=59.665, backward_time=0.289, grad_norm=50.736, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.083e-04, train_time=1.540 +[gpua002:0/64] 2023-12-06 20:02:14,948 (trainer:737) INFO: 14epoch:train:9801-9900batch: iter_time=7.869e-05, forward_time=0.148, loss_ctc=68.213, loss_att=52.638, acc=0.701, loss=57.310, backward_time=0.288, grad_norm=48.620, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.082e-04, train_time=1.450 +[gpua002:0/64] 2023-12-06 20:04:36,217 (trainer:737) INFO: 14epoch:train:9901-10000batch: iter_time=7.769e-05, forward_time=0.146, loss_ctc=79.317, loss_att=67.264, acc=0.688, loss=70.880, backward_time=0.322, grad_norm=51.974, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.082e-04, train_time=1.412 +[gpua002:0/64] 2023-12-06 20:04:56,245 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-06 20:05:15,506 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 20:05:19,092 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 20:05:19,092 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-06 20:05:19,095 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 20:11:59,899 (trainer:737) INFO: 14epoch:train:10001-10100batch: iter_time=3.147, forward_time=0.181, loss_ctc=67.823, loss_att=51.840, acc=0.707, loss=56.635, backward_time=0.282, grad_norm=45.783, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.082e-04, train_time=4.437 +[gpua002:0/64] 2023-12-06 20:14:37,020 (trainer:737) INFO: 14epoch:train:10101-10200batch: iter_time=8.124e-05, forward_time=0.146, loss_ctc=72.658, loss_att=54.721, acc=0.691, loss=60.102, backward_time=0.296, grad_norm=55.397, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.082e-04, train_time=1.571 +[gpua002:0/64] 2023-12-06 20:16:48,908 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 20:17:11,178 (trainer:737) INFO: 14epoch:train:10201-10300batch: iter_time=4.029e-04, forward_time=0.190, loss_ctc=68.923, loss_att=57.209, acc=0.707, loss=60.724, backward_time=0.395, grad_norm=47.304, clip=100.000, loss_scale=1.524e+32, optim_step_time=0.148, optim0_lr0=1.081e-04, train_time=1.541 +[gpua002:0/64] 2023-12-06 20:19:22,576 (trainer:737) INFO: 14epoch:train:10301-10400batch: iter_time=8.056e-05, forward_time=0.152, loss_ctc=61.478, loss_att=57.668, acc=0.703, loss=58.811, backward_time=0.280, grad_norm=42.464, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.081e-04, train_time=1.314 +[gpua002:0/64] 2023-12-06 20:20:27,689 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-06 20:21:40,572 (trainer:737) INFO: 14epoch:train:10401-10500batch: iter_time=8.075e-05, forward_time=0.146, loss_ctc=66.611, loss_att=59.357, acc=0.696, loss=61.533, backward_time=0.293, grad_norm=47.558, clip=100.000, loss_scale=6.146e+31, optim_step_time=0.133, optim0_lr0=1.081e-04, train_time=1.380 +[gpua002:0/64] 2023-12-06 20:23:58,403 (trainer:737) INFO: 14epoch:train:10501-10600batch: iter_time=7.870e-05, forward_time=0.186, loss_ctc=72.200, loss_att=53.036, acc=0.705, loss=58.785, backward_time=0.309, grad_norm=46.187, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=1.081e-04, train_time=1.378 +[gpua002:0/64] 2023-12-06 20:27:02,588 (trainer:737) INFO: 14epoch:train:10601-10700batch: iter_time=8.191e-05, forward_time=0.192, loss_ctc=71.386, loss_att=53.826, acc=0.698, loss=59.094, backward_time=0.359, grad_norm=50.695, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=1.080e-04, train_time=1.840 +[gpua002:0/64] 2023-12-06 20:29:37,796 (trainer:737) INFO: 14epoch:train:10701-10800batch: iter_time=7.822e-05, forward_time=0.147, loss_ctc=81.183, loss_att=67.973, acc=0.684, loss=71.936, backward_time=0.328, grad_norm=50.832, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.080e-04, train_time=1.554 +[gpua002:0/64] 2023-12-06 20:32:32,297 (trainer:737) INFO: 14epoch:train:10801-10900batch: iter_time=8.167e-05, forward_time=0.146, loss_ctc=76.086, loss_att=66.313, acc=0.668, loss=69.245, backward_time=0.349, grad_norm=50.295, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.080e-04, train_time=1.745 +[gpua002:0/64] 2023-12-06 20:34:58,983 (trainer:737) INFO: 14epoch:train:10901-11000batch: iter_time=8.028e-05, forward_time=0.146, loss_ctc=68.771, loss_att=59.458, acc=0.691, loss=62.252, backward_time=0.295, grad_norm=46.931, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.080e-04, train_time=1.467 +[gpua002:0/64] 2023-12-06 20:37:37,411 (trainer:737) INFO: 14epoch:train:11001-11100batch: iter_time=8.013e-05, forward_time=0.210, loss_ctc=66.795, loss_att=51.903, acc=0.695, loss=56.371, backward_time=0.335, grad_norm=44.390, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=1.079e-04, train_time=1.584 +[gpua002:0/64] 2023-12-06 20:39:57,362 (trainer:737) INFO: 14epoch:train:11101-11200batch: iter_time=7.751e-05, forward_time=0.153, loss_ctc=71.442, loss_att=54.838, acc=0.696, loss=59.820, backward_time=0.289, grad_norm=47.392, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.079e-04, train_time=1.398 +[gpua002:0/64] 2023-12-06 20:41:17,811 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-06 20:41:37,241 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 20:41:40,869 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 20:41:40,869 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-06 20:41:40,873 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 20:47:20,232 (trainer:737) INFO: 14epoch:train:11201-11300batch: iter_time=3.052, forward_time=0.146, loss_ctc=71.605, loss_att=58.349, acc=0.697, loss=62.326, backward_time=0.281, grad_norm=47.344, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.079e-04, train_time=4.430 +[gpua002:0/64] 2023-12-06 20:49:21,304 (trainer:737) INFO: 14epoch:train:11301-11400batch: iter_time=7.931e-05, forward_time=0.145, loss_ctc=73.346, loss_att=52.847, acc=0.702, loss=58.997, backward_time=0.279, grad_norm=49.486, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.078e-04, train_time=1.211 +[gpua002:0/64] 2023-12-06 20:51:41,607 (trainer:737) INFO: 14epoch:train:11401-11500batch: iter_time=8.211e-05, forward_time=0.145, loss_ctc=65.511, loss_att=52.269, acc=0.705, loss=56.242, backward_time=0.289, grad_norm=44.418, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.078e-04, train_time=1.403 +[gpua002:0/64] 2023-12-06 20:53:51,968 (trainer:737) INFO: 14epoch:train:11501-11600batch: iter_time=7.987e-05, forward_time=0.146, loss_ctc=64.654, loss_att=52.295, acc=0.715, loss=56.003, backward_time=0.280, grad_norm=41.121, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.078e-04, train_time=1.303 +[gpua002:0/64] 2023-12-06 20:56:38,895 (trainer:737) INFO: 14epoch:train:11601-11700batch: iter_time=7.955e-05, forward_time=0.174, loss_ctc=73.025, loss_att=68.540, acc=0.692, loss=69.886, backward_time=0.326, grad_norm=46.357, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=1.078e-04, train_time=1.669 +[gpua002:0/64] 2023-12-06 20:59:01,008 (trainer:737) INFO: 14epoch:train:11701-11800batch: iter_time=7.737e-05, forward_time=0.181, loss_ctc=63.786, loss_att=51.483, acc=0.700, loss=55.174, backward_time=0.355, grad_norm=42.581, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=1.077e-04, train_time=1.421 +[gpua002:0/64] 2023-12-06 21:01:32,043 (trainer:737) INFO: 14epoch:train:11801-11900batch: iter_time=7.747e-05, forward_time=0.151, loss_ctc=73.364, loss_att=53.477, acc=0.711, loss=59.443, backward_time=0.338, grad_norm=48.271, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.077e-04, train_time=1.509 +[gpua002:0/64] 2023-12-06 21:04:14,331 (trainer:737) INFO: 14epoch:train:11901-12000batch: iter_time=8.033e-05, forward_time=0.146, loss_ctc=76.744, loss_att=60.694, acc=0.693, loss=65.509, backward_time=0.292, grad_norm=47.321, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.077e-04, train_time=1.624 +[gpua002:0/64] 2023-12-06 21:06:50,371 (trainer:737) INFO: 14epoch:train:12001-12100batch: iter_time=8.119e-05, forward_time=0.145, loss_ctc=73.775, loss_att=63.456, acc=0.672, loss=66.552, backward_time=0.303, grad_norm=46.775, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.077e-04, train_time=1.560 +[gpua002:0/64] 2023-12-06 21:08:57,665 (trainer:737) INFO: 14epoch:train:12101-12200batch: iter_time=7.705e-05, forward_time=0.146, loss_ctc=68.806, loss_att=61.283, acc=0.689, loss=63.540, backward_time=0.280, grad_norm=47.224, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.076e-04, train_time=1.273 +[gpua002:0/64] 2023-12-06 21:11:23,372 (trainer:737) INFO: 14epoch:train:12201-12300batch: iter_time=7.773e-05, forward_time=0.146, loss_ctc=68.951, loss_att=54.625, acc=0.697, loss=58.923, backward_time=0.283, grad_norm=46.857, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=1.076e-04, train_time=1.457 +[gpua002:0/64] 2023-12-06 21:13:46,612 (trainer:737) INFO: 14epoch:train:12301-12400batch: iter_time=7.941e-05, forward_time=0.145, loss_ctc=67.951, loss_att=52.805, acc=0.694, loss=57.349, backward_time=0.285, grad_norm=43.277, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=1.076e-04, train_time=1.432 +[gpua002:0/64] 2023-12-06 21:16:08,086 (trainer:737) INFO: 14epoch:train:12401-12500batch: iter_time=7.522e-05, forward_time=0.242, loss_ctc=78.594, loss_att=65.593, acc=0.683, loss=69.493, backward_time=0.320, grad_norm=54.302, clip=100.000, loss_scale=6.004e+31, optim_step_time=0.136, optim0_lr0=1.076e-04, train_time=1.415 +[gpua002:0/64] 2023-12-06 21:16:28,138 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-06 21:16:47,052 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 21:16:50,581 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 21:16:50,581 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-06 21:16:50,584 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 21:27:07,467 (trainer:737) INFO: 14epoch:train:12501-12600batch: iter_time=3.115, forward_time=0.161, loss_ctc=66.736, loss_att=51.743, acc=0.715, loss=56.241, backward_time=0.284, grad_norm=44.105, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.075e-04, train_time=6.593 +[gpua002:0/64] 2023-12-06 21:29:18,024 (trainer:737) INFO: 14epoch:train:12601-12700batch: iter_time=7.701e-05, forward_time=0.172, loss_ctc=71.327, loss_att=53.982, acc=0.702, loss=59.185, backward_time=0.291, grad_norm=47.617, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.075e-04, train_time=1.306 +[gpua002:0/64] 2023-12-06 21:31:38,148 (trainer:737) INFO: 14epoch:train:12701-12800batch: iter_time=1.962e-04, forward_time=0.205, loss_ctc=68.153, loss_att=57.722, acc=0.716, loss=60.851, backward_time=0.301, grad_norm=46.413, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=1.075e-04, train_time=1.401 +[gpua002:0/64] 2023-12-06 21:33:56,437 (trainer:737) INFO: 14epoch:train:12801-12900batch: iter_time=7.777e-05, forward_time=0.146, loss_ctc=60.882, loss_att=57.109, acc=0.711, loss=58.240, backward_time=0.286, grad_norm=38.479, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.075e-04, train_time=1.383 +[gpua002:0/64] 2023-12-06 21:36:38,479 (trainer:737) INFO: 14epoch:train:12901-13000batch: iter_time=7.907e-05, forward_time=0.147, loss_ctc=66.303, loss_att=59.236, acc=0.705, loss=61.356, backward_time=0.319, grad_norm=42.881, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.074e-04, train_time=1.620 +[gpua002:0/64] 2023-12-06 21:39:19,259 (trainer:737) INFO: 14epoch:train:13001-13100batch: iter_time=7.432e-05, forward_time=0.149, loss_ctc=72.486, loss_att=54.609, acc=0.706, loss=59.972, backward_time=0.312, grad_norm=47.249, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.074e-04, train_time=1.608 +[gpua002:0/64] 2023-12-06 21:42:39,462 (trainer:737) INFO: 14epoch:train:13101-13200batch: iter_time=7.797e-05, forward_time=0.226, loss_ctc=69.945, loss_att=54.704, acc=0.707, loss=59.276, backward_time=0.345, grad_norm=55.782, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.154, optim0_lr0=1.074e-04, train_time=2.002 +[gpua002:0/64] 2023-12-06 21:45:33,205 (trainer:737) INFO: 14epoch:train:13201-13300batch: iter_time=7.850e-05, forward_time=0.148, loss_ctc=80.819, loss_att=68.193, acc=0.689, loss=71.981, backward_time=0.297, grad_norm=46.608, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.074e-04, train_time=1.737 +[gpua002:0/64] 2023-12-06 21:48:01,264 (trainer:737) INFO: 14epoch:train:13301-13400batch: iter_time=7.726e-05, forward_time=0.147, loss_ctc=75.787, loss_att=65.927, acc=0.678, loss=68.885, backward_time=0.297, grad_norm=48.609, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.073e-04, train_time=1.480 +[gpua002:0/64] 2023-12-06 21:50:22,255 (trainer:737) INFO: 14epoch:train:13401-13500batch: iter_time=7.720e-05, forward_time=0.147, loss_ctc=68.038, loss_att=60.061, acc=0.694, loss=62.454, backward_time=0.294, grad_norm=47.892, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=1.073e-04, train_time=1.410 +[gpua002:0/64] 2023-12-06 21:52:36,226 (trainer:737) INFO: 14epoch:train:13501-13600batch: iter_time=7.868e-05, forward_time=0.147, loss_ctc=66.802, loss_att=52.091, acc=0.703, loss=56.504, backward_time=0.287, grad_norm=42.935, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.073e-04, train_time=1.339 +[gpua002:0/64] 2023-12-06 21:55:11,278 (trainer:737) INFO: 14epoch:train:13601-13700batch: iter_time=7.730e-05, forward_time=0.147, loss_ctc=70.109, loss_att=55.140, acc=0.702, loss=59.631, backward_time=0.352, grad_norm=48.594, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.073e-04, train_time=1.550 +[gpua002:0/64] 2023-12-06 21:56:43,041 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-06 21:57:02,452 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 21:57:06,272 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 21:57:06,272 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-06 21:57:06,275 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 22:02:54,790 (trainer:737) INFO: 14epoch:train:13701-13800batch: iter_time=3.166, forward_time=0.196, loss_ctc=70.905, loss_att=59.669, acc=0.705, loss=63.040, backward_time=0.290, grad_norm=46.406, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.072e-04, train_time=4.635 +[gpua002:0/64] 2023-12-06 22:05:09,862 (trainer:737) INFO: 14epoch:train:13801-13900batch: iter_time=7.857e-05, forward_time=0.148, loss_ctc=73.816, loss_att=54.256, acc=0.699, loss=60.124, backward_time=0.287, grad_norm=52.274, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.072e-04, train_time=1.351 +[gpua002:0/64] 2023-12-06 22:07:54,180 (trainer:737) INFO: 14epoch:train:13901-14000batch: iter_time=7.832e-05, forward_time=0.152, loss_ctc=65.205, loss_att=52.823, acc=0.703, loss=56.538, backward_time=0.373, grad_norm=44.521, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.072e-04, train_time=1.643 +[gpua002:0/64] 2023-12-06 22:09:56,474 (trainer:737) INFO: 14epoch:train:14001-14100batch: iter_time=8.660e-05, forward_time=0.146, loss_ctc=63.666, loss_att=52.211, acc=0.716, loss=55.648, backward_time=0.280, grad_norm=42.025, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.071e-04, train_time=1.223 +[gpua002:0/64] 2023-12-06 22:12:44,328 (trainer:737) INFO: 14epoch:train:14101-14200batch: iter_time=8.069e-05, forward_time=0.147, loss_ctc=72.725, loss_att=68.140, acc=0.691, loss=69.515, backward_time=0.295, grad_norm=47.070, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.135, optim0_lr0=1.071e-04, train_time=1.678 +[gpua002:0/64] 2023-12-06 22:15:11,741 (trainer:737) INFO: 14epoch:train:14201-14300batch: iter_time=7.868e-05, forward_time=0.186, loss_ctc=63.850, loss_att=51.127, acc=0.703, loss=54.944, backward_time=0.351, grad_norm=42.359, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=1.071e-04, train_time=1.474 +[gpua002:0/64] 2023-12-06 22:17:58,469 (trainer:737) INFO: 14epoch:train:14301-14400batch: iter_time=7.747e-05, forward_time=0.149, loss_ctc=74.197, loss_att=53.564, acc=0.711, loss=59.754, backward_time=0.326, grad_norm=47.607, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=1.071e-04, train_time=1.667 +[gpua002:0/64] 2023-12-06 22:20:17,748 (trainer:737) INFO: 14epoch:train:14401-14500batch: iter_time=7.823e-05, forward_time=0.165, loss_ctc=76.449, loss_att=60.522, acc=0.695, loss=65.300, backward_time=0.280, grad_norm=48.758, clip=100.000, loss_scale=1.201e+32, optim_step_time=0.134, optim0_lr0=1.070e-04, train_time=1.393 +[gpua002:0/64] 2023-12-06 22:23:14,919 (trainer:737) INFO: 14epoch:train:14501-14600batch: iter_time=7.887e-05, forward_time=0.146, loss_ctc=73.796, loss_att=62.808, acc=0.675, loss=66.104, backward_time=0.317, grad_norm=46.702, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.070e-04, train_time=1.771 +[gpua002:0/64] 2023-12-06 22:26:07,240 (trainer:737) INFO: 14epoch:train:14601-14700batch: iter_time=7.817e-05, forward_time=0.207, loss_ctc=68.415, loss_att=60.880, acc=0.691, loss=63.140, backward_time=0.340, grad_norm=44.797, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.070e-04, train_time=1.723 +[gpua002:0/64] 2023-12-06 22:28:34,448 (trainer:737) INFO: 14epoch:train:14701-14800batch: iter_time=8.073e-05, forward_time=0.148, loss_ctc=68.287, loss_att=55.249, acc=0.696, loss=59.161, backward_time=0.287, grad_norm=43.828, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.070e-04, train_time=1.472 +[gpua002:0/64] 2023-12-06 22:31:11,387 (trainer:737) INFO: 14epoch:train:14801-14900batch: iter_time=8.015e-05, forward_time=0.155, loss_ctc=66.216, loss_att=51.723, acc=0.696, loss=56.071, backward_time=0.310, grad_norm=44.782, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.069e-04, train_time=1.569 +[gpua002:0/64] 2023-12-06 22:33:24,624 (trainer:737) INFO: 14epoch:train:14901-15000batch: iter_time=7.919e-05, forward_time=0.146, loss_ctc=78.219, loss_att=64.883, acc=0.686, loss=68.884, backward_time=0.284, grad_norm=53.814, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.069e-04, train_time=1.332 +[gpua002:0/64] 2023-12-06 23:00:31,993 (trainer:343) INFO: 14epoch results: [train] iter_time=0.266, forward_time=0.164, loss_ctc=71.432, loss_att=58.338, acc=0.695, loss=62.266, backward_time=0.310, grad_norm=47.461, clip=100.000, loss_scale=2.290e+32, optim_step_time=0.135, optim0_lr0=1.089e-04, train_time=1.822, time=7 hours, 35 minutes and 55.26 seconds, total_count=210000, gpu_max_cached_mem_GB=37.561, [valid] loss_ctc=45.540, cer_ctc=0.235, loss_att=40.858, acc=0.663, cer=0.376, wer=1.000, loss=42.263, time=26 minutes and 43.18 seconds, total_count=65394, gpu_max_cached_mem_GB=37.561 +[gpua002:0/64] 2023-12-06 23:00:51,747 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua002:0/64] 2023-12-06 23:00:51,838 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/9epoch.pth +[gpua002:0/64] 2023-12-06 23:00:51,838 (trainer:272) INFO: 15/40epoch started. Estimated time to finish: 1 week, 2 days and 20 hours +[gpua002:0/64] 2023-12-06 23:00:51,851 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-06 23:01:10,822 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 23:01:14,371 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 23:01:14,371 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-06 23:01:14,375 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 23:08:13,949 (trainer:737) INFO: 15epoch:train:1-100batch: iter_time=3.119, forward_time=0.219, loss_ctc=80.257, loss_att=63.269, acc=0.689, loss=68.366, backward_time=0.289, grad_norm=55.026, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.069e-04, train_time=4.421 +[gpua002:0/64] 2023-12-06 23:10:15,821 (trainer:737) INFO: 15epoch:train:101-200batch: iter_time=8.059e-05, forward_time=0.146, loss_ctc=72.611, loss_att=60.439, acc=0.684, loss=64.091, backward_time=0.280, grad_norm=49.979, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.069e-04, train_time=1.219 +[gpua002:0/64] 2023-12-06 23:12:19,758 (trainer:737) INFO: 15epoch:train:201-300batch: iter_time=8.101e-05, forward_time=0.147, loss_ctc=75.160, loss_att=63.186, acc=0.684, loss=66.778, backward_time=0.281, grad_norm=48.844, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.068e-04, train_time=1.239 +[gpua002:0/64] 2023-12-06 23:14:22,279 (trainer:737) INFO: 15epoch:train:301-400batch: iter_time=8.275e-05, forward_time=0.147, loss_ctc=85.290, loss_att=63.218, acc=0.677, loss=69.839, backward_time=0.280, grad_norm=56.308, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.068e-04, train_time=1.225 +[gpua002:0/64] 2023-12-06 23:16:41,630 (trainer:737) INFO: 15epoch:train:401-500batch: iter_time=8.087e-05, forward_time=0.146, loss_ctc=69.890, loss_att=58.430, acc=0.680, loss=61.868, backward_time=0.292, grad_norm=53.681, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.068e-04, train_time=1.393 +[gpua002:0/64] 2023-12-06 23:19:00,084 (trainer:737) INFO: 15epoch:train:501-600batch: iter_time=4.648e-04, forward_time=0.160, loss_ctc=80.455, loss_att=62.900, acc=0.678, loss=68.166, backward_time=0.332, grad_norm=50.016, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.068e-04, train_time=1.384 +[gpua002:0/64] 2023-12-06 23:21:57,710 (trainer:737) INFO: 15epoch:train:601-700batch: iter_time=7.858e-05, forward_time=0.230, loss_ctc=91.120, loss_att=67.719, acc=0.674, loss=74.740, backward_time=0.387, grad_norm=63.205, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.067e-04, train_time=1.776 +[gpua002:0/64] 2023-12-06 23:25:05,317 (trainer:737) INFO: 15epoch:train:701-800batch: iter_time=7.903e-05, forward_time=0.148, loss_ctc=70.469, loss_att=56.333, acc=0.692, loss=60.573, backward_time=0.369, grad_norm=43.791, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.067e-04, train_time=1.875 +[gpua002:0/64] 2023-12-06 23:27:26,865 (trainer:737) INFO: 15epoch:train:801-900batch: iter_time=7.777e-05, forward_time=0.146, loss_ctc=69.797, loss_att=56.440, acc=0.690, loss=60.447, backward_time=0.281, grad_norm=43.211, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.067e-04, train_time=1.416 +[gpua002:0/64] 2023-12-06 23:30:00,037 (trainer:737) INFO: 15epoch:train:901-1000batch: iter_time=7.678e-05, forward_time=0.146, loss_ctc=75.879, loss_att=58.731, acc=0.697, loss=63.875, backward_time=0.299, grad_norm=50.173, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.067e-04, train_time=1.531 +[gpua002:0/64] 2023-12-06 23:32:45,485 (trainer:737) INFO: 15epoch:train:1001-1100batch: iter_time=2.456e-04, forward_time=0.350, loss_ctc=68.943, loss_att=56.991, acc=0.691, loss=60.577, backward_time=0.357, grad_norm=42.955, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.138, optim0_lr0=1.066e-04, train_time=1.652 +[gpua002:0/64] 2023-12-06 23:35:32,538 (trainer:737) INFO: 15epoch:train:1101-1200batch: iter_time=7.670e-05, forward_time=0.163, loss_ctc=73.890, loss_att=69.485, acc=0.663, loss=70.806, backward_time=0.312, grad_norm=55.612, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.066e-04, train_time=1.672 +[gpua002:0/64] 2023-12-06 23:37:03,711 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-06 23:37:22,959 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-06 23:37:26,543 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-06 23:37:26,543 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua002:0/64] 2023-12-06 23:37:26,547 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-06 23:43:35,389 (trainer:737) INFO: 15epoch:train:1201-1300batch: iter_time=3.115, forward_time=0.146, loss_ctc=71.276, loss_att=59.413, acc=0.703, loss=62.972, backward_time=0.290, grad_norm=46.362, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.066e-04, train_time=4.828 +[gpua002:0/64] 2023-12-06 23:45:42,613 (trainer:737) INFO: 15epoch:train:1301-1400batch: iter_time=8.177e-05, forward_time=0.146, loss_ctc=68.921, loss_att=54.016, acc=0.695, loss=58.487, backward_time=0.280, grad_norm=46.560, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.066e-04, train_time=1.272 +[gpua002:0/64] 2023-12-06 23:48:18,636 (trainer:737) INFO: 15epoch:train:1401-1500batch: iter_time=7.994e-05, forward_time=0.147, loss_ctc=71.588, loss_att=56.467, acc=0.704, loss=61.003, backward_time=0.291, grad_norm=47.535, clip=100.000, loss_scale=2.401e+32, optim_step_time=0.134, optim0_lr0=1.065e-04, train_time=1.560 +[gpua002:0/64] 2023-12-06 23:51:25,510 (trainer:737) INFO: 15epoch:train:1501-1600batch: iter_time=7.762e-05, forward_time=0.267, loss_ctc=86.847, loss_att=71.076, acc=0.668, loss=75.807, backward_time=0.352, grad_norm=53.395, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.164, optim0_lr0=1.065e-04, train_time=1.867 +[gpua002:0/64] 2023-12-06 23:54:16,257 (trainer:737) INFO: 15epoch:train:1601-1700batch: iter_time=8.125e-05, forward_time=0.148, loss_ctc=69.158, loss_att=54.182, acc=0.690, loss=58.675, backward_time=0.300, grad_norm=53.324, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.065e-04, train_time=1.709 +[gpua002:0/64] 2023-12-06 23:56:56,046 (trainer:737) INFO: 15epoch:train:1701-1800batch: iter_time=7.806e-05, forward_time=0.147, loss_ctc=77.221, loss_att=61.411, acc=0.692, loss=66.154, backward_time=0.309, grad_norm=45.827, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.065e-04, train_time=1.598 +[gpua002:0/64] 2023-12-06 23:59:06,900 (trainer:737) INFO: 15epoch:train:1801-1900batch: iter_time=7.799e-05, forward_time=0.146, loss_ctc=76.650, loss_att=61.754, acc=0.684, loss=66.223, backward_time=0.281, grad_norm=47.749, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.064e-04, train_time=1.308 +[gpua002:0/64] 2023-12-07 00:01:39,220 (trainer:737) INFO: 15epoch:train:1901-2000batch: iter_time=8.002e-05, forward_time=0.146, loss_ctc=83.516, loss_att=67.845, acc=0.675, loss=72.547, backward_time=0.295, grad_norm=54.977, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.064e-04, train_time=1.523 +[gpua002:0/64] 2023-12-07 00:03:55,465 (trainer:737) INFO: 15epoch:train:2001-2100batch: iter_time=7.798e-05, forward_time=0.146, loss_ctc=71.065, loss_att=51.649, acc=0.703, loss=57.474, backward_time=0.280, grad_norm=44.490, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.064e-04, train_time=1.362 +[gpua002:0/64] 2023-12-07 00:06:53,533 (trainer:737) INFO: 15epoch:train:2101-2200batch: iter_time=7.516e-05, forward_time=0.146, loss_ctc=70.562, loss_att=56.128, acc=0.702, loss=60.458, backward_time=0.315, grad_norm=44.053, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.064e-04, train_time=1.780 +[gpua002:0/64] 2023-12-07 00:09:20,856 (trainer:737) INFO: 15epoch:train:2201-2300batch: iter_time=7.532e-05, forward_time=0.147, loss_ctc=75.174, loss_att=61.198, acc=0.691, loss=65.391, backward_time=0.291, grad_norm=50.050, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.063e-04, train_time=1.472 +[gpua002:0/64] 2023-12-07 00:12:06,409 (trainer:737) INFO: 15epoch:train:2301-2400batch: iter_time=8.119e-05, forward_time=0.221, loss_ctc=72.329, loss_att=63.590, acc=0.674, loss=66.212, backward_time=0.421, grad_norm=50.252, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.144, optim0_lr0=1.063e-04, train_time=1.656 +[gpua002:0/64] 2023-12-07 00:14:23,362 (trainer:737) INFO: 15epoch:train:2401-2500batch: iter_time=7.708e-05, forward_time=0.146, loss_ctc=63.286, loss_att=55.772, acc=0.700, loss=58.026, backward_time=0.294, grad_norm=40.628, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.063e-04, train_time=1.369 +[gpua002:0/64] 2023-12-07 00:14:43,391 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-07 00:15:02,465 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 00:15:06,015 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 00:15:06,016 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua002:0/64] 2023-12-07 00:15:06,019 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 00:22:52,356 (trainer:737) INFO: 15epoch:train:2501-2600batch: iter_time=3.136, forward_time=0.149, loss_ctc=74.959, loss_att=61.677, acc=0.701, loss=65.662, backward_time=0.288, grad_norm=52.397, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.063e-04, train_time=5.090 +[gpua002:0/64] 2023-12-07 00:25:04,441 (trainer:737) INFO: 15epoch:train:2601-2700batch: iter_time=7.687e-05, forward_time=0.147, loss_ctc=71.068, loss_att=62.510, acc=0.694, loss=65.077, backward_time=0.281, grad_norm=45.429, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.062e-04, train_time=1.321 +[gpua002:0/64] 2023-12-07 00:27:59,780 (trainer:737) INFO: 15epoch:train:2701-2800batch: iter_time=8.133e-05, forward_time=0.147, loss_ctc=73.955, loss_att=63.062, acc=0.695, loss=66.330, backward_time=0.326, grad_norm=50.929, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.062e-04, train_time=1.753 +[gpua002:0/64] 2023-12-07 00:30:21,275 (trainer:737) INFO: 15epoch:train:2801-2900batch: iter_time=7.665e-05, forward_time=0.147, loss_ctc=82.276, loss_att=64.133, acc=0.688, loss=69.576, backward_time=0.281, grad_norm=56.809, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.062e-04, train_time=1.415 +[gpua002:0/64] 2023-12-07 00:32:51,132 (trainer:737) INFO: 15epoch:train:2901-3000batch: iter_time=8.311e-05, forward_time=0.264, loss_ctc=68.243, loss_att=58.581, acc=0.696, loss=61.480, backward_time=0.361, grad_norm=49.264, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.138, optim0_lr0=1.062e-04, train_time=1.498 +[gpua002:0/64] 2023-12-07 00:36:01,036 (trainer:737) INFO: 15epoch:train:3001-3100batch: iter_time=8.084e-05, forward_time=0.147, loss_ctc=77.967, loss_att=63.187, acc=0.692, loss=67.621, backward_time=0.375, grad_norm=47.351, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.061e-04, train_time=1.899 +[gpua002:0/64] 2023-12-07 00:38:46,403 (trainer:737) INFO: 15epoch:train:3101-3200batch: iter_time=8.029e-05, forward_time=0.148, loss_ctc=85.077, loss_att=68.039, acc=0.687, loss=73.150, backward_time=0.332, grad_norm=65.306, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.061e-04, train_time=1.653 +[gpua002:0/64] 2023-12-07 00:41:09,349 (trainer:737) INFO: 15epoch:train:3201-3300batch: iter_time=8.087e-05, forward_time=0.147, loss_ctc=69.510, loss_att=57.731, acc=0.701, loss=61.265, backward_time=0.290, grad_norm=48.049, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.061e-04, train_time=1.429 +[gpua002:0/64] 2023-12-07 00:43:54,044 (trainer:737) INFO: 15epoch:train:3301-3400batch: iter_time=7.895e-05, forward_time=0.147, loss_ctc=69.248, loss_att=56.031, acc=0.707, loss=59.996, backward_time=0.297, grad_norm=45.320, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.061e-04, train_time=1.647 +[gpua002:0/64] 2023-12-07 00:44:34,576 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 00:46:31,018 (trainer:737) INFO: 15epoch:train:3401-3500batch: iter_time=7.973e-05, forward_time=0.147, loss_ctc=74.864, loss_att=60.668, acc=0.700, loss=64.927, backward_time=0.301, grad_norm=46.675, clip=100.000, loss_scale=2.098e+32, optim_step_time=0.134, optim0_lr0=1.060e-04, train_time=1.570 +[gpua002:0/64] 2023-12-07 00:48:54,707 (trainer:737) INFO: 15epoch:train:3501-3600batch: iter_time=8.404e-05, forward_time=0.147, loss_ctc=68.199, loss_att=57.283, acc=0.709, loss=60.558, backward_time=0.287, grad_norm=58.443, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.060e-04, train_time=1.437 +[gpua002:0/64] 2023-12-07 00:51:45,218 (trainer:737) INFO: 15epoch:train:3601-3700batch: iter_time=8.120e-05, forward_time=0.146, loss_ctc=72.787, loss_att=69.173, acc=0.682, loss=70.257, backward_time=0.319, grad_norm=49.776, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.060e-04, train_time=1.705 +[gpua002:0/64] 2023-12-07 00:53:53,000 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua002:0/64] 2023-12-07 00:54:12,176 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 00:54:15,735 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 00:54:15,735 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua002:0/64] 2023-12-07 00:54:15,738 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 01:00:50,617 (trainer:737) INFO: 15epoch:train:3701-3800batch: iter_time=3.556, forward_time=0.185, loss_ctc=69.761, loss_att=58.616, acc=0.720, loss=61.959, backward_time=0.316, grad_norm=45.128, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.060e-04, train_time=5.453 +[gpua002:0/64] 2023-12-07 01:02:53,153 (trainer:737) INFO: 15epoch:train:3801-3900batch: iter_time=7.685e-05, forward_time=0.148, loss_ctc=67.606, loss_att=53.058, acc=0.707, loss=57.422, backward_time=0.279, grad_norm=42.950, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.059e-04, train_time=1.226 +[gpua002:0/64] 2023-12-07 01:04:59,370 (trainer:737) INFO: 15epoch:train:3901-4000batch: iter_time=7.985e-05, forward_time=0.147, loss_ctc=70.462, loss_att=56.592, acc=0.709, loss=60.753, backward_time=0.280, grad_norm=45.041, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.059e-04, train_time=1.262 +[gpua002:0/64] 2023-12-07 01:07:51,265 (trainer:737) INFO: 15epoch:train:4001-4100batch: iter_time=7.952e-05, forward_time=0.147, loss_ctc=86.523, loss_att=71.599, acc=0.682, loss=76.076, backward_time=0.297, grad_norm=51.203, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.059e-04, train_time=1.719 +[gpua002:0/64] 2023-12-07 01:10:28,861 (trainer:737) INFO: 15epoch:train:4101-4200batch: iter_time=7.786e-05, forward_time=0.165, loss_ctc=67.540, loss_att=54.599, acc=0.699, loss=58.481, backward_time=0.348, grad_norm=51.361, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.059e-04, train_time=1.576 +[gpua002:0/64] 2023-12-07 01:13:44,863 (trainer:737) INFO: 15epoch:train:4201-4300batch: iter_time=8.053e-05, forward_time=0.147, loss_ctc=76.150, loss_att=62.299, acc=0.703, loss=66.454, backward_time=0.388, grad_norm=47.836, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.058e-04, train_time=1.960 +[gpua002:0/64] 2023-12-07 01:17:11,855 (trainer:737) INFO: 15epoch:train:4301-4400batch: iter_time=7.965e-05, forward_time=0.146, loss_ctc=75.671, loss_att=61.733, acc=0.699, loss=65.914, backward_time=0.335, grad_norm=46.493, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.058e-04, train_time=2.070 +[gpua002:0/64] 2023-12-07 01:20:16,531 (trainer:737) INFO: 15epoch:train:4401-4500batch: iter_time=8.012e-05, forward_time=0.147, loss_ctc=80.516, loss_att=69.859, acc=0.682, loss=73.056, backward_time=0.327, grad_norm=66.128, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.058e-04, train_time=1.847 +[gpua002:0/64] 2023-12-07 01:23:12,572 (trainer:737) INFO: 15epoch:train:4501-4600batch: iter_time=8.096e-05, forward_time=0.159, loss_ctc=71.235, loss_att=51.532, acc=0.712, loss=57.443, backward_time=0.300, grad_norm=47.762, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.135, optim0_lr0=1.058e-04, train_time=1.760 +[gpua002:0/64] 2023-12-07 01:26:09,790 (trainer:737) INFO: 15epoch:train:4601-4700batch: iter_time=8.141e-05, forward_time=0.229, loss_ctc=70.208, loss_att=56.298, acc=0.709, loss=60.471, backward_time=0.337, grad_norm=43.003, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.145, optim0_lr0=1.057e-04, train_time=1.772 +[gpua002:0/64] 2023-12-07 01:28:59,062 (trainer:737) INFO: 15epoch:train:4701-4800batch: iter_time=8.270e-05, forward_time=0.170, loss_ctc=74.308, loss_att=64.590, acc=0.696, loss=67.505, backward_time=0.351, grad_norm=48.438, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.057e-04, train_time=1.692 +[gpua002:0/64] 2023-12-07 01:32:10,419 (trainer:737) INFO: 15epoch:train:4801-4900batch: iter_time=8.134e-05, forward_time=0.147, loss_ctc=71.080, loss_att=62.467, acc=0.694, loss=65.051, backward_time=0.313, grad_norm=47.858, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.057e-04, train_time=1.913 +[gpua002:0/64] 2023-12-07 01:34:21,220 (trainer:737) INFO: 15epoch:train:4901-5000batch: iter_time=7.789e-05, forward_time=0.146, loss_ctc=62.900, loss_att=55.102, acc=0.717, loss=57.441, backward_time=0.279, grad_norm=39.938, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.057e-04, train_time=1.308 +[gpua002:0/64] 2023-12-07 01:34:41,249 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua002:0/64] 2023-12-07 01:35:00,215 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 01:35:03,768 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 01:35:03,768 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-07 01:35:03,772 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 01:43:20,552 (trainer:737) INFO: 15epoch:train:5001-5100batch: iter_time=3.897, forward_time=0.221, loss_ctc=74.613, loss_att=60.022, acc=0.707, loss=64.399, backward_time=0.308, grad_norm=50.565, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.056e-04, train_time=5.393 +[gpua002:0/64] 2023-12-07 01:45:53,816 (trainer:737) INFO: 15epoch:train:5101-5200batch: iter_time=7.976e-05, forward_time=0.172, loss_ctc=70.445, loss_att=58.863, acc=0.704, loss=62.338, backward_time=0.305, grad_norm=44.947, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.056e-04, train_time=1.532 +[gpua002:0/64] 2023-12-07 01:48:05,065 (trainer:737) INFO: 15epoch:train:5201-5300batch: iter_time=8.139e-05, forward_time=0.149, loss_ctc=73.681, loss_att=61.864, acc=0.699, loss=65.409, backward_time=0.310, grad_norm=48.532, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.056e-04, train_time=1.312 +[gpua002:0/64] 2023-12-07 01:50:31,559 (trainer:737) INFO: 15epoch:train:5301-5400batch: iter_time=8.234e-05, forward_time=0.146, loss_ctc=80.745, loss_att=61.873, acc=0.695, loss=67.534, backward_time=0.280, grad_norm=55.693, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.056e-04, train_time=1.465 +[gpua002:0/64] 2023-12-07 01:53:04,214 (trainer:737) INFO: 15epoch:train:5401-5500batch: iter_time=8.815e-05, forward_time=0.146, loss_ctc=66.867, loss_att=56.681, acc=0.702, loss=59.737, backward_time=0.300, grad_norm=46.775, clip=100.000, loss_scale=2.758e+32, optim_step_time=0.133, optim0_lr0=1.055e-04, train_time=1.526 +[gpua002:0/64] 2023-12-07 01:55:36,478 (trainer:737) INFO: 15epoch:train:5501-5600batch: iter_time=8.148e-05, forward_time=0.147, loss_ctc=78.188, loss_att=62.573, acc=0.696, loss=67.258, backward_time=0.313, grad_norm=48.921, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.055e-04, train_time=1.522 +[gpua002:0/64] 2023-12-07 02:00:10,560 (trainer:737) INFO: 15epoch:train:5601-5700batch: iter_time=8.376e-05, forward_time=0.310, loss_ctc=82.872, loss_att=66.083, acc=0.692, loss=71.120, backward_time=0.368, grad_norm=61.202, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.145, optim0_lr0=1.055e-04, train_time=2.740 +[gpua002:0/64] 2023-12-07 02:02:54,808 (trainer:737) INFO: 15epoch:train:5701-5800batch: iter_time=8.645e-05, forward_time=0.148, loss_ctc=68.761, loss_att=56.414, acc=0.706, loss=60.118, backward_time=0.285, grad_norm=44.449, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.055e-04, train_time=1.642 +[gpua002:0/64] 2023-12-07 02:05:08,691 (trainer:737) INFO: 15epoch:train:5801-5900batch: iter_time=7.797e-05, forward_time=0.146, loss_ctc=69.018, loss_att=54.787, acc=0.711, loss=59.057, backward_time=0.294, grad_norm=44.091, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.054e-04, train_time=1.339 +[gpua002:0/64] 2023-12-07 02:07:57,552 (trainer:737) INFO: 15epoch:train:5901-6000batch: iter_time=8.044e-05, forward_time=0.146, loss_ctc=74.772, loss_att=60.708, acc=0.703, loss=64.927, backward_time=0.340, grad_norm=48.413, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.054e-04, train_time=1.688 +[gpua002:0/64] 2023-12-07 02:10:34,103 (trainer:737) INFO: 15epoch:train:6001-6100batch: iter_time=8.587e-05, forward_time=0.146, loss_ctc=67.826, loss_att=56.784, acc=0.710, loss=60.096, backward_time=0.346, grad_norm=41.159, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.054e-04, train_time=1.565 +[gpua002:0/64] 2023-12-07 02:12:53,262 (trainer:737) INFO: 15epoch:train:6101-6200batch: iter_time=8.150e-05, forward_time=0.146, loss_ctc=71.511, loss_att=67.581, acc=0.685, loss=68.760, backward_time=0.282, grad_norm=49.001, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.054e-04, train_time=1.391 +[gpua002:0/64] 2023-12-07 02:14:43,616 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua002:0/64] 2023-12-07 02:15:03,098 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 02:15:06,692 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 02:15:06,693 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua002:0/64] 2023-12-07 02:15:06,696 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 02:21:29,708 (trainer:737) INFO: 15epoch:train:6201-6300batch: iter_time=3.530, forward_time=0.183, loss_ctc=69.737, loss_att=57.869, acc=0.721, loss=61.429, backward_time=0.294, grad_norm=46.576, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.054e-04, train_time=5.164 +[gpua002:0/64] 2023-12-07 02:23:41,628 (trainer:737) INFO: 15epoch:train:6301-6400batch: iter_time=8.517e-05, forward_time=0.150, loss_ctc=67.828, loss_att=52.822, acc=0.710, loss=57.324, backward_time=0.285, grad_norm=44.108, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.053e-04, train_time=1.319 +[gpua002:0/64] 2023-12-07 02:25:53,560 (trainer:737) INFO: 15epoch:train:6401-6500batch: iter_time=8.588e-05, forward_time=0.147, loss_ctc=70.136, loss_att=56.080, acc=0.712, loss=60.297, backward_time=0.282, grad_norm=45.365, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.053e-04, train_time=1.319 +[gpua002:0/64] 2023-12-07 02:28:21,268 (trainer:737) INFO: 15epoch:train:6501-6600batch: iter_time=8.171e-05, forward_time=0.147, loss_ctc=85.062, loss_att=70.286, acc=0.685, loss=74.719, backward_time=0.287, grad_norm=50.906, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.053e-04, train_time=1.477 +[gpua002:0/64] 2023-12-07 02:30:42,296 (trainer:737) INFO: 15epoch:train:6601-6700batch: iter_time=8.174e-05, forward_time=0.147, loss_ctc=66.588, loss_att=54.265, acc=0.702, loss=57.962, backward_time=0.282, grad_norm=53.237, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.053e-04, train_time=1.410 +[gpua002:0/64] 2023-12-07 02:33:19,031 (trainer:737) INFO: 15epoch:train:6701-6800batch: iter_time=8.367e-05, forward_time=0.147, loss_ctc=75.919, loss_att=61.961, acc=0.706, loss=66.149, backward_time=0.285, grad_norm=46.246, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.052e-04, train_time=1.567 +[gpua002:0/64] 2023-12-07 02:35:57,914 (trainer:737) INFO: 15epoch:train:6801-6900batch: iter_time=8.485e-05, forward_time=0.147, loss_ctc=75.294, loss_att=61.273, acc=0.701, loss=65.480, backward_time=0.330, grad_norm=45.258, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.052e-04, train_time=1.589 +[gpua002:0/64] 2023-12-07 02:40:17,154 (trainer:737) INFO: 15epoch:train:6901-7000batch: iter_time=8.234e-05, forward_time=0.229, loss_ctc=79.848, loss_att=68.995, acc=0.685, loss=72.251, backward_time=0.524, grad_norm=55.574, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.145, optim0_lr0=1.052e-04, train_time=2.591 +[gpua002:0/64] 2023-12-07 02:43:06,290 (trainer:737) INFO: 15epoch:train:7001-7100batch: iter_time=8.138e-05, forward_time=0.147, loss_ctc=71.084, loss_att=51.783, acc=0.712, loss=57.573, backward_time=0.324, grad_norm=44.776, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.052e-04, train_time=1.692 +[gpua002:0/64] 2023-12-07 02:45:59,874 (trainer:737) INFO: 15epoch:train:7101-7200batch: iter_time=7.984e-05, forward_time=0.146, loss_ctc=69.896, loss_att=56.326, acc=0.710, loss=60.397, backward_time=0.351, grad_norm=45.103, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.051e-04, train_time=1.736 +[gpua002:0/64] 2023-12-07 02:48:23,279 (trainer:737) INFO: 15epoch:train:7201-7300batch: iter_time=8.036e-05, forward_time=0.146, loss_ctc=74.387, loss_att=63.932, acc=0.700, loss=67.068, backward_time=0.292, grad_norm=48.893, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.051e-04, train_time=1.434 +[gpua002:0/64] 2023-12-07 02:50:23,683 (trainer:737) INFO: 15epoch:train:7301-7400batch: iter_time=7.990e-05, forward_time=0.146, loss_ctc=70.543, loss_att=62.443, acc=0.695, loss=64.873, backward_time=0.280, grad_norm=45.913, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.051e-04, train_time=1.204 +[gpua002:0/64] 2023-12-07 02:52:27,600 (trainer:737) INFO: 15epoch:train:7401-7500batch: iter_time=7.812e-05, forward_time=0.146, loss_ctc=62.395, loss_att=54.139, acc=0.719, loss=56.616, backward_time=0.280, grad_norm=40.333, clip=100.000, loss_scale=5.517e+32, optim_step_time=0.133, optim0_lr0=1.051e-04, train_time=1.239 +[gpua002:0/64] 2023-12-07 02:52:47,628 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua002:0/64] 2023-12-07 02:53:07,300 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 02:53:10,912 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 02:53:10,912 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua002:0/64] 2023-12-07 02:53:10,915 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 03:01:57,528 (trainer:737) INFO: 15epoch:train:7501-7600batch: iter_time=4.335, forward_time=0.184, loss_ctc=73.363, loss_att=60.200, acc=0.705, loss=64.149, backward_time=0.286, grad_norm=52.604, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.050e-04, train_time=5.699 +[gpua002:0/64] 2023-12-07 03:04:44,183 (trainer:737) INFO: 15epoch:train:7601-7700batch: iter_time=8.448e-05, forward_time=0.146, loss_ctc=69.829, loss_att=60.641, acc=0.694, loss=63.398, backward_time=0.291, grad_norm=44.165, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.050e-04, train_time=1.666 +[gpua002:0/64] 2023-12-07 03:07:57,663 (trainer:737) INFO: 15epoch:train:7701-7800batch: iter_time=8.396e-05, forward_time=0.146, loss_ctc=73.159, loss_att=62.251, acc=0.695, loss=65.523, backward_time=0.428, grad_norm=47.898, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.050e-04, train_time=1.935 +[gpua002:0/64] 2023-12-07 03:12:04,752 (trainer:737) INFO: 15epoch:train:7801-7900batch: iter_time=9.819e-04, forward_time=0.231, loss_ctc=80.118, loss_att=61.205, acc=0.687, loss=66.879, backward_time=0.443, grad_norm=52.219, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.149, optim0_lr0=1.050e-04, train_time=2.469 +[gpua002:0/64] 2023-12-07 03:14:50,152 (trainer:737) INFO: 15epoch:train:7901-8000batch: iter_time=8.143e-05, forward_time=0.146, loss_ctc=66.736, loss_att=57.679, acc=0.691, loss=60.396, backward_time=0.356, grad_norm=48.667, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.049e-04, train_time=1.655 +[gpua002:0/64] 2023-12-07 03:17:16,333 (trainer:737) INFO: 15epoch:train:8001-8100batch: iter_time=8.526e-05, forward_time=0.146, loss_ctc=76.871, loss_att=61.662, acc=0.690, loss=66.225, backward_time=0.292, grad_norm=46.893, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.049e-04, train_time=1.462 +[gpua002:0/64] 2023-12-07 03:19:33,890 (trainer:737) INFO: 15epoch:train:8101-8200batch: iter_time=8.186e-05, forward_time=0.147, loss_ctc=81.628, loss_att=65.502, acc=0.686, loss=70.340, backward_time=0.292, grad_norm=57.981, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.049e-04, train_time=1.375 +[gpua002:0/64] 2023-12-07 03:22:59,523 (trainer:737) INFO: 15epoch:train:8201-8300batch: iter_time=8.271e-05, forward_time=0.298, loss_ctc=68.612, loss_att=55.290, acc=0.702, loss=59.286, backward_time=0.377, grad_norm=45.787, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.138, optim0_lr0=1.049e-04, train_time=2.054 +[gpua002:0/64] 2023-12-07 03:26:21,147 (trainer:737) INFO: 15epoch:train:8301-8400batch: iter_time=8.735e-05, forward_time=0.148, loss_ctc=68.175, loss_att=55.111, acc=0.700, loss=59.030, backward_time=0.323, grad_norm=46.671, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.048e-04, train_time=2.018 +[gpua002:0/64] 2023-12-07 03:28:42,803 (trainer:737) INFO: 15epoch:train:8401-8500batch: iter_time=7.971e-05, forward_time=0.146, loss_ctc=74.409, loss_att=58.024, acc=0.706, loss=62.939, backward_time=0.280, grad_norm=48.742, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.133, optim0_lr0=1.048e-04, train_time=1.416 +[gpua002:0/64] 2023-12-07 03:31:11,250 (trainer:737) INFO: 15epoch:train:8501-8600batch: iter_time=8.242e-05, forward_time=0.146, loss_ctc=67.945, loss_att=56.302, acc=0.698, loss=59.795, backward_time=0.299, grad_norm=46.054, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.048e-04, train_time=1.484 +[gpua002:0/64] 2023-12-07 03:34:26,982 (trainer:737) INFO: 15epoch:train:8601-8700batch: iter_time=1.789e-04, forward_time=0.283, loss_ctc=71.309, loss_att=68.061, acc=0.671, loss=69.035, backward_time=0.382, grad_norm=49.977, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.149, optim0_lr0=1.048e-04, train_time=1.957 +[gpua002:0/64] 2023-12-07 03:36:06,675 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua002:0/64] 2023-12-07 03:36:26,076 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 03:36:29,626 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 03:36:29,626 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua002:0/64] 2023-12-07 03:36:29,629 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 03:48:41,528 (trainer:737) INFO: 15epoch:train:8701-8800batch: iter_time=3.466, forward_time=0.149, loss_ctc=68.607, loss_att=57.214, acc=0.715, loss=60.632, backward_time=0.287, grad_norm=45.793, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.047e-04, train_time=8.545 +[gpua002:0/64] 2023-12-07 03:49:49,699 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 03:51:07,345 (trainer:737) INFO: 15epoch:train:8801-8900batch: iter_time=7.573e-05, forward_time=0.147, loss_ctc=67.568, loss_att=52.761, acc=0.705, loss=57.203, backward_time=0.282, grad_norm=42.773, clip=100.000, loss_scale=4.491e+32, optim_step_time=0.134, optim0_lr0=1.047e-04, train_time=1.458 +[gpua002:0/64] 2023-12-07 03:53:32,721 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 03:53:44,702 (trainer:737) INFO: 15epoch:train:8901-9000batch: iter_time=7.851e-05, forward_time=0.146, loss_ctc=68.836, loss_att=54.874, acc=0.714, loss=59.063, backward_time=0.307, grad_norm=45.724, clip=100.000, loss_scale=3.081e+32, optim_step_time=0.134, optim0_lr0=1.047e-04, train_time=1.573 +[gpua002:0/64] 2023-12-07 03:56:54,094 (trainer:737) INFO: 15epoch:train:9001-9100batch: iter_time=7.944e-05, forward_time=0.147, loss_ctc=84.588, loss_att=70.465, acc=0.671, loss=74.702, backward_time=0.320, grad_norm=54.489, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.047e-04, train_time=1.894 +[gpua002:0/64] 2023-12-07 03:59:34,735 (trainer:737) INFO: 15epoch:train:9101-9200batch: iter_time=8.448e-05, forward_time=0.211, loss_ctc=66.503, loss_att=52.633, acc=0.699, loss=56.794, backward_time=0.409, grad_norm=49.981, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.141, optim0_lr0=1.047e-04, train_time=1.606 +[gpua002:0/64] 2023-12-07 04:02:53,126 (trainer:737) INFO: 15epoch:train:9201-9300batch: iter_time=8.043e-05, forward_time=0.147, loss_ctc=75.684, loss_att=60.273, acc=0.697, loss=64.896, backward_time=0.440, grad_norm=46.568, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.046e-04, train_time=1.981 +[gpua002:0/64] 2023-12-07 04:06:02,778 (trainer:737) INFO: 15epoch:train:9301-9400batch: iter_time=8.197e-05, forward_time=0.148, loss_ctc=74.838, loss_att=60.467, acc=0.692, loss=64.778, backward_time=0.318, grad_norm=46.916, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.046e-04, train_time=1.899 +[gpua002:0/64] 2023-12-07 04:08:30,913 (trainer:737) INFO: 15epoch:train:9401-9500batch: iter_time=7.854e-05, forward_time=0.149, loss_ctc=78.306, loss_att=67.480, acc=0.680, loss=70.728, backward_time=0.291, grad_norm=56.575, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.046e-04, train_time=1.481 +[gpua002:0/64] 2023-12-07 04:11:18,447 (trainer:737) INFO: 15epoch:train:9501-9600batch: iter_time=7.575e-05, forward_time=0.146, loss_ctc=70.425, loss_att=50.857, acc=0.710, loss=56.727, backward_time=0.304, grad_norm=43.243, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.046e-04, train_time=1.675 +[gpua002:0/64] 2023-12-07 04:14:52,287 (trainer:737) INFO: 15epoch:train:9601-9700batch: iter_time=8.134e-05, forward_time=0.146, loss_ctc=69.017, loss_att=55.653, acc=0.708, loss=59.662, backward_time=0.424, grad_norm=46.099, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.045e-04, train_time=2.138 +[gpua002:0/64] 2023-12-07 04:17:31,138 (trainer:737) INFO: 15epoch:train:9701-9800batch: iter_time=7.958e-05, forward_time=0.284, loss_ctc=73.716, loss_att=60.369, acc=0.699, loss=64.373, backward_time=0.313, grad_norm=48.835, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.045e-04, train_time=1.588 +[gpua002:0/64] 2023-12-07 04:19:51,202 (trainer:737) INFO: 15epoch:train:9801-9900batch: iter_time=7.971e-05, forward_time=0.146, loss_ctc=69.574, loss_att=62.144, acc=0.681, loss=64.373, backward_time=0.284, grad_norm=47.628, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.045e-04, train_time=1.401 +[gpua002:0/64] 2023-12-07 04:22:40,634 (trainer:737) INFO: 15epoch:train:9901-10000batch: iter_time=7.895e-05, forward_time=0.148, loss_ctc=61.990, loss_att=54.523, acc=0.707, loss=56.763, backward_time=0.374, grad_norm=42.695, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.045e-04, train_time=1.692 +[gpua002:0/64] 2023-12-07 04:23:01,044 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua002:0/64] 2023-12-07 04:23:20,452 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 04:23:24,081 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 04:23:24,081 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua002:0/64] 2023-12-07 04:23:24,084 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 04:38:52,600 (trainer:737) INFO: 15epoch:train:10001-10100batch: iter_time=3.702, forward_time=0.169, loss_ctc=72.538, loss_att=59.345, acc=0.712, loss=63.303, backward_time=0.286, grad_norm=46.458, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.044e-04, train_time=9.721 +[gpua002:0/64] 2023-12-07 04:41:45,058 (trainer:737) INFO: 15epoch:train:10101-10200batch: iter_time=8.293e-05, forward_time=0.263, loss_ctc=69.632, loss_att=60.093, acc=0.704, loss=62.955, backward_time=0.300, grad_norm=47.589, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.137, optim0_lr0=1.044e-04, train_time=1.724 +[gpua002:0/64] 2023-12-07 04:43:51,262 (trainer:737) INFO: 15epoch:train:10201-10300batch: iter_time=7.813e-05, forward_time=0.168, loss_ctc=73.094, loss_att=61.698, acc=0.699, loss=65.117, backward_time=0.290, grad_norm=47.993, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.136, optim0_lr0=1.044e-04, train_time=1.259 +[gpua002:0/64] 2023-12-07 04:46:47,189 (trainer:737) INFO: 15epoch:train:10301-10400batch: iter_time=8.139e-05, forward_time=0.148, loss_ctc=80.684, loss_att=62.364, acc=0.696, loss=67.860, backward_time=0.294, grad_norm=55.269, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.134, optim0_lr0=1.044e-04, train_time=1.762 +[gpua002:0/64] 2023-12-07 04:48:54,409 (trainer:737) INFO: 15epoch:train:10401-10500batch: iter_time=8.373e-05, forward_time=0.146, loss_ctc=66.095, loss_att=56.533, acc=0.704, loss=59.402, backward_time=0.284, grad_norm=45.884, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.043e-04, train_time=1.272 +[gpua002:0/64] 2023-12-07 04:51:40,738 (trainer:737) INFO: 15epoch:train:10501-10600batch: iter_time=8.169e-05, forward_time=0.146, loss_ctc=77.150, loss_att=61.486, acc=0.699, loss=66.185, backward_time=0.315, grad_norm=48.485, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.043e-04, train_time=1.663 +[gpua002:0/64] 2023-12-07 04:54:56,810 (trainer:737) INFO: 15epoch:train:10601-10700batch: iter_time=8.290e-05, forward_time=0.146, loss_ctc=80.490, loss_att=65.940, acc=0.693, loss=70.305, backward_time=0.425, grad_norm=56.035, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.043e-04, train_time=1.960 +[gpua002:0/64] 2023-12-07 04:58:10,235 (trainer:737) INFO: 15epoch:train:10701-10800batch: iter_time=7.735e-05, forward_time=0.271, loss_ctc=68.321, loss_att=56.431, acc=0.708, loss=59.998, backward_time=0.370, grad_norm=40.946, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.149, optim0_lr0=1.043e-04, train_time=1.934 +[gpua002:0/64] 2023-12-07 05:01:24,485 (trainer:737) INFO: 15epoch:train:10801-10900batch: iter_time=8.165e-05, forward_time=0.146, loss_ctc=68.014, loss_att=54.785, acc=0.714, loss=58.754, backward_time=0.393, grad_norm=41.489, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=1.042e-04, train_time=1.941 +[gpua002:0/64] 2023-12-07 05:04:29,573 (trainer:737) INFO: 15epoch:train:10901-11000batch: iter_time=8.182e-05, forward_time=0.147, loss_ctc=73.993, loss_att=59.954, acc=0.706, loss=64.166, backward_time=0.320, grad_norm=47.924, clip=100.000, loss_scale=1.785e+32, optim_step_time=0.134, optim0_lr0=1.042e-04, train_time=1.852 +[gpua002:0/64] 2023-12-07 05:06:52,349 (trainer:737) INFO: 15epoch:train:11001-11100batch: iter_time=8.120e-05, forward_time=0.147, loss_ctc=67.465, loss_att=56.377, acc=0.712, loss=59.703, backward_time=0.288, grad_norm=43.230, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.133, optim0_lr0=1.042e-04, train_time=1.428 +[gpua002:0/64] 2023-12-07 05:09:18,233 (trainer:737) INFO: 15epoch:train:11101-11200batch: iter_time=8.321e-05, forward_time=0.147, loss_ctc=70.541, loss_att=66.513, acc=0.689, loss=67.722, backward_time=0.290, grad_norm=47.947, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.042e-04, train_time=1.459 +[gpua002:0/64] 2023-12-07 05:10:44,192 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua002:0/64] 2023-12-07 05:11:03,609 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 05:11:07,180 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 05:11:07,180 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-07 05:11:07,184 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 05:17:39,132 (trainer:737) INFO: 15epoch:train:11201-11300batch: iter_time=3.368, forward_time=0.191, loss_ctc=68.172, loss_att=56.732, acc=0.723, loss=60.164, backward_time=0.327, grad_norm=46.000, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.042e-04, train_time=5.009 +[gpua002:0/64] 2023-12-07 05:19:49,492 (trainer:737) INFO: 15epoch:train:11301-11400batch: iter_time=8.034e-05, forward_time=0.147, loss_ctc=66.886, loss_att=52.680, acc=0.706, loss=56.942, backward_time=0.289, grad_norm=44.754, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.041e-04, train_time=1.303 +[gpua002:0/64] 2023-12-07 05:22:07,433 (trainer:737) INFO: 15epoch:train:11401-11500batch: iter_time=8.140e-05, forward_time=0.146, loss_ctc=69.772, loss_att=55.542, acc=0.714, loss=59.811, backward_time=0.282, grad_norm=47.208, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.041e-04, train_time=1.379 +[gpua002:0/64] 2023-12-07 05:24:45,184 (trainer:737) INFO: 15epoch:train:11501-11600batch: iter_time=8.089e-05, forward_time=0.146, loss_ctc=84.167, loss_att=70.634, acc=0.673, loss=74.693, backward_time=0.294, grad_norm=50.822, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.041e-04, train_time=1.577 +[gpua002:0/64] 2023-12-07 05:27:20,010 (trainer:737) INFO: 15epoch:train:11601-11700batch: iter_time=7.924e-05, forward_time=0.146, loss_ctc=67.092, loss_att=53.180, acc=0.695, loss=57.354, backward_time=0.333, grad_norm=52.647, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.041e-04, train_time=1.548 +[gpua002:0/64] 2023-12-07 05:30:14,007 (trainer:737) INFO: 15epoch:train:11701-11800batch: iter_time=7.823e-05, forward_time=0.147, loss_ctc=75.784, loss_att=60.809, acc=0.698, loss=65.301, backward_time=0.381, grad_norm=47.048, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.040e-04, train_time=1.740 +[gpua002:0/64] 2023-12-07 05:32:25,769 (trainer:737) INFO: 15epoch:train:11801-11900batch: iter_time=7.738e-05, forward_time=0.146, loss_ctc=74.665, loss_att=60.431, acc=0.693, loss=64.702, backward_time=0.304, grad_norm=49.742, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.136, optim0_lr0=1.040e-04, train_time=1.316 +[gpua002:0/64] 2023-12-07 05:34:59,669 (trainer:737) INFO: 15epoch:train:11901-12000batch: iter_time=8.307e-05, forward_time=0.231, loss_ctc=77.525, loss_att=67.090, acc=0.681, loss=70.220, backward_time=0.310, grad_norm=59.003, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.141, optim0_lr0=1.040e-04, train_time=1.540 +[gpua002:0/64] 2023-12-07 05:37:34,820 (trainer:737) INFO: 15epoch:train:12001-12100batch: iter_time=7.647e-05, forward_time=0.157, loss_ctc=69.749, loss_att=50.573, acc=0.711, loss=56.326, backward_time=0.311, grad_norm=45.520, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.040e-04, train_time=1.551 +[gpua002:0/64] 2023-12-07 05:40:25,071 (trainer:737) INFO: 15epoch:train:12101-12200batch: iter_time=8.037e-05, forward_time=0.147, loss_ctc=68.383, loss_att=55.084, acc=0.708, loss=59.074, backward_time=0.337, grad_norm=45.024, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.039e-04, train_time=1.702 +[gpua002:0/64] 2023-12-07 05:42:33,392 (trainer:737) INFO: 15epoch:train:12201-12300batch: iter_time=8.000e-05, forward_time=0.146, loss_ctc=73.759, loss_att=60.135, acc=0.699, loss=64.222, backward_time=0.289, grad_norm=49.986, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.039e-04, train_time=1.283 +[gpua002:0/64] 2023-12-07 05:44:56,099 (trainer:737) INFO: 15epoch:train:12301-12400batch: iter_time=8.008e-05, forward_time=0.146, loss_ctc=69.183, loss_att=61.560, acc=0.683, loss=63.846, backward_time=0.298, grad_norm=45.594, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.039e-04, train_time=1.427 +[gpua002:0/64] 2023-12-07 05:47:23,386 (trainer:737) INFO: 15epoch:train:12401-12500batch: iter_time=8.296e-05, forward_time=0.146, loss_ctc=61.701, loss_att=53.908, acc=0.708, loss=56.246, backward_time=0.288, grad_norm=45.421, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.039e-04, train_time=1.473 +[gpua002:0/64] 2023-12-07 05:47:43,415 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua002:0/64] 2023-12-07 05:48:02,357 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 05:48:05,921 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 05:48:05,921 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua002:0/64] 2023-12-07 05:48:05,925 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 05:54:26,279 (trainer:737) INFO: 15epoch:train:12501-12600batch: iter_time=2.918, forward_time=0.171, loss_ctc=72.807, loss_att=58.932, acc=0.712, loss=63.095, backward_time=0.283, grad_norm=51.339, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.135, optim0_lr0=1.038e-04, train_time=4.229 +[gpua002:0/64] 2023-12-07 05:57:06,575 (trainer:737) INFO: 15epoch:train:12601-12700batch: iter_time=8.240e-05, forward_time=0.147, loss_ctc=69.266, loss_att=59.354, acc=0.707, loss=62.328, backward_time=0.291, grad_norm=46.809, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.038e-04, train_time=1.603 +[gpua002:0/64] 2023-12-07 05:59:13,838 (trainer:737) INFO: 15epoch:train:12701-12800batch: iter_time=7.687e-05, forward_time=0.147, loss_ctc=72.806, loss_att=61.096, acc=0.703, loss=64.609, backward_time=0.280, grad_norm=47.425, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.038e-04, train_time=1.272 +[gpua002:0/64] 2023-12-07 06:01:40,595 (trainer:737) INFO: 15epoch:train:12801-12900batch: iter_time=8.168e-05, forward_time=0.147, loss_ctc=79.795, loss_att=61.522, acc=0.698, loss=67.004, backward_time=0.306, grad_norm=54.519, clip=100.000, loss_scale=3.245e+32, optim_step_time=0.134, optim0_lr0=1.038e-04, train_time=1.467 +[gpua002:0/64] 2023-12-07 06:04:04,428 (trainer:737) INFO: 15epoch:train:12901-13000batch: iter_time=7.866e-05, forward_time=0.146, loss_ctc=65.364, loss_att=55.885, acc=0.706, loss=58.729, backward_time=0.282, grad_norm=46.575, clip=100.000, loss_scale=3.570e+32, optim_step_time=0.134, optim0_lr0=1.038e-04, train_time=1.438 +[gpua002:0/64] 2023-12-07 06:06:44,149 (trainer:737) INFO: 15epoch:train:13001-13100batch: iter_time=8.203e-05, forward_time=0.218, loss_ctc=77.182, loss_att=61.306, acc=0.701, loss=66.069, backward_time=0.304, grad_norm=45.712, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.037e-04, train_time=1.597 +[gpua002:0/64] 2023-12-07 06:09:05,352 (trainer:737) INFO: 15epoch:train:13101-13200batch: iter_time=7.954e-05, forward_time=0.148, loss_ctc=80.630, loss_att=65.669, acc=0.697, loss=70.157, backward_time=0.294, grad_norm=59.348, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.037e-04, train_time=1.412 +[gpua002:0/64] 2023-12-07 06:12:01,430 (trainer:737) INFO: 15epoch:train:13201-13300batch: iter_time=8.197e-05, forward_time=0.147, loss_ctc=67.872, loss_att=55.695, acc=0.712, loss=59.348, backward_time=0.303, grad_norm=42.566, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.037e-04, train_time=1.761 +[gpua002:0/64] 2023-12-07 06:14:42,765 (trainer:737) INFO: 15epoch:train:13301-13400batch: iter_time=8.029e-05, forward_time=0.147, loss_ctc=67.854, loss_att=54.117, acc=0.717, loss=58.238, backward_time=0.309, grad_norm=45.346, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.037e-04, train_time=1.613 +[gpua002:0/64] 2023-12-07 06:16:55,017 (trainer:737) INFO: 15epoch:train:13401-13500batch: iter_time=7.876e-05, forward_time=0.147, loss_ctc=73.319, loss_att=59.563, acc=0.707, loss=63.690, backward_time=0.280, grad_norm=47.602, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.036e-04, train_time=1.322 +[gpua002:0/64] 2023-12-07 06:19:31,144 (trainer:737) INFO: 15epoch:train:13501-13600batch: iter_time=7.991e-05, forward_time=0.146, loss_ctc=67.182, loss_att=56.183, acc=0.714, loss=59.483, backward_time=0.313, grad_norm=44.018, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.036e-04, train_time=1.561 +[gpua002:0/64] 2023-12-07 06:22:06,949 (trainer:737) INFO: 15epoch:train:13601-13700batch: iter_time=8.081e-05, forward_time=0.220, loss_ctc=70.080, loss_att=66.670, acc=0.691, loss=67.693, backward_time=0.311, grad_norm=49.574, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.137, optim0_lr0=1.036e-04, train_time=1.558 +[gpua002:0/64] 2023-12-07 06:23:58,254 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua002:0/64] 2023-12-07 06:24:17,601 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 06:24:21,125 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 06:24:21,125 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua002:0/64] 2023-12-07 06:24:21,129 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 06:30:12,553 (trainer:737) INFO: 15epoch:train:13701-13800batch: iter_time=2.774, forward_time=0.148, loss_ctc=67.976, loss_att=56.562, acc=0.724, loss=59.986, backward_time=0.301, grad_norm=48.693, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.036e-04, train_time=4.856 +[gpua002:0/64] 2023-12-07 06:32:29,201 (trainer:737) INFO: 15epoch:train:13801-13900batch: iter_time=7.953e-05, forward_time=0.147, loss_ctc=66.961, loss_att=53.414, acc=0.705, loss=57.479, backward_time=0.285, grad_norm=41.148, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.035e-04, train_time=1.366 +[gpua002:0/64] 2023-12-07 06:35:03,664 (trainer:737) INFO: 15epoch:train:13901-14000batch: iter_time=7.828e-05, forward_time=0.150, loss_ctc=69.106, loss_att=54.858, acc=0.716, loss=59.132, backward_time=0.308, grad_norm=44.519, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.035e-04, train_time=1.544 +[gpua002:0/64] 2023-12-07 06:37:44,634 (trainer:737) INFO: 15epoch:train:14001-14100batch: iter_time=8.105e-05, forward_time=0.155, loss_ctc=84.100, loss_att=70.372, acc=0.675, loss=74.491, backward_time=0.352, grad_norm=52.009, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.035e-04, train_time=1.609 +[gpua002:0/64] 2023-12-07 06:40:21,194 (trainer:737) INFO: 15epoch:train:14101-14200batch: iter_time=8.070e-05, forward_time=0.198, loss_ctc=66.171, loss_att=52.378, acc=0.700, loss=56.516, backward_time=0.397, grad_norm=50.537, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.140, optim0_lr0=1.035e-04, train_time=1.565 +[gpua002:0/64] 2023-12-07 06:43:35,341 (trainer:737) INFO: 15epoch:train:14201-14300batch: iter_time=8.099e-05, forward_time=0.147, loss_ctc=74.803, loss_att=60.051, acc=0.701, loss=64.476, backward_time=0.371, grad_norm=46.882, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.035e-04, train_time=1.942 +[gpua002:0/64] 2023-12-07 06:46:09,028 (trainer:737) INFO: 15epoch:train:14301-14400batch: iter_time=8.142e-05, forward_time=0.148, loss_ctc=74.198, loss_att=59.945, acc=0.696, loss=64.221, backward_time=0.325, grad_norm=46.783, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.034e-04, train_time=1.537 +[gpua002:0/64] 2023-12-07 06:48:34,384 (trainer:737) INFO: 15epoch:train:14401-14500batch: iter_time=8.249e-05, forward_time=0.147, loss_ctc=78.019, loss_att=66.061, acc=0.683, loss=69.648, backward_time=0.289, grad_norm=56.128, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.034e-04, train_time=1.453 +[gpua002:0/64] 2023-12-07 06:51:04,164 (trainer:737) INFO: 15epoch:train:14501-14600batch: iter_time=8.028e-05, forward_time=0.147, loss_ctc=69.371, loss_att=50.349, acc=0.714, loss=56.055, backward_time=0.301, grad_norm=43.607, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.034e-04, train_time=1.498 +[gpua002:0/64] 2023-12-07 06:53:49,962 (trainer:737) INFO: 15epoch:train:14601-14700batch: iter_time=8.309e-05, forward_time=0.195, loss_ctc=68.497, loss_att=55.046, acc=0.709, loss=59.081, backward_time=0.324, grad_norm=44.901, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.034e-04, train_time=1.658 +[gpua002:0/64] 2023-12-07 06:56:41,165 (trainer:737) INFO: 15epoch:train:14701-14800batch: iter_time=7.888e-05, forward_time=0.218, loss_ctc=72.826, loss_att=59.697, acc=0.702, loss=63.636, backward_time=0.344, grad_norm=46.962, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.136, optim0_lr0=1.033e-04, train_time=1.712 +[gpua002:0/64] 2023-12-07 06:59:04,827 (trainer:737) INFO: 15epoch:train:14801-14900batch: iter_time=7.970e-05, forward_time=0.147, loss_ctc=69.029, loss_att=61.090, acc=0.686, loss=63.472, backward_time=0.293, grad_norm=51.223, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.033e-04, train_time=1.436 +[gpua002:0/64] 2023-12-07 07:01:58,737 (trainer:737) INFO: 15epoch:train:14901-15000batch: iter_time=7.845e-05, forward_time=0.147, loss_ctc=61.202, loss_att=53.885, acc=0.709, loss=56.080, backward_time=0.292, grad_norm=40.735, clip=100.000, loss_scale=7.139e+32, optim_step_time=0.135, optim0_lr0=1.033e-04, train_time=1.739 +[gpua002:0/64] 2023-12-07 07:27:45,445 (trainer:343) INFO: 15epoch results: [train] iter_time=0.273, forward_time=0.164, loss_ctc=72.697, loss_att=59.731, acc=0.698, loss=63.621, backward_time=0.317, grad_norm=48.473, clip=100.000, loss_scale=3.399e+32, optim_step_time=0.135, optim0_lr0=1.051e-04, train_time=1.924, time=8 hours, 1 minute and 30.68 seconds, total_count=225000, gpu_max_cached_mem_GB=37.561, [valid] loss_ctc=45.717, cer_ctc=0.231, loss_att=43.877, acc=0.659, cer=0.373, wer=1.000, loss=44.429, time=25 minutes and 22.8 seconds, total_count=70065, gpu_max_cached_mem_GB=37.561 +[gpua002:0/64] 2023-12-07 07:28:04,496 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua002:0/64] 2023-12-07 07:28:04,530 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/10epoch.pth +[gpua002:0/64] 2023-12-07 07:28:04,530 (trainer:272) INFO: 16/40epoch started. Estimated time to finish: 1 week, 2 days and 7 hours +[gpua002:0/64] 2023-12-07 07:28:04,541 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua002:0/64] 2023-12-07 07:28:23,168 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 07:28:26,629 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 07:28:26,629 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua002:0/64] 2023-12-07 07:28:26,633 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 07:37:26,312 (trainer:737) INFO: 16epoch:train:1-100batch: iter_time=2.542, forward_time=0.174, loss_ctc=64.496, loss_att=51.214, acc=0.706, loss=55.198, backward_time=0.285, grad_norm=50.844, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.033e-04, train_time=5.617 +[gpua002:0/64] 2023-12-07 07:39:27,800 (trainer:737) INFO: 16epoch:train:101-200batch: iter_time=8.661e-05, forward_time=0.146, loss_ctc=85.747, loss_att=69.873, acc=0.653, loss=74.636, backward_time=0.279, grad_norm=68.111, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.032e-04, train_time=1.215 +[gpua002:0/64] 2023-12-07 07:41:53,498 (trainer:737) INFO: 16epoch:train:201-300batch: iter_time=8.433e-05, forward_time=0.195, loss_ctc=85.926, loss_att=67.198, acc=0.679, loss=72.817, backward_time=0.308, grad_norm=62.019, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.138, optim0_lr0=1.032e-04, train_time=1.457 +[gpua002:0/64] 2023-12-07 07:44:16,764 (trainer:737) INFO: 16epoch:train:301-400batch: iter_time=8.068e-05, forward_time=0.146, loss_ctc=79.357, loss_att=67.279, acc=0.677, loss=70.902, backward_time=0.291, grad_norm=56.791, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.032e-04, train_time=1.432 +[gpua002:0/64] 2023-12-07 07:46:46,991 (trainer:737) INFO: 16epoch:train:401-500batch: iter_time=8.307e-05, forward_time=0.147, loss_ctc=77.040, loss_att=66.984, acc=0.691, loss=70.001, backward_time=0.310, grad_norm=48.006, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.032e-04, train_time=1.502 +[gpua002:0/64] 2023-12-07 07:49:06,084 (trainer:737) INFO: 16epoch:train:501-600batch: iter_time=8.533e-05, forward_time=0.163, loss_ctc=74.762, loss_att=63.059, acc=0.697, loss=66.570, backward_time=0.284, grad_norm=48.187, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.137, optim0_lr0=1.032e-04, train_time=1.391 +[gpua002:0/64] 2023-12-07 07:51:50,922 (trainer:737) INFO: 16epoch:train:601-700batch: iter_time=8.526e-05, forward_time=0.223, loss_ctc=76.022, loss_att=63.852, acc=0.680, loss=67.503, backward_time=0.310, grad_norm=54.098, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.142, optim0_lr0=1.031e-04, train_time=1.648 +[gpua002:0/64] 2023-12-07 07:54:32,103 (trainer:737) INFO: 16epoch:train:701-800batch: iter_time=8.176e-05, forward_time=0.146, loss_ctc=77.692, loss_att=61.671, acc=0.688, loss=66.477, backward_time=0.316, grad_norm=49.172, clip=100.000, loss_scale=1.298e+33, optim_step_time=0.134, optim0_lr0=1.031e-04, train_time=1.612 +[gpua002:0/64] 2023-12-07 07:55:58,034 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua002:0/64] 2023-12-07 07:56:57,942 (trainer:737) INFO: 16epoch:train:801-900batch: iter_time=8.836e-05, forward_time=0.147, loss_ctc=74.780, loss_att=62.271, acc=0.688, loss=66.023, backward_time=0.304, grad_norm=49.763, clip=100.000, loss_scale=1.042e+33, optim_step_time=0.134, optim0_lr0=1.031e-04, train_time=1.458 +[gpua002:0/64] 2023-12-07 07:59:23,726 (trainer:737) INFO: 16epoch:train:901-1000batch: iter_time=8.077e-05, forward_time=0.157, loss_ctc=73.652, loss_att=63.898, acc=0.671, loss=66.824, backward_time=0.298, grad_norm=51.399, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.031e-04, train_time=1.458 +[gpua002:0/64] 2023-12-07 08:02:19,337 (trainer:737) INFO: 16epoch:train:1001-1100batch: iter_time=8.327e-05, forward_time=0.257, loss_ctc=67.628, loss_att=44.214, acc=0.716, loss=51.238, backward_time=0.333, grad_norm=54.941, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.138, optim0_lr0=1.030e-04, train_time=1.756 +[gpua002:0/64] 2023-12-07 08:04:49,700 (trainer:737) INFO: 16epoch:train:1101-1200batch: iter_time=7.981e-05, forward_time=0.147, loss_ctc=75.062, loss_att=59.544, acc=0.692, loss=64.199, backward_time=0.303, grad_norm=50.633, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.030e-04, train_time=1.504 +[gpua002:0/64] 2023-12-07 08:06:18,441 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua002:0/64] 2023-12-07 08:06:37,180 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 08:06:41,329 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 08:06:41,329 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua002:0/64] 2023-12-07 08:06:41,334 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua002:0/64] 2023-12-07 08:11:31,057 (trainer:737) INFO: 16epoch:train:1201-1300batch: iter_time=2.340, forward_time=0.169, loss_ctc=70.330, loss_att=58.573, acc=0.693, loss=62.100, backward_time=0.294, grad_norm=46.980, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.030e-04, train_time=4.013 +[gpua002:0/64] 2023-12-07 08:13:51,325 (trainer:737) INFO: 16epoch:train:1301-1400batch: iter_time=7.580e-05, forward_time=0.149, loss_ctc=75.943, loss_att=60.548, acc=0.683, loss=65.166, backward_time=0.289, grad_norm=63.326, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.136, optim0_lr0=1.030e-04, train_time=1.403 +[gpua002:0/64] 2023-12-07 08:16:08,988 (trainer:737) INFO: 16epoch:train:1401-1500batch: iter_time=7.652e-05, forward_time=0.147, loss_ctc=68.924, loss_att=58.723, acc=0.688, loss=61.784, backward_time=0.282, grad_norm=47.083, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.030e-04, train_time=1.376 +[gpua002:0/64] 2023-12-07 08:18:38,965 (trainer:737) INFO: 16epoch:train:1501-1600batch: iter_time=7.978e-05, forward_time=0.147, loss_ctc=90.668, loss_att=74.385, acc=0.674, loss=79.270, backward_time=0.291, grad_norm=76.610, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.029e-04, train_time=1.500 +[gpua002:0/64] 2023-12-07 08:20:50,463 (trainer:737) INFO: 16epoch:train:1601-1700batch: iter_time=7.897e-05, forward_time=0.146, loss_ctc=79.897, loss_att=68.280, acc=0.694, loss=71.765, backward_time=0.279, grad_norm=47.499, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.029e-04, train_time=1.315 +[gpua002:0/64] 2023-12-07 08:23:22,119 (trainer:737) INFO: 16epoch:train:1701-1800batch: iter_time=7.960e-05, forward_time=0.147, loss_ctc=70.567, loss_att=58.175, acc=0.713, loss=61.892, backward_time=0.294, grad_norm=45.514, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.029e-04, train_time=1.516 +[gpua002:0/64] 2023-12-07 08:26:01,775 (trainer:737) INFO: 16epoch:train:1801-1900batch: iter_time=7.840e-05, forward_time=0.148, loss_ctc=73.817, loss_att=65.857, acc=0.696, loss=68.245, backward_time=0.301, grad_norm=47.426, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.029e-04, train_time=1.596 +[gpua002:0/64] 2023-12-07 08:28:25,977 (trainer:737) INFO: 16epoch:train:1901-2000batch: iter_time=7.990e-05, forward_time=0.146, loss_ctc=76.267, loss_att=67.906, acc=0.691, loss=70.414, backward_time=0.285, grad_norm=51.461, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.028e-04, train_time=1.442 +[gpua002:0/64] 2023-12-07 08:30:46,200 (trainer:737) INFO: 16epoch:train:2001-2100batch: iter_time=8.053e-05, forward_time=0.147, loss_ctc=78.609, loss_att=62.520, acc=0.695, loss=67.347, backward_time=0.297, grad_norm=47.678, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.135, optim0_lr0=1.028e-04, train_time=1.402 +[gpua002:0/64] 2023-12-07 08:33:47,813 (trainer:737) INFO: 16epoch:train:2101-2200batch: iter_time=8.158e-05, forward_time=0.221, loss_ctc=66.129, loss_att=61.937, acc=0.680, loss=63.195, backward_time=0.360, grad_norm=44.746, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.138, optim0_lr0=1.028e-04, train_time=1.816 +[gpua002:0/64] 2023-12-07 08:36:19,427 (trainer:737) INFO: 16epoch:train:2201-2300batch: iter_time=8.043e-05, forward_time=0.146, loss_ctc=73.028, loss_att=55.363, acc=0.704, loss=60.662, backward_time=0.307, grad_norm=49.558, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.028e-04, train_time=1.516 +[gpua002:0/64] 2023-12-07 08:38:49,124 (trainer:737) INFO: 16epoch:train:2301-2400batch: iter_time=8.083e-05, forward_time=0.147, loss_ctc=73.753, loss_att=53.631, acc=0.706, loss=59.667, backward_time=0.317, grad_norm=55.464, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=1.497 +[gpua002:0/64] 2023-12-07 08:41:17,684 (trainer:737) INFO: 16epoch:train:2401-2500batch: iter_time=7.672e-05, forward_time=0.146, loss_ctc=71.733, loss_att=58.063, acc=0.701, loss=62.164, backward_time=0.297, grad_norm=51.573, clip=100.000, loss_scale=6.490e+32, optim_step_time=0.134, optim0_lr0=1.027e-04, train_time=1.485 +[gpua002:0/64] 2023-12-07 08:41:37,713 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua002:0/64] 2023-12-07 08:41:56,741 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua002:0/64] 2023-12-07 08:42:00,278 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua002:0/64] 2023-12-07 08:42:00,278 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua002:0/64] 2023-12-07 08:42:00,281 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +srun: Job step aborted: Waiting up to 32 seconds for job step to finish. +slurmstepd: error: *** STEP 2730378.0 ON gpua002 CANCELLED AT 2023-12-07T08:44:22 *** diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.9.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.9.log new file mode 100644 index 0000000000000000000000000000000000000000..f80df85f27243585428838dc673fea96bd64f39f --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.9.log @@ -0,0 +1,4087 @@ +# Running on gpua005.delta.ncsa.illinois.edu +# Started at Sun Dec 3 12:53:43 CST 2023 +# SLURMD_NODENAME=gpua005 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2724912 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1701802413 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2724912 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[005,007,010-011,030-033,062,065-067,083,086,092-093]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1701629613 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[005,007,010-011,030-033,062,065-067,083,086,092-093]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=2239190 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua005 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +[gpua005:0/64] 2023-12-03 12:54:26,902 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua005:0/64] 2023-12-03 12:54:37,092 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:54:47,092 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:54:57,109 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:55:07,175 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:55:17,220 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:55:27,233 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:55:37,256 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:55:47,278 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:55:57,311 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:56:07,326 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:56:17,369 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:56:27,396 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:56:37,423 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:56:47,462 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_3ed2d2bc-34d7-4f61-9bcd-0e50679ef230 +[gpua005:0/64] 2023-12-03 12:56:57,517 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=44, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:57:07,811 (distributed_c10d:337) INFO: Waiting in store based barrier to initialize process group for rank: 0, key: store_based_barrier_key:1 (world_size=64, worker_count=64, timeout=0:30:00) +[gpua005:0/64] 2023-12-03 12:57:07,811 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua005:0/64] 2023-12-03 12:57:07,859 (s2t:464) INFO: Vocabulary size: 50002 +[gpua005:0/64] 2023-12-03 12:57:17,658 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua005:0/64] 2023-12-03 12:57:17,669 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua005:0/64] 2023-12-03 12:57:17,669 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua005:0/64] 2023-12-03 12:57:17,669 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua005:0/64] 2023-12-03 12:57:17,673 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua005:0/64] 2023-12-03 12:57:22,976 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 12:57:23,876 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 12:57:23,877 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua005:0/64] 2023-12-03 12:57:23,878 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 12:57:38,881 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua005:2239264:2239264 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2239264:2239264 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2239264:2239264 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua005:0/64] 2023-12-03 12:57:49,398 (trainer:284) INFO: 6/40epoch started +[gpua005:0/64] 2023-12-03 12:57:49,457 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua005:0/64] 2023-12-03 12:58:07,261 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 12:58:10,686 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 12:58:10,686 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua005:0/64] 2023-12-03 12:58:10,689 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua031:539241:539241 [1] NCCL INFO cudaDriverVersion 12020 +gpua031:539241:539241 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:539241:539241 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:539241:539306 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:539241:539306 [1] NCCL INFO Using network IB +gpua031:539241:539306 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua031:539241:539306 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua031:539241:539306 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua031:539241:539306 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua031:539241:539306 [1] NCCL INFO Connected all rings +gpua031:539241:539306 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua031:539241:539306 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua032:544523:544523 [1] NCCL INFO cudaDriverVersion 12020 +gpua032:544523:544523 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:544523:544523 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:544523:544591 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:544523:544591 [1] NCCL INFO Using network IB +gpua032:544523:544591 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua032:544523:544591 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua032:544523:544591 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua032:544523:544591 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua032:544523:544591 [1] NCCL INFO Connected all rings +gpua032:544523:544591 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua032:544523:544591 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua031:539241:539306 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua031:539241:539306 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua031:539241:539306 [1] NCCL INFO Connected all trees +gpua031:539241:539306 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:539241:539306 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:539241:539306 [1] NCCL INFO comm 0x932d31e0 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua032:544523:544591 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua032:544523:544591 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua032:544523:544591 [1] NCCL INFO Connected all trees +gpua032:544523:544591 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:544523:544591 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:544523:544591 [1] NCCL INFO comm 0xa041f410 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua032:544524:544524 [2] NCCL INFO cudaDriverVersion 12020 +gpua032:544524:544524 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:544524:544524 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:544524:544593 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:544524:544593 [2] NCCL INFO Using network IB +gpua032:544524:544593 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua032:544524:544593 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua032:544524:544593 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua032:544524:544593 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua032:544524:544593 [2] NCCL INFO Connected all rings +gpua032:544524:544593 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua032:544524:544593 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua032:544524:544593 [2] NCCL INFO Connected all trees +gpua032:544524:544593 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:544524:544593 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:544524:544593 [2] NCCL INFO comm 0x1e262810 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua093:360448:360448 [3] NCCL INFO cudaDriverVersion 12020 +gpua093:360448:360448 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> +gpua093:360448:360448 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua093:360448:360510 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> +gpua093:360448:360510 [3] NCCL INFO Using network IB +gpua093:360448:360510 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua093:360448:360510 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua093:360448:360510 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua093:360448:360510 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua093:360448:360510 [3] NCCL INFO Connected all rings +gpua093:360448:360510 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua093:360448:360510 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua093:360448:360510 [3] NCCL INFO Connected all trees +gpua093:360448:360510 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua093:360448:360510 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua093:360448:360510 [3] NCCL INFO comm 0x49abc140 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua005:2239267:2239267 [3] NCCL INFO cudaDriverVersion 12020 +gpua005:2239267:2239267 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2239267:2239267 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2239267:2239342 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2239267:2239342 [3] NCCL INFO Using network IB +gpua005:2239267:2239342 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua005:2239267:2239342 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua005:2239267:2239342 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua005:2239267:2239342 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua005:2239267:2239342 [3] NCCL INFO Connected all rings +gpua005:2239267:2239342 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua005:2239267:2239342 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua005:2239267:2239342 [3] NCCL INFO Connected all trees +gpua005:2239267:2239342 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2239267:2239342 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2239267:2239342 [3] NCCL INFO comm 0xbfb97a0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua093:360447:360447 [2] NCCL INFO cudaDriverVersion 12020 +gpua093:360447:360447 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> +gpua093:360447:360447 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua093:360447:360508 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> +gpua093:360447:360508 [2] NCCL INFO Using network IB +gpua093:360447:360508 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua093:360447:360508 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua093:360447:360508 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua093:360447:360508 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua093:360447:360508 [2] NCCL INFO Connected all rings +gpua093:360447:360508 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua093:360447:360508 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua093:360447:360508 [2] NCCL INFO Connected all trees +gpua093:360447:360508 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua093:360447:360508 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua093:360447:360508 [2] NCCL INFO comm 0xebc9a420 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua065:569069:569069 [2] NCCL INFO cudaDriverVersion 12020 +gpua065:569069:569069 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.65<0> +gpua065:569069:569069 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua065:569069:569130 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.65<0> +gpua065:569069:569130 [2] NCCL INFO Using network IB +gpua065:569069:569130 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua065:569069:569130 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua065:569069:569130 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua065:569069:569130 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua065:569069:569130 [2] NCCL INFO Connected all rings +gpua065:569069:569130 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua065:569069:569130 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua065:569069:569130 [2] NCCL INFO Connected all trees +gpua065:569069:569130 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua065:569069:569130 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua065:569069:569130 [2] NCCL INFO comm 0xfcbf9f0 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua011:802532:802532 [2] NCCL INFO cudaDriverVersion 12020 +gpua011:802532:802532 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:802532:802532 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:802532:802593 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:802532:802593 [2] NCCL INFO Using network IB +gpua011:802532:802593 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua011:802532:802593 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua011:802532:802593 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua011:802532:802593 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua011:802532:802593 [2] NCCL INFO Connected all rings +gpua011:802532:802593 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua011:802532:802593 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua011:802532:802593 [2] NCCL INFO Connected all trees +gpua011:802532:802593 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:802532:802593 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:802532:802593 [2] NCCL INFO comm 0xbef4ed0 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua031:539242:539242 [2] NCCL INFO cudaDriverVersion 12020 +gpua031:539242:539242 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:539242:539242 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:539242:539305 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:539242:539305 [2] NCCL INFO Using network IB +gpua031:539242:539305 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua031:539242:539305 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua031:539242:539305 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua031:539242:539305 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua031:539242:539305 [2] NCCL INFO Connected all rings +gpua031:539242:539305 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua031:539242:539305 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua031:539242:539305 [2] NCCL INFO Connected all trees +gpua031:539242:539305 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:539242:539305 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:539242:539305 [2] NCCL INFO comm 0xb7fc110 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua011:802533:802533 [3] NCCL INFO cudaDriverVersion 12020 +gpua011:802533:802533 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:802533:802533 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:802533:802594 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:802533:802594 [3] NCCL INFO Using network IB +gpua011:802533:802594 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua011:802533:802594 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua011:802533:802594 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua011:802533:802594 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua011:802533:802594 [3] NCCL INFO Connected all rings +gpua011:802533:802594 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua011:802533:802594 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua011:802533:802594 [3] NCCL INFO Connected all trees +gpua011:802533:802594 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:802533:802594 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:802533:802594 [3] NCCL INFO comm 0x1687a210 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua067:315230:315230 [0] NCCL INFO cudaDriverVersion 12020 +gpua067:315230:315230 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:315230:315230 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:315230:315297 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:315230:315297 [0] NCCL INFO Using network IB +gpua067:315230:315297 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua067:315230:315297 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua067:315230:315297 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua067:315230:315297 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua067:315230:315297 [0] NCCL INFO Connected all rings +gpua067:315230:315297 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua067:315230:315297 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua067:315230:315297 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua067:315230:315297 [0] NCCL INFO Connected all trees +gpua067:315230:315297 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:315230:315297 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:315230:315297 [0] NCCL INFO comm 0x11db9ad0 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua067:315231:315231 [1] NCCL INFO cudaDriverVersion 12020 +gpua031:539240:539240 [0] NCCL INFO cudaDriverVersion 12020 +gpua031:539240:539240 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:539240:539240 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:539240:539304 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:539240:539304 [0] NCCL INFO Using network IB +gpua031:539240:539304 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua031:539240:539304 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua031:539240:539304 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua031:539240:539304 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua031:539240:539304 [0] NCCL INFO Connected all rings +gpua067:315231:315231 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:315231:315231 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:315231:315294 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:315231:315294 [1] NCCL INFO Using network IB +gpua067:315231:315294 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua067:315231:315294 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua067:315231:315294 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua067:315231:315294 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua067:315231:315294 [1] NCCL INFO Connected all rings +gpua067:315231:315294 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua067:315231:315294 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua067:315231:315294 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua031:539240:539304 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua031:539240:539304 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua031:539240:539304 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua031:539240:539304 [0] NCCL INFO Connected all trees +gpua031:539240:539304 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:539240:539304 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:539240:539304 [0] NCCL INFO comm 0xc82dc10 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua067:315231:315294 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua067:315231:315294 [1] NCCL INFO Connected all trees +gpua067:315231:315294 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:315231:315294 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:315231:315294 [1] NCCL INFO comm 0x19653290 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua067:315233:315233 [3] NCCL INFO cudaDriverVersion 12020 +gpua067:315233:315233 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:315233:315233 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:315233:315296 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:315233:315296 [3] NCCL INFO Using network IB +gpua067:315233:315296 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua067:315233:315296 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua067:315233:315296 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua067:315233:315296 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua067:315233:315296 [3] NCCL INFO Connected all rings +gpua067:315233:315296 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua067:315233:315296 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua067:315233:315296 [3] NCCL INFO Connected all trees +gpua067:315233:315296 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:315233:315296 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:315233:315296 [3] NCCL INFO comm 0x16a54200 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua066:441312:441312 [2] NCCL INFO cudaDriverVersion 12020 +gpua066:441312:441312 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.66<0> +gpua066:441312:441312 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua066:441312:441371 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.66<0> +gpua066:441312:441371 [2] NCCL INFO Using network IB +gpua066:441312:441371 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua066:441312:441371 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua066:441312:441371 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua066:441312:441371 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua066:441312:441371 [2] NCCL INFO Connected all rings +gpua066:441312:441371 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua066:441312:441371 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua066:441312:441371 [2] NCCL INFO Connected all trees +gpua066:441312:441371 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua066:441312:441371 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua066:441312:441371 [2] NCCL INFO comm 0xe74fdc20 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua083:1638533:1638533 [3] NCCL INFO cudaDriverVersion 12020 +gpua083:1638533:1638533 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1638533:1638533 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1638533:1638607 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1638533:1638607 [3] NCCL INFO Using network IB +gpua083:1638533:1638607 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua083:1638533:1638607 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua083:1638533:1638607 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua083:1638533:1638607 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua083:1638533:1638607 [3] NCCL INFO Connected all rings +gpua083:1638533:1638607 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua083:1638533:1638607 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua083:1638533:1638607 [3] NCCL INFO Connected all trees +gpua083:1638533:1638607 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1638533:1638607 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1638533:1638607 [3] NCCL INFO comm 0x9be4fce0 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:1638531:1638531 [1] NCCL INFO cudaDriverVersion 12020 +gpua083:1638531:1638531 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1638531:1638531 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1638531:1638608 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1638531:1638608 [1] NCCL INFO Using network IB +gpua083:1638531:1638608 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua083:1638531:1638608 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua083:1638531:1638608 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua083:1638531:1638608 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua083:1638531:1638608 [1] NCCL INFO Connected all rings +gpua083:1638531:1638608 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua083:1638531:1638608 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua083:1638531:1638608 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua083:1638531:1638608 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua083:1638531:1638608 [1] NCCL INFO Connected all trees +gpua083:1638531:1638608 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1638531:1638608 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1638531:1638608 [1] NCCL INFO comm 0xc97e7e0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua066:441313:441313 [3] NCCL INFO cudaDriverVersion 12020 +gpua066:441313:441313 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.66<0> +gpua066:441313:441313 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua066:441313:441374 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.66<0> +gpua066:441313:441374 [3] NCCL INFO Using network IB +gpua066:441313:441374 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua066:441313:441374 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua066:441313:441374 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua066:441313:441374 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua066:441313:441374 [3] NCCL INFO Connected all rings +gpua066:441313:441374 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua066:441313:441374 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua092:579002:579002 [1] NCCL INFO cudaDriverVersion 12020 +gpua092:579002:579002 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:579002:579002 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:579002:579061 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:579002:579061 [1] NCCL INFO Using network IB +gpua092:579002:579061 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua092:579002:579061 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua092:579002:579061 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua092:579002:579061 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua092:579002:579061 [1] NCCL INFO Connected all rings +gpua092:579002:579061 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua092:579002:579061 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua066:441313:441374 [3] NCCL INFO Connected all trees +gpua066:441313:441374 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua066:441313:441374 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua066:441313:441374 [3] NCCL INFO comm 0x98ddd450 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua092:579002:579061 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua092:579002:579061 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua092:579002:579061 [1] NCCL INFO Connected all trees +gpua092:579002:579061 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:579002:579061 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:579002:579061 [1] NCCL INFO comm 0xe94168a0 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua032:544522:544522 [0] NCCL INFO cudaDriverVersion 12020 +gpua032:544522:544522 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:544522:544522 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:544522:544594 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:544522:544594 [0] NCCL INFO Using network IB +gpua032:544522:544594 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua032:544522:544594 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:544522:544594 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua032:544522:544594 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua032:544522:544594 [0] NCCL INFO Connected all rings +gpua032:544522:544594 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua032:544522:544594 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua032:544522:544594 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua032:544522:544594 [0] NCCL INFO Connected all trees +gpua032:544522:544594 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:544522:544594 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:544522:544594 [0] NCCL INFO comm 0x1de6a2a0 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua086:533626:533626 [1] NCCL INFO cudaDriverVersion 12020 +gpua086:533626:533626 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:533626:533626 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:533626:533705 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:533626:533705 [1] NCCL INFO Using network IB +gpua086:533626:533705 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua086:533626:533705 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua086:533626:533705 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua086:533626:533705 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua086:533626:533705 [1] NCCL INFO Connected all rings +gpua086:533626:533705 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua086:533626:533705 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua066:441310:441310 [0] NCCL INFO cudaDriverVersion 12020 +gpua066:441310:441310 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.66<0> +gpua066:441310:441310 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua066:441310:441372 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.66<0> +gpua066:441310:441372 [0] NCCL INFO Using network IB +gpua066:441310:441372 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua066:441310:441372 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua066:441310:441372 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua066:441310:441372 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua066:441310:441372 [0] NCCL INFO Connected all rings +gpua086:533626:533705 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua086:533626:533705 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua086:533626:533705 [1] NCCL INFO Connected all trees +gpua086:533626:533705 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:533626:533705 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:533626:533705 [1] NCCL INFO comm 0xe1038e0 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua066:441310:441372 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua066:441310:441372 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua066:441310:441372 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua066:441310:441372 [0] NCCL INFO Connected all trees +gpua066:441310:441372 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua066:441310:441372 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua066:441310:441372 [0] NCCL INFO comm 0xc6e5760 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua065:569067:569067 [0] NCCL INFO cudaDriverVersion 12020 +gpua065:569067:569067 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.65<0> +gpua065:569067:569067 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua065:569067:569128 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.65<0> +gpua065:569067:569128 [0] NCCL INFO Using network IB +gpua065:569067:569128 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua065:569067:569128 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua065:569067:569128 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua065:569067:569128 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua065:569067:569128 [0] NCCL INFO Connected all rings +gpua010:234972:234972 [3] NCCL INFO cudaDriverVersion 12020 +gpua010:234972:234972 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> +gpua010:234972:234972 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua010:234972:235042 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> +gpua010:234972:235042 [3] NCCL INFO Using network IB +gpua010:234972:235042 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua010:234972:235042 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua010:234972:235042 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua010:234972:235042 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua010:234972:235042 [3] NCCL INFO Connected all rings +gpua010:234972:235042 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua010:234972:235042 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua065:569067:569128 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua065:569067:569128 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua065:569067:569128 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua065:569067:569128 [0] NCCL INFO Connected all trees +gpua065:569067:569128 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua065:569067:569128 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua065:569067:569128 [0] NCCL INFO comm 0x16effd30 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua010:234972:235042 [3] NCCL INFO Connected all trees +gpua010:234972:235042 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua010:234972:235042 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua010:234972:235042 [3] NCCL INFO comm 0xd5d7010 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua032:544525:544525 [3] NCCL INFO cudaDriverVersion 12020 +gpua032:544525:544525 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.32<0> +gpua032:544525:544525 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua032:544525:544592 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.32<0> +gpua032:544525:544592 [3] NCCL INFO Using network IB +gpua032:544525:544592 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua032:544525:544592 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua032:544525:544592 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua032:544525:544592 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua032:544525:544592 [3] NCCL INFO Connected all rings +gpua032:544525:544592 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua032:544525:544592 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua032:544525:544592 [3] NCCL INFO Connected all trees +gpua032:544525:544592 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua032:544525:544592 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua032:544525:544592 [3] NCCL INFO comm 0x39aa9e30 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua005:2239265:2239265 [1] NCCL INFO cudaDriverVersion 12020 +gpua005:2239265:2239265 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2239265:2239265 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2239265:2239345 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2239265:2239345 [1] NCCL INFO Using network IB +gpua005:2239265:2239345 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua005:2239265:2239345 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua005:2239265:2239345 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua005:2239265:2239345 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua005:2239265:2239345 [1] NCCL INFO Connected all rings +gpua005:2239265:2239345 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua005:2239265:2239345 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua005:2239265:2239345 [1] NCCL INFO Connected all trees +gpua005:2239265:2239345 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2239265:2239345 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2239265:2239345 [1] NCCL INFO comm 0xe157ad0 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua065:569070:569070 [3] NCCL INFO cudaDriverVersion 12020 +gpua065:569070:569070 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.65<0> +gpua065:569070:569070 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua065:569070:569129 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.65<0> +gpua065:569070:569129 [3] NCCL INFO Using network IB +gpua065:569070:569129 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua065:569070:569129 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua065:569070:569129 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua065:569070:569129 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua065:569070:569129 [3] NCCL INFO Connected all rings +gpua065:569070:569129 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua065:569070:569129 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua065:569070:569129 [3] NCCL INFO Connected all trees +gpua065:569070:569129 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua065:569070:569129 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua065:569070:569129 [3] NCCL INFO comm 0x94c2d610 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:1638530:1638530 [0] NCCL INFO cudaDriverVersion 12020 +gpua083:1638530:1638530 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1638530:1638530 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1638530:1638606 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1638530:1638606 [0] NCCL INFO Using network IB +gpua083:1638530:1638606 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua083:1638530:1638606 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:1638530:1638606 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua083:1638530:1638606 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua083:1638530:1638606 [0] NCCL INFO Connected all rings +gpua005:2239266:2239266 [2] NCCL INFO cudaDriverVersion 12020 +gpua005:2239266:2239266 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.5<0> +gpua005:2239266:2239266 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua005:2239266:2239341 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2239266:2239341 [2] NCCL INFO Using network IB +gpua005:2239266:2239341 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua005:2239266:2239341 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua005:2239266:2239341 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua005:2239266:2239341 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua005:2239266:2239341 [2] NCCL INFO Connected all rings +gpua005:2239266:2239341 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua005:2239266:2239341 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua005:2239266:2239341 [2] NCCL INFO Connected all trees +gpua005:2239266:2239341 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2239266:2239341 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2239266:2239341 [2] NCCL INFO comm 0x2458ee90 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua083:1638530:1638606 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua083:1638530:1638606 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:1638530:1638606 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua083:1638530:1638606 [0] NCCL INFO Connected all trees +gpua083:1638530:1638606 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1638530:1638606 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1638530:1638606 [0] NCCL INFO comm 0x93d7c590 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua093:360445:360445 [0] NCCL INFO cudaDriverVersion 12020 +gpua093:360445:360445 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> +gpua093:360445:360445 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua093:360445:360511 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> +gpua093:360445:360511 [0] NCCL INFO Using network IB +gpua093:360445:360511 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua093:360445:360511 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua093:360445:360511 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua093:360445:360511 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua093:360445:360511 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua093:360445:360511 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua093:360445:360511 [0] NCCL INFO Connected all rings +gpua093:360445:360511 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua093:360445:360511 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua093:360445:360511 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua093:360445:360511 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua093:360445:360511 [0] NCCL INFO Connected all trees +gpua093:360445:360511 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua093:360445:360511 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua093:360445:360511 [0] NCCL INFO comm 0xf138fe60 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua062:1330566:1330566 [1] NCCL INFO cudaDriverVersion 12020 +gpua062:1330566:1330566 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> +gpua062:1330566:1330566 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua062:1330566:1330633 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> +gpua062:1330566:1330633 [1] NCCL INFO Using network IB +gpua062:1330566:1330633 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua062:1330566:1330633 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua062:1330566:1330633 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua062:1330566:1330633 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua062:1330566:1330633 [1] NCCL INFO Connected all rings +gpua062:1330566:1330633 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua062:1330566:1330633 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua062:1330566:1330633 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua062:1330566:1330633 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua062:1330566:1330633 [1] NCCL INFO Connected all trees +gpua062:1330566:1330633 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua062:1330566:1330633 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua062:1330566:1330633 [1] NCCL INFO comm 0xdd953a0 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua031:539243:539243 [3] NCCL INFO cudaDriverVersion 12020 +gpua031:539243:539243 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.31<0> +gpua031:539243:539243 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua031:539243:539307 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.31<0> +gpua031:539243:539307 [3] NCCL INFO Using network IB +gpua031:539243:539307 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua031:539243:539307 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua031:539243:539307 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua031:539243:539307 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua031:539243:539307 [3] NCCL INFO Connected all rings +gpua031:539243:539307 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua031:539243:539307 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua005:2239264:2239340 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.5<0> +gpua005:2239264:2239340 [0] NCCL INFO Using network IB +gpua005:2239264:2239340 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua005:2239264:2239340 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua005:2239264:2239340 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua005:2239264:2239340 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua005:2239264:2239340 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua005:2239264:2239340 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua005:2239264:2239340 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua005:2239264:2239340 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua031:539243:539307 [3] NCCL INFO Connected all trees +gpua031:539243:539307 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua031:539243:539307 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua031:539243:539307 [3] NCCL INFO comm 0xce05890 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua005:2239264:2239340 [0] NCCL INFO Connected all rings +gpua005:2239264:2239340 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua005:2239264:2239340 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua005:2239264:2239340 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua005:2239264:2239340 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua005:2239264:2239340 [0] NCCL INFO Connected all trees +gpua005:2239264:2239340 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua005:2239264:2239340 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua005:2239264:2239340 [0] NCCL INFO comm 0xf321130 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua033:930016:930016 [0] NCCL INFO cudaDriverVersion 12020 +gpua033:930016:930016 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:930016:930016 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:930016:930077 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:930016:930077 [0] NCCL INFO Using network IB +gpua033:930016:930077 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua033:930016:930077 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua033:930016:930077 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua033:930016:930077 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua033:930016:930077 [0] NCCL INFO Connected all rings +gpua033:930016:930077 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua033:930016:930077 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua033:930016:930077 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua033:930016:930077 [0] NCCL INFO Connected all trees +gpua033:930016:930077 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:930016:930077 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:930016:930077 [0] NCCL INFO comm 0x4df09520 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua033:930017:930017 [1] NCCL INFO cudaDriverVersion 12020 +gpua033:930017:930017 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:930017:930017 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:930017:930079 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:930017:930079 [1] NCCL INFO Using network IB +gpua033:930017:930079 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua033:930017:930079 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua033:930017:930079 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua033:930017:930079 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua033:930017:930079 [1] NCCL INFO Connected all rings +gpua033:930017:930079 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua033:930017:930079 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua033:930017:930079 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua033:930017:930079 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua033:930017:930079 [1] NCCL INFO Connected all trees +gpua033:930017:930079 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:930017:930079 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:930017:930079 [1] NCCL INFO comm 0x11ce42b0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua067:315232:315232 [2] NCCL INFO cudaDriverVersion 12020 +gpua067:315232:315232 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:315232:315232 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:315232:315295 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:315232:315295 [2] NCCL INFO Using network IB +gpua067:315232:315295 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua067:315232:315295 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua067:315232:315295 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua067:315232:315295 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua067:315232:315295 [2] NCCL INFO Connected all rings +gpua067:315232:315295 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua067:315232:315295 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua067:315232:315295 [2] NCCL INFO Connected all trees +gpua067:315232:315295 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:315232:315295 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:315232:315295 [2] NCCL INFO comm 0x15c64120 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua011:802531:802531 [1] NCCL INFO cudaDriverVersion 12020 +gpua011:802531:802531 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:802531:802531 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:802531:802595 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:802531:802595 [1] NCCL INFO Using network IB +gpua011:802531:802595 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua011:802531:802595 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua011:802531:802595 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua011:802531:802595 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua011:802531:802595 [1] NCCL INFO Connected all rings +gpua011:802531:802595 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua011:802531:802595 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua011:802531:802595 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua011:802531:802595 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua011:802531:802595 [1] NCCL INFO Connected all trees +gpua011:802531:802595 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:802531:802595 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:802531:802595 [1] NCCL INFO comm 0xe7c07a0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua062:1330567:1330567 [2] NCCL INFO cudaDriverVersion 12020 +gpua062:1330567:1330567 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> +gpua062:1330567:1330567 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua062:1330567:1330631 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> +gpua062:1330567:1330631 [2] NCCL INFO Using network IB +gpua062:1330567:1330631 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua062:1330567:1330631 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua062:1330567:1330631 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua062:1330567:1330631 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua062:1330567:1330631 [2] NCCL INFO Connected all rings +gpua062:1330567:1330631 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua062:1330567:1330631 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua062:1330567:1330631 [2] NCCL INFO Connected all trees +gpua062:1330567:1330631 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua062:1330567:1330631 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua062:1330567:1330631 [2] NCCL INFO comm 0xa701880 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua092:579004:579004 [3] NCCL INFO cudaDriverVersion 12020 +gpua092:579004:579004 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:579004:579004 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:579004:579063 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:579004:579063 [3] NCCL INFO Using network IB +gpua092:579004:579063 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua092:579004:579063 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua092:579004:579063 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua092:579004:579063 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua092:579004:579063 [3] NCCL INFO Connected all rings +gpua092:579004:579063 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua092:579004:579063 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua092:579004:579063 [3] NCCL INFO Connected all trees +gpua092:579004:579063 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:579004:579063 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:579004:579063 [3] NCCL INFO comm 0x9c3e3990 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua083:1638532:1638532 [2] NCCL INFO cudaDriverVersion 12020 +gpua083:1638532:1638532 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.83<0> +gpua083:1638532:1638532 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua083:1638532:1638609 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.83<0> +gpua083:1638532:1638609 [2] NCCL INFO Using network IB +gpua083:1638532:1638609 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua083:1638532:1638609 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua083:1638532:1638609 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua083:1638532:1638609 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua083:1638532:1638609 [2] NCCL INFO Connected all rings +gpua083:1638532:1638609 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua083:1638532:1638609 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua065:569068:569068 [1] NCCL INFO cudaDriverVersion 12020 +gpua065:569068:569068 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.65<0> +gpua065:569068:569068 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua065:569068:569131 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.65<0> +gpua065:569068:569131 [1] NCCL INFO Using network IB +gpua065:569068:569131 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua065:569068:569131 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua065:569068:569131 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua065:569068:569131 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua065:569068:569131 [1] NCCL INFO Connected all rings +gpua065:569068:569131 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua065:569068:569131 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua083:1638532:1638609 [2] NCCL INFO Connected all trees +gpua083:1638532:1638609 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua083:1638532:1638609 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua083:1638532:1638609 [2] NCCL INFO comm 0x3dfd6800 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua065:569068:569131 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua065:569068:569131 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua065:569068:569131 [1] NCCL INFO Connected all trees +gpua065:569068:569131 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua065:569068:569131 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua065:569068:569131 [1] NCCL INFO comm 0xd8cfec0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua092:579003:579003 [2] NCCL INFO cudaDriverVersion 12020 +gpua092:579003:579003 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:579003:579003 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:579003:579062 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:579003:579062 [2] NCCL INFO Using network IB +gpua092:579003:579062 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua092:579003:579062 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua092:579003:579062 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua092:579003:579062 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua092:579003:579062 [2] NCCL INFO Connected all rings +gpua092:579003:579062 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua092:579003:579062 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua092:579003:579062 [2] NCCL INFO Connected all trees +gpua092:579003:579062 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:579003:579062 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:579003:579062 [2] NCCL INFO comm 0xe464820 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua086:533627:533627 [2] NCCL INFO cudaDriverVersion 12020 +gpua086:533627:533627 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:533627:533627 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:533627:533703 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:533627:533703 [2] NCCL INFO Using network IB +gpua086:533627:533703 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua086:533627:533703 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua086:533627:533703 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua086:533627:533703 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua086:533627:533703 [2] NCCL INFO Connected all rings +gpua086:533627:533703 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua086:533627:533703 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua086:533627:533703 [2] NCCL INFO Connected all trees +gpua086:533627:533703 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:533627:533703 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:533627:533703 [2] NCCL INFO comm 0x9bdca620 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua086:533628:533628 [3] NCCL INFO cudaDriverVersion 12020 +gpua086:533628:533628 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:533628:533628 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:533628:533706 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:533628:533706 [3] NCCL INFO Using network IB +gpua086:533628:533706 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua086:533628:533706 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua086:533628:533706 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua086:533628:533706 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua086:533628:533706 [3] NCCL INFO Connected all rings +gpua086:533628:533706 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua086:533628:533706 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua086:533628:533706 [3] NCCL INFO Connected all trees +gpua086:533628:533706 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:533628:533706 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:533628:533706 [3] NCCL INFO comm 0xe0b117e0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua086:533625:533625 [0] NCCL INFO cudaDriverVersion 12020 +gpua086:533625:533625 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.86<0> +gpua086:533625:533625 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua086:533625:533704 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.86<0> +gpua086:533625:533704 [0] NCCL INFO Using network IB +gpua086:533625:533704 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua086:533625:533704 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua086:533625:533704 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua086:533625:533704 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua086:533625:533704 [0] NCCL INFO Connected all rings +gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua086:533625:533704 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua086:533625:533704 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua086:533625:533704 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua086:533625:533704 [0] NCCL INFO Connected all trees +gpua086:533625:533704 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua086:533625:533704 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua086:533625:533704 [0] NCCL INFO comm 0xeba76da0 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua033:930019:930019 [3] NCCL INFO cudaDriverVersion 12020 +gpua033:930019:930019 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:930019:930019 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:930019:930078 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:930019:930078 [3] NCCL INFO Using network IB +gpua033:930019:930078 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua033:930019:930078 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua033:930019:930078 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua033:930019:930078 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua033:930019:930078 [3] NCCL INFO Connected all rings +gpua033:930019:930078 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua033:930019:930078 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua033:930019:930078 [3] NCCL INFO Connected all trees +gpua033:930019:930078 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:930019:930078 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:930019:930078 [3] NCCL INFO comm 0xb63b290 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua092:579001:579001 [0] NCCL INFO cudaDriverVersion 12020 +gpua092:579001:579001 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.92<0> +gpua092:579001:579001 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua092:579001:579064 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.92<0> +gpua092:579001:579064 [0] NCCL INFO Using network IB +gpua092:579001:579064 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua092:579001:579064 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua092:579001:579064 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua092:579001:579064 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua092:579001:579064 [0] NCCL INFO Connected all rings +gpua092:579001:579064 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua092:579001:579064 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua092:579001:579064 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua092:579001:579064 [0] NCCL INFO Connected all trees +gpua092:579001:579064 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua092:579001:579064 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua092:579001:579064 [0] NCCL INFO comm 0x1ad95c50 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua010:234969:234969 [0] NCCL INFO cudaDriverVersion 12020 +gpua010:234969:234969 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> +gpua010:234969:234969 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua010:234969:235043 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> +gpua010:234969:235043 [0] NCCL INFO Using network IB +gpua010:234969:235043 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua010:234969:235043 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua010:234969:235043 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua010:234969:235043 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua010:234969:235043 [0] NCCL INFO Connected all rings +gpua010:234969:235043 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua010:234969:235043 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua010:234969:235043 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua010:234969:235043 [0] NCCL INFO Connected all trees +gpua010:234969:235043 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua010:234969:235043 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua010:234969:235043 [0] NCCL INFO comm 0xde016a0 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua093:360446:360446 [1] NCCL INFO cudaDriverVersion 12020 +gpua093:360446:360446 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.93<0> +gpua093:360446:360446 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua093:360446:360509 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.93<0> +gpua093:360446:360509 [1] NCCL INFO Using network IB +gpua093:360446:360509 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua093:360446:360509 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua093:360446:360509 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua093:360446:360509 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua093:360446:360509 [1] NCCL INFO Connected all rings +gpua093:360446:360509 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua093:360446:360509 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua093:360446:360509 [1] NCCL INFO Connected all trees +gpua093:360446:360509 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua093:360446:360509 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua093:360446:360509 [1] NCCL INFO comm 0x93484e80 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua011:802530:802530 [0] NCCL INFO cudaDriverVersion 12020 +gpua011:802530:802530 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:802530:802530 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:802530:802596 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:802530:802596 [0] NCCL INFO Using network IB +gpua011:802530:802596 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua011:802530:802596 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua011:802530:802596 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua011:802530:802596 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua011:802530:802596 [0] NCCL INFO Connected all rings +gpua011:802530:802596 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua011:802530:802596 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua011:802530:802596 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua011:802530:802596 [0] NCCL INFO Connected all trees +gpua011:802530:802596 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:802530:802596 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:802530:802596 [0] NCCL INFO comm 0xeb88a560 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua066:441311:441311 [1] NCCL INFO cudaDriverVersion 12020 +gpua066:441311:441311 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.66<0> +gpua066:441311:441311 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua066:441311:441373 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.66<0> +gpua066:441311:441373 [1] NCCL INFO Using network IB +gpua066:441311:441373 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua066:441311:441373 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua066:441311:441373 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua066:441311:441373 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua066:441311:441373 [1] NCCL INFO Connected all rings +gpua066:441311:441373 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua066:441311:441373 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua066:441311:441373 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua066:441311:441373 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua066:441311:441373 [1] NCCL INFO Connected all trees +gpua066:441311:441373 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua066:441311:441373 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua066:441311:441373 [1] NCCL INFO comm 0xe6a3bf40 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua033:930018:930018 [2] NCCL INFO cudaDriverVersion 12020 +gpua033:930018:930018 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.33<0> +gpua033:930018:930018 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua033:930018:930076 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.33<0> +gpua033:930018:930076 [2] NCCL INFO Using network IB +gpua033:930018:930076 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua033:930018:930076 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua033:930018:930076 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua033:930018:930076 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua033:930018:930076 [2] NCCL INFO Connected all rings +gpua033:930018:930076 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua033:930018:930076 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua033:930018:930076 [2] NCCL INFO Connected all trees +gpua033:930018:930076 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua033:930018:930076 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua033:930018:930076 [2] NCCL INFO comm 0xe89cd5a0 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua010:234971:234971 [2] NCCL INFO cudaDriverVersion 12020 +gpua010:234971:234971 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> +gpua010:234971:234971 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua010:234971:235040 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> +gpua010:234971:235040 [2] NCCL INFO Using network IB +gpua010:234971:235040 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua010:234971:235040 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua010:234971:235040 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua010:234971:235040 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua010:234971:235040 [2] NCCL INFO Connected all rings +gpua010:234971:235040 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua010:234971:235040 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua010:234971:235040 [2] NCCL INFO Connected all trees +gpua010:234971:235040 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua010:234971:235040 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua010:234971:235040 [2] NCCL INFO comm 0x18cc7db0 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua010:234970:234970 [1] NCCL INFO cudaDriverVersion 12020 +gpua010:234970:234970 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.10<0> +gpua010:234970:234970 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua010:234970:235041 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.10<0> +gpua010:234970:235041 [1] NCCL INFO Using network IB +gpua010:234970:235041 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua010:234970:235041 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua010:234970:235041 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua010:234970:235041 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua010:234970:235041 [1] NCCL INFO Connected all rings +gpua010:234970:235041 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua010:234970:235041 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua010:234970:235041 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua010:234970:235041 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua010:234970:235041 [1] NCCL INFO Connected all trees +gpua010:234970:235041 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua010:234970:235041 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua010:234970:235041 [1] NCCL INFO comm 0x1bf89b50 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua062:1330565:1330565 [0] NCCL INFO cudaDriverVersion 12020 +gpua062:1330565:1330565 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> +gpua062:1330565:1330565 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua062:1330565:1330632 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> +gpua062:1330565:1330632 [0] NCCL INFO Using network IB +gpua062:1330565:1330632 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua062:1330565:1330632 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua062:1330565:1330632 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua062:1330565:1330632 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua062:1330565:1330632 [0] NCCL INFO Connected all rings +gpua062:1330565:1330632 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua062:1330565:1330632 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua062:1330565:1330632 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua062:1330565:1330632 [0] NCCL INFO Connected all trees +gpua062:1330565:1330632 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua062:1330565:1330632 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua062:1330565:1330632 [0] NCCL INFO comm 0x47836f60 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua062:1330568:1330568 [3] NCCL INFO cudaDriverVersion 12020 +gpua062:1330568:1330568 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> +gpua062:1330568:1330568 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua062:1330568:1330630 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> +gpua062:1330568:1330630 [3] NCCL INFO Using network IB +gpua062:1330568:1330630 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua062:1330568:1330630 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua062:1330568:1330630 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua062:1330568:1330630 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua062:1330568:1330630 [3] NCCL INFO Connected all rings +gpua062:1330568:1330630 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua062:1330568:1330630 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua062:1330568:1330630 [3] NCCL INFO Connected all trees +gpua062:1330568:1330630 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua062:1330568:1330630 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua062:1330568:1330630 [3] NCCL INFO comm 0xea811960 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:754765:754765 [2] NCCL INFO cudaDriverVersion 12020 +gpua030:754765:754765 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:754765:754765 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:754765:754831 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:754765:754831 [2] NCCL INFO Using network IB +gpua030:754765:754831 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua030:754765:754831 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua030:754765:754831 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua030:754765:754831 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua030:754765:754831 [2] NCCL INFO Connected all rings +gpua030:754765:754831 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua030:754765:754831 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua030:754765:754831 [2] NCCL INFO Connected all trees +gpua030:754765:754831 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:754765:754831 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:754765:754831 [2] NCCL INFO comm 0x7f59917f9560 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua030:754764:754764 [1] NCCL INFO cudaDriverVersion 12020 +gpua030:754764:754764 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:754764:754764 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:754764:754832 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:754764:754832 [1] NCCL INFO Using network IB +gpua030:754764:754832 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua030:754764:754832 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua030:754764:754832 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua030:754764:754832 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua030:754764:754832 [1] NCCL INFO Connected all rings +gpua030:754764:754832 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua030:754764:754832 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua030:754764:754832 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua030:754764:754832 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua030:754764:754832 [1] NCCL INFO Connected all trees +gpua030:754764:754832 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:754764:754832 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:754764:754832 [1] NCCL INFO comm 0xea4cb00 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua007:160526:160526 [3] NCCL INFO cudaDriverVersion 12020 +gpua007:160526:160526 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:160526:160526 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:160526:160638 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:160526:160638 [3] NCCL INFO Using network IB +gpua007:160526:160638 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua007:160526:160638 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua007:160526:160638 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua007:160526:160638 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua007:160526:160638 [3] NCCL INFO Connected all rings +gpua007:160526:160638 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua007:160526:160638 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua007:160526:160638 [3] NCCL INFO Connected all trees +gpua007:160526:160638 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:160526:160638 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:160526:160638 [3] NCCL INFO comm 0xf030400 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:754766:754766 [3] NCCL INFO cudaDriverVersion 12020 +gpua030:754766:754766 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:754766:754766 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:754766:754829 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:754766:754829 [3] NCCL INFO Using network IB +gpua030:754766:754829 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua030:754766:754829 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua030:754766:754829 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua030:754766:754829 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua030:754766:754829 [3] NCCL INFO Connected all rings +gpua030:754766:754829 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua030:754766:754829 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua030:754766:754829 [3] NCCL INFO Connected all trees +gpua030:754766:754829 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:754766:754829 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:754766:754829 [3] NCCL INFO comm 0xe7d43120 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua030:754763:754763 [0] NCCL INFO cudaDriverVersion 12020 +gpua030:754763:754763 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.30<0> +gpua030:754763:754763 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua030:754763:754830 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.30<0> +gpua030:754763:754830 [0] NCCL INFO Using network IB +gpua030:754763:754830 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua030:754763:754830 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua007:160524:160524 [1] NCCL INFO cudaDriverVersion 12020 +gpua007:160524:160524 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:160524:160524 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:160524:160641 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:160524:160641 [1] NCCL INFO Using network IB +gpua007:160524:160641 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua007:160524:160641 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua007:160524:160641 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua007:160524:160641 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua007:160524:160641 [1] NCCL INFO Connected all rings +gpua007:160524:160641 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua007:160524:160641 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua030:754763:754830 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua030:754763:754830 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua030:754763:754830 [0] NCCL INFO Connected all rings +gpua030:754763:754830 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua030:754763:754830 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua030:754763:754830 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua030:754763:754830 [0] NCCL INFO Connected all trees +gpua007:160524:160641 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua007:160524:160641 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua007:160524:160641 [1] NCCL INFO Connected all trees +gpua007:160524:160641 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:160524:160641 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:160524:160641 [1] NCCL INFO comm 0x10e0f6e0 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua030:754763:754830 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua030:754763:754830 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua030:754763:754830 [0] NCCL INFO comm 0xe7c48da0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:160523:160523 [0] NCCL INFO cudaDriverVersion 12020 +gpua007:160523:160523 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:160523:160523 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:160523:160639 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:160523:160639 [0] NCCL INFO Using network IB +gpua007:160523:160639 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua007:160523:160639 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua007:160523:160639 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua007:160523:160639 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua007:160523:160639 [0] NCCL INFO Connected all rings +gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua007:160523:160639 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua007:160523:160639 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua007:160523:160639 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua007:160523:160639 [0] NCCL INFO Connected all trees +gpua007:160523:160639 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:160523:160639 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:160523:160639 [0] NCCL INFO comm 0xa0233cd0 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua007:160525:160525 [2] NCCL INFO cudaDriverVersion 12020 +gpua007:160525:160525 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:160525:160525 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:160525:160640 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:160525:160640 [2] NCCL INFO Using network IB +gpua007:160525:160640 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua007:160525:160640 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua007:160525:160640 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua007:160525:160640 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua007:160525:160640 [2] NCCL INFO Connected all rings +gpua007:160525:160640 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua007:160525:160640 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua007:160525:160640 [2] NCCL INFO Connected all trees +gpua007:160525:160640 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:160525:160640 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:160525:160640 [2] NCCL INFO comm 0xdce9630 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +[gpua005:0/64] 2023-12-03 13:05:52,458 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua005:0/64] 2023-12-03 13:08:12,678 (trainer:737) INFO: 6epoch:train:1-100batch: iter_time=3.081, forward_time=0.230, loss_ctc=115.299, loss_att=102.740, acc=0.569, loss=106.508, backward_time=0.298, grad_norm=56.758, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.136, optim0_lr0=1.788e-04, train_time=6.231 +[gpua005:0/64] 2023-12-03 13:11:05,342 (trainer:737) INFO: 6epoch:train:101-200batch: iter_time=8.670e-05, forward_time=0.206, loss_ctc=97.558, loss_att=85.677, acc=0.566, loss=89.241, backward_time=0.325, grad_norm=48.623, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.136, optim0_lr0=1.787e-04, train_time=1.727 +[gpua005:0/64] 2023-12-03 13:14:27,249 (trainer:737) INFO: 6epoch:train:201-300batch: iter_time=8.929e-05, forward_time=0.143, loss_ctc=108.539, loss_att=87.325, acc=0.565, loss=93.689, backward_time=0.341, grad_norm=55.125, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.133, optim0_lr0=1.786e-04, train_time=2.019 +[gpua005:0/64] 2023-12-03 13:17:20,922 (trainer:737) INFO: 6epoch:train:301-400batch: iter_time=1.021e-04, forward_time=0.143, loss_ctc=103.713, loss_att=89.451, acc=0.568, loss=93.730, backward_time=0.310, grad_norm=51.795, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.133, optim0_lr0=1.785e-04, train_time=1.737 +[gpua005:0/64] 2023-12-03 13:20:50,113 (trainer:737) INFO: 6epoch:train:401-500batch: iter_time=9.883e-05, forward_time=0.144, loss_ctc=97.190, loss_att=82.669, acc=0.543, loss=87.025, backward_time=0.337, grad_norm=53.348, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.133, optim0_lr0=1.783e-04, train_time=2.092 +[gpua005:0/64] 2023-12-03 13:23:18,654 (trainer:737) INFO: 6epoch:train:501-600batch: iter_time=9.653e-05, forward_time=0.143, loss_ctc=114.819, loss_att=98.810, acc=0.558, loss=103.612, backward_time=0.278, grad_norm=57.757, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.133, optim0_lr0=1.782e-04, train_time=1.485 +[gpua005:0/64] 2023-12-03 13:26:18,151 (trainer:737) INFO: 6epoch:train:601-700batch: iter_time=9.416e-05, forward_time=0.245, loss_ctc=81.382, loss_att=71.943, acc=0.565, loss=74.775, backward_time=0.348, grad_norm=43.130, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.137, optim0_lr0=1.781e-04, train_time=1.795 +[gpua005:0/64] 2023-12-03 13:29:18,730 (trainer:737) INFO: 6epoch:train:701-800batch: iter_time=8.538e-05, forward_time=0.142, loss_ctc=81.923, loss_att=70.927, acc=0.584, loss=74.226, backward_time=0.335, grad_norm=43.106, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.132, optim0_lr0=1.780e-04, train_time=1.806 +[gpua005:0/64] 2023-12-03 13:31:53,098 (trainer:737) INFO: 6epoch:train:801-900batch: iter_time=8.522e-05, forward_time=0.142, loss_ctc=122.874, loss_att=118.366, acc=0.528, loss=119.718, backward_time=0.303, grad_norm=65.211, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.132, optim0_lr0=1.779e-04, train_time=1.543 +[gpua005:0/64] 2023-12-03 13:34:49,653 (trainer:737) INFO: 6epoch:train:901-1000batch: iter_time=8.392e-05, forward_time=0.142, loss_ctc=86.073, loss_att=74.198, acc=0.572, loss=77.760, backward_time=0.325, grad_norm=41.724, clip=100.000, loss_scale=9.007e+15, optim_step_time=0.132, optim0_lr0=1.778e-04, train_time=1.765 +[gpua005:0/64] 2023-12-03 13:37:34,055 (trainer:737) INFO: 6epoch:train:1001-1100batch: iter_time=9.213e-05, forward_time=0.144, loss_ctc=88.255, loss_att=74.858, acc=0.595, loss=78.877, backward_time=0.326, grad_norm=39.958, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.776e-04, train_time=1.644 +[gpua005:0/64] 2023-12-03 13:40:33,049 (trainer:737) INFO: 6epoch:train:1101-1200batch: iter_time=8.659e-05, forward_time=0.142, loss_ctc=98.354, loss_att=90.780, acc=0.565, loss=93.052, backward_time=0.344, grad_norm=43.996, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.775e-04, train_time=1.790 +[gpua005:0/64] 2023-12-03 13:42:26,467 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua005:0/64] 2023-12-03 13:42:44,471 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 13:42:48,068 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 13:42:48,069 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua005:0/64] 2023-12-03 13:42:48,072 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 13:53:39,202 (trainer:737) INFO: 6epoch:train:1201-1300batch: iter_time=3.007, forward_time=0.145, loss_ctc=110.938, loss_att=98.749, acc=0.574, loss=102.406, backward_time=0.374, grad_norm=52.980, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.774e-04, train_time=7.861 +[gpua005:0/64] 2023-12-03 14:07:15,585 (trainer:737) INFO: 6epoch:train:1301-1400batch: iter_time=9.621e-05, forward_time=0.149, loss_ctc=106.640, loss_att=96.744, acc=0.573, loss=99.713, backward_time=1.097, grad_norm=52.538, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.773e-04, train_time=8.164 +[gpua005:0/64] 2023-12-03 14:22:00,233 (trainer:737) INFO: 6epoch:train:1401-1500batch: iter_time=9.461e-05, forward_time=0.146, loss_ctc=108.951, loss_att=89.375, acc=0.587, loss=95.248, backward_time=1.104, grad_norm=52.618, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.772e-04, train_time=8.846 +[gpua005:0/64] 2023-12-03 14:28:00,410 (trainer:737) INFO: 6epoch:train:1501-1600batch: iter_time=1.034e-04, forward_time=0.247, loss_ctc=92.372, loss_att=81.410, acc=0.575, loss=84.699, backward_time=0.519, grad_norm=48.074, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.136, optim0_lr0=1.771e-04, train_time=3.601 +[gpua005:0/64] 2023-12-03 14:32:10,588 (trainer:737) INFO: 6epoch:train:1601-1700batch: iter_time=9.748e-05, forward_time=0.147, loss_ctc=102.872, loss_att=85.868, acc=0.566, loss=90.969, backward_time=0.384, grad_norm=54.563, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.769e-04, train_time=2.502 +[gpua005:0/64] 2023-12-03 14:36:58,732 (trainer:737) INFO: 6epoch:train:1701-1800batch: iter_time=9.379e-05, forward_time=0.147, loss_ctc=102.417, loss_att=92.355, acc=0.576, loss=95.373, backward_time=0.435, grad_norm=50.403, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.768e-04, train_time=2.881 +[gpua005:0/64] 2023-12-03 14:40:54,448 (trainer:737) INFO: 6epoch:train:1801-1900batch: iter_time=1.012e-04, forward_time=0.146, loss_ctc=98.374, loss_att=78.783, acc=0.584, loss=84.660, backward_time=0.440, grad_norm=48.360, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.767e-04, train_time=2.357 +[gpua005:0/64] 2023-12-03 14:43:47,814 (trainer:737) INFO: 6epoch:train:1901-2000batch: iter_time=9.268e-05, forward_time=0.145, loss_ctc=75.761, loss_att=70.142, acc=0.578, loss=71.828, backward_time=0.348, grad_norm=40.330, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.766e-04, train_time=1.733 +[gpua005:0/64] 2023-12-03 14:47:23,256 (trainer:737) INFO: 6epoch:train:2001-2100batch: iter_time=9.187e-05, forward_time=0.146, loss_ctc=86.273, loss_att=78.472, acc=0.599, loss=80.812, backward_time=0.297, grad_norm=38.274, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.765e-04, train_time=2.154 +[gpua005:0/64] 2023-12-03 14:50:36,484 (trainer:737) INFO: 6epoch:train:2101-2200batch: iter_time=9.136e-05, forward_time=0.146, loss_ctc=113.802, loss_att=102.118, acc=0.539, loss=105.623, backward_time=0.347, grad_norm=58.726, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.764e-04, train_time=1.932 +[gpua005:0/64] 2023-12-03 14:53:57,760 (trainer:737) INFO: 6epoch:train:2201-2300batch: iter_time=8.873e-05, forward_time=0.147, loss_ctc=88.632, loss_att=76.578, acc=0.601, loss=80.194, backward_time=0.308, grad_norm=40.322, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.763e-04, train_time=2.013 +[gpua005:0/64] 2023-12-03 14:57:36,205 (trainer:737) INFO: 6epoch:train:2301-2400batch: iter_time=8.858e-05, forward_time=0.146, loss_ctc=94.191, loss_att=81.576, acc=0.589, loss=85.361, backward_time=0.342, grad_norm=45.305, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.761e-04, train_time=2.184 +[gpua005:0/64] 2023-12-03 15:00:50,412 (trainer:737) INFO: 6epoch:train:2401-2500batch: iter_time=8.597e-05, forward_time=0.146, loss_ctc=94.763, loss_att=89.268, acc=0.593, loss=90.917, backward_time=0.389, grad_norm=45.274, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.760e-04, train_time=1.942 +[gpua005:0/64] 2023-12-03 15:01:10,441 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua005:0/64] 2023-12-03 15:01:28,421 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 15:01:31,794 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 15:01:31,794 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua005:0/64] 2023-12-03 15:01:31,797 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 15:13:12,882 (trainer:737) INFO: 6epoch:train:2501-2600batch: iter_time=2.898, forward_time=0.209, loss_ctc=111.391, loss_att=95.981, acc=0.591, loss=100.604, backward_time=0.361, grad_norm=51.260, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.134, optim0_lr0=1.759e-04, train_time=7.424 +[gpua005:0/64] 2023-12-03 15:16:07,451 (trainer:737) INFO: 6epoch:train:2601-2700batch: iter_time=8.894e-05, forward_time=0.145, loss_ctc=96.337, loss_att=81.915, acc=0.595, loss=86.242, backward_time=0.314, grad_norm=52.330, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.132, optim0_lr0=1.758e-04, train_time=1.746 +[gpua005:0/64] 2023-12-03 15:18:32,701 (trainer:737) INFO: 6epoch:train:2701-2800batch: iter_time=8.612e-05, forward_time=0.146, loss_ctc=105.177, loss_att=85.280, acc=0.580, loss=91.249, backward_time=0.268, grad_norm=50.361, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.757e-04, train_time=1.452 +[gpua005:0/64] 2023-12-03 15:21:35,790 (trainer:737) INFO: 6epoch:train:2801-2900batch: iter_time=8.376e-05, forward_time=0.146, loss_ctc=97.975, loss_att=84.060, acc=0.589, loss=88.235, backward_time=0.308, grad_norm=48.537, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.756e-04, train_time=1.831 +[gpua005:0/64] 2023-12-03 15:24:35,375 (trainer:737) INFO: 6epoch:train:2901-3000batch: iter_time=8.912e-05, forward_time=0.146, loss_ctc=93.695, loss_att=78.816, acc=0.565, loss=83.280, backward_time=0.300, grad_norm=52.502, clip=100.000, loss_scale=1.801e+16, optim_step_time=0.133, optim0_lr0=1.755e-04, train_time=1.796 +[gpua005:0/64] 2023-12-03 15:27:18,636 (trainer:737) INFO: 6epoch:train:3001-3100batch: iter_time=8.990e-05, forward_time=0.169, loss_ctc=111.050, loss_att=92.458, acc=0.585, loss=98.035, backward_time=0.295, grad_norm=52.640, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.134, optim0_lr0=1.754e-04, train_time=1.632 +[gpua005:0/64] 2023-12-03 15:29:52,067 (trainer:737) INFO: 6epoch:train:3101-3200batch: iter_time=8.782e-05, forward_time=0.221, loss_ctc=77.788, loss_att=69.492, acc=0.586, loss=71.981, backward_time=0.333, grad_norm=40.323, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.138, optim0_lr0=1.752e-04, train_time=1.534 +[gpua005:0/64] 2023-12-03 15:32:59,801 (trainer:737) INFO: 6epoch:train:3201-3300batch: iter_time=8.619e-05, forward_time=0.145, loss_ctc=79.455, loss_att=68.714, acc=0.601, loss=71.936, backward_time=0.306, grad_norm=39.064, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.131, optim0_lr0=1.751e-04, train_time=1.877 +[gpua005:0/64] 2023-12-03 15:35:58,301 (trainer:737) INFO: 6epoch:train:3301-3400batch: iter_time=8.802e-05, forward_time=0.145, loss_ctc=116.786, loss_att=110.931, acc=0.553, loss=112.688, backward_time=0.322, grad_norm=59.122, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.131, optim0_lr0=1.750e-04, train_time=1.785 +[gpua005:0/64] 2023-12-03 15:38:21,283 (trainer:737) INFO: 6epoch:train:3401-3500batch: iter_time=8.533e-05, forward_time=0.146, loss_ctc=83.928, loss_att=71.896, acc=0.590, loss=75.506, backward_time=0.277, grad_norm=39.095, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.749e-04, train_time=1.430 +[gpua005:0/64] 2023-12-03 15:41:12,445 (trainer:737) INFO: 6epoch:train:3501-3600batch: iter_time=8.692e-05, forward_time=0.146, loss_ctc=85.460, loss_att=71.666, acc=0.617, loss=75.804, backward_time=0.301, grad_norm=38.346, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.748e-04, train_time=1.711 +[gpua005:0/64] 2023-12-03 15:43:51,993 (trainer:737) INFO: 6epoch:train:3601-3700batch: iter_time=8.677e-05, forward_time=0.151, loss_ctc=96.381, loss_att=87.385, acc=0.586, loss=90.084, backward_time=0.312, grad_norm=41.555, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.131, optim0_lr0=1.747e-04, train_time=1.595 +[gpua005:0/64] 2023-12-03 15:45:29,196 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua005:0/64] 2023-12-03 15:45:47,554 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 15:45:50,916 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 15:45:50,916 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua005:0/64] 2023-12-03 15:45:51,005 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 15:54:54,662 (trainer:737) INFO: 6epoch:train:3701-3800batch: iter_time=3.298, forward_time=0.147, loss_ctc=106.623, loss_att=95.023, acc=0.590, loss=98.503, backward_time=0.272, grad_norm=50.073, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.746e-04, train_time=6.626 +[gpua005:0/64] 2023-12-03 15:57:29,220 (trainer:737) INFO: 6epoch:train:3801-3900batch: iter_time=9.028e-05, forward_time=0.160, loss_ctc=104.231, loss_att=92.190, acc=0.575, loss=95.802, backward_time=0.280, grad_norm=54.469, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.133, optim0_lr0=1.745e-04, train_time=1.545 +[gpua005:0/64] 2023-12-03 16:00:02,717 (trainer:737) INFO: 6epoch:train:3901-4000batch: iter_time=8.260e-05, forward_time=0.182, loss_ctc=106.070, loss_att=85.254, acc=0.589, loss=91.499, backward_time=0.281, grad_norm=50.375, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.135, optim0_lr0=1.744e-04, train_time=1.535 +[gpua005:0/64] 2023-12-03 16:03:14,797 (trainer:737) INFO: 6epoch:train:4001-4100batch: iter_time=8.507e-05, forward_time=0.192, loss_ctc=89.042, loss_att=77.980, acc=0.580, loss=81.298, backward_time=0.323, grad_norm=47.042, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.134, optim0_lr0=1.742e-04, train_time=1.920 +[gpua005:0/64] 2023-12-03 16:05:59,098 (trainer:737) INFO: 6epoch:train:4101-4200batch: iter_time=8.304e-05, forward_time=0.147, loss_ctc=99.993, loss_att=84.216, acc=0.573, loss=88.949, backward_time=0.306, grad_norm=50.866, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.741e-04, train_time=1.643 +[gpua005:0/64] 2023-12-03 16:08:24,542 (trainer:737) INFO: 6epoch:train:4201-4300batch: iter_time=9.745e-05, forward_time=0.147, loss_ctc=98.591, loss_att=90.351, acc=0.571, loss=92.823, backward_time=0.283, grad_norm=54.637, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.740e-04, train_time=1.454 +[gpua005:0/64] 2023-12-03 16:11:12,294 (trainer:737) INFO: 6epoch:train:4301-4400batch: iter_time=9.154e-05, forward_time=0.147, loss_ctc=97.031, loss_att=77.497, acc=0.584, loss=83.358, backward_time=0.312, grad_norm=48.886, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.739e-04, train_time=1.677 +[gpua005:0/64] 2023-12-03 16:13:50,627 (trainer:737) INFO: 6epoch:train:4401-4500batch: iter_time=8.860e-05, forward_time=0.145, loss_ctc=74.130, loss_att=66.147, acc=0.585, loss=68.542, backward_time=0.327, grad_norm=40.057, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.738e-04, train_time=1.583 +[gpua005:0/64] 2023-12-03 16:16:10,954 (trainer:737) INFO: 6epoch:train:4501-4600batch: iter_time=8.832e-05, forward_time=0.156, loss_ctc=84.559, loss_att=77.159, acc=0.600, loss=79.379, backward_time=0.303, grad_norm=40.208, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.737e-04, train_time=1.403 +[gpua005:0/64] 2023-12-03 16:18:41,652 (trainer:737) INFO: 6epoch:train:4601-4700batch: iter_time=8.994e-05, forward_time=0.145, loss_ctc=110.410, loss_att=98.970, acc=0.540, loss=102.402, backward_time=0.266, grad_norm=57.118, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.736e-04, train_time=1.507 +[gpua005:0/64] 2023-12-03 16:21:41,448 (trainer:737) INFO: 6epoch:train:4701-4800batch: iter_time=8.809e-05, forward_time=0.145, loss_ctc=86.532, loss_att=73.590, acc=0.605, loss=77.472, backward_time=0.333, grad_norm=39.948, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.132, optim0_lr0=1.735e-04, train_time=1.798 +[gpua005:0/64] 2023-12-03 16:24:04,758 (trainer:737) INFO: 6epoch:train:4801-4900batch: iter_time=9.177e-05, forward_time=0.155, loss_ctc=91.872, loss_att=79.059, acc=0.588, loss=82.903, backward_time=0.277, grad_norm=41.620, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.133, optim0_lr0=1.734e-04, train_time=1.433 +[gpua005:0/64] 2023-12-03 16:26:49,471 (trainer:737) INFO: 6epoch:train:4901-5000batch: iter_time=8.786e-05, forward_time=0.154, loss_ctc=94.250, loss_att=87.712, acc=0.590, loss=89.674, backward_time=0.318, grad_norm=47.901, clip=100.000, loss_scale=3.603e+16, optim_step_time=0.134, optim0_lr0=1.733e-04, train_time=1.647 +[gpua005:0/64] 2023-12-03 16:27:09,507 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua005:0/64] 2023-12-03 16:27:27,535 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 16:27:30,910 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 16:27:30,910 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua005:0/64] 2023-12-03 16:27:30,916 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 16:37:47,740 (trainer:737) INFO: 6epoch:train:5001-5100batch: iter_time=2.984, forward_time=0.193, loss_ctc=109.724, loss_att=95.250, acc=0.598, loss=99.592, backward_time=0.270, grad_norm=87.529, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.133, optim0_lr0=1.731e-04, train_time=6.582 +[gpua005:0/64] 2023-12-03 16:40:42,994 (trainer:737) INFO: 6epoch:train:5101-5200batch: iter_time=9.061e-05, forward_time=0.196, loss_ctc=94.671, loss_att=81.168, acc=0.603, loss=85.219, backward_time=0.329, grad_norm=42.404, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.143, optim0_lr0=1.730e-04, train_time=1.752 +[gpua005:0/64] 2023-12-03 16:43:06,283 (trainer:737) INFO: 6epoch:train:5201-5300batch: iter_time=9.460e-05, forward_time=0.179, loss_ctc=100.633, loss_att=83.512, acc=0.589, loss=88.648, backward_time=0.272, grad_norm=49.846, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.729e-04, train_time=1.433 +[gpua005:0/64] 2023-12-03 16:45:27,087 (trainer:737) INFO: 6epoch:train:5301-5400batch: iter_time=9.922e-05, forward_time=0.150, loss_ctc=96.954, loss_att=82.945, acc=0.598, loss=87.148, backward_time=0.278, grad_norm=48.978, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.133, optim0_lr0=1.728e-04, train_time=1.408 +[gpua005:0/64] 2023-12-03 16:47:47,491 (trainer:737) INFO: 6epoch:train:5401-5500batch: iter_time=1.029e-04, forward_time=0.252, loss_ctc=90.004, loss_att=76.399, acc=0.577, loss=80.481, backward_time=0.288, grad_norm=52.219, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.727e-04, train_time=1.404 +[gpua005:0/64] 2023-12-03 16:49:58,353 (trainer:737) INFO: 6epoch:train:5501-5600batch: iter_time=9.696e-05, forward_time=0.147, loss_ctc=108.584, loss_att=90.656, acc=0.593, loss=96.034, backward_time=0.265, grad_norm=52.718, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.132, optim0_lr0=1.726e-04, train_time=1.309 +[gpua005:0/64] 2023-12-03 16:52:49,925 (trainer:737) INFO: 6epoch:train:5601-5700batch: iter_time=2.751e-04, forward_time=0.230, loss_ctc=77.359, loss_att=69.207, acc=0.589, loss=71.652, backward_time=0.291, grad_norm=42.049, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.725e-04, train_time=1.715 +[gpua005:0/64] 2023-12-03 16:55:28,213 (trainer:737) INFO: 6epoch:train:5701-5800batch: iter_time=9.829e-05, forward_time=0.169, loss_ctc=78.355, loss_att=67.573, acc=0.607, loss=70.808, backward_time=0.335, grad_norm=39.947, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.135, optim0_lr0=1.724e-04, train_time=1.583 +[gpua005:0/64] 2023-12-03 16:58:08,672 (trainer:737) INFO: 6epoch:train:5801-5900batch: iter_time=9.824e-05, forward_time=0.167, loss_ctc=115.300, loss_att=109.090, acc=0.562, loss=110.953, backward_time=0.322, grad_norm=56.944, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.723e-04, train_time=1.604 +[gpua005:0/64] 2023-12-03 17:01:04,262 (trainer:737) INFO: 6epoch:train:5901-6000batch: iter_time=9.760e-05, forward_time=0.173, loss_ctc=81.878, loss_att=70.077, acc=0.598, loss=73.618, backward_time=0.330, grad_norm=38.110, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.722e-04, train_time=1.756 +[gpua005:0/64] 2023-12-03 17:03:43,651 (trainer:737) INFO: 6epoch:train:6001-6100batch: iter_time=1.013e-04, forward_time=0.156, loss_ctc=83.613, loss_att=69.866, acc=0.625, loss=73.990, backward_time=0.295, grad_norm=38.185, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.133, optim0_lr0=1.721e-04, train_time=1.594 +[gpua005:0/64] 2023-12-03 17:06:26,547 (trainer:737) INFO: 6epoch:train:6101-6200batch: iter_time=3.868e-04, forward_time=0.222, loss_ctc=94.163, loss_att=85.333, acc=0.597, loss=87.982, backward_time=0.333, grad_norm=48.571, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.137, optim0_lr0=1.720e-04, train_time=1.627 +[gpua005:0/64] 2023-12-03 17:07:53,238 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua005:0/64] 2023-12-03 17:08:11,402 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 17:08:14,858 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 17:08:14,858 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua005:0/64] 2023-12-03 17:08:14,861 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 17:17:57,861 (trainer:737) INFO: 6epoch:train:6201-6300batch: iter_time=4.346, forward_time=0.200, loss_ctc=104.549, loss_att=92.980, acc=0.599, loss=96.451, backward_time=0.469, grad_norm=47.989, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.719e-04, train_time=6.915 +[gpua005:0/64] 2023-12-03 17:26:30,501 (trainer:737) INFO: 6epoch:train:6301-6400batch: iter_time=8.941e-05, forward_time=0.168, loss_ctc=102.713, loss_att=89.108, acc=0.594, loss=93.189, backward_time=0.593, grad_norm=47.884, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.718e-04, train_time=5.126 +[gpua005:0/64] 2023-12-03 17:35:19,820 (trainer:737) INFO: 6epoch:train:6401-6500batch: iter_time=9.148e-05, forward_time=0.176, loss_ctc=105.439, loss_att=83.660, acc=0.607, loss=90.194, backward_time=0.840, grad_norm=54.367, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.717e-04, train_time=5.293 +[gpua005:0/64] 2023-12-03 17:48:08,208 (trainer:737) INFO: 6epoch:train:6501-6600batch: iter_time=9.804e-05, forward_time=0.223, loss_ctc=86.498, loss_att=75.722, acc=0.595, loss=78.955, backward_time=1.233, grad_norm=44.124, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.715e-04, train_time=7.684 +[gpua005:0/64] 2023-12-03 18:20:18,598 (trainer:737) INFO: 6epoch:train:6601-6700batch: iter_time=3.031e-04, forward_time=0.239, loss_ctc=98.022, loss_att=81.339, acc=0.589, loss=86.344, backward_time=2.308, grad_norm=50.911, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.136, optim0_lr0=1.714e-04, train_time=19.303 +[gpua005:0/64] 2023-12-03 18:42:28,274 (trainer:737) INFO: 6epoch:train:6701-6800batch: iter_time=1.108e-04, forward_time=0.175, loss_ctc=96.707, loss_att=87.056, acc=0.596, loss=89.951, backward_time=1.879, grad_norm=50.842, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.134, optim0_lr0=1.713e-04, train_time=13.297 +[gpua005:0/64] 2023-12-03 18:49:40,363 (trainer:737) INFO: 6epoch:train:6801-6900batch: iter_time=9.992e-05, forward_time=0.228, loss_ctc=94.592, loss_att=74.050, acc=0.605, loss=80.212, backward_time=0.736, grad_norm=47.344, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.135, optim0_lr0=1.712e-04, train_time=4.321 +[gpua005:0/64] 2023-12-03 19:07:25,963 (trainer:737) INFO: 6epoch:train:6901-7000batch: iter_time=1.083e-04, forward_time=0.276, loss_ctc=73.139, loss_att=66.470, acc=0.598, loss=68.470, backward_time=1.373, grad_norm=39.862, clip=100.000, loss_scale=7.206e+16, optim_step_time=0.139, optim0_lr0=1.711e-04, train_time=10.655 +[gpua005:0/64] 2023-12-03 19:19:18,949 (trainer:737) INFO: 6epoch:train:7001-7100batch: iter_time=1.027e-04, forward_time=0.218, loss_ctc=83.392, loss_att=74.675, acc=0.615, loss=77.290, backward_time=1.130, grad_norm=38.899, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.140, optim0_lr0=1.710e-04, train_time=7.130 +[gpua005:0/64] 2023-12-03 19:23:59,865 (trainer:737) INFO: 6epoch:train:7101-7200batch: iter_time=3.373e-04, forward_time=0.206, loss_ctc=107.917, loss_att=97.828, acc=0.559, loss=100.854, backward_time=0.453, grad_norm=57.124, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.138, optim0_lr0=1.709e-04, train_time=2.809 +[gpua005:0/64] 2023-12-03 19:28:23,393 (trainer:737) INFO: 6epoch:train:7201-7300batch: iter_time=5.111e-04, forward_time=0.245, loss_ctc=85.494, loss_att=72.239, acc=0.618, loss=76.215, backward_time=0.484, grad_norm=42.968, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.136, optim0_lr0=1.708e-04, train_time=2.634 +[gpua005:0/64] 2023-12-03 19:33:02,325 (trainer:737) INFO: 6epoch:train:7301-7400batch: iter_time=1.786e-04, forward_time=0.208, loss_ctc=90.660, loss_att=77.103, acc=0.606, loss=81.170, backward_time=0.487, grad_norm=42.563, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.136, optim0_lr0=1.707e-04, train_time=2.790 +[gpua005:0/64] 2023-12-03 19:37:49,962 (trainer:737) INFO: 6epoch:train:7401-7500batch: iter_time=9.518e-05, forward_time=0.198, loss_ctc=92.094, loss_att=85.431, acc=0.608, loss=87.430, backward_time=0.506, grad_norm=43.302, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.136, optim0_lr0=1.706e-04, train_time=2.876 +[gpua005:0/64] 2023-12-03 19:38:10,068 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua005:0/64] 2023-12-03 19:38:28,050 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 19:38:31,424 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 19:38:31,425 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua005:0/64] 2023-12-03 19:38:31,542 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 19:49:26,075 (trainer:737) INFO: 6epoch:train:7501-7600batch: iter_time=4.245, forward_time=0.182, loss_ctc=106.904, loss_att=94.079, acc=0.600, loss=97.926, backward_time=0.491, grad_norm=54.046, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.705e-04, train_time=6.961 +[gpua005:0/64] 2023-12-03 19:56:03,713 (trainer:737) INFO: 6epoch:train:7601-7700batch: iter_time=8.886e-05, forward_time=0.146, loss_ctc=93.108, loss_att=79.571, acc=0.597, loss=83.632, backward_time=0.661, grad_norm=44.378, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.704e-04, train_time=3.976 +[gpua005:0/64] 2023-12-03 20:03:27,845 (trainer:737) INFO: 6epoch:train:7701-7800batch: iter_time=8.919e-05, forward_time=0.159, loss_ctc=100.033, loss_att=80.558, acc=0.596, loss=86.400, backward_time=0.756, grad_norm=52.228, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.136, optim0_lr0=1.703e-04, train_time=4.441 +[gpua005:0/64] 2023-12-03 20:10:24,270 (trainer:737) INFO: 6epoch:train:7801-7900batch: iter_time=9.160e-05, forward_time=0.175, loss_ctc=95.023, loss_att=81.559, acc=0.599, loss=85.598, backward_time=0.717, grad_norm=47.702, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.134, optim0_lr0=1.702e-04, train_time=4.164 +[gpua005:0/64] 2023-12-03 20:14:30,200 (trainer:737) INFO: 6epoch:train:7901-8000batch: iter_time=9.915e-05, forward_time=0.145, loss_ctc=87.680, loss_att=75.708, acc=0.571, loss=79.300, backward_time=0.447, grad_norm=47.228, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.701e-04, train_time=2.459 +[gpua005:0/64] 2023-12-03 20:16:53,436 (trainer:737) INFO: 6epoch:train:8001-8100batch: iter_time=9.634e-05, forward_time=0.146, loss_ctc=105.458, loss_att=88.428, acc=0.592, loss=93.537, backward_time=0.266, grad_norm=53.610, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.132, optim0_lr0=1.700e-04, train_time=1.432 +[gpua005:0/64] 2023-12-03 20:19:58,660 (trainer:737) INFO: 6epoch:train:8101-8200batch: iter_time=9.550e-05, forward_time=0.145, loss_ctc=75.900, loss_att=66.166, acc=0.595, loss=69.086, backward_time=0.340, grad_norm=41.619, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.132, optim0_lr0=1.699e-04, train_time=1.852 +[gpua005:0/64] 2023-12-03 20:23:26,812 (trainer:737) INFO: 6epoch:train:8201-8300batch: iter_time=5.308e-04, forward_time=0.209, loss_ctc=76.935, loss_att=65.642, acc=0.610, loss=69.030, backward_time=0.483, grad_norm=39.036, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.142, optim0_lr0=1.698e-04, train_time=2.080 +[gpua005:0/64] 2023-12-03 20:26:28,579 (trainer:737) INFO: 6epoch:train:8301-8400batch: iter_time=9.113e-05, forward_time=0.146, loss_ctc=111.910, loss_att=107.379, acc=0.558, loss=108.738, backward_time=0.294, grad_norm=56.689, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.132, optim0_lr0=1.697e-04, train_time=1.819 +[gpua005:0/64] 2023-12-03 20:29:24,338 (trainer:737) INFO: 6epoch:train:8401-8500batch: iter_time=9.453e-05, forward_time=0.146, loss_ctc=80.592, loss_att=69.110, acc=0.598, loss=72.555, backward_time=0.383, grad_norm=38.752, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.696e-04, train_time=1.757 +[gpua005:0/64] 2023-12-03 20:32:43,064 (trainer:737) INFO: 6epoch:train:8501-8600batch: iter_time=8.893e-05, forward_time=0.145, loss_ctc=82.461, loss_att=68.536, acc=0.622, loss=72.713, backward_time=0.341, grad_norm=38.813, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.133, optim0_lr0=1.695e-04, train_time=1.987 +[gpua005:0/64] 2023-12-03 20:36:02,980 (trainer:737) INFO: 6epoch:train:8601-8700batch: iter_time=6.378e-04, forward_time=0.246, loss_ctc=92.896, loss_att=83.834, acc=0.591, loss=86.553, backward_time=0.424, grad_norm=43.324, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.142, optim0_lr0=1.694e-04, train_time=1.999 +[gpua005:0/64] 2023-12-03 20:37:54,555 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua005:0/64] 2023-12-03 20:38:12,463 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 20:38:15,817 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 20:38:15,817 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua005:0/64] 2023-12-03 20:38:15,890 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 20:50:42,919 (trainer:737) INFO: 6epoch:train:8701-8800batch: iter_time=7.208, forward_time=0.190, loss_ctc=102.502, loss_att=91.185, acc=0.601, loss=94.580, backward_time=0.303, grad_norm=49.353, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.134, optim0_lr0=1.693e-04, train_time=8.799 +[gpua005:0/64] 2023-12-03 20:53:37,611 (trainer:737) INFO: 6epoch:train:8801-8900batch: iter_time=0.001, forward_time=0.192, loss_ctc=101.359, loss_att=88.743, acc=0.600, loss=92.528, backward_time=0.315, grad_norm=50.513, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.140, optim0_lr0=1.692e-04, train_time=1.747 +[gpua005:0/64] 2023-12-03 20:57:34,092 (trainer:737) INFO: 6epoch:train:8901-9000batch: iter_time=9.242e-05, forward_time=0.240, loss_ctc=102.390, loss_att=82.874, acc=0.611, loss=88.729, backward_time=0.368, grad_norm=52.922, clip=100.000, loss_scale=1.441e+17, optim_step_time=0.138, optim0_lr0=1.691e-04, train_time=2.365 +[gpua005:0/64] 2023-12-03 21:00:22,167 (trainer:737) INFO: 6epoch:train:9001-9100batch: iter_time=9.185e-05, forward_time=0.146, loss_ctc=85.626, loss_att=73.939, acc=0.604, loss=77.445, backward_time=0.304, grad_norm=45.427, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.690e-04, train_time=1.680 +[gpua005:0/64] 2023-12-03 21:04:04,328 (trainer:737) INFO: 6epoch:train:9101-9200batch: iter_time=1.006e-04, forward_time=0.155, loss_ctc=96.733, loss_att=80.575, acc=0.591, loss=85.423, backward_time=0.327, grad_norm=52.980, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.689e-04, train_time=2.221 +[gpua005:0/64] 2023-12-03 21:07:36,410 (trainer:737) INFO: 6epoch:train:9201-9300batch: iter_time=9.407e-05, forward_time=0.253, loss_ctc=95.338, loss_att=85.265, acc=0.605, loss=88.287, backward_time=0.376, grad_norm=49.074, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.688e-04, train_time=2.121 +[gpua005:0/64] 2023-12-03 21:10:32,064 (trainer:737) INFO: 6epoch:train:9301-9400batch: iter_time=9.599e-05, forward_time=0.146, loss_ctc=92.383, loss_att=73.123, acc=0.606, loss=78.901, backward_time=0.320, grad_norm=49.614, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.687e-04, train_time=1.756 +[gpua005:0/64] 2023-12-03 21:14:04,960 (trainer:737) INFO: 6epoch:train:9401-9500batch: iter_time=9.924e-05, forward_time=0.146, loss_ctc=72.454, loss_att=65.698, acc=0.605, loss=67.725, backward_time=0.394, grad_norm=39.408, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.686e-04, train_time=2.129 +[gpua005:0/64] 2023-12-03 21:18:06,105 (trainer:737) INFO: 6epoch:train:9501-9600batch: iter_time=2.615e-04, forward_time=0.225, loss_ctc=82.787, loss_att=74.090, acc=0.621, loss=76.699, backward_time=0.437, grad_norm=39.080, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.142, optim0_lr0=1.685e-04, train_time=2.411 +[gpua005:0/64] 2023-12-03 21:20:58,900 (trainer:737) INFO: 6epoch:train:9601-9700batch: iter_time=9.896e-05, forward_time=0.146, loss_ctc=106.068, loss_att=93.909, acc=0.570, loss=97.556, backward_time=0.305, grad_norm=57.973, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.684e-04, train_time=1.728 +[gpua005:0/64] 2023-12-03 21:24:17,443 (trainer:737) INFO: 6epoch:train:9701-9800batch: iter_time=9.197e-05, forward_time=0.146, loss_ctc=84.430, loss_att=72.134, acc=0.621, loss=75.822, backward_time=0.397, grad_norm=40.433, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.683e-04, train_time=1.985 +[gpua005:0/64] 2023-12-03 21:27:25,287 (trainer:737) INFO: 6epoch:train:9801-9900batch: iter_time=6.129e-04, forward_time=0.220, loss_ctc=89.233, loss_att=75.080, acc=0.616, loss=79.326, backward_time=0.366, grad_norm=41.054, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.139, optim0_lr0=1.682e-04, train_time=1.878 +[gpua005:0/64] 2023-12-03 21:30:10,638 (trainer:737) INFO: 6epoch:train:9901-10000batch: iter_time=9.512e-05, forward_time=0.147, loss_ctc=90.542, loss_att=84.899, acc=0.612, loss=86.592, backward_time=0.335, grad_norm=41.775, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.681e-04, train_time=1.653 +[gpua005:0/64] 2023-12-03 21:30:30,834 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua005:0/64] 2023-12-03 21:30:48,997 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 21:30:52,769 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 21:30:52,769 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua005:0/64] 2023-12-03 21:30:52,772 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 21:40:01,166 (trainer:737) INFO: 6epoch:train:10001-10100batch: iter_time=2.846, forward_time=0.159, loss_ctc=105.075, loss_att=91.883, acc=0.607, loss=95.840, backward_time=0.268, grad_norm=50.812, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.134, optim0_lr0=1.680e-04, train_time=5.905 +[gpua005:0/64] 2023-12-03 21:42:46,657 (trainer:737) INFO: 6epoch:train:10101-10200batch: iter_time=8.900e-05, forward_time=0.203, loss_ctc=91.720, loss_att=77.676, acc=0.603, loss=81.889, backward_time=0.328, grad_norm=45.899, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.136, optim0_lr0=1.679e-04, train_time=1.654 +[gpua005:0/64] 2023-12-03 21:45:39,462 (trainer:737) INFO: 6epoch:train:10201-10300batch: iter_time=8.877e-05, forward_time=0.147, loss_ctc=99.103, loss_att=79.782, acc=0.601, loss=85.578, backward_time=0.331, grad_norm=56.532, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.678e-04, train_time=1.728 +[gpua005:0/64] 2023-12-03 21:47:53,776 (trainer:737) INFO: 6epoch:train:10301-10400batch: iter_time=9.038e-05, forward_time=0.152, loss_ctc=93.213, loss_att=80.048, acc=0.605, loss=83.998, backward_time=0.265, grad_norm=49.563, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.677e-04, train_time=1.344 +[gpua005:0/64] 2023-12-03 21:50:53,327 (trainer:737) INFO: 6epoch:train:10401-10500batch: iter_time=9.549e-05, forward_time=0.158, loss_ctc=85.928, loss_att=74.124, acc=0.580, loss=77.665, backward_time=0.294, grad_norm=49.521, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.676e-04, train_time=1.795 +[gpua005:0/64] 2023-12-03 21:53:12,035 (trainer:737) INFO: 6epoch:train:10501-10600batch: iter_time=9.447e-05, forward_time=0.148, loss_ctc=104.386, loss_att=86.849, acc=0.599, loss=92.110, backward_time=0.266, grad_norm=52.772, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.133, optim0_lr0=1.675e-04, train_time=1.387 +[gpua005:0/64] 2023-12-03 21:56:07,884 (trainer:737) INFO: 6epoch:train:10601-10700batch: iter_time=9.704e-05, forward_time=0.252, loss_ctc=73.912, loss_att=64.947, acc=0.602, loss=67.636, backward_time=0.309, grad_norm=39.795, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.135, optim0_lr0=1.674e-04, train_time=1.758 +[gpua005:0/64] 2023-12-03 21:58:31,152 (trainer:737) INFO: 6epoch:train:10701-10800batch: iter_time=8.815e-05, forward_time=0.146, loss_ctc=75.955, loss_att=64.525, acc=0.617, loss=67.954, backward_time=0.275, grad_norm=39.972, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.673e-04, train_time=1.432 +[gpua005:0/64] 2023-12-03 22:01:34,527 (trainer:737) INFO: 6epoch:train:10801-10900batch: iter_time=9.094e-05, forward_time=0.156, loss_ctc=109.544, loss_att=105.016, acc=0.565, loss=106.374, backward_time=0.297, grad_norm=56.880, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.132, optim0_lr0=1.672e-04, train_time=1.834 +[gpua005:0/64] 2023-12-03 22:03:51,373 (trainer:737) INFO: 6epoch:train:10901-11000batch: iter_time=8.810e-05, forward_time=0.154, loss_ctc=79.572, loss_att=67.639, acc=0.606, loss=71.219, backward_time=0.279, grad_norm=40.644, clip=100.000, loss_scale=2.882e+17, optim_step_time=0.134, optim0_lr0=1.671e-04, train_time=1.369 +[gpua005:0/64] 2023-12-03 22:06:58,226 (trainer:737) INFO: 6epoch:train:11001-11100batch: iter_time=8.897e-05, forward_time=0.238, loss_ctc=81.222, loss_att=67.834, acc=0.627, loss=71.850, backward_time=0.321, grad_norm=38.119, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.135, optim0_lr0=1.670e-04, train_time=1.868 +[gpua005:0/64] 2023-12-03 22:09:24,486 (trainer:737) INFO: 6epoch:train:11101-11200batch: iter_time=8.646e-05, forward_time=0.146, loss_ctc=91.137, loss_att=82.104, acc=0.600, loss=84.814, backward_time=0.265, grad_norm=44.743, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.669e-04, train_time=1.462 +[gpua005:0/64] 2023-12-03 22:10:56,472 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua005:0/64] 2023-12-03 22:11:14,370 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 22:11:17,788 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 22:11:17,788 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua005:0/64] 2023-12-03 22:11:17,794 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 22:16:43,912 (trainer:737) INFO: 6epoch:train:11201-11300batch: iter_time=2.793, forward_time=0.146, loss_ctc=102.059, loss_att=91.148, acc=0.605, loss=94.421, backward_time=0.288, grad_norm=48.629, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.668e-04, train_time=4.394 +[gpua005:0/64] 2023-12-03 22:18:59,452 (trainer:737) INFO: 6epoch:train:11301-11400batch: iter_time=1.154e-04, forward_time=0.149, loss_ctc=99.889, loss_att=87.102, acc=0.605, loss=90.938, backward_time=0.268, grad_norm=47.909, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.137, optim0_lr0=1.667e-04, train_time=1.354 +[gpua005:0/64] 2023-12-03 22:21:32,215 (trainer:737) INFO: 6epoch:train:11401-11500batch: iter_time=9.220e-05, forward_time=0.211, loss_ctc=102.149, loss_att=82.219, acc=0.618, loss=88.198, backward_time=0.354, grad_norm=52.709, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.137, optim0_lr0=1.666e-04, train_time=1.528 +[gpua005:0/64] 2023-12-03 22:24:03,339 (trainer:737) INFO: 6epoch:train:11501-11600batch: iter_time=9.096e-05, forward_time=0.160, loss_ctc=84.617, loss_att=72.949, acc=0.610, loss=76.449, backward_time=0.281, grad_norm=43.834, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.665e-04, train_time=1.511 +[gpua005:0/64] 2023-12-03 22:26:21,803 (trainer:737) INFO: 6epoch:train:11601-11700batch: iter_time=9.695e-05, forward_time=0.148, loss_ctc=94.418, loss_att=78.776, acc=0.599, loss=83.468, backward_time=0.274, grad_norm=49.093, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.664e-04, train_time=1.384 +[gpua005:0/64] 2023-12-03 22:28:46,888 (trainer:737) INFO: 6epoch:train:11701-11800batch: iter_time=9.764e-05, forward_time=0.147, loss_ctc=93.851, loss_att=84.533, acc=0.608, loss=87.328, backward_time=0.279, grad_norm=52.989, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.663e-04, train_time=1.451 +[gpua005:0/64] 2023-12-03 22:31:25,723 (trainer:737) INFO: 6epoch:train:11801-11900batch: iter_time=8.494e-05, forward_time=0.147, loss_ctc=91.575, loss_att=72.512, acc=0.613, loss=78.231, backward_time=0.299, grad_norm=47.697, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.662e-04, train_time=1.588 +[gpua005:0/64] 2023-12-03 22:33:37,567 (trainer:737) INFO: 6epoch:train:11901-12000batch: iter_time=9.380e-05, forward_time=0.155, loss_ctc=70.479, loss_att=64.254, acc=0.610, loss=66.121, backward_time=0.266, grad_norm=37.904, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.134, optim0_lr0=1.661e-04, train_time=1.318 +[gpua005:0/64] 2023-12-03 22:36:13,411 (trainer:737) INFO: 6epoch:train:12001-12100batch: iter_time=9.161e-05, forward_time=0.153, loss_ctc=80.965, loss_att=72.946, acc=0.628, loss=75.352, backward_time=0.288, grad_norm=38.005, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.660e-04, train_time=1.557 +[gpua005:0/64] 2023-12-03 22:39:16,212 (trainer:737) INFO: 6epoch:train:12101-12200batch: iter_time=9.325e-05, forward_time=0.245, loss_ctc=104.475, loss_att=93.583, acc=0.575, loss=96.851, backward_time=0.369, grad_norm=57.870, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.135, optim0_lr0=1.659e-04, train_time=1.829 +[gpua005:0/64] 2023-12-03 22:42:02,487 (trainer:737) INFO: 6epoch:train:12201-12300batch: iter_time=9.428e-05, forward_time=0.157, loss_ctc=82.914, loss_att=70.310, acc=0.627, loss=74.091, backward_time=0.318, grad_norm=41.264, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.659e-04, train_time=1.663 +[gpua005:0/64] 2023-12-03 22:44:17,040 (trainer:737) INFO: 6epoch:train:12301-12400batch: iter_time=8.930e-05, forward_time=0.147, loss_ctc=88.012, loss_att=74.426, acc=0.620, loss=78.502, backward_time=0.272, grad_norm=40.158, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.658e-04, train_time=1.345 +[gpua005:0/64] 2023-12-03 22:46:38,153 (trainer:737) INFO: 6epoch:train:12401-12500batch: iter_time=9.142e-05, forward_time=0.147, loss_ctc=89.759, loss_att=83.082, acc=0.616, loss=85.085, backward_time=0.289, grad_norm=45.074, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.657e-04, train_time=1.411 +[gpua005:0/64] 2023-12-03 22:46:58,186 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua005:0/64] 2023-12-03 22:47:16,562 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 22:47:19,921 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 22:47:19,921 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua005:0/64] 2023-12-03 22:47:19,926 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 22:57:50,055 (trainer:737) INFO: 6epoch:train:12501-12600batch: iter_time=5.400, forward_time=0.200, loss_ctc=104.928, loss_att=91.053, acc=0.612, loss=95.215, backward_time=0.271, grad_norm=49.332, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.133, optim0_lr0=1.656e-04, train_time=6.719 +[gpua005:0/64] 2023-12-03 23:00:13,880 (trainer:737) INFO: 6epoch:train:12601-12700batch: iter_time=9.014e-05, forward_time=0.148, loss_ctc=90.333, loss_att=75.616, acc=0.611, loss=80.031, backward_time=0.282, grad_norm=44.155, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.655e-04, train_time=1.438 +[gpua005:0/64] 2023-12-03 23:03:04,978 (trainer:737) INFO: 6epoch:train:12701-12800batch: iter_time=0.001, forward_time=0.266, loss_ctc=97.080, loss_att=77.479, acc=0.610, loss=83.360, backward_time=0.291, grad_norm=50.085, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.135, optim0_lr0=1.654e-04, train_time=1.710 +[gpua005:0/64] 2023-12-03 23:06:06,637 (trainer:737) INFO: 6epoch:train:12801-12900batch: iter_time=8.918e-05, forward_time=0.150, loss_ctc=92.495, loss_att=78.611, acc=0.612, loss=82.776, backward_time=0.298, grad_norm=48.567, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.653e-04, train_time=1.817 +[gpua005:0/64] 2023-12-03 23:08:43,861 (trainer:737) INFO: 6epoch:train:12901-13000batch: iter_time=9.448e-05, forward_time=0.145, loss_ctc=84.958, loss_att=73.206, acc=0.584, loss=76.731, backward_time=0.279, grad_norm=51.771, clip=100.000, loss_scale=5.765e+17, optim_step_time=0.132, optim0_lr0=1.652e-04, train_time=1.572 +[gpua005:0/64] 2023-12-03 23:11:29,621 (trainer:737) INFO: 6epoch:train:13001-13100batch: iter_time=9.159e-05, forward_time=0.145, loss_ctc=103.285, loss_att=85.728, acc=0.603, loss=90.995, backward_time=0.275, grad_norm=54.089, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.132, optim0_lr0=1.651e-04, train_time=1.657 +[gpua005:0/64] 2023-12-03 23:13:51,838 (trainer:737) INFO: 6epoch:train:13101-13200batch: iter_time=0.005, forward_time=0.189, loss_ctc=73.794, loss_att=63.509, acc=0.610, loss=66.595, backward_time=0.277, grad_norm=40.995, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.134, optim0_lr0=1.650e-04, train_time=1.422 +[gpua005:0/64] 2023-12-03 23:16:59,034 (trainer:737) INFO: 6epoch:train:13201-13300batch: iter_time=9.024e-05, forward_time=0.210, loss_ctc=75.269, loss_att=63.579, acc=0.623, loss=67.086, backward_time=0.310, grad_norm=39.352, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.136, optim0_lr0=1.649e-04, train_time=1.872 +[gpua005:0/64] 2023-12-03 23:19:50,558 (trainer:737) INFO: 6epoch:train:13301-13400batch: iter_time=9.276e-05, forward_time=0.146, loss_ctc=109.118, loss_att=103.488, acc=0.570, loss=105.177, backward_time=0.281, grad_norm=58.759, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.132, optim0_lr0=1.648e-04, train_time=1.716 +[gpua005:0/64] 2023-12-03 23:22:23,600 (trainer:737) INFO: 6epoch:train:13401-13500batch: iter_time=8.803e-05, forward_time=0.145, loss_ctc=78.167, loss_att=66.665, acc=0.614, loss=70.116, backward_time=0.299, grad_norm=38.336, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.132, optim0_lr0=1.647e-04, train_time=1.530 +[gpua005:0/64] 2023-12-03 23:25:13,415 (trainer:737) INFO: 6epoch:train:13501-13600batch: iter_time=9.916e-05, forward_time=0.167, loss_ctc=80.262, loss_att=66.777, acc=0.634, loss=70.823, backward_time=0.313, grad_norm=38.225, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.135, optim0_lr0=1.646e-04, train_time=1.697 +[gpua005:0/64] 2023-12-03 23:27:42,049 (trainer:737) INFO: 6epoch:train:13601-13700batch: iter_time=9.147e-05, forward_time=0.217, loss_ctc=91.124, loss_att=80.735, acc=0.605, loss=83.851, backward_time=0.292, grad_norm=43.011, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.134, optim0_lr0=1.645e-04, train_time=1.487 +[gpua005:0/64] 2023-12-03 23:29:33,398 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua005:0/64] 2023-12-03 23:29:51,797 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-03 23:29:55,260 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-03 23:29:55,260 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua005:0/64] 2023-12-03 23:29:55,291 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-03 23:39:49,961 (trainer:737) INFO: 6epoch:train:13701-13800batch: iter_time=4.543, forward_time=0.932, loss_ctc=100.429, loss_att=88.532, acc=0.611, loss=92.101, backward_time=0.532, grad_norm=47.402, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.163, optim0_lr0=1.644e-04, train_time=7.277 +[gpua005:0/64] 2023-12-03 23:43:40,464 (trainer:737) INFO: 6epoch:train:13801-13900batch: iter_time=0.002, forward_time=0.625, loss_ctc=97.675, loss_att=83.536, acc=0.604, loss=87.778, backward_time=0.442, grad_norm=50.721, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.153, optim0_lr0=1.644e-04, train_time=2.306 +[gpua005:0/64] 2023-12-03 23:48:13,060 (trainer:737) INFO: 6epoch:train:13901-14000batch: iter_time=0.002, forward_time=0.964, loss_ctc=100.718, loss_att=78.157, acc=0.618, loss=84.925, backward_time=0.455, grad_norm=53.457, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.188, optim0_lr0=1.643e-04, train_time=2.726 +[gpua005:0/64] 2023-12-03 23:53:14,581 (trainer:737) INFO: 6epoch:train:14001-14100batch: iter_time=0.004, forward_time=0.858, loss_ctc=83.212, loss_att=71.957, acc=0.609, loss=75.333, backward_time=0.663, grad_norm=43.945, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.185, optim0_lr0=1.642e-04, train_time=3.014 +[gpua005:0/64] 2023-12-03 23:58:03,161 (trainer:737) INFO: 6epoch:train:14101-14200batch: iter_time=0.002, forward_time=0.994, loss_ctc=93.203, loss_att=77.364, acc=0.603, loss=82.115, backward_time=0.515, grad_norm=48.846, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.172, optim0_lr0=1.641e-04, train_time=2.886 +[gpua005:0/64] 2023-12-04 00:03:05,109 (trainer:737) INFO: 6epoch:train:14201-14300batch: iter_time=0.003, forward_time=1.033, loss_ctc=91.888, loss_att=82.133, acc=0.604, loss=85.059, backward_time=0.716, grad_norm=49.804, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.176, optim0_lr0=1.640e-04, train_time=3.018 +[gpua005:0/64] 2023-12-04 00:07:51,953 (trainer:737) INFO: 6epoch:train:14301-14400batch: iter_time=0.003, forward_time=0.822, loss_ctc=90.475, loss_att=71.508, acc=0.611, loss=77.198, backward_time=0.662, grad_norm=48.216, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.174, optim0_lr0=1.639e-04, train_time=2.870 +[gpua005:0/64] 2023-12-04 00:12:04,423 (trainer:737) INFO: 6epoch:train:14401-14500batch: iter_time=0.001, forward_time=0.710, loss_ctc=69.482, loss_att=60.066, acc=0.615, loss=62.891, backward_time=0.553, grad_norm=41.010, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.159, optim0_lr0=1.638e-04, train_time=2.524 +[gpua005:0/64] 2023-12-04 00:19:05,676 (trainer:737) INFO: 6epoch:train:14501-14600batch: iter_time=0.005, forward_time=1.849, loss_ctc=80.186, loss_att=71.337, acc=0.626, loss=73.992, backward_time=0.960, grad_norm=38.910, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.208, optim0_lr0=1.637e-04, train_time=4.214 +[gpua005:0/64] 2023-12-04 00:25:28,151 (trainer:737) INFO: 6epoch:train:14601-14700batch: iter_time=0.003, forward_time=1.346, loss_ctc=102.217, loss_att=90.602, acc=0.571, loss=94.086, backward_time=1.048, grad_norm=54.744, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.211, optim0_lr0=1.636e-04, train_time=3.822 +[gpua005:0/64] 2023-12-04 00:33:46,836 (trainer:737) INFO: 6epoch:train:14701-14800batch: iter_time=0.015, forward_time=2.258, loss_ctc=81.761, loss_att=69.307, acc=0.629, loss=73.043, backward_time=1.218, grad_norm=39.783, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.236, optim0_lr0=1.635e-04, train_time=4.989 +[gpua005:0/64] 2023-12-04 00:41:05,564 (trainer:737) INFO: 6epoch:train:14801-14900batch: iter_time=0.008, forward_time=2.012, loss_ctc=87.404, loss_att=73.513, acc=0.613, loss=77.680, backward_time=1.004, grad_norm=41.026, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.206, optim0_lr0=1.634e-04, train_time=4.385 +[gpua005:0/64] 2023-12-04 00:48:01,852 (trainer:737) INFO: 6epoch:train:14901-15000batch: iter_time=0.006, forward_time=1.640, loss_ctc=88.688, loss_att=81.813, acc=0.613, loss=83.875, backward_time=0.992, grad_norm=43.541, clip=100.000, loss_scale=1.153e+18, optim_step_time=0.210, optim0_lr0=1.633e-04, train_time=4.164 +[gpua005:0/64] 2023-12-04 01:13:30,132 (trainer:343) INFO: 6epoch results: [train] iter_time=0.311, forward_time=0.264, loss_ctc=93.720, loss_att=81.269, acc=0.595, loss=85.004, backward_time=0.431, grad_norm=47.439, clip=100.000, loss_scale=3.056e+17, optim_step_time=0.139, optim0_lr0=1.707e-04, train_time=2.841, time=11 hours, 50 minutes and 36.31 seconds, total_count=90000, gpu_max_cached_mem_GB=34.008, [valid] loss_ctc=68.877, cer_ctc=0.340, loss_att=61.776, acc=0.547, cer=0.372, wer=1.000, loss=63.906, time=25 minutes and 4.08 seconds, total_count=28026, gpu_max_cached_mem_GB=34.008 +[gpua005:0/64] 2023-12-04 01:13:52,234 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua005:0/64] 2023-12-04 01:13:52,315 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/1epoch.pth +[gpua005:0/64] 2023-12-04 01:13:52,315 (trainer:272) INFO: 7/40epoch started. Estimated time to finish: 2 weeks, 3 days and 9 hours +[gpua005:0/64] 2023-12-04 01:13:52,326 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua005:0/64] 2023-12-04 01:14:10,353 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 01:14:13,931 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 01:14:13,931 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua005:0/64] 2023-12-04 01:14:13,949 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 01:23:01,374 (trainer:737) INFO: 7epoch:train:1-100batch: iter_time=3.938, forward_time=0.210, loss_ctc=109.780, loss_att=90.996, acc=0.590, loss=96.631, backward_time=0.275, grad_norm=61.466, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.136, optim0_lr0=1.633e-04, train_time=5.490 +[gpua005:0/64] 2023-12-04 01:25:11,628 (trainer:737) INFO: 7epoch:train:101-200batch: iter_time=8.466e-05, forward_time=0.146, loss_ctc=94.273, loss_att=80.862, acc=0.578, loss=84.886, backward_time=0.276, grad_norm=50.286, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.632e-04, train_time=1.302 +[gpua005:0/64] 2023-12-04 01:28:06,017 (trainer:737) INFO: 7epoch:train:201-300batch: iter_time=9.089e-05, forward_time=0.147, loss_ctc=91.992, loss_att=83.404, acc=0.595, loss=85.981, backward_time=0.307, grad_norm=47.281, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.631e-04, train_time=1.744 +[gpua005:0/64] 2023-12-04 01:30:23,182 (trainer:737) INFO: 7epoch:train:301-400batch: iter_time=9.430e-05, forward_time=0.148, loss_ctc=86.582, loss_att=78.694, acc=0.588, loss=81.061, backward_time=0.270, grad_norm=44.812, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.135, optim0_lr0=1.630e-04, train_time=1.371 +[gpua005:0/64] 2023-12-04 01:33:02,530 (trainer:737) INFO: 7epoch:train:401-500batch: iter_time=8.708e-05, forward_time=0.147, loss_ctc=95.209, loss_att=83.234, acc=0.610, loss=86.826, backward_time=0.293, grad_norm=54.064, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.629e-04, train_time=1.593 +[gpua005:0/64] 2023-12-04 01:35:50,202 (trainer:737) INFO: 7epoch:train:501-600batch: iter_time=9.492e-05, forward_time=0.147, loss_ctc=89.711, loss_att=81.506, acc=0.602, loss=83.967, backward_time=0.306, grad_norm=42.803, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.628e-04, train_time=1.676 +[gpua005:0/64] 2023-12-04 01:38:31,522 (trainer:737) INFO: 7epoch:train:601-700batch: iter_time=9.529e-05, forward_time=0.147, loss_ctc=101.859, loss_att=86.431, acc=0.594, loss=91.059, backward_time=0.292, grad_norm=52.759, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.627e-04, train_time=1.613 +[gpua005:0/64] 2023-12-04 01:40:55,855 (trainer:737) INFO: 7epoch:train:701-800batch: iter_time=9.919e-05, forward_time=0.147, loss_ctc=91.231, loss_att=78.323, acc=0.595, loss=82.195, backward_time=0.300, grad_norm=48.936, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.626e-04, train_time=1.443 +[gpua005:0/64] 2023-12-04 01:43:26,634 (trainer:737) INFO: 7epoch:train:801-900batch: iter_time=9.498e-05, forward_time=0.147, loss_ctc=82.578, loss_att=64.839, acc=0.628, loss=70.161, backward_time=0.277, grad_norm=44.031, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.625e-04, train_time=1.508 +[gpua005:0/64] 2023-12-04 01:46:14,378 (trainer:737) INFO: 7epoch:train:901-1000batch: iter_time=9.440e-05, forward_time=0.147, loss_ctc=88.835, loss_att=85.090, acc=0.598, loss=86.214, backward_time=0.295, grad_norm=48.081, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.624e-04, train_time=1.677 +[gpua005:0/64] 2023-12-04 01:48:46,286 (trainer:737) INFO: 7epoch:train:1001-1100batch: iter_time=9.791e-05, forward_time=0.147, loss_ctc=85.495, loss_att=75.660, acc=0.611, loss=78.610, backward_time=0.279, grad_norm=45.177, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.624e-04, train_time=1.519 +[gpua005:0/64] 2023-12-04 01:51:36,023 (trainer:737) INFO: 7epoch:train:1101-1200batch: iter_time=9.107e-05, forward_time=0.147, loss_ctc=89.213, loss_att=75.429, acc=0.602, loss=79.564, backward_time=0.292, grad_norm=47.224, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.623e-04, train_time=1.697 +[gpua005:0/64] 2023-12-04 01:53:17,281 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua005:0/64] 2023-12-04 01:53:35,429 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 01:53:39,072 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 01:53:39,072 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua005:0/64] 2023-12-04 01:53:39,075 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 02:01:18,682 (trainer:737) INFO: 7epoch:train:1201-1300batch: iter_time=1.543, forward_time=0.193, loss_ctc=112.180, loss_att=90.809, acc=0.594, loss=97.220, backward_time=0.279, grad_norm=55.163, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.135, optim0_lr0=1.622e-04, train_time=5.826 +[gpua005:0/64] 2023-12-04 02:04:00,766 (trainer:737) INFO: 7epoch:train:1301-1400batch: iter_time=8.757e-05, forward_time=0.150, loss_ctc=96.404, loss_att=84.211, acc=0.589, loss=87.869, backward_time=0.289, grad_norm=51.648, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.133, optim0_lr0=1.621e-04, train_time=1.621 +[gpua005:0/64] 2023-12-04 02:06:36,387 (trainer:737) INFO: 7epoch:train:1401-1500batch: iter_time=8.707e-05, forward_time=0.148, loss_ctc=91.361, loss_att=78.012, acc=0.594, loss=82.017, backward_time=0.306, grad_norm=45.910, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.620e-04, train_time=1.556 +[gpua005:0/64] 2023-12-04 02:09:44,088 (trainer:737) INFO: 7epoch:train:1501-1600batch: iter_time=9.052e-05, forward_time=0.148, loss_ctc=79.024, loss_att=74.920, acc=0.620, loss=76.151, backward_time=0.296, grad_norm=40.866, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.619e-04, train_time=1.877 +[gpua005:0/64] 2023-12-04 02:12:15,985 (trainer:737) INFO: 7epoch:train:1601-1700batch: iter_time=9.157e-05, forward_time=0.148, loss_ctc=91.262, loss_att=81.785, acc=0.616, loss=84.628, backward_time=0.276, grad_norm=43.364, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.618e-04, train_time=1.519 +[gpua005:0/64] 2023-12-04 02:14:45,726 (trainer:737) INFO: 7epoch:train:1701-1800batch: iter_time=9.207e-05, forward_time=0.148, loss_ctc=93.224, loss_att=82.466, acc=0.622, loss=85.693, backward_time=0.280, grad_norm=45.476, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.617e-04, train_time=1.497 +[gpua005:0/64] 2023-12-04 02:17:26,994 (trainer:737) INFO: 7epoch:train:1801-1900batch: iter_time=9.375e-05, forward_time=0.148, loss_ctc=93.870, loss_att=85.697, acc=0.609, loss=88.149, backward_time=0.285, grad_norm=45.524, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.616e-04, train_time=1.612 +[gpua005:0/64] 2023-12-04 02:20:35,057 (trainer:737) INFO: 7epoch:train:1901-2000batch: iter_time=9.591e-05, forward_time=0.148, loss_ctc=94.374, loss_att=89.007, acc=0.577, loss=90.617, backward_time=0.322, grad_norm=57.966, clip=100.000, loss_scale=2.306e+18, optim_step_time=0.134, optim0_lr0=1.616e-04, train_time=1.880 +[gpua005:0/64] 2023-12-04 02:23:15,348 (trainer:737) INFO: 7epoch:train:2001-2100batch: iter_time=9.032e-05, forward_time=0.148, loss_ctc=83.761, loss_att=70.520, acc=0.641, loss=74.493, backward_time=0.272, grad_norm=43.718, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.615e-04, train_time=1.603 +[gpua005:0/64] 2023-12-04 02:26:02,961 (trainer:737) INFO: 7epoch:train:2101-2200batch: iter_time=9.314e-05, forward_time=0.148, loss_ctc=84.355, loss_att=73.509, acc=0.629, loss=76.763, backward_time=0.306, grad_norm=44.112, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.614e-04, train_time=1.676 +[gpua005:0/64] 2023-12-04 02:29:19,521 (trainer:737) INFO: 7epoch:train:2201-2300batch: iter_time=1.020e-04, forward_time=0.148, loss_ctc=92.545, loss_att=87.200, acc=0.605, loss=88.804, backward_time=0.291, grad_norm=44.838, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.613e-04, train_time=1.965 +[gpua005:0/64] 2023-12-04 02:32:01,268 (trainer:737) INFO: 7epoch:train:2301-2400batch: iter_time=9.899e-05, forward_time=0.148, loss_ctc=74.627, loss_att=64.336, acc=0.627, loss=67.423, backward_time=0.290, grad_norm=39.869, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.612e-04, train_time=1.617 +[gpua005:0/64] 2023-12-04 02:34:14,705 (trainer:737) INFO: 7epoch:train:2401-2500batch: iter_time=9.654e-05, forward_time=0.148, loss_ctc=101.108, loss_att=84.667, acc=0.597, loss=89.599, backward_time=0.278, grad_norm=50.705, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.611e-04, train_time=1.334 +[gpua005:0/64] 2023-12-04 02:34:32,507 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua005:0/64] 2023-12-04 02:34:51,035 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 02:34:54,412 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 02:34:54,412 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua005:0/64] 2023-12-04 02:34:54,416 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 02:44:22,959 (trainer:737) INFO: 7epoch:train:2501-2600batch: iter_time=1.891, forward_time=0.208, loss_ctc=106.808, loss_att=88.325, acc=0.599, loss=93.870, backward_time=0.275, grad_norm=53.145, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.136, optim0_lr0=1.610e-04, train_time=6.082 +[gpua005:0/64] 2023-12-04 02:47:08,310 (trainer:737) INFO: 7epoch:train:2601-2700batch: iter_time=8.739e-05, forward_time=0.147, loss_ctc=90.839, loss_att=76.426, acc=0.589, loss=80.750, backward_time=0.302, grad_norm=45.400, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.609e-04, train_time=1.653 +[gpua005:0/64] 2023-12-04 02:49:37,574 (trainer:737) INFO: 7epoch:train:2701-2800batch: iter_time=8.926e-05, forward_time=0.147, loss_ctc=89.072, loss_att=81.728, acc=0.604, loss=83.931, backward_time=0.289, grad_norm=44.049, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.609e-04, train_time=1.492 +[gpua005:0/64] 2023-12-04 02:52:11,904 (trainer:737) INFO: 7epoch:train:2801-2900batch: iter_time=8.752e-05, forward_time=0.147, loss_ctc=84.681, loss_att=76.328, acc=0.599, loss=78.834, backward_time=0.286, grad_norm=42.879, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.608e-04, train_time=1.543 +[gpua005:0/64] 2023-12-04 02:55:02,713 (trainer:737) INFO: 7epoch:train:2901-3000batch: iter_time=8.813e-05, forward_time=0.147, loss_ctc=91.931, loss_att=80.018, acc=0.622, loss=83.592, backward_time=0.345, grad_norm=47.151, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.607e-04, train_time=1.708 +[gpua005:0/64] 2023-12-04 02:57:54,679 (trainer:737) INFO: 7epoch:train:3001-3100batch: iter_time=8.758e-05, forward_time=0.148, loss_ctc=87.380, loss_att=79.071, acc=0.612, loss=81.564, backward_time=0.305, grad_norm=45.776, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.606e-04, train_time=1.719 +[gpua005:0/64] 2023-12-04 03:00:51,523 (trainer:737) INFO: 7epoch:train:3101-3200batch: iter_time=9.427e-05, forward_time=0.147, loss_ctc=98.686, loss_att=83.604, acc=0.603, loss=88.129, backward_time=0.335, grad_norm=52.372, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.605e-04, train_time=1.768 +[gpua005:0/64] 2023-12-04 03:03:33,981 (trainer:737) INFO: 7epoch:train:3201-3300batch: iter_time=9.157e-05, forward_time=0.147, loss_ctc=88.326, loss_att=75.228, acc=0.607, loss=79.157, backward_time=0.313, grad_norm=43.000, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.604e-04, train_time=1.624 +[gpua005:0/64] 2023-12-04 03:06:12,648 (trainer:737) INFO: 7epoch:train:3301-3400batch: iter_time=9.161e-05, forward_time=0.147, loss_ctc=80.134, loss_att=63.189, acc=0.640, loss=68.272, backward_time=0.306, grad_norm=40.090, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.603e-04, train_time=1.586 +[gpua005:0/64] 2023-12-04 03:08:38,242 (trainer:737) INFO: 7epoch:train:3401-3500batch: iter_time=8.975e-05, forward_time=0.147, loss_ctc=86.636, loss_att=82.553, acc=0.609, loss=83.778, backward_time=0.312, grad_norm=42.980, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.603e-04, train_time=1.456 +[gpua005:0/64] 2023-12-04 03:11:16,993 (trainer:737) INFO: 7epoch:train:3501-3600batch: iter_time=8.863e-05, forward_time=0.147, loss_ctc=82.437, loss_att=73.386, acc=0.621, loss=76.101, backward_time=0.293, grad_norm=39.933, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.602e-04, train_time=1.587 +[gpua005:0/64] 2023-12-04 03:14:03,459 (trainer:737) INFO: 7epoch:train:3601-3700batch: iter_time=8.849e-05, forward_time=0.147, loss_ctc=86.782, loss_att=73.743, acc=0.613, loss=77.655, backward_time=0.312, grad_norm=47.751, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.133, optim0_lr0=1.601e-04, train_time=1.664 +[gpua005:0/64] 2023-12-04 03:15:35,613 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua005:0/64] 2023-12-04 03:15:54,020 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 03:15:57,567 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 03:15:57,567 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua005:0/64] 2023-12-04 03:15:57,570 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 03:24:09,120 (trainer:737) INFO: 7epoch:train:3701-3800batch: iter_time=2.426, forward_time=0.190, loss_ctc=109.516, loss_att=85.401, acc=0.606, loss=92.635, backward_time=0.272, grad_norm=56.025, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.600e-04, train_time=6.056 +[gpua005:0/64] 2023-12-04 03:26:37,623 (trainer:737) INFO: 7epoch:train:3801-3900batch: iter_time=8.775e-05, forward_time=0.147, loss_ctc=94.474, loss_att=78.595, acc=0.602, loss=83.359, backward_time=0.283, grad_norm=51.128, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.135, optim0_lr0=1.599e-04, train_time=1.485 +[gpua005:0/64] 2023-12-04 03:29:17,994 (trainer:737) INFO: 7epoch:train:3901-4000batch: iter_time=8.767e-05, forward_time=0.148, loss_ctc=89.316, loss_att=73.095, acc=0.602, loss=77.961, backward_time=0.272, grad_norm=46.414, clip=100.000, loss_scale=4.612e+18, optim_step_time=0.134, optim0_lr0=1.598e-04, train_time=1.603 +[gpua005:0/64] 2023-12-04 03:31:58,597 (trainer:737) INFO: 7epoch:train:4001-4100batch: iter_time=9.188e-05, forward_time=0.147, loss_ctc=77.028, loss_att=70.727, acc=0.619, loss=72.618, backward_time=0.271, grad_norm=40.134, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.597e-04, train_time=1.606 +[gpua005:0/64] 2023-12-04 03:34:47,500 (trainer:737) INFO: 7epoch:train:4101-4200batch: iter_time=9.300e-05, forward_time=0.146, loss_ctc=89.995, loss_att=77.786, acc=0.620, loss=81.449, backward_time=0.306, grad_norm=43.197, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.597e-04, train_time=1.689 +[gpua005:0/64] 2023-12-04 03:37:17,648 (trainer:737) INFO: 7epoch:train:4201-4300batch: iter_time=9.674e-05, forward_time=0.147, loss_ctc=91.639, loss_att=78.873, acc=0.620, loss=82.702, backward_time=0.310, grad_norm=48.213, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.596e-04, train_time=1.501 +[gpua005:0/64] 2023-12-04 03:39:56,518 (trainer:737) INFO: 7epoch:train:4301-4400batch: iter_time=9.654e-05, forward_time=0.148, loss_ctc=92.633, loss_att=81.040, acc=0.612, loss=84.518, backward_time=0.281, grad_norm=47.472, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.595e-04, train_time=1.588 +[gpua005:0/64] 2023-12-04 03:42:25,177 (trainer:737) INFO: 7epoch:train:4401-4500batch: iter_time=9.441e-05, forward_time=0.148, loss_ctc=93.015, loss_att=83.186, acc=0.585, loss=86.135, backward_time=0.285, grad_norm=48.530, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.594e-04, train_time=1.486 +[gpua005:0/64] 2023-12-04 03:45:04,773 (trainer:737) INFO: 7epoch:train:4501-4600batch: iter_time=9.692e-05, forward_time=0.148, loss_ctc=81.724, loss_att=67.851, acc=0.647, loss=72.013, backward_time=0.297, grad_norm=41.572, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.593e-04, train_time=1.596 +[gpua005:0/64] 2023-12-04 03:47:35,945 (trainer:737) INFO: 7epoch:train:4601-4700batch: iter_time=9.673e-05, forward_time=0.148, loss_ctc=81.030, loss_att=71.294, acc=0.633, loss=74.215, backward_time=0.287, grad_norm=55.049, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.592e-04, train_time=1.511 +[gpua005:0/64] 2023-12-04 03:50:15,916 (trainer:737) INFO: 7epoch:train:4701-4800batch: iter_time=9.118e-05, forward_time=0.147, loss_ctc=90.997, loss_att=84.884, acc=0.603, loss=86.718, backward_time=0.307, grad_norm=43.248, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.592e-04, train_time=1.599 +[gpua005:0/64] 2023-12-04 03:52:56,973 (trainer:737) INFO: 7epoch:train:4801-4900batch: iter_time=9.808e-05, forward_time=0.179, loss_ctc=73.219, loss_att=62.565, acc=0.631, loss=65.761, backward_time=0.288, grad_norm=38.860, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.591e-04, train_time=1.610 +[gpua005:0/64] 2023-12-04 03:55:41,777 (trainer:737) INFO: 7epoch:train:4901-5000batch: iter_time=9.530e-05, forward_time=0.175, loss_ctc=98.124, loss_att=77.990, acc=0.608, loss=84.030, backward_time=0.309, grad_norm=49.639, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.137, optim0_lr0=1.590e-04, train_time=1.647 +[gpua005:0/64] 2023-12-04 03:56:01,819 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua005:0/64] 2023-12-04 03:56:20,312 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 03:56:23,721 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 03:56:23,721 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua005:0/64] 2023-12-04 03:56:23,727 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 04:02:42,501 (trainer:737) INFO: 7epoch:train:5001-5100batch: iter_time=2.861, forward_time=0.163, loss_ctc=104.854, loss_att=84.499, acc=0.610, loss=90.605, backward_time=0.267, grad_norm=54.709, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.589e-04, train_time=4.207 +[gpua005:0/64] 2023-12-04 04:04:46,496 (trainer:737) INFO: 7epoch:train:5101-5200batch: iter_time=8.862e-05, forward_time=0.147, loss_ctc=88.239, loss_att=73.620, acc=0.600, loss=78.006, backward_time=0.267, grad_norm=44.962, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.588e-04, train_time=1.240 +[gpua005:0/64] 2023-12-04 04:06:53,127 (trainer:737) INFO: 7epoch:train:5201-5300batch: iter_time=9.267e-05, forward_time=0.148, loss_ctc=88.999, loss_att=79.289, acc=0.613, loss=82.202, backward_time=0.269, grad_norm=47.439, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.587e-04, train_time=1.266 +[gpua005:0/64] 2023-12-04 04:09:16,220 (trainer:737) INFO: 7epoch:train:5301-5400batch: iter_time=9.713e-05, forward_time=0.148, loss_ctc=83.537, loss_att=74.161, acc=0.609, loss=76.974, backward_time=0.302, grad_norm=39.977, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.587e-04, train_time=1.431 +[gpua005:0/64] 2023-12-04 04:11:48,387 (trainer:737) INFO: 7epoch:train:5401-5500batch: iter_time=9.911e-05, forward_time=0.149, loss_ctc=91.366, loss_att=78.213, acc=0.627, loss=82.159, backward_time=0.297, grad_norm=50.719, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.586e-04, train_time=1.521 +[gpua005:0/64] 2023-12-04 04:14:22,550 (trainer:737) INFO: 7epoch:train:5501-5600batch: iter_time=1.055e-04, forward_time=0.149, loss_ctc=85.607, loss_att=77.140, acc=0.620, loss=79.680, backward_time=0.290, grad_norm=41.334, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.585e-04, train_time=1.541 +[gpua005:0/64] 2023-12-04 04:16:59,925 (trainer:737) INFO: 7epoch:train:5601-5700batch: iter_time=0.002, forward_time=0.171, loss_ctc=97.415, loss_att=82.526, acc=0.610, loss=86.993, backward_time=0.282, grad_norm=52.925, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.135, optim0_lr0=1.584e-04, train_time=1.574 +[gpua005:0/64] 2023-12-04 04:19:41,863 (trainer:737) INFO: 7epoch:train:5701-5800batch: iter_time=9.486e-05, forward_time=0.152, loss_ctc=86.186, loss_att=73.530, acc=0.613, loss=77.327, backward_time=0.340, grad_norm=44.733, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.583e-04, train_time=1.619 +[gpua005:0/64] 2023-12-04 04:22:22,380 (trainer:737) INFO: 7epoch:train:5801-5900batch: iter_time=8.575e-04, forward_time=0.175, loss_ctc=79.459, loss_att=61.969, acc=0.647, loss=67.216, backward_time=0.309, grad_norm=40.949, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.137, optim0_lr0=1.582e-04, train_time=1.604 +[gpua005:0/64] 2023-12-04 04:24:35,500 (trainer:737) INFO: 7epoch:train:5901-6000batch: iter_time=9.372e-05, forward_time=0.147, loss_ctc=85.618, loss_att=81.481, acc=0.613, loss=82.722, backward_time=0.275, grad_norm=43.353, clip=100.000, loss_scale=9.223e+18, optim_step_time=0.134, optim0_lr0=1.582e-04, train_time=1.332 +[gpua005:0/64] 2023-12-04 04:27:02,736 (trainer:737) INFO: 7epoch:train:6001-6100batch: iter_time=8.883e-05, forward_time=0.149, loss_ctc=82.242, loss_att=72.185, acc=0.629, loss=75.202, backward_time=0.301, grad_norm=43.532, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.135, optim0_lr0=1.581e-04, train_time=1.472 +[gpua005:0/64] 2023-12-04 04:29:44,283 (trainer:737) INFO: 7epoch:train:6101-6200batch: iter_time=8.924e-05, forward_time=0.154, loss_ctc=85.972, loss_att=72.693, acc=0.618, loss=76.676, backward_time=0.320, grad_norm=47.548, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.580e-04, train_time=1.615 +[gpua005:0/64] 2023-12-04 04:31:20,632 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua005:0/64] 2023-12-04 04:31:38,931 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 04:31:42,334 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 04:31:42,334 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua005:0/64] 2023-12-04 04:31:42,360 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 04:37:28,498 (trainer:737) INFO: 7epoch:train:6201-6300batch: iter_time=3.088, forward_time=0.148, loss_ctc=106.360, loss_att=83.165, acc=0.611, loss=90.124, backward_time=0.281, grad_norm=52.727, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.135, optim0_lr0=1.579e-04, train_time=4.641 +[gpua005:0/64] 2023-12-04 04:39:41,108 (trainer:737) INFO: 7epoch:train:6301-6400batch: iter_time=8.636e-05, forward_time=0.148, loss_ctc=93.103, loss_att=77.163, acc=0.609, loss=81.945, backward_time=0.267, grad_norm=48.846, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.135, optim0_lr0=1.578e-04, train_time=1.326 +[gpua005:0/64] 2023-12-04 04:41:53,817 (trainer:737) INFO: 7epoch:train:6401-6500batch: iter_time=8.385e-05, forward_time=0.149, loss_ctc=87.455, loss_att=70.927, acc=0.610, loss=75.886, backward_time=0.268, grad_norm=44.748, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.577e-04, train_time=1.327 +[gpua005:0/64] 2023-12-04 04:44:13,573 (trainer:737) INFO: 7epoch:train:6501-6600batch: iter_time=8.765e-05, forward_time=0.148, loss_ctc=76.317, loss_att=69.765, acc=0.626, loss=71.731, backward_time=0.288, grad_norm=38.765, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.577e-04, train_time=1.397 +[gpua005:0/64] 2023-12-04 04:46:46,239 (trainer:737) INFO: 7epoch:train:6601-6700batch: iter_time=9.440e-05, forward_time=0.147, loss_ctc=88.993, loss_att=76.104, acc=0.629, loss=79.971, backward_time=0.276, grad_norm=64.429, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.576e-04, train_time=1.526 +[gpua005:0/64] 2023-12-04 04:49:27,843 (trainer:737) INFO: 7epoch:train:6701-6800batch: iter_time=8.757e-05, forward_time=0.170, loss_ctc=90.806, loss_att=76.867, acc=0.628, loss=81.048, backward_time=0.315, grad_norm=46.177, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.575e-04, train_time=1.616 +[gpua005:0/64] 2023-12-04 04:52:05,715 (trainer:737) INFO: 7epoch:train:6801-6900batch: iter_time=9.145e-05, forward_time=0.174, loss_ctc=92.638, loss_att=79.185, acc=0.617, loss=83.221, backward_time=0.306, grad_norm=51.125, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.574e-04, train_time=1.579 +[gpua005:0/64] 2023-12-04 04:54:37,837 (trainer:737) INFO: 7epoch:train:6901-7000batch: iter_time=9.606e-05, forward_time=0.170, loss_ctc=90.563, loss_att=80.697, acc=0.595, loss=83.657, backward_time=0.290, grad_norm=46.153, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.573e-04, train_time=1.521 +[gpua005:0/64] 2023-12-04 04:56:51,546 (trainer:737) INFO: 7epoch:train:7001-7100batch: iter_time=9.291e-05, forward_time=0.147, loss_ctc=81.088, loss_att=67.370, acc=0.652, loss=71.486, backward_time=0.273, grad_norm=42.941, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.573e-04, train_time=1.337 +[gpua005:0/64] 2023-12-04 04:59:27,057 (trainer:737) INFO: 7epoch:train:7101-7200batch: iter_time=9.566e-05, forward_time=0.166, loss_ctc=79.706, loss_att=70.590, acc=0.634, loss=73.325, backward_time=0.300, grad_norm=39.702, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.572e-04, train_time=1.555 +[gpua005:0/64] 2023-12-04 05:02:03,576 (trainer:737) INFO: 7epoch:train:7201-7300batch: iter_time=9.314e-05, forward_time=0.148, loss_ctc=90.087, loss_att=82.847, acc=0.611, loss=85.019, backward_time=0.283, grad_norm=41.982, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.571e-04, train_time=1.565 +[gpua005:0/64] 2023-12-04 05:04:42,465 (trainer:737) INFO: 7epoch:train:7301-7400batch: iter_time=8.790e-05, forward_time=0.146, loss_ctc=72.840, loss_att=61.685, acc=0.635, loss=65.032, backward_time=0.280, grad_norm=40.910, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.570e-04, train_time=1.589 +[gpua005:0/64] 2023-12-04 05:06:57,387 (trainer:737) INFO: 7epoch:train:7401-7500batch: iter_time=8.917e-05, forward_time=0.146, loss_ctc=96.725, loss_att=77.235, acc=0.614, loss=83.082, backward_time=0.280, grad_norm=47.451, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.569e-04, train_time=1.349 +[gpua005:0/64] 2023-12-04 05:07:17,416 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua005:0/64] 2023-12-04 05:07:36,115 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 05:07:39,448 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 05:07:39,449 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua005:0/64] 2023-12-04 05:07:39,596 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 05:17:29,165 (trainer:737) INFO: 7epoch:train:7501-7600batch: iter_time=3.073, forward_time=0.173, loss_ctc=103.302, loss_att=87.622, acc=0.617, loss=92.326, backward_time=0.277, grad_norm=56.189, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.569e-04, train_time=6.317 +[gpua005:0/64] 2023-12-04 05:20:09,566 (trainer:737) INFO: 7epoch:train:7601-7700batch: iter_time=9.076e-05, forward_time=0.186, loss_ctc=86.829, loss_att=74.973, acc=0.604, loss=78.530, backward_time=0.315, grad_norm=47.979, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.137, optim0_lr0=1.568e-04, train_time=1.604 +[gpua005:0/64] 2023-12-04 05:22:41,404 (trainer:737) INFO: 7epoch:train:7701-7800batch: iter_time=9.369e-05, forward_time=0.162, loss_ctc=87.318, loss_att=81.239, acc=0.625, loss=83.063, backward_time=0.328, grad_norm=43.297, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.135, optim0_lr0=1.567e-04, train_time=1.518 +[gpua005:0/64] 2023-12-04 05:25:10,462 (trainer:737) INFO: 7epoch:train:7801-7900batch: iter_time=9.925e-05, forward_time=0.149, loss_ctc=82.683, loss_att=75.936, acc=0.621, loss=77.960, backward_time=0.292, grad_norm=42.282, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.566e-04, train_time=1.490 +[gpua005:0/64] 2023-12-04 05:28:13,402 (trainer:737) INFO: 7epoch:train:7901-8000batch: iter_time=9.918e-05, forward_time=0.149, loss_ctc=90.251, loss_att=80.149, acc=0.637, loss=83.180, backward_time=0.316, grad_norm=46.668, clip=100.000, loss_scale=1.845e+19, optim_step_time=0.134, optim0_lr0=1.565e-04, train_time=1.829 +[gpua005:0/64] 2023-12-04 05:30:39,402 (trainer:737) INFO: 7epoch:train:8001-8100batch: iter_time=1.005e-04, forward_time=0.148, loss_ctc=85.007, loss_att=78.639, acc=0.628, loss=80.549, backward_time=0.281, grad_norm=39.949, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.565e-04, train_time=1.460 +[gpua005:0/64] 2023-12-04 05:33:26,545 (trainer:737) INFO: 7epoch:train:8101-8200batch: iter_time=9.906e-05, forward_time=0.147, loss_ctc=95.829, loss_att=84.131, acc=0.618, loss=87.640, backward_time=0.281, grad_norm=54.007, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.564e-04, train_time=1.671 +[gpua005:0/64] 2023-12-04 05:36:26,923 (trainer:737) INFO: 7epoch:train:8201-8300batch: iter_time=9.890e-05, forward_time=0.147, loss_ctc=85.087, loss_att=74.054, acc=0.620, loss=77.364, backward_time=0.290, grad_norm=45.268, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.563e-04, train_time=1.804 +[gpua005:0/64] 2023-12-04 05:39:21,337 (trainer:737) INFO: 7epoch:train:8301-8400batch: iter_time=9.222e-05, forward_time=0.147, loss_ctc=77.588, loss_att=62.091, acc=0.658, loss=66.740, backward_time=0.281, grad_norm=39.024, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.562e-04, train_time=1.744 +[gpua005:0/64] 2023-12-04 05:41:57,879 (trainer:737) INFO: 7epoch:train:8401-8500batch: iter_time=9.417e-05, forward_time=0.147, loss_ctc=84.559, loss_att=81.354, acc=0.622, loss=82.316, backward_time=0.304, grad_norm=39.747, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.561e-04, train_time=1.565 +[gpua005:0/64] 2023-12-04 05:44:38,492 (trainer:737) INFO: 7epoch:train:8501-8600batch: iter_time=9.589e-05, forward_time=0.147, loss_ctc=80.698, loss_att=72.723, acc=0.634, loss=75.116, backward_time=0.292, grad_norm=40.327, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.561e-04, train_time=1.606 +[gpua005:0/64] 2023-12-04 05:47:22,888 (trainer:737) INFO: 7epoch:train:8601-8700batch: iter_time=9.857e-05, forward_time=0.168, loss_ctc=83.078, loss_att=73.348, acc=0.626, loss=76.267, backward_time=0.288, grad_norm=44.184, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.135, optim0_lr0=1.560e-04, train_time=1.643 +[gpua005:0/64] 2023-12-04 05:48:49,156 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua005:0/64] 2023-12-04 05:49:07,372 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 05:49:10,796 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 05:49:10,796 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua005:0/64] 2023-12-04 05:49:10,799 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 05:55:05,289 (trainer:737) INFO: 7epoch:train:8701-8800batch: iter_time=3.000, forward_time=0.200, loss_ctc=103.684, loss_att=84.856, acc=0.620, loss=90.504, backward_time=0.278, grad_norm=52.766, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.135, optim0_lr0=1.559e-04, train_time=4.624 +[gpua005:0/64] 2023-12-04 05:57:17,825 (trainer:737) INFO: 7epoch:train:8801-8900batch: iter_time=8.684e-05, forward_time=0.150, loss_ctc=92.428, loss_att=77.788, acc=0.618, loss=82.180, backward_time=0.270, grad_norm=49.675, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.558e-04, train_time=1.325 +[gpua005:0/64] 2023-12-04 05:59:34,699 (trainer:737) INFO: 7epoch:train:8901-9000batch: iter_time=8.742e-05, forward_time=0.147, loss_ctc=86.432, loss_att=71.549, acc=0.622, loss=76.014, backward_time=0.274, grad_norm=45.311, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.133, optim0_lr0=1.557e-04, train_time=1.369 +[gpua005:0/64] 2023-12-04 06:02:03,105 (trainer:737) INFO: 7epoch:train:9001-9100batch: iter_time=9.477e-05, forward_time=0.149, loss_ctc=75.756, loss_att=70.211, acc=0.642, loss=71.874, backward_time=0.305, grad_norm=37.733, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.557e-04, train_time=1.484 +[gpua005:0/64] 2023-12-04 06:04:36,275 (trainer:737) INFO: 7epoch:train:9101-9200batch: iter_time=8.977e-05, forward_time=0.149, loss_ctc=87.797, loss_att=77.260, acc=0.637, loss=80.421, backward_time=0.291, grad_norm=43.474, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.556e-04, train_time=1.531 +[gpua005:0/64] 2023-12-04 06:06:53,708 (trainer:737) INFO: 7epoch:train:9201-9300batch: iter_time=9.472e-05, forward_time=0.147, loss_ctc=88.608, loss_att=77.185, acc=0.635, loss=80.612, backward_time=0.277, grad_norm=43.200, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.555e-04, train_time=1.374 +[gpua005:0/64] 2023-12-04 06:09:28,998 (trainer:737) INFO: 7epoch:train:9301-9400batch: iter_time=9.569e-05, forward_time=0.147, loss_ctc=90.353, loss_att=81.143, acc=0.627, loss=83.906, backward_time=0.309, grad_norm=48.203, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.554e-04, train_time=1.553 +[gpua005:0/64] 2023-12-04 06:12:38,912 (trainer:737) INFO: 7epoch:train:9401-9500batch: iter_time=1.004e-04, forward_time=0.147, loss_ctc=90.814, loss_att=82.596, acc=0.601, loss=85.061, backward_time=0.360, grad_norm=51.226, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.553e-04, train_time=1.899 +[gpua005:0/64] 2023-12-04 06:15:00,759 (trainer:737) INFO: 7epoch:train:9501-9600batch: iter_time=9.403e-05, forward_time=0.147, loss_ctc=79.281, loss_att=66.581, acc=0.659, loss=70.391, backward_time=0.267, grad_norm=42.158, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.553e-04, train_time=1.418 +[gpua005:0/64] 2023-12-04 06:17:26,528 (trainer:737) INFO: 7epoch:train:9601-9700batch: iter_time=0.001, forward_time=0.168, loss_ctc=78.363, loss_att=69.179, acc=0.649, loss=71.934, backward_time=0.291, grad_norm=38.195, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.552e-04, train_time=1.457 +[gpua005:0/64] 2023-12-04 06:19:52,489 (trainer:737) INFO: 7epoch:train:9701-9800batch: iter_time=9.191e-05, forward_time=0.157, loss_ctc=88.914, loss_att=84.157, acc=0.618, loss=85.584, backward_time=0.273, grad_norm=44.661, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.134, optim0_lr0=1.551e-04, train_time=1.459 +[gpua005:0/64] 2023-12-04 06:22:57,063 (trainer:737) INFO: 7epoch:train:9801-9900batch: iter_time=9.291e-05, forward_time=0.151, loss_ctc=71.982, loss_att=60.997, acc=0.644, loss=64.292, backward_time=0.370, grad_norm=39.045, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.135, optim0_lr0=1.550e-04, train_time=1.846 +[gpua005:0/64] 2023-12-04 06:25:17,920 (trainer:737) INFO: 7epoch:train:9901-10000batch: iter_time=8.687e-05, forward_time=0.220, loss_ctc=95.918, loss_att=80.536, acc=0.618, loss=85.150, backward_time=0.288, grad_norm=49.655, clip=100.000, loss_scale=3.689e+19, optim_step_time=0.137, optim0_lr0=1.550e-04, train_time=1.408 +[gpua005:0/64] 2023-12-04 06:25:37,963 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua005:0/64] 2023-12-04 06:25:56,746 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 06:26:00,239 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 06:26:00,239 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua005:0/64] 2023-12-04 06:26:00,242 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 06:35:56,830 (trainer:737) INFO: 7epoch:train:10001-10100batch: iter_time=3.094, forward_time=0.148, loss_ctc=103.001, loss_att=84.196, acc=0.618, loss=89.837, backward_time=0.272, grad_norm=59.825, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.549e-04, train_time=6.389 +[gpua005:0/64] 2023-12-04 06:38:14,500 (trainer:737) INFO: 7epoch:train:10101-10200batch: iter_time=8.821e-05, forward_time=0.147, loss_ctc=86.083, loss_att=72.867, acc=0.607, loss=76.832, backward_time=0.284, grad_norm=46.859, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.548e-04, train_time=1.376 +[gpua005:0/64] 2023-12-04 06:40:42,519 (trainer:737) INFO: 7epoch:train:10201-10300batch: iter_time=8.849e-05, forward_time=0.147, loss_ctc=86.134, loss_att=78.034, acc=0.621, loss=80.464, backward_time=0.282, grad_norm=43.513, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.547e-04, train_time=1.480 +[gpua005:0/64] 2023-12-04 06:43:03,925 (trainer:737) INFO: 7epoch:train:10301-10400batch: iter_time=9.477e-05, forward_time=0.146, loss_ctc=81.714, loss_att=72.991, acc=0.615, loss=75.608, backward_time=0.281, grad_norm=42.963, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.546e-04, train_time=1.414 +[gpua005:0/64] 2023-12-04 06:45:28,668 (trainer:737) INFO: 7epoch:train:10401-10500batch: iter_time=9.045e-05, forward_time=0.147, loss_ctc=89.053, loss_att=75.717, acc=0.639, loss=79.718, backward_time=0.281, grad_norm=51.541, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.546e-04, train_time=1.447 +[gpua005:0/64] 2023-12-04 06:48:10,609 (trainer:737) INFO: 7epoch:train:10501-10600batch: iter_time=9.487e-05, forward_time=0.147, loss_ctc=83.865, loss_att=76.042, acc=0.626, loss=78.389, backward_time=0.293, grad_norm=40.746, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.545e-04, train_time=1.619 +[gpua005:0/64] 2023-12-04 06:50:56,446 (trainer:737) INFO: 7epoch:train:10601-10700batch: iter_time=1.020e-04, forward_time=0.159, loss_ctc=94.100, loss_att=79.924, acc=0.621, loss=84.177, backward_time=0.291, grad_norm=48.036, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.133, optim0_lr0=1.544e-04, train_time=1.658 +[gpua005:0/64] 2023-12-04 06:53:44,034 (trainer:737) INFO: 7epoch:train:10701-10800batch: iter_time=9.712e-05, forward_time=0.159, loss_ctc=83.264, loss_att=71.493, acc=0.624, loss=75.024, backward_time=0.314, grad_norm=45.808, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.543e-04, train_time=1.675 +[gpua005:0/64] 2023-12-04 06:56:22,064 (trainer:737) INFO: 7epoch:train:10801-10900batch: iter_time=9.284e-05, forward_time=0.154, loss_ctc=77.394, loss_att=60.604, acc=0.654, loss=65.641, backward_time=0.295, grad_norm=37.271, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.133, optim0_lr0=1.543e-04, train_time=1.580 +[gpua005:0/64] 2023-12-04 06:58:52,390 (trainer:737) INFO: 7epoch:train:10901-11000batch: iter_time=0.002, forward_time=0.213, loss_ctc=83.653, loss_att=79.283, acc=0.622, loss=80.594, backward_time=0.288, grad_norm=42.114, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.137, optim0_lr0=1.542e-04, train_time=1.502 +[gpua005:0/64] 2023-12-04 07:01:25,164 (trainer:737) INFO: 7epoch:train:11001-11100batch: iter_time=9.360e-05, forward_time=0.146, loss_ctc=80.268, loss_att=70.883, acc=0.635, loss=73.698, backward_time=0.299, grad_norm=41.704, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.133, optim0_lr0=1.541e-04, train_time=1.528 +[gpua005:0/64] 2023-12-04 07:03:57,933 (trainer:737) INFO: 7epoch:train:11101-11200batch: iter_time=8.599e-05, forward_time=0.146, loss_ctc=82.914, loss_att=70.614, acc=0.630, loss=74.304, backward_time=0.281, grad_norm=46.347, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.133, optim0_lr0=1.540e-04, train_time=1.527 +[gpua005:0/64] 2023-12-04 07:05:22,159 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua005:0/64] 2023-12-04 07:05:40,397 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 07:05:43,827 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 07:05:43,828 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua005:0/64] 2023-12-04 07:05:43,831 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 07:11:25,398 (trainer:737) INFO: 7epoch:train:11201-11300batch: iter_time=3.090, forward_time=0.148, loss_ctc=103.637, loss_att=82.839, acc=0.626, loss=89.078, backward_time=0.270, grad_norm=53.260, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.540e-04, train_time=4.474 +[gpua005:0/64] 2023-12-04 07:13:29,084 (trainer:737) INFO: 7epoch:train:11301-11400batch: iter_time=9.078e-05, forward_time=0.148, loss_ctc=90.716, loss_att=77.122, acc=0.621, loss=81.200, backward_time=0.265, grad_norm=48.462, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.539e-04, train_time=1.237 +[gpua005:0/64] 2023-12-04 07:15:40,023 (trainer:737) INFO: 7epoch:train:11401-11500batch: iter_time=9.028e-05, forward_time=0.148, loss_ctc=86.721, loss_att=71.130, acc=0.626, loss=75.808, backward_time=0.274, grad_norm=44.463, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.538e-04, train_time=1.309 +[gpua005:0/64] 2023-12-04 07:18:03,469 (trainer:737) INFO: 7epoch:train:11501-11600batch: iter_time=9.042e-05, forward_time=0.157, loss_ctc=75.363, loss_att=70.113, acc=0.646, loss=71.688, backward_time=0.274, grad_norm=39.352, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.537e-04, train_time=1.434 +[gpua005:0/64] 2023-12-04 07:20:50,293 (trainer:737) INFO: 7epoch:train:11601-11700batch: iter_time=9.041e-05, forward_time=0.171, loss_ctc=87.729, loss_att=76.900, acc=0.640, loss=80.149, backward_time=0.303, grad_norm=46.714, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.537e-04, train_time=1.668 +[gpua005:0/64] 2023-12-04 07:23:08,329 (trainer:737) INFO: 7epoch:train:11701-11800batch: iter_time=8.946e-05, forward_time=0.156, loss_ctc=88.713, loss_att=76.445, acc=0.640, loss=80.125, backward_time=0.269, grad_norm=43.886, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.134, optim0_lr0=1.536e-04, train_time=1.380 +[gpua005:0/64] 2023-12-04 07:25:53,090 (trainer:737) INFO: 7epoch:train:11801-11900batch: iter_time=9.348e-05, forward_time=0.161, loss_ctc=89.755, loss_att=80.274, acc=0.632, loss=83.118, backward_time=0.322, grad_norm=47.608, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.135, optim0_lr0=1.535e-04, train_time=1.648 +[gpua005:0/64] 2023-12-04 07:28:29,035 (trainer:737) INFO: 7epoch:train:11901-12000batch: iter_time=9.309e-05, forward_time=0.203, loss_ctc=89.182, loss_att=81.234, acc=0.606, loss=83.619, backward_time=0.305, grad_norm=50.939, clip=100.000, loss_scale=7.379e+19, optim_step_time=0.138, optim0_lr0=1.534e-04, train_time=1.559 +[gpua005:0/64] 2023-12-04 07:31:00,411 (trainer:737) INFO: 7epoch:train:12001-12100batch: iter_time=9.442e-05, forward_time=0.148, loss_ctc=79.062, loss_att=66.482, acc=0.661, loss=70.256, backward_time=0.267, grad_norm=41.855, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.534e-04, train_time=1.514 +[gpua005:0/64] 2023-12-04 07:33:19,033 (trainer:737) INFO: 7epoch:train:12101-12200batch: iter_time=9.342e-05, forward_time=0.149, loss_ctc=77.958, loss_att=69.047, acc=0.653, loss=71.720, backward_time=0.285, grad_norm=39.373, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.533e-04, train_time=1.386 +[gpua005:0/64] 2023-12-04 07:36:12,578 (trainer:737) INFO: 7epoch:train:12201-12300batch: iter_time=9.489e-05, forward_time=0.147, loss_ctc=87.548, loss_att=82.373, acc=0.623, loss=83.926, backward_time=0.348, grad_norm=44.296, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.532e-04, train_time=1.735 +[gpua005:0/64] 2023-12-04 07:38:46,603 (trainer:737) INFO: 7epoch:train:12301-12400batch: iter_time=9.290e-05, forward_time=0.147, loss_ctc=71.313, loss_att=60.701, acc=0.647, loss=63.885, backward_time=0.322, grad_norm=37.443, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.531e-04, train_time=1.540 +[gpua005:0/64] 2023-12-04 07:41:07,232 (trainer:737) INFO: 7epoch:train:12401-12500batch: iter_time=9.152e-05, forward_time=0.147, loss_ctc=94.707, loss_att=79.724, acc=0.623, loss=84.219, backward_time=0.276, grad_norm=49.238, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.531e-04, train_time=1.406 +[gpua005:0/64] 2023-12-04 07:41:27,261 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua005:0/64] 2023-12-04 07:41:45,580 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 07:41:48,967 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 07:41:48,967 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua005:0/64] 2023-12-04 07:41:49,036 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 07:51:15,972 (trainer:737) INFO: 7epoch:train:12501-12600batch: iter_time=2.981, forward_time=0.158, loss_ctc=100.351, loss_att=81.761, acc=0.631, loss=87.338, backward_time=0.267, grad_norm=53.431, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.530e-04, train_time=6.087 +[gpua005:0/64] 2023-12-04 07:53:43,934 (trainer:737) INFO: 7epoch:train:12601-12700batch: iter_time=8.949e-05, forward_time=0.152, loss_ctc=84.896, loss_att=71.696, acc=0.618, loss=75.656, backward_time=0.283, grad_norm=48.203, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.529e-04, train_time=1.479 +[gpua005:0/64] 2023-12-04 07:55:57,053 (trainer:737) INFO: 7epoch:train:12701-12800batch: iter_time=8.879e-05, forward_time=0.201, loss_ctc=85.082, loss_att=76.846, acc=0.638, loss=79.317, backward_time=0.302, grad_norm=43.630, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.143, optim0_lr0=1.528e-04, train_time=1.331 +[gpua005:0/64] 2023-12-04 07:58:40,162 (trainer:737) INFO: 7epoch:train:12801-12900batch: iter_time=9.203e-05, forward_time=0.148, loss_ctc=80.637, loss_att=72.114, acc=0.634, loss=74.671, backward_time=0.368, grad_norm=40.150, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.528e-04, train_time=1.631 +[gpua005:0/64] 2023-12-04 08:01:34,318 (trainer:737) INFO: 7epoch:train:12901-13000batch: iter_time=8.855e-05, forward_time=0.147, loss_ctc=88.470, loss_att=75.561, acc=0.653, loss=79.434, backward_time=0.291, grad_norm=47.759, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.133, optim0_lr0=1.527e-04, train_time=1.741 +[gpua005:0/64] 2023-12-04 08:05:24,945 (trainer:737) INFO: 7epoch:train:13001-13100batch: iter_time=8.916e-05, forward_time=0.146, loss_ctc=83.567, loss_att=75.569, acc=0.640, loss=77.968, backward_time=0.333, grad_norm=39.792, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.133, optim0_lr0=1.526e-04, train_time=2.306 +[gpua005:0/64] 2023-12-04 08:08:46,876 (trainer:737) INFO: 7epoch:train:13101-13200batch: iter_time=8.837e-05, forward_time=0.147, loss_ctc=93.566, loss_att=82.179, acc=0.624, loss=85.595, backward_time=0.400, grad_norm=53.259, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.133, optim0_lr0=1.525e-04, train_time=2.019 +[gpua005:0/64] 2023-12-04 08:11:43,180 (trainer:737) INFO: 7epoch:train:13201-13300batch: iter_time=9.545e-05, forward_time=0.147, loss_ctc=82.174, loss_att=71.681, acc=0.629, loss=74.829, backward_time=0.311, grad_norm=42.325, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.525e-04, train_time=1.763 +[gpua005:0/64] 2023-12-04 08:15:06,449 (trainer:737) INFO: 7epoch:train:13301-13400batch: iter_time=9.410e-05, forward_time=0.148, loss_ctc=76.624, loss_att=60.300, acc=0.664, loss=65.197, backward_time=0.374, grad_norm=38.104, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.524e-04, train_time=2.032 +[gpua005:0/64] 2023-12-04 08:18:16,263 (trainer:737) INFO: 7epoch:train:13401-13500batch: iter_time=9.462e-05, forward_time=0.148, loss_ctc=82.466, loss_att=77.983, acc=0.637, loss=79.328, backward_time=0.395, grad_norm=41.891, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.523e-04, train_time=1.898 +[gpua005:0/64] 2023-12-04 08:21:25,181 (trainer:737) INFO: 7epoch:train:13501-13600batch: iter_time=1.004e-04, forward_time=0.157, loss_ctc=79.426, loss_att=70.632, acc=0.643, loss=73.271, backward_time=0.358, grad_norm=44.755, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.136, optim0_lr0=1.522e-04, train_time=1.889 +[gpua005:0/64] 2023-12-04 08:24:22,010 (trainer:737) INFO: 7epoch:train:13601-13700batch: iter_time=9.506e-05, forward_time=0.147, loss_ctc=81.517, loss_att=71.436, acc=0.634, loss=74.461, backward_time=0.314, grad_norm=54.216, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.522e-04, train_time=1.768 +[gpua005:0/64] 2023-12-04 08:26:04,710 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua005:0/64] 2023-12-04 08:26:23,346 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 08:26:26,813 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 08:26:26,813 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua005:0/64] 2023-12-04 08:26:26,816 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 08:32:12,000 (trainer:737) INFO: 7epoch:train:13701-13800batch: iter_time=3.108, forward_time=0.183, loss_ctc=102.304, loss_att=82.325, acc=0.630, loss=88.319, backward_time=0.283, grad_norm=53.970, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.135, optim0_lr0=1.521e-04, train_time=4.699 +[gpua005:0/64] 2023-12-04 08:34:35,587 (trainer:737) INFO: 7epoch:train:13801-13900batch: iter_time=8.943e-05, forward_time=0.148, loss_ctc=90.824, loss_att=75.942, acc=0.625, loss=80.407, backward_time=0.286, grad_norm=50.596, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.134, optim0_lr0=1.520e-04, train_time=1.437 +[gpua005:0/64] 2023-12-04 08:37:06,591 (trainer:737) INFO: 7epoch:train:13901-14000batch: iter_time=9.037e-05, forward_time=0.148, loss_ctc=84.147, loss_att=69.047, acc=0.632, loss=73.577, backward_time=0.275, grad_norm=44.827, clip=100.000, loss_scale=1.476e+20, optim_step_time=0.133, optim0_lr0=1.519e-04, train_time=1.510 +[gpua005:0/64] 2023-12-04 08:39:18,466 (trainer:737) INFO: 7epoch:train:14001-14100batch: iter_time=9.340e-05, forward_time=0.147, loss_ctc=74.600, loss_att=68.142, acc=0.652, loss=70.079, backward_time=0.290, grad_norm=37.573, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.519e-04, train_time=1.319 +[gpua005:0/64] 2023-12-04 08:41:49,717 (trainer:737) INFO: 7epoch:train:14101-14200batch: iter_time=9.139e-05, forward_time=0.148, loss_ctc=86.785, loss_att=75.374, acc=0.647, loss=78.797, backward_time=0.278, grad_norm=44.757, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.518e-04, train_time=1.512 +[gpua005:0/64] 2023-12-04 08:44:26,716 (trainer:737) INFO: 7epoch:train:14201-14300batch: iter_time=9.501e-05, forward_time=0.148, loss_ctc=88.035, loss_att=74.155, acc=0.650, loss=78.319, backward_time=0.291, grad_norm=43.986, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.517e-04, train_time=1.570 +[gpua005:0/64] 2023-12-04 08:47:27,726 (trainer:737) INFO: 7epoch:train:14301-14400batch: iter_time=8.773e-05, forward_time=0.147, loss_ctc=88.376, loss_att=79.344, acc=0.636, loss=82.053, backward_time=0.360, grad_norm=46.459, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.133, optim0_lr0=1.517e-04, train_time=1.810 +[gpua005:0/64] 2023-12-04 08:49:46,545 (trainer:737) INFO: 7epoch:train:14401-14500batch: iter_time=8.532e-05, forward_time=0.185, loss_ctc=87.879, loss_att=80.435, acc=0.609, loss=82.669, backward_time=0.274, grad_norm=49.227, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.135, optim0_lr0=1.516e-04, train_time=1.388 +[gpua005:0/64] 2023-12-04 08:52:25,624 (trainer:737) INFO: 7epoch:train:14501-14600batch: iter_time=9.054e-05, forward_time=0.148, loss_ctc=78.227, loss_att=65.265, acc=0.669, loss=69.154, backward_time=0.287, grad_norm=41.735, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.515e-04, train_time=1.591 +[gpua005:0/64] 2023-12-04 08:55:23,292 (trainer:737) INFO: 7epoch:train:14601-14700batch: iter_time=8.787e-05, forward_time=0.184, loss_ctc=76.920, loss_att=67.474, acc=0.658, loss=70.308, backward_time=0.304, grad_norm=37.386, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.135, optim0_lr0=1.514e-04, train_time=1.776 +[gpua005:0/64] 2023-12-04 08:57:59,800 (trainer:737) INFO: 7epoch:train:14701-14800batch: iter_time=9.009e-05, forward_time=0.179, loss_ctc=87.207, loss_att=81.278, acc=0.631, loss=83.057, backward_time=0.312, grad_norm=44.027, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.137, optim0_lr0=1.514e-04, train_time=1.565 +[gpua005:0/64] 2023-12-04 09:00:14,494 (trainer:737) INFO: 7epoch:train:14801-14900batch: iter_time=9.977e-05, forward_time=0.149, loss_ctc=70.737, loss_att=60.125, acc=0.651, loss=63.309, backward_time=0.274, grad_norm=39.808, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.513e-04, train_time=1.347 +[gpua005:0/64] 2023-12-04 09:02:45,429 (trainer:737) INFO: 7epoch:train:14901-15000batch: iter_time=9.605e-05, forward_time=0.149, loss_ctc=93.835, loss_att=79.321, acc=0.626, loss=83.676, backward_time=0.306, grad_norm=50.102, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.512e-04, train_time=1.509 +[gpua005:0/64] 2023-12-04 09:29:39,588 (trainer:343) INFO: 7epoch results: [train] iter_time=0.227, forward_time=0.155, loss_ctc=87.950, loss_att=76.311, acc=0.622, loss=79.803, backward_time=0.296, grad_norm=45.987, clip=100.000, loss_scale=5.872e+19, optim_step_time=0.134, optim0_lr0=1.570e-04, train_time=1.875, time=7 hours, 49 minutes and 18.12 seconds, total_count=105000, gpu_max_cached_mem_GB=35.223, [valid] loss_ctc=61.810, cer_ctc=0.311, loss_att=52.875, acc=0.576, cer=0.412, wer=1.000, loss=55.555, time=26 minutes and 29 seconds, total_count=32697, gpu_max_cached_mem_GB=35.223 +[gpua005:0/64] 2023-12-04 09:30:00,364 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua005:0/64] 2023-12-04 09:30:00,368 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/2epoch.pth +[gpua005:0/64] 2023-12-04 09:30:00,368 (trainer:272) INFO: 8/40epoch started. Estimated time to finish: 2 weeks, 2 hours and 51 minutes +[gpua005:0/64] 2023-12-04 09:30:01,190 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua005:0/64] 2023-12-04 09:30:18,689 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 09:30:22,243 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 09:30:22,243 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua005:0/64] 2023-12-04 09:30:22,247 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 09:39:18,663 (trainer:737) INFO: 8epoch:train:1-100batch: iter_time=2.782, forward_time=0.183, loss_ctc=88.253, loss_att=74.010, acc=0.612, loss=78.283, backward_time=0.275, grad_norm=49.351, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.511e-04, train_time=5.580 +[gpua005:0/64] 2023-12-04 09:41:40,543 (trainer:737) INFO: 8epoch:train:101-200batch: iter_time=8.722e-05, forward_time=0.147, loss_ctc=82.052, loss_att=73.382, acc=0.635, loss=75.983, backward_time=0.325, grad_norm=38.887, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.511e-04, train_time=1.419 +[gpua005:0/64] 2023-12-04 09:43:47,771 (trainer:737) INFO: 8epoch:train:201-300batch: iter_time=8.781e-05, forward_time=0.147, loss_ctc=89.932, loss_att=79.296, acc=0.626, loss=82.487, backward_time=0.265, grad_norm=48.876, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.510e-04, train_time=1.272 +[gpua005:0/64] 2023-12-04 09:46:28,359 (trainer:737) INFO: 8epoch:train:301-400batch: iter_time=8.972e-05, forward_time=0.147, loss_ctc=84.079, loss_att=71.760, acc=0.636, loss=75.456, backward_time=0.280, grad_norm=45.787, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.509e-04, train_time=1.606 +[gpua005:0/64] 2023-12-04 09:48:49,454 (trainer:737) INFO: 8epoch:train:401-500batch: iter_time=9.063e-05, forward_time=0.147, loss_ctc=78.579, loss_att=68.560, acc=0.619, loss=71.565, backward_time=0.276, grad_norm=42.487, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.509e-04, train_time=1.411 +[gpua005:0/64] 2023-12-04 09:51:29,102 (trainer:737) INFO: 8epoch:train:501-600batch: iter_time=8.971e-05, forward_time=0.147, loss_ctc=83.291, loss_att=67.027, acc=0.632, loss=71.906, backward_time=0.286, grad_norm=45.030, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.508e-04, train_time=1.596 +[gpua005:0/64] 2023-12-04 09:54:22,396 (trainer:737) INFO: 8epoch:train:601-700batch: iter_time=1.008e-04, forward_time=0.147, loss_ctc=89.437, loss_att=82.873, acc=0.609, loss=84.842, backward_time=0.305, grad_norm=49.210, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.507e-04, train_time=1.733 +[gpua005:0/64] 2023-12-04 09:56:40,178 (trainer:737) INFO: 8epoch:train:701-800batch: iter_time=9.300e-05, forward_time=0.151, loss_ctc=96.542, loss_att=80.053, acc=0.607, loss=85.000, backward_time=0.281, grad_norm=54.504, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.506e-04, train_time=1.378 +[gpua005:0/64] 2023-12-04 09:59:20,158 (trainer:737) INFO: 8epoch:train:801-900batch: iter_time=9.081e-05, forward_time=0.148, loss_ctc=89.737, loss_att=81.434, acc=0.634, loss=83.925, backward_time=0.297, grad_norm=46.299, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.506e-04, train_time=1.600 +[gpua005:0/64] 2023-12-04 10:01:40,506 (trainer:737) INFO: 8epoch:train:901-1000batch: iter_time=8.397e-05, forward_time=0.157, loss_ctc=93.690, loss_att=80.107, acc=0.611, loss=84.182, backward_time=0.282, grad_norm=53.003, clip=100.000, loss_scale=2.951e+20, optim_step_time=0.134, optim0_lr0=1.505e-04, train_time=1.403 +[gpua005:0/64] 2023-12-04 10:04:33,630 (trainer:737) INFO: 8epoch:train:1001-1100batch: iter_time=9.764e-05, forward_time=0.146, loss_ctc=85.913, loss_att=68.559, acc=0.639, loss=73.765, backward_time=0.317, grad_norm=44.730, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.504e-04, train_time=1.731 +[gpua005:0/64] 2023-12-04 10:07:10,429 (trainer:737) INFO: 8epoch:train:1101-1200batch: iter_time=8.961e-05, forward_time=0.148, loss_ctc=95.779, loss_att=74.870, acc=0.621, loss=81.142, backward_time=0.319, grad_norm=51.931, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.504e-04, train_time=1.568 +[gpua005:0/64] 2023-12-04 10:08:44,792 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua005:0/64] 2023-12-04 10:09:04,557 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 10:09:07,966 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 10:09:07,966 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua005:0/64] 2023-12-04 10:09:07,985 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 10:18:20,105 (trainer:737) INFO: 8epoch:train:1201-1300batch: iter_time=2.159, forward_time=0.194, loss_ctc=93.124, loss_att=72.750, acc=0.640, loss=78.862, backward_time=0.303, grad_norm=48.008, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.136, optim0_lr0=1.503e-04, train_time=6.697 +[gpua005:0/64] 2023-12-04 10:23:47,577 (trainer:737) INFO: 8epoch:train:1301-1400batch: iter_time=9.527e-05, forward_time=0.147, loss_ctc=91.590, loss_att=80.080, acc=0.624, loss=83.533, backward_time=0.599, grad_norm=44.210, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.502e-04, train_time=3.275 +[gpua005:0/64] 2023-12-04 10:31:24,825 (trainer:737) INFO: 8epoch:train:1401-1500batch: iter_time=8.929e-05, forward_time=0.151, loss_ctc=79.724, loss_att=66.487, acc=0.631, loss=70.458, backward_time=0.596, grad_norm=43.868, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.135, optim0_lr0=1.502e-04, train_time=4.572 +[gpua005:0/64] 2023-12-04 10:39:41,663 (trainer:737) INFO: 8epoch:train:1501-1600batch: iter_time=9.308e-05, forward_time=0.152, loss_ctc=80.764, loss_att=72.544, acc=0.646, loss=75.010, backward_time=0.968, grad_norm=39.513, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.135, optim0_lr0=1.501e-04, train_time=4.968 +[gpua005:0/64] 2023-12-04 10:49:12,951 (trainer:737) INFO: 8epoch:train:1601-1700batch: iter_time=9.515e-05, forward_time=0.153, loss_ctc=87.121, loss_att=71.960, acc=0.633, loss=76.508, backward_time=1.061, grad_norm=43.702, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.135, optim0_lr0=1.500e-04, train_time=5.713 +[gpua005:0/64] 2023-12-04 10:57:27,847 (trainer:737) INFO: 8epoch:train:1701-1800batch: iter_time=9.611e-05, forward_time=0.151, loss_ctc=70.888, loss_att=61.548, acc=0.623, loss=64.350, backward_time=0.760, grad_norm=41.017, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.499e-04, train_time=4.949 +[gpua005:0/64] 2023-12-04 11:03:35,110 (trainer:737) INFO: 8epoch:train:1801-1900batch: iter_time=9.529e-05, forward_time=0.180, loss_ctc=87.119, loss_att=74.701, acc=0.650, loss=78.427, backward_time=0.628, grad_norm=46.327, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.499e-04, train_time=3.672 +[gpua005:0/64] 2023-12-04 11:11:12,083 (trainer:737) INFO: 8epoch:train:1901-2000batch: iter_time=9.916e-05, forward_time=0.164, loss_ctc=95.411, loss_att=85.004, acc=0.589, loss=88.126, backward_time=0.722, grad_norm=57.502, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.135, optim0_lr0=1.498e-04, train_time=4.570 +[gpua005:0/64] 2023-12-04 11:19:36,479 (trainer:737) INFO: 8epoch:train:2001-2100batch: iter_time=3.680e-04, forward_time=0.180, loss_ctc=89.102, loss_att=70.996, acc=0.635, loss=76.428, backward_time=0.761, grad_norm=49.089, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.138, optim0_lr0=1.497e-04, train_time=5.044 +[gpua005:0/64] 2023-12-04 11:26:49,232 (trainer:737) INFO: 8epoch:train:2101-2200batch: iter_time=9.710e-05, forward_time=0.148, loss_ctc=94.245, loss_att=82.507, acc=0.643, loss=86.028, backward_time=0.675, grad_norm=47.080, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.497e-04, train_time=4.328 +[gpua005:0/64] 2023-12-04 11:33:17,754 (trainer:737) INFO: 8epoch:train:2201-2300batch: iter_time=9.374e-05, forward_time=0.148, loss_ctc=86.084, loss_att=71.535, acc=0.613, loss=75.900, backward_time=0.576, grad_norm=46.179, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.496e-04, train_time=3.885 +[gpua005:0/64] 2023-12-04 11:39:08,591 (trainer:737) INFO: 8epoch:train:2301-2400batch: iter_time=9.364e-05, forward_time=0.149, loss_ctc=81.469, loss_att=67.067, acc=0.652, loss=71.388, backward_time=0.593, grad_norm=38.793, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.495e-04, train_time=3.508 +[gpua005:0/64] 2023-12-04 11:43:22,925 (trainer:737) INFO: 8epoch:train:2401-2500batch: iter_time=9.201e-05, forward_time=0.154, loss_ctc=106.230, loss_att=77.205, acc=0.636, loss=85.913, backward_time=0.460, grad_norm=54.478, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.495e-04, train_time=2.543 +[gpua005:0/64] 2023-12-04 11:43:42,567 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua005:0/64] 2023-12-04 11:44:00,537 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 11:44:03,873 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 11:44:03,873 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua005:0/64] 2023-12-04 11:44:03,913 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 11:52:51,905 (trainer:737) INFO: 8epoch:train:2501-2600batch: iter_time=2.575, forward_time=0.159, loss_ctc=85.014, loss_att=71.651, acc=0.635, loss=75.660, backward_time=0.274, grad_norm=46.403, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.494e-04, train_time=5.690 +[gpua005:0/64] 2023-12-04 11:55:25,924 (trainer:737) INFO: 8epoch:train:2601-2700batch: iter_time=9.159e-05, forward_time=0.187, loss_ctc=80.425, loss_att=72.647, acc=0.644, loss=74.980, backward_time=0.287, grad_norm=39.647, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.145, optim0_lr0=1.493e-04, train_time=1.540 +[gpua005:0/64] 2023-12-04 11:57:41,239 (trainer:737) INFO: 8epoch:train:2701-2800batch: iter_time=9.540e-05, forward_time=0.147, loss_ctc=87.698, loss_att=77.625, acc=0.645, loss=80.647, backward_time=0.270, grad_norm=48.029, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.492e-04, train_time=1.353 +[gpua005:0/64] 2023-12-04 12:00:23,004 (trainer:737) INFO: 8epoch:train:2801-2900batch: iter_time=9.348e-05, forward_time=0.165, loss_ctc=81.393, loss_att=69.579, acc=0.652, loss=73.123, backward_time=0.296, grad_norm=42.766, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.134, optim0_lr0=1.492e-04, train_time=1.617 +[gpua005:0/64] 2023-12-04 12:02:57,676 (trainer:737) INFO: 8epoch:train:2901-3000batch: iter_time=9.387e-05, forward_time=0.216, loss_ctc=76.600, loss_att=66.001, acc=0.637, loss=69.181, backward_time=0.301, grad_norm=40.568, clip=100.000, loss_scale=5.903e+20, optim_step_time=0.137, optim0_lr0=1.491e-04, train_time=1.546 +[gpua005:0/64] 2023-12-04 12:06:00,010 (trainer:737) INFO: 8epoch:train:3001-3100batch: iter_time=1.031e-04, forward_time=0.147, loss_ctc=82.361, loss_att=66.291, acc=0.646, loss=71.112, backward_time=0.306, grad_norm=43.978, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.490e-04, train_time=1.823 +[gpua005:0/64] 2023-12-04 12:08:33,143 (trainer:737) INFO: 8epoch:train:3101-3200batch: iter_time=9.812e-05, forward_time=0.153, loss_ctc=87.962, loss_att=80.041, acc=0.633, loss=82.418, backward_time=0.304, grad_norm=48.291, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.490e-04, train_time=1.531 +[gpua005:0/64] 2023-12-04 12:11:11,919 (trainer:737) INFO: 8epoch:train:3201-3300batch: iter_time=1.023e-04, forward_time=0.148, loss_ctc=92.762, loss_att=78.440, acc=0.619, loss=82.737, backward_time=0.283, grad_norm=50.443, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.489e-04, train_time=1.588 +[gpua005:0/64] 2023-12-04 12:14:04,152 (trainer:737) INFO: 8epoch:train:3301-3400batch: iter_time=1.045e-04, forward_time=0.167, loss_ctc=87.831, loss_att=82.173, acc=0.645, loss=83.870, backward_time=0.342, grad_norm=42.487, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.488e-04, train_time=1.722 +[gpua005:0/64] 2023-12-04 12:16:58,924 (trainer:737) INFO: 8epoch:train:3401-3500batch: iter_time=1.018e-04, forward_time=0.153, loss_ctc=91.821, loss_att=78.604, acc=0.630, loss=82.569, backward_time=0.290, grad_norm=49.395, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.488e-04, train_time=1.747 +[gpua005:0/64] 2023-12-04 12:19:30,254 (trainer:737) INFO: 8epoch:train:3501-3600batch: iter_time=1.054e-04, forward_time=0.176, loss_ctc=84.291, loss_att=67.760, acc=0.651, loss=72.720, backward_time=0.290, grad_norm=44.389, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.136, optim0_lr0=1.487e-04, train_time=1.513 +[gpua005:0/64] 2023-12-04 12:22:03,483 (trainer:737) INFO: 8epoch:train:3601-3700batch: iter_time=1.066e-04, forward_time=0.148, loss_ctc=91.688, loss_att=73.768, acc=0.628, loss=79.144, backward_time=0.287, grad_norm=52.391, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.486e-04, train_time=1.532 +[gpua005:0/64] 2023-12-04 12:23:32,435 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua005:0/64] 2023-12-04 12:23:50,599 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 12:23:54,033 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 12:23:54,034 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua005:0/64] 2023-12-04 12:23:54,085 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 12:29:15,594 (trainer:737) INFO: 8epoch:train:3701-3800batch: iter_time=2.885, forward_time=0.176, loss_ctc=91.378, loss_att=71.620, acc=0.654, loss=77.547, backward_time=0.272, grad_norm=44.494, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.135, optim0_lr0=1.486e-04, train_time=4.321 +[gpua005:0/64] 2023-12-04 12:31:34,161 (trainer:737) INFO: 8epoch:train:3801-3900batch: iter_time=8.655e-05, forward_time=0.147, loss_ctc=90.052, loss_att=79.322, acc=0.638, loss=82.541, backward_time=0.277, grad_norm=45.290, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.485e-04, train_time=1.386 +[gpua005:0/64] 2023-12-04 12:34:20,330 (trainer:737) INFO: 8epoch:train:3901-4000batch: iter_time=8.584e-05, forward_time=0.147, loss_ctc=77.778, loss_att=66.184, acc=0.645, loss=69.662, backward_time=0.278, grad_norm=41.251, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.484e-04, train_time=1.661 +[gpua005:0/64] 2023-12-04 12:36:28,297 (trainer:737) INFO: 8epoch:train:4001-4100batch: iter_time=8.781e-05, forward_time=0.148, loss_ctc=79.170, loss_att=70.790, acc=0.656, loss=73.304, backward_time=0.271, grad_norm=38.360, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.484e-04, train_time=1.279 +[gpua005:0/64] 2023-12-04 12:39:03,723 (trainer:737) INFO: 8epoch:train:4101-4200batch: iter_time=8.678e-05, forward_time=0.153, loss_ctc=86.407, loss_att=71.679, acc=0.647, loss=76.097, backward_time=0.295, grad_norm=42.229, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.483e-04, train_time=1.554 +[gpua005:0/64] 2023-12-04 12:41:43,392 (trainer:737) INFO: 8epoch:train:4201-4300batch: iter_time=8.640e-05, forward_time=0.147, loss_ctc=69.821, loss_att=61.435, acc=0.632, loss=63.950, backward_time=0.343, grad_norm=41.606, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.482e-04, train_time=1.596 +[gpua005:0/64] 2023-12-04 12:45:01,983 (trainer:737) INFO: 8epoch:train:4301-4400batch: iter_time=9.537e-05, forward_time=0.155, loss_ctc=86.617, loss_att=74.675, acc=0.657, loss=78.257, backward_time=0.313, grad_norm=42.692, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.481e-04, train_time=1.986 +[gpua005:0/64] 2023-12-04 12:47:35,007 (trainer:737) INFO: 8epoch:train:4401-4500batch: iter_time=9.182e-05, forward_time=0.181, loss_ctc=93.316, loss_att=82.375, acc=0.612, loss=85.657, backward_time=0.289, grad_norm=58.141, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.139, optim0_lr0=1.481e-04, train_time=1.530 +[gpua005:0/64] 2023-12-04 12:49:54,876 (trainer:737) INFO: 8epoch:train:4501-4600batch: iter_time=9.780e-05, forward_time=0.148, loss_ctc=86.514, loss_att=71.332, acc=0.642, loss=75.886, backward_time=0.277, grad_norm=45.463, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.135, optim0_lr0=1.480e-04, train_time=1.398 +[gpua005:0/64] 2023-12-04 12:52:20,752 (trainer:737) INFO: 8epoch:train:4601-4700batch: iter_time=9.296e-05, forward_time=0.168, loss_ctc=92.033, loss_att=81.423, acc=0.657, loss=84.606, backward_time=0.314, grad_norm=46.287, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.136, optim0_lr0=1.479e-04, train_time=1.459 +[gpua005:0/64] 2023-12-04 12:54:41,586 (trainer:737) INFO: 8epoch:train:4701-4800batch: iter_time=9.289e-05, forward_time=0.147, loss_ctc=83.717, loss_att=71.492, acc=0.625, loss=75.159, backward_time=0.289, grad_norm=44.872, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.133, optim0_lr0=1.479e-04, train_time=1.408 +[gpua005:0/64] 2023-12-04 12:56:57,554 (trainer:737) INFO: 8epoch:train:4801-4900batch: iter_time=8.781e-05, forward_time=0.147, loss_ctc=80.411, loss_att=66.092, acc=0.662, loss=70.388, backward_time=0.270, grad_norm=39.541, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.133, optim0_lr0=1.478e-04, train_time=1.359 +[gpua005:0/64] 2023-12-04 12:59:48,580 (trainer:737) INFO: 8epoch:train:4901-5000batch: iter_time=9.071e-05, forward_time=0.147, loss_ctc=102.722, loss_att=76.310, acc=0.638, loss=84.233, backward_time=0.300, grad_norm=56.609, clip=100.000, loss_scale=1.181e+21, optim_step_time=0.134, optim0_lr0=1.477e-04, train_time=1.710 +[gpua005:0/64] 2023-12-04 13:00:07,203 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua005:0/64] 2023-12-04 13:00:25,568 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 13:00:28,973 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 13:00:28,973 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua005:0/64] 2023-12-04 13:00:28,988 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 13:09:40,409 (trainer:737) INFO: 8epoch:train:5001-5100batch: iter_time=4.652, forward_time=0.170, loss_ctc=84.761, loss_att=70.395, acc=0.632, loss=74.705, backward_time=0.268, grad_norm=45.523, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.477e-04, train_time=5.918 +[gpua005:0/64] 2023-12-04 13:11:49,290 (trainer:737) INFO: 8epoch:train:5101-5200batch: iter_time=8.967e-05, forward_time=0.147, loss_ctc=79.131, loss_att=70.233, acc=0.649, loss=72.902, backward_time=0.269, grad_norm=38.826, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.476e-04, train_time=1.288 +[gpua005:0/64] 2023-12-04 13:14:25,452 (trainer:737) INFO: 8epoch:train:5201-5300batch: iter_time=9.606e-05, forward_time=0.223, loss_ctc=86.943, loss_att=76.427, acc=0.642, loss=79.582, backward_time=0.305, grad_norm=46.351, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.142, optim0_lr0=1.475e-04, train_time=1.561 +[gpua005:0/64] 2023-12-04 13:16:36,810 (trainer:737) INFO: 8epoch:train:5301-5400batch: iter_time=9.834e-05, forward_time=0.147, loss_ctc=79.881, loss_att=68.367, acc=0.652, loss=71.821, backward_time=0.268, grad_norm=38.728, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.475e-04, train_time=1.314 +[gpua005:0/64] 2023-12-04 13:18:55,582 (trainer:737) INFO: 8epoch:train:5401-5500batch: iter_time=1.038e-04, forward_time=0.149, loss_ctc=75.148, loss_att=65.398, acc=0.635, loss=68.323, backward_time=0.278, grad_norm=38.581, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.135, optim0_lr0=1.474e-04, train_time=1.388 +[gpua005:0/64] 2023-12-04 13:21:44,180 (trainer:737) INFO: 8epoch:train:5501-5600batch: iter_time=9.150e-05, forward_time=0.215, loss_ctc=80.196, loss_att=63.717, acc=0.648, loss=68.661, backward_time=0.362, grad_norm=42.520, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.142, optim0_lr0=1.473e-04, train_time=1.685 +[gpua005:0/64] 2023-12-04 13:24:15,364 (trainer:737) INFO: 8epoch:train:5601-5700batch: iter_time=9.324e-05, forward_time=0.155, loss_ctc=86.714, loss_att=78.046, acc=0.628, loss=80.646, backward_time=0.296, grad_norm=48.963, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.473e-04, train_time=1.512 +[gpua005:0/64] 2023-12-04 13:26:32,733 (trainer:737) INFO: 8epoch:train:5701-5800batch: iter_time=9.325e-05, forward_time=0.148, loss_ctc=91.467, loss_att=76.500, acc=0.623, loss=80.990, backward_time=0.272, grad_norm=60.827, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.472e-04, train_time=1.374 +[gpua005:0/64] 2023-12-04 13:29:19,417 (trainer:737) INFO: 8epoch:train:5801-5900batch: iter_time=8.977e-05, forward_time=0.153, loss_ctc=86.047, loss_att=78.061, acc=0.648, loss=80.457, backward_time=0.311, grad_norm=44.863, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.471e-04, train_time=1.667 +[gpua005:0/64] 2023-12-04 13:31:54,771 (trainer:737) INFO: 8epoch:train:5901-6000batch: iter_time=9.396e-05, forward_time=0.246, loss_ctc=90.473, loss_att=76.960, acc=0.625, loss=81.014, backward_time=0.327, grad_norm=46.467, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.139, optim0_lr0=1.471e-04, train_time=1.553 +[gpua005:0/64] 2023-12-04 13:34:09,641 (trainer:737) INFO: 8epoch:train:6001-6100batch: iter_time=8.864e-05, forward_time=0.148, loss_ctc=82.859, loss_att=66.190, acc=0.654, loss=71.191, backward_time=0.269, grad_norm=43.450, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.470e-04, train_time=1.349 +[gpua005:0/64] 2023-12-04 13:36:30,028 (trainer:737) INFO: 8epoch:train:6101-6200batch: iter_time=9.301e-05, forward_time=0.154, loss_ctc=91.055, loss_att=71.468, acc=0.636, loss=77.344, backward_time=0.274, grad_norm=48.306, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.135, optim0_lr0=1.469e-04, train_time=1.404 +[gpua005:0/64] 2023-12-04 13:38:05,224 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua005:0/64] 2023-12-04 13:38:23,755 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 13:38:27,178 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 13:38:27,178 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua005:0/64] 2023-12-04 13:38:27,183 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 13:46:39,482 (trainer:737) INFO: 8epoch:train:6201-6300batch: iter_time=2.778, forward_time=0.148, loss_ctc=90.926, loss_att=70.572, acc=0.654, loss=76.679, backward_time=0.285, grad_norm=45.058, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.135, optim0_lr0=1.469e-04, train_time=6.094 +[gpua005:0/64] 2023-12-04 13:48:41,712 (trainer:737) INFO: 8epoch:train:6301-6400batch: iter_time=8.983e-05, forward_time=0.146, loss_ctc=88.782, loss_att=77.679, acc=0.636, loss=81.010, backward_time=0.265, grad_norm=41.721, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.468e-04, train_time=1.222 +[gpua005:0/64] 2023-12-04 13:50:59,774 (trainer:737) INFO: 8epoch:train:6401-6500batch: iter_time=8.410e-05, forward_time=0.259, loss_ctc=78.379, loss_att=64.277, acc=0.645, loss=68.507, backward_time=0.297, grad_norm=44.639, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.137, optim0_lr0=1.467e-04, train_time=1.380 +[gpua005:0/64] 2023-12-04 13:53:15,129 (trainer:737) INFO: 8epoch:train:6501-6600batch: iter_time=9.013e-05, forward_time=0.147, loss_ctc=79.084, loss_att=70.704, acc=0.656, loss=73.218, backward_time=0.290, grad_norm=38.163, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.133, optim0_lr0=1.467e-04, train_time=1.353 +[gpua005:0/64] 2023-12-04 13:55:54,880 (trainer:737) INFO: 8epoch:train:6601-6700batch: iter_time=9.400e-05, forward_time=0.147, loss_ctc=85.166, loss_att=70.257, acc=0.645, loss=74.730, backward_time=0.293, grad_norm=44.327, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.133, optim0_lr0=1.466e-04, train_time=1.598 +[gpua005:0/64] 2023-12-04 13:58:29,394 (trainer:737) INFO: 8epoch:train:6701-6800batch: iter_time=9.183e-05, forward_time=0.147, loss_ctc=68.900, loss_att=59.706, acc=0.634, loss=62.464, backward_time=0.284, grad_norm=41.133, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.133, optim0_lr0=1.465e-04, train_time=1.545 +[gpua005:0/64] 2023-12-04 14:01:13,186 (trainer:737) INFO: 8epoch:train:6801-6900batch: iter_time=5.860e-04, forward_time=0.148, loss_ctc=84.884, loss_att=72.469, acc=0.660, loss=76.194, backward_time=0.319, grad_norm=43.154, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.133, optim0_lr0=1.465e-04, train_time=1.637 +[gpua005:0/64] 2023-12-04 14:03:24,456 (trainer:737) INFO: 8epoch:train:6901-7000batch: iter_time=9.119e-05, forward_time=0.148, loss_ctc=92.027, loss_att=81.828, acc=0.602, loss=84.888, backward_time=0.289, grad_norm=56.798, clip=100.000, loss_scale=2.361e+21, optim_step_time=0.134, optim0_lr0=1.464e-04, train_time=1.313 +[gpua005:0/64] 2023-12-04 14:05:54,626 (trainer:737) INFO: 8epoch:train:7001-7100batch: iter_time=9.235e-05, forward_time=0.146, loss_ctc=85.754, loss_att=68.614, acc=0.647, loss=73.756, backward_time=0.280, grad_norm=44.750, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.133, optim0_lr0=1.464e-04, train_time=1.501 +[gpua005:0/64] 2023-12-04 14:08:33,586 (trainer:737) INFO: 8epoch:train:7101-7200batch: iter_time=8.785e-05, forward_time=0.147, loss_ctc=91.472, loss_att=80.077, acc=0.654, loss=83.496, backward_time=0.294, grad_norm=45.711, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.133, optim0_lr0=1.463e-04, train_time=1.589 +[gpua005:0/64] 2023-12-04 14:11:07,890 (trainer:737) INFO: 8epoch:train:7201-7300batch: iter_time=8.815e-05, forward_time=0.200, loss_ctc=83.809, loss_att=69.041, acc=0.624, loss=73.471, backward_time=0.316, grad_norm=48.299, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.137, optim0_lr0=1.462e-04, train_time=1.543 +[gpua005:0/64] 2023-12-04 14:13:24,571 (trainer:737) INFO: 8epoch:train:7301-7400batch: iter_time=9.282e-05, forward_time=0.187, loss_ctc=80.170, loss_att=64.953, acc=0.663, loss=69.518, backward_time=0.284, grad_norm=41.488, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.136, optim0_lr0=1.462e-04, train_time=1.367 +[gpua005:0/64] 2023-12-04 14:16:20,773 (trainer:737) INFO: 8epoch:train:7401-7500batch: iter_time=8.738e-05, forward_time=0.147, loss_ctc=99.923, loss_att=74.341, acc=0.647, loss=82.016, backward_time=0.291, grad_norm=51.136, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.461e-04, train_time=1.761 +[gpua005:0/64] 2023-12-04 14:16:38,561 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua005:0/64] 2023-12-04 14:16:56,941 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 14:17:00,327 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 14:17:00,327 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua005:0/64] 2023-12-04 14:17:00,333 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 14:26:33,185 (trainer:737) INFO: 8epoch:train:7501-7600batch: iter_time=2.685, forward_time=0.146, loss_ctc=83.385, loss_att=67.138, acc=0.639, loss=72.012, backward_time=0.287, grad_norm=46.840, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.460e-04, train_time=6.124 +[gpua005:0/64] 2023-12-04 14:29:07,057 (trainer:737) INFO: 8epoch:train:7601-7700batch: iter_time=8.902e-05, forward_time=0.147, loss_ctc=78.466, loss_att=68.813, acc=0.653, loss=71.709, backward_time=0.305, grad_norm=40.757, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.460e-04, train_time=1.538 +[gpua005:0/64] 2023-12-04 14:32:04,533 (trainer:737) INFO: 8epoch:train:7701-7800batch: iter_time=8.845e-05, forward_time=0.147, loss_ctc=85.330, loss_att=73.530, acc=0.651, loss=77.070, backward_time=0.285, grad_norm=45.774, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.459e-04, train_time=1.774 +[gpua005:0/64] 2023-12-04 14:34:53,173 (trainer:737) INFO: 8epoch:train:7801-7900batch: iter_time=9.134e-05, forward_time=0.152, loss_ctc=79.412, loss_att=67.410, acc=0.657, loss=71.011, backward_time=0.285, grad_norm=38.759, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.458e-04, train_time=1.687 +[gpua005:0/64] 2023-12-04 14:37:38,284 (trainer:737) INFO: 8epoch:train:7901-8000batch: iter_time=9.250e-05, forward_time=0.147, loss_ctc=75.258, loss_att=64.716, acc=0.638, loss=67.879, backward_time=0.299, grad_norm=39.518, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.458e-04, train_time=1.651 +[gpua005:0/64] 2023-12-04 14:40:52,713 (trainer:737) INFO: 8epoch:train:8001-8100batch: iter_time=9.272e-05, forward_time=0.147, loss_ctc=79.835, loss_att=62.771, acc=0.650, loss=67.890, backward_time=0.370, grad_norm=42.459, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.457e-04, train_time=1.944 +[gpua005:0/64] 2023-12-04 14:43:22,870 (trainer:737) INFO: 8epoch:train:8101-8200batch: iter_time=9.019e-05, forward_time=0.147, loss_ctc=86.615, loss_att=77.503, acc=0.630, loss=80.236, backward_time=0.276, grad_norm=52.260, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.456e-04, train_time=1.501 +[gpua005:0/64] 2023-12-04 14:46:18,005 (trainer:737) INFO: 8epoch:train:8201-8300batch: iter_time=9.026e-05, forward_time=0.164, loss_ctc=89.185, loss_att=75.279, acc=0.629, loss=79.451, backward_time=0.334, grad_norm=51.254, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.135, optim0_lr0=1.456e-04, train_time=1.751 +[gpua005:0/64] 2023-12-04 14:49:08,577 (trainer:737) INFO: 8epoch:train:8301-8400batch: iter_time=9.200e-05, forward_time=0.204, loss_ctc=85.603, loss_att=77.163, acc=0.654, loss=79.695, backward_time=0.301, grad_norm=43.071, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.136, optim0_lr0=1.455e-04, train_time=1.705 +[gpua005:0/64] 2023-12-04 14:51:43,450 (trainer:737) INFO: 8epoch:train:8401-8500batch: iter_time=8.471e-05, forward_time=0.148, loss_ctc=88.814, loss_att=74.989, acc=0.633, loss=79.136, backward_time=0.280, grad_norm=47.405, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.454e-04, train_time=1.548 +[gpua005:0/64] 2023-12-04 14:54:59,698 (trainer:737) INFO: 8epoch:train:8501-8600batch: iter_time=9.260e-05, forward_time=0.147, loss_ctc=82.416, loss_att=64.786, acc=0.660, loss=70.075, backward_time=0.345, grad_norm=44.091, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.454e-04, train_time=1.963 +[gpua005:0/64] 2023-12-04 14:57:55,070 (trainer:737) INFO: 8epoch:train:8601-8700batch: iter_time=9.126e-05, forward_time=0.148, loss_ctc=89.411, loss_att=69.528, acc=0.642, loss=75.493, backward_time=0.354, grad_norm=49.121, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.453e-04, train_time=1.754 +[gpua005:0/64] 2023-12-04 14:59:28,483 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua005:0/64] 2023-12-04 14:59:46,788 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 14:59:50,278 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 14:59:50,278 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua005:0/64] 2023-12-04 14:59:50,281 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 15:08:27,155 (trainer:737) INFO: 8epoch:train:8701-8800batch: iter_time=2.991, forward_time=0.149, loss_ctc=89.980, loss_att=70.885, acc=0.661, loss=76.614, backward_time=0.282, grad_norm=46.534, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.453e-04, train_time=6.321 +[gpua005:0/64] 2023-12-04 15:10:48,482 (trainer:737) INFO: 8epoch:train:8801-8900batch: iter_time=9.711e-05, forward_time=0.149, loss_ctc=88.109, loss_att=78.929, acc=0.643, loss=81.683, backward_time=0.270, grad_norm=48.046, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.452e-04, train_time=1.413 +[gpua005:0/64] 2023-12-04 15:12:57,581 (trainer:737) INFO: 8epoch:train:8901-9000batch: iter_time=9.293e-05, forward_time=0.149, loss_ctc=77.981, loss_att=66.452, acc=0.650, loss=69.911, backward_time=0.270, grad_norm=43.964, clip=100.000, loss_scale=4.722e+21, optim_step_time=0.134, optim0_lr0=1.451e-04, train_time=1.291 +[gpua005:0/64] 2023-12-04 15:16:01,484 (trainer:737) INFO: 8epoch:train:9001-9100batch: iter_time=1.026e-04, forward_time=0.147, loss_ctc=78.196, loss_att=70.472, acc=0.661, loss=72.789, backward_time=0.348, grad_norm=38.111, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.451e-04, train_time=1.839 +[gpua005:0/64] 2023-12-04 15:19:10,540 (trainer:737) INFO: 8epoch:train:9101-9200batch: iter_time=9.103e-05, forward_time=0.212, loss_ctc=83.955, loss_att=69.719, acc=0.656, loss=73.990, backward_time=0.465, grad_norm=42.664, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.140, optim0_lr0=1.450e-04, train_time=1.890 +[gpua005:0/64] 2023-12-04 15:21:41,846 (trainer:737) INFO: 8epoch:train:9201-9300batch: iter_time=9.530e-05, forward_time=0.155, loss_ctc=67.942, loss_att=59.423, acc=0.644, loss=61.979, backward_time=0.304, grad_norm=40.234, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.136, optim0_lr0=1.449e-04, train_time=1.513 +[gpua005:0/64] 2023-12-04 15:23:56,198 (trainer:737) INFO: 8epoch:train:9301-9400batch: iter_time=8.616e-05, forward_time=0.159, loss_ctc=84.144, loss_att=73.247, acc=0.666, loss=76.516, backward_time=0.275, grad_norm=41.148, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.449e-04, train_time=1.343 +[gpua005:0/64] 2023-12-04 15:26:45,341 (trainer:737) INFO: 8epoch:train:9401-9500batch: iter_time=8.913e-05, forward_time=0.148, loss_ctc=90.823, loss_att=81.561, acc=0.617, loss=84.339, backward_time=0.284, grad_norm=54.552, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.448e-04, train_time=1.692 +[gpua005:0/64] 2023-12-04 15:29:10,476 (trainer:737) INFO: 8epoch:train:9501-9600batch: iter_time=9.220e-05, forward_time=0.147, loss_ctc=85.660, loss_att=70.579, acc=0.648, loss=75.103, backward_time=0.290, grad_norm=47.249, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.447e-04, train_time=1.451 +[gpua005:0/64] 2023-12-04 15:31:53,472 (trainer:737) INFO: 8epoch:train:9601-9700batch: iter_time=1.029e-04, forward_time=0.151, loss_ctc=90.251, loss_att=80.254, acc=0.664, loss=83.253, backward_time=0.298, grad_norm=43.801, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.447e-04, train_time=1.629 +[gpua005:0/64] 2023-12-04 15:34:37,595 (trainer:737) INFO: 8epoch:train:9701-9800batch: iter_time=8.902e-05, forward_time=0.149, loss_ctc=82.199, loss_att=69.979, acc=0.636, loss=73.645, backward_time=0.285, grad_norm=44.844, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.446e-04, train_time=1.641 +[gpua005:0/64] 2023-12-04 15:37:29,222 (trainer:737) INFO: 8epoch:train:9801-9900batch: iter_time=1.003e-04, forward_time=0.147, loss_ctc=78.872, loss_att=65.770, acc=0.666, loss=69.701, backward_time=0.303, grad_norm=38.260, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.446e-04, train_time=1.716 +[gpua005:0/64] 2023-12-04 15:39:47,298 (trainer:737) INFO: 8epoch:train:9901-10000batch: iter_time=1.065e-04, forward_time=0.148, loss_ctc=98.929, loss_att=75.306, acc=0.644, loss=82.393, backward_time=0.272, grad_norm=55.099, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.445e-04, train_time=1.380 +[gpua005:0/64] 2023-12-04 15:40:07,327 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua005:0/64] 2023-12-04 15:40:25,686 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 15:40:29,129 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 15:40:29,129 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua005:0/64] 2023-12-04 15:40:29,132 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 15:49:43,605 (trainer:737) INFO: 8epoch:train:10001-10100batch: iter_time=4.120, forward_time=0.179, loss_ctc=82.637, loss_att=67.450, acc=0.653, loss=72.006, backward_time=0.269, grad_norm=42.785, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.444e-04, train_time=5.963 +[gpua005:0/64] 2023-12-04 15:52:06,295 (trainer:737) INFO: 8epoch:train:10101-10200batch: iter_time=9.812e-05, forward_time=0.147, loss_ctc=77.560, loss_att=69.423, acc=0.656, loss=71.864, backward_time=0.271, grad_norm=38.493, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.444e-04, train_time=1.427 +[gpua005:0/64] 2023-12-04 15:54:42,822 (trainer:737) INFO: 8epoch:train:10201-10300batch: iter_time=4.484e-04, forward_time=0.219, loss_ctc=84.403, loss_att=73.720, acc=0.661, loss=76.925, backward_time=0.288, grad_norm=43.376, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.136, optim0_lr0=1.443e-04, train_time=1.565 +[gpua005:0/64] 2023-12-04 15:57:55,340 (trainer:737) INFO: 8epoch:train:10301-10400batch: iter_time=9.891e-05, forward_time=0.183, loss_ctc=79.096, loss_att=66.455, acc=0.665, loss=70.248, backward_time=0.305, grad_norm=45.541, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.135, optim0_lr0=1.442e-04, train_time=1.925 +[gpua005:0/64] 2023-12-04 16:00:24,836 (trainer:737) INFO: 8epoch:train:10401-10500batch: iter_time=1.017e-04, forward_time=0.148, loss_ctc=73.755, loss_att=63.333, acc=0.650, loss=66.460, backward_time=0.281, grad_norm=37.656, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.442e-04, train_time=1.495 +[gpua005:0/64] 2023-12-04 16:02:55,882 (trainer:737) INFO: 8epoch:train:10501-10600batch: iter_time=9.760e-05, forward_time=0.148, loss_ctc=79.103, loss_att=63.417, acc=0.658, loss=68.123, backward_time=0.306, grad_norm=43.248, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.441e-04, train_time=1.510 +[gpua005:0/64] 2023-12-04 16:05:38,268 (trainer:737) INFO: 8epoch:train:10601-10700batch: iter_time=9.583e-05, forward_time=0.148, loss_ctc=85.365, loss_att=77.452, acc=0.646, loss=79.826, backward_time=0.299, grad_norm=46.622, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.441e-04, train_time=1.624 +[gpua005:0/64] 2023-12-04 16:08:26,444 (trainer:737) INFO: 8epoch:train:10701-10800batch: iter_time=9.120e-05, forward_time=0.168, loss_ctc=87.824, loss_att=74.556, acc=0.633, loss=78.536, backward_time=0.308, grad_norm=49.289, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.440e-04, train_time=1.681 +[gpua005:0/64] 2023-12-04 16:11:05,298 (trainer:737) INFO: 8epoch:train:10801-10900batch: iter_time=9.665e-05, forward_time=0.203, loss_ctc=84.848, loss_att=79.054, acc=0.661, loss=80.792, backward_time=0.356, grad_norm=41.922, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.137, optim0_lr0=1.439e-04, train_time=1.587 +[gpua005:0/64] 2023-12-04 16:13:23,814 (trainer:737) INFO: 8epoch:train:10901-11000batch: iter_time=9.782e-05, forward_time=0.148, loss_ctc=88.334, loss_att=75.320, acc=0.644, loss=79.224, backward_time=0.266, grad_norm=48.104, clip=100.000, loss_scale=9.445e+21, optim_step_time=0.134, optim0_lr0=1.439e-04, train_time=1.386 +[gpua005:0/64] 2023-12-04 16:16:07,035 (trainer:737) INFO: 8epoch:train:11001-11100batch: iter_time=9.718e-05, forward_time=0.147, loss_ctc=81.420, loss_att=65.469, acc=0.664, loss=70.254, backward_time=0.283, grad_norm=40.544, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.438e-04, train_time=1.632 +[gpua005:0/64] 2023-12-04 16:18:50,241 (trainer:737) INFO: 8epoch:train:11101-11200batch: iter_time=1.010e-04, forward_time=0.147, loss_ctc=88.776, loss_att=71.067, acc=0.643, loss=76.380, backward_time=0.336, grad_norm=48.226, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.437e-04, train_time=1.632 +[gpua005:0/64] 2023-12-04 16:20:35,791 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua005:0/64] 2023-12-04 16:20:54,857 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 16:20:58,293 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 16:20:58,293 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua005:0/64] 2023-12-04 16:20:58,298 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 16:26:47,884 (trainer:737) INFO: 8epoch:train:11201-11300batch: iter_time=3.214, forward_time=0.179, loss_ctc=88.887, loss_att=69.711, acc=0.667, loss=75.464, backward_time=0.293, grad_norm=45.269, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.437e-04, train_time=4.776 +[gpua005:0/64] 2023-12-04 16:28:51,104 (trainer:737) INFO: 8epoch:train:11301-11400batch: iter_time=9.311e-05, forward_time=0.146, loss_ctc=86.436, loss_att=76.158, acc=0.651, loss=79.242, backward_time=0.264, grad_norm=41.193, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.436e-04, train_time=1.232 +[gpua005:0/64] 2023-12-04 16:31:21,189 (trainer:737) INFO: 8epoch:train:11401-11500batch: iter_time=9.886e-05, forward_time=0.147, loss_ctc=76.186, loss_att=63.464, acc=0.658, loss=67.281, backward_time=0.283, grad_norm=41.047, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.436e-04, train_time=1.501 +[gpua005:0/64] 2023-12-04 16:34:13,848 (trainer:737) INFO: 8epoch:train:11501-11600batch: iter_time=9.645e-05, forward_time=0.147, loss_ctc=76.878, loss_att=68.945, acc=0.668, loss=71.325, backward_time=0.297, grad_norm=35.262, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.435e-04, train_time=1.726 +[gpua005:0/64] 2023-12-04 16:36:46,593 (trainer:737) INFO: 8epoch:train:11601-11700batch: iter_time=9.971e-05, forward_time=0.275, loss_ctc=83.280, loss_att=68.484, acc=0.661, loss=72.922, backward_time=0.289, grad_norm=40.898, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.138, optim0_lr0=1.434e-04, train_time=1.527 +[gpua005:0/64] 2023-12-04 16:39:20,660 (trainer:737) INFO: 8epoch:train:11701-11800batch: iter_time=9.828e-05, forward_time=0.153, loss_ctc=67.071, loss_att=59.233, acc=0.645, loss=61.585, backward_time=0.292, grad_norm=39.628, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.434e-04, train_time=1.540 +[gpua005:0/64] 2023-12-04 16:42:09,597 (trainer:737) INFO: 8epoch:train:11801-11900batch: iter_time=9.485e-05, forward_time=0.147, loss_ctc=83.790, loss_att=72.494, acc=0.669, loss=75.883, backward_time=0.340, grad_norm=42.678, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.433e-04, train_time=1.690 +[gpua005:0/64] 2023-12-04 16:44:56,948 (trainer:737) INFO: 8epoch:train:11901-12000batch: iter_time=9.363e-05, forward_time=0.147, loss_ctc=89.023, loss_att=79.228, acc=0.624, loss=82.166, backward_time=0.325, grad_norm=50.075, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.433e-04, train_time=1.673 +[gpua005:0/64] 2023-12-04 16:47:33,018 (trainer:737) INFO: 8epoch:train:12001-12100batch: iter_time=9.476e-05, forward_time=0.146, loss_ctc=83.433, loss_att=68.830, acc=0.654, loss=73.211, backward_time=0.297, grad_norm=43.860, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.432e-04, train_time=1.560 +[gpua005:0/64] 2023-12-04 16:50:14,170 (trainer:737) INFO: 8epoch:train:12101-12200batch: iter_time=9.414e-05, forward_time=0.147, loss_ctc=89.766, loss_att=78.686, acc=0.670, loss=82.010, backward_time=0.276, grad_norm=44.150, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.133, optim0_lr0=1.431e-04, train_time=1.611 +[gpua005:0/64] 2023-12-04 16:53:19,131 (trainer:737) INFO: 8epoch:train:12201-12300batch: iter_time=9.422e-05, forward_time=0.249, loss_ctc=81.694, loss_att=69.308, acc=0.637, loss=73.024, backward_time=0.302, grad_norm=44.041, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.167, optim0_lr0=1.431e-04, train_time=1.849 +[gpua005:0/64] 2023-12-04 16:55:59,087 (trainer:737) INFO: 8epoch:train:12301-12400batch: iter_time=9.520e-05, forward_time=0.149, loss_ctc=77.974, loss_att=63.742, acc=0.674, loss=68.012, backward_time=0.306, grad_norm=40.737, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.135, optim0_lr0=1.430e-04, train_time=1.599 +[gpua005:0/64] 2023-12-04 16:58:21,445 (trainer:737) INFO: 8epoch:train:12401-12500batch: iter_time=8.950e-05, forward_time=0.147, loss_ctc=98.532, loss_att=74.303, acc=0.647, loss=81.572, backward_time=0.267, grad_norm=52.694, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.429e-04, train_time=1.424 +[gpua005:0/64] 2023-12-04 16:58:41,475 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua005:0/64] 2023-12-04 16:59:00,071 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 16:59:03,481 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 16:59:03,481 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua005:0/64] 2023-12-04 16:59:03,537 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 17:08:34,023 (trainer:737) INFO: 8epoch:train:12501-12600batch: iter_time=3.043, forward_time=0.147, loss_ctc=80.966, loss_att=67.587, acc=0.643, loss=71.601, backward_time=0.267, grad_norm=41.535, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.135, optim0_lr0=1.429e-04, train_time=6.126 +[gpua005:0/64] 2023-12-04 17:11:02,255 (trainer:737) INFO: 8epoch:train:12601-12700batch: iter_time=9.481e-05, forward_time=0.147, loss_ctc=77.216, loss_att=68.637, acc=0.659, loss=71.210, backward_time=0.282, grad_norm=42.237, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.135, optim0_lr0=1.428e-04, train_time=1.482 +[gpua005:0/64] 2023-12-04 17:13:36,648 (trainer:737) INFO: 8epoch:train:12701-12800batch: iter_time=3.511e-04, forward_time=0.282, loss_ctc=83.454, loss_att=73.032, acc=0.657, loss=76.159, backward_time=0.297, grad_norm=43.279, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.142, optim0_lr0=1.428e-04, train_time=1.543 +[gpua005:0/64] 2023-12-04 17:16:41,567 (trainer:737) INFO: 8epoch:train:12801-12900batch: iter_time=1.073e-04, forward_time=0.147, loss_ctc=78.231, loss_att=67.276, acc=0.662, loss=70.563, backward_time=0.318, grad_norm=39.906, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.427e-04, train_time=1.849 +[gpua005:0/64] 2023-12-04 17:19:40,096 (trainer:737) INFO: 8epoch:train:12901-13000batch: iter_time=9.853e-05, forward_time=0.147, loss_ctc=73.447, loss_att=63.753, acc=0.646, loss=66.661, backward_time=0.353, grad_norm=40.199, clip=100.000, loss_scale=1.889e+22, optim_step_time=0.134, optim0_lr0=1.426e-04, train_time=1.785 +[gpua005:0/64] 2023-12-04 17:21:57,151 (trainer:737) INFO: 8epoch:train:13001-13100batch: iter_time=9.517e-05, forward_time=0.148, loss_ctc=78.188, loss_att=61.719, acc=0.658, loss=66.660, backward_time=0.282, grad_norm=43.009, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.426e-04, train_time=1.370 +[gpua005:0/64] 2023-12-04 17:24:37,157 (trainer:737) INFO: 8epoch:train:13101-13200batch: iter_time=9.476e-05, forward_time=0.151, loss_ctc=83.857, loss_att=76.385, acc=0.637, loss=78.627, backward_time=0.310, grad_norm=51.040, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.425e-04, train_time=1.600 +[gpua005:0/64] 2023-12-04 17:27:01,753 (trainer:737) INFO: 8epoch:train:13201-13300batch: iter_time=9.720e-05, forward_time=0.147, loss_ctc=87.855, loss_att=74.140, acc=0.633, loss=78.254, backward_time=0.308, grad_norm=53.222, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.425e-04, train_time=1.446 +[gpua005:0/64] 2023-12-04 17:29:33,402 (trainer:737) INFO: 8epoch:train:13301-13400batch: iter_time=9.581e-05, forward_time=0.149, loss_ctc=83.899, loss_att=75.755, acc=0.659, loss=78.198, backward_time=0.311, grad_norm=41.954, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.424e-04, train_time=1.516 +[gpua005:0/64] 2023-12-04 17:32:00,758 (trainer:737) INFO: 8epoch:train:13401-13500batch: iter_time=0.002, forward_time=0.169, loss_ctc=87.687, loss_att=74.074, acc=0.639, loss=78.158, backward_time=0.280, grad_norm=47.490, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.143, optim0_lr0=1.423e-04, train_time=1.473 +[gpua005:0/64] 2023-12-04 17:34:30,543 (trainer:737) INFO: 8epoch:train:13501-13600batch: iter_time=9.220e-05, forward_time=0.222, loss_ctc=81.098, loss_att=64.550, acc=0.663, loss=69.515, backward_time=0.295, grad_norm=44.825, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.423e-04, train_time=1.497 +[gpua005:0/64] 2023-12-04 17:37:06,313 (trainer:737) INFO: 8epoch:train:13601-13700batch: iter_time=9.971e-05, forward_time=0.146, loss_ctc=87.322, loss_att=67.887, acc=0.651, loss=73.718, backward_time=0.347, grad_norm=47.601, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.133, optim0_lr0=1.422e-04, train_time=1.557 +[gpua005:0/64] 2023-12-04 17:38:56,094 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua005:0/64] 2023-12-04 17:39:14,448 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 17:39:17,825 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 17:39:17,825 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua005:0/64] 2023-12-04 17:39:17,875 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 17:44:56,067 (trainer:737) INFO: 8epoch:train:13701-13800batch: iter_time=3.139, forward_time=0.189, loss_ctc=87.874, loss_att=69.138, acc=0.666, loss=74.759, backward_time=0.276, grad_norm=44.277, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.422e-04, train_time=4.698 +[gpua005:0/64] 2023-12-04 17:47:16,404 (trainer:737) INFO: 8epoch:train:13801-13900batch: iter_time=9.552e-05, forward_time=0.147, loss_ctc=86.775, loss_att=76.248, acc=0.652, loss=79.406, backward_time=0.282, grad_norm=49.362, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.421e-04, train_time=1.403 +[gpua005:0/64] 2023-12-04 17:49:21,734 (trainer:737) INFO: 8epoch:train:13901-14000batch: iter_time=9.308e-05, forward_time=0.148, loss_ctc=75.868, loss_att=63.908, acc=0.659, loss=67.496, backward_time=0.268, grad_norm=40.409, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.420e-04, train_time=1.253 +[gpua005:0/64] 2023-12-04 17:51:55,745 (trainer:737) INFO: 8epoch:train:14001-14100batch: iter_time=9.580e-05, forward_time=0.147, loss_ctc=76.953, loss_att=69.123, acc=0.670, loss=71.472, backward_time=0.284, grad_norm=44.126, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.420e-04, train_time=1.540 +[gpua005:0/64] 2023-12-04 17:55:07,191 (trainer:737) INFO: 8epoch:train:14101-14200batch: iter_time=1.127e-04, forward_time=0.272, loss_ctc=82.869, loss_att=68.281, acc=0.662, loss=72.657, backward_time=0.323, grad_norm=42.345, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.138, optim0_lr0=1.419e-04, train_time=1.913 +[gpua005:0/64] 2023-12-04 17:57:54,224 (trainer:737) INFO: 8epoch:train:14201-14300batch: iter_time=1.090e-04, forward_time=0.147, loss_ctc=67.036, loss_att=59.317, acc=0.644, loss=61.633, backward_time=0.302, grad_norm=43.937, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.419e-04, train_time=1.671 +[gpua005:0/64] 2023-12-04 18:00:33,067 (trainer:737) INFO: 8epoch:train:14301-14400batch: iter_time=1.120e-04, forward_time=0.148, loss_ctc=82.710, loss_att=71.762, acc=0.670, loss=75.046, backward_time=0.280, grad_norm=42.885, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.418e-04, train_time=1.588 +[gpua005:0/64] 2023-12-04 18:02:55,248 (trainer:737) INFO: 8epoch:train:14401-14500batch: iter_time=9.779e-05, forward_time=0.147, loss_ctc=88.047, loss_att=79.053, acc=0.628, loss=81.751, backward_time=0.269, grad_norm=54.523, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.417e-04, train_time=1.422 +[gpua005:0/64] 2023-12-04 18:05:34,260 (trainer:737) INFO: 8epoch:train:14501-14600batch: iter_time=9.787e-05, forward_time=0.147, loss_ctc=83.702, loss_att=69.008, acc=0.656, loss=73.416, backward_time=0.277, grad_norm=42.527, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.417e-04, train_time=1.590 +[gpua005:0/64] 2023-12-04 18:08:30,233 (trainer:737) INFO: 8epoch:train:14601-14700batch: iter_time=9.277e-05, forward_time=0.170, loss_ctc=89.484, loss_att=78.799, acc=0.670, loss=82.004, backward_time=0.302, grad_norm=47.936, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.135, optim0_lr0=1.416e-04, train_time=1.759 +[gpua005:0/64] 2023-12-04 18:11:26,789 (trainer:737) INFO: 8epoch:train:14701-14800batch: iter_time=9.383e-05, forward_time=0.274, loss_ctc=81.169, loss_att=68.733, acc=0.640, loss=72.464, backward_time=0.293, grad_norm=46.619, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.136, optim0_lr0=1.416e-04, train_time=1.764 +[gpua005:0/64] 2023-12-04 18:14:13,748 (trainer:737) INFO: 8epoch:train:14801-14900batch: iter_time=9.711e-05, forward_time=0.148, loss_ctc=77.125, loss_att=63.075, acc=0.676, loss=67.290, backward_time=0.304, grad_norm=36.656, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.415e-04, train_time=1.671 +[gpua005:0/64] 2023-12-04 18:16:30,013 (trainer:737) INFO: 8epoch:train:14901-15000batch: iter_time=9.288e-05, forward_time=0.148, loss_ctc=97.270, loss_att=73.241, acc=0.652, loss=80.450, backward_time=0.287, grad_norm=50.964, clip=100.000, loss_scale=3.778e+22, optim_step_time=0.134, optim0_lr0=1.414e-04, train_time=1.362 +[gpua005:0/64] 2023-12-04 18:43:17,826 (trainer:343) INFO: 8epoch results: [train] iter_time=0.247, forward_time=0.162, loss_ctc=84.739, loss_att=71.679, acc=0.644, loss=75.597, backward_time=0.329, grad_norm=45.142, clip=100.000, loss_scale=1.002e+22, optim_step_time=0.135, optim0_lr0=1.461e-04, train_time=2.106, time=8 hours, 46 minutes and 53.57 seconds, total_count=120000, gpu_max_cached_mem_GB=35.223, [valid] loss_ctc=56.726, cer_ctc=0.294, loss_att=51.027, acc=0.601, cer=0.303, wer=1.000, loss=52.737, time=26 minutes and 23.65 seconds, total_count=37368, gpu_max_cached_mem_GB=35.223 +[gpua005:0/64] 2023-12-04 18:43:37,705 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua005:0/64] 2023-12-04 18:43:37,751 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/3epoch.pth +[gpua005:0/64] 2023-12-04 18:43:37,751 (trainer:272) INFO: 9/40epoch started. Estimated time to finish: 1 week, 6 days and 5 hours +[gpua005:0/64] 2023-12-04 18:43:37,761 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua005:0/64] 2023-12-04 18:43:55,477 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 18:43:58,814 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 18:43:58,814 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua005:0/64] 2023-12-04 18:43:58,817 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 18:53:04,906 (trainer:737) INFO: 9epoch:train:1-100batch: iter_time=4.342, forward_time=0.181, loss_ctc=80.004, loss_att=71.754, acc=0.636, loss=74.229, backward_time=0.272, grad_norm=45.643, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.414e-04, train_time=5.671 +[gpua005:0/64] 2023-12-04 18:55:06,211 (trainer:737) INFO: 9epoch:train:101-200batch: iter_time=8.726e-05, forward_time=0.147, loss_ctc=86.258, loss_att=68.418, acc=0.652, loss=73.770, backward_time=0.265, grad_norm=45.106, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.413e-04, train_time=1.213 +[gpua005:0/64] 2023-12-04 18:57:09,806 (trainer:737) INFO: 9epoch:train:201-300batch: iter_time=9.029e-05, forward_time=0.152, loss_ctc=95.519, loss_att=93.201, acc=0.602, loss=93.896, backward_time=0.266, grad_norm=58.579, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.413e-04, train_time=1.236 +[gpua005:0/64] 2023-12-04 18:59:52,753 (trainer:737) INFO: 9epoch:train:301-400batch: iter_time=9.266e-05, forward_time=0.146, loss_ctc=100.595, loss_att=77.760, acc=0.633, loss=84.611, backward_time=0.344, grad_norm=58.495, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.412e-04, train_time=1.629 +[gpua005:0/64] 2023-12-04 19:02:43,753 (trainer:737) INFO: 9epoch:train:401-500batch: iter_time=5.281e-04, forward_time=0.209, loss_ctc=76.947, loss_att=63.346, acc=0.663, loss=67.426, backward_time=0.390, grad_norm=39.483, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.144, optim0_lr0=1.412e-04, train_time=1.710 +[gpua005:0/64] 2023-12-04 19:05:00,583 (trainer:737) INFO: 9epoch:train:501-600batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=82.313, loss_att=66.786, acc=0.643, loss=71.444, backward_time=0.296, grad_norm=46.845, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.411e-04, train_time=1.368 +[gpua005:0/64] 2023-12-04 19:07:20,455 (trainer:737) INFO: 9epoch:train:601-700batch: iter_time=1.039e-04, forward_time=0.147, loss_ctc=79.677, loss_att=64.070, acc=0.635, loss=68.752, backward_time=0.275, grad_norm=46.734, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.410e-04, train_time=1.398 +[gpua005:0/64] 2023-12-04 19:09:50,108 (trainer:737) INFO: 9epoch:train:701-800batch: iter_time=1.007e-04, forward_time=0.146, loss_ctc=72.962, loss_att=54.089, acc=0.678, loss=59.751, backward_time=0.277, grad_norm=40.245, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.410e-04, train_time=1.496 +[gpua005:0/64] 2023-12-04 19:12:33,569 (trainer:737) INFO: 9epoch:train:801-900batch: iter_time=1.741e-04, forward_time=0.152, loss_ctc=87.218, loss_att=79.084, acc=0.633, loss=81.524, backward_time=0.302, grad_norm=48.471, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.409e-04, train_time=1.634 +[gpua005:0/64] 2023-12-04 19:15:18,613 (trainer:737) INFO: 9epoch:train:901-1000batch: iter_time=9.317e-05, forward_time=0.147, loss_ctc=77.603, loss_att=74.130, acc=0.634, loss=75.172, backward_time=0.317, grad_norm=44.190, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.409e-04, train_time=1.650 +[gpua005:0/64] 2023-12-04 19:18:02,448 (trainer:737) INFO: 9epoch:train:1001-1100batch: iter_time=1.080e-04, forward_time=0.148, loss_ctc=89.664, loss_att=75.720, acc=0.609, loss=79.903, backward_time=0.290, grad_norm=51.977, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.408e-04, train_time=1.638 +[gpua005:0/64] 2023-12-04 19:21:05,586 (trainer:737) INFO: 9epoch:train:1101-1200batch: iter_time=1.052e-04, forward_time=0.246, loss_ctc=88.438, loss_att=75.479, acc=0.632, loss=79.367, backward_time=0.319, grad_norm=48.818, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.136, optim0_lr0=1.407e-04, train_time=1.831 +[gpua005:0/64] 2023-12-04 19:22:43,632 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua005:0/64] 2023-12-04 19:23:01,731 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 19:23:05,377 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 19:23:05,377 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua005:0/64] 2023-12-04 19:23:05,380 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 19:28:48,991 (trainer:737) INFO: 9epoch:train:1201-1300batch: iter_time=3.071, forward_time=0.147, loss_ctc=75.428, loss_att=66.594, acc=0.647, loss=69.245, backward_time=0.283, grad_norm=45.632, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.407e-04, train_time=4.634 +[gpua005:0/64] 2023-12-04 19:30:51,257 (trainer:737) INFO: 9epoch:train:1301-1400batch: iter_time=8.921e-05, forward_time=0.148, loss_ctc=86.673, loss_att=69.512, acc=0.654, loss=74.660, backward_time=0.267, grad_norm=47.931, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.133, optim0_lr0=1.406e-04, train_time=1.222 +[gpua005:0/64] 2023-12-04 19:32:58,944 (trainer:737) INFO: 9epoch:train:1401-1500batch: iter_time=8.868e-05, forward_time=0.150, loss_ctc=87.163, loss_att=79.490, acc=0.635, loss=81.792, backward_time=0.270, grad_norm=45.393, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.406e-04, train_time=1.277 +[gpua005:0/64] 2023-12-04 19:35:22,382 (trainer:737) INFO: 9epoch:train:1501-1600batch: iter_time=9.552e-05, forward_time=0.149, loss_ctc=101.554, loss_att=89.279, acc=0.641, loss=92.962, backward_time=0.277, grad_norm=52.045, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.135, optim0_lr0=1.405e-04, train_time=1.434 +[gpua005:0/64] 2023-12-04 19:38:05,119 (trainer:737) INFO: 9epoch:train:1601-1700batch: iter_time=9.337e-05, forward_time=0.149, loss_ctc=83.924, loss_att=70.318, acc=0.647, loss=74.400, backward_time=0.287, grad_norm=47.473, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.405e-04, train_time=1.627 +[gpua005:0/64] 2023-12-04 19:40:54,973 (trainer:737) INFO: 9epoch:train:1701-1800batch: iter_time=8.928e-05, forward_time=0.147, loss_ctc=74.569, loss_att=59.680, acc=0.676, loss=64.147, backward_time=0.300, grad_norm=55.516, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.404e-04, train_time=1.698 +[gpua005:0/64] 2023-12-04 19:43:50,799 (trainer:737) INFO: 9epoch:train:1801-1900batch: iter_time=8.904e-05, forward_time=0.225, loss_ctc=83.898, loss_att=70.742, acc=0.654, loss=74.689, backward_time=0.329, grad_norm=46.402, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.142, optim0_lr0=1.403e-04, train_time=1.758 +[gpua005:0/64] 2023-12-04 19:46:33,151 (trainer:737) INFO: 9epoch:train:1901-2000batch: iter_time=8.990e-05, forward_time=0.148, loss_ctc=72.192, loss_att=52.209, acc=0.677, loss=58.204, backward_time=0.289, grad_norm=40.707, clip=100.000, loss_scale=7.556e+22, optim_step_time=0.134, optim0_lr0=1.403e-04, train_time=1.623 +[gpua005:0/64] 2023-12-04 19:48:46,818 (trainer:737) INFO: 9epoch:train:2001-2100batch: iter_time=8.748e-05, forward_time=0.147, loss_ctc=76.076, loss_att=63.230, acc=0.669, loss=67.084, backward_time=0.267, grad_norm=49.485, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.402e-04, train_time=1.336 +[gpua005:0/64] 2023-12-04 19:51:00,130 (trainer:737) INFO: 9epoch:train:2101-2200batch: iter_time=9.158e-05, forward_time=0.147, loss_ctc=82.298, loss_att=77.195, acc=0.633, loss=78.726, backward_time=0.274, grad_norm=44.608, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.402e-04, train_time=1.333 +[gpua005:0/64] 2023-12-04 19:53:31,318 (trainer:737) INFO: 9epoch:train:2201-2300batch: iter_time=9.035e-05, forward_time=0.147, loss_ctc=84.026, loss_att=72.989, acc=0.639, loss=76.300, backward_time=0.284, grad_norm=45.538, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.401e-04, train_time=1.512 +[gpua005:0/64] 2023-12-04 19:55:56,410 (trainer:737) INFO: 9epoch:train:2301-2400batch: iter_time=9.252e-05, forward_time=0.148, loss_ctc=94.381, loss_att=86.205, acc=0.626, loss=88.658, backward_time=0.297, grad_norm=50.834, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.401e-04, train_time=1.451 +[gpua005:0/64] 2023-12-04 19:58:09,582 (trainer:737) INFO: 9epoch:train:2401-2500batch: iter_time=8.713e-05, forward_time=0.146, loss_ctc=76.749, loss_att=61.200, acc=0.659, loss=65.865, backward_time=0.280, grad_norm=41.341, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.400e-04, train_time=1.332 +[gpua005:0/64] 2023-12-04 19:58:29,610 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua005:0/64] 2023-12-04 19:58:48,138 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 19:58:51,582 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 19:58:51,582 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua005:0/64] 2023-12-04 19:58:51,587 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 20:05:33,988 (trainer:737) INFO: 9epoch:train:2501-2600batch: iter_time=3.078, forward_time=0.149, loss_ctc=77.748, loss_att=69.813, acc=0.645, loss=72.193, backward_time=0.275, grad_norm=45.624, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.399e-04, train_time=4.444 +[gpua005:0/64] 2023-12-04 20:07:46,221 (trainer:737) INFO: 9epoch:train:2601-2700batch: iter_time=8.934e-05, forward_time=0.150, loss_ctc=85.770, loss_att=67.610, acc=0.660, loss=73.058, backward_time=0.267, grad_norm=46.635, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.399e-04, train_time=1.322 +[gpua005:0/64] 2023-12-04 20:10:10,841 (trainer:737) INFO: 9epoch:train:2701-2800batch: iter_time=9.564e-05, forward_time=0.249, loss_ctc=93.949, loss_att=91.139, acc=0.612, loss=91.982, backward_time=0.312, grad_norm=49.122, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.143, optim0_lr0=1.398e-04, train_time=1.446 +[gpua005:0/64] 2023-12-04 20:12:34,479 (trainer:737) INFO: 9epoch:train:2801-2900batch: iter_time=9.594e-05, forward_time=0.146, loss_ctc=97.590, loss_att=75.763, acc=0.640, loss=82.311, backward_time=0.282, grad_norm=54.631, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.398e-04, train_time=1.436 +[gpua005:0/64] 2023-12-04 20:15:12,181 (trainer:737) INFO: 9epoch:train:2901-3000batch: iter_time=9.196e-05, forward_time=0.146, loss_ctc=75.479, loss_att=62.029, acc=0.668, loss=66.064, backward_time=0.295, grad_norm=38.630, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.397e-04, train_time=1.577 +[gpua005:0/64] 2023-12-04 20:17:28,323 (trainer:737) INFO: 9epoch:train:3001-3100batch: iter_time=9.298e-05, forward_time=0.148, loss_ctc=80.827, loss_att=65.513, acc=0.652, loss=70.107, backward_time=0.269, grad_norm=45.266, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.397e-04, train_time=1.361 +[gpua005:0/64] 2023-12-04 20:19:40,041 (trainer:737) INFO: 9epoch:train:3101-3200batch: iter_time=1.019e-04, forward_time=0.147, loss_ctc=78.433, loss_att=63.239, acc=0.643, loss=67.797, backward_time=0.272, grad_norm=44.595, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.396e-04, train_time=1.317 +[gpua005:0/64] 2023-12-04 20:22:24,548 (trainer:737) INFO: 9epoch:train:3201-3300batch: iter_time=9.630e-05, forward_time=0.147, loss_ctc=71.665, loss_att=52.359, acc=0.689, loss=58.151, backward_time=0.301, grad_norm=38.532, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.395e-04, train_time=1.645 +[gpua005:0/64] 2023-12-04 20:24:53,146 (trainer:737) INFO: 9epoch:train:3301-3400batch: iter_time=1.022e-04, forward_time=0.148, loss_ctc=85.408, loss_att=76.751, acc=0.643, loss=79.348, backward_time=0.302, grad_norm=45.663, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.395e-04, train_time=1.486 +[gpua005:0/64] 2023-12-04 20:27:10,153 (trainer:737) INFO: 9epoch:train:3401-3500batch: iter_time=9.554e-05, forward_time=0.147, loss_ctc=76.797, loss_att=72.621, acc=0.644, loss=73.874, backward_time=0.282, grad_norm=41.104, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.394e-04, train_time=1.370 +[gpua005:0/64] 2023-12-04 20:29:33,573 (trainer:737) INFO: 9epoch:train:3501-3600batch: iter_time=9.440e-05, forward_time=0.147, loss_ctc=87.304, loss_att=72.292, acc=0.625, loss=76.795, backward_time=0.320, grad_norm=54.859, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.394e-04, train_time=1.434 +[gpua005:0/64] 2023-12-04 20:32:03,707 (trainer:737) INFO: 9epoch:train:3601-3700batch: iter_time=9.863e-05, forward_time=0.152, loss_ctc=85.520, loss_att=72.804, acc=0.644, loss=76.619, backward_time=0.291, grad_norm=43.304, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.393e-04, train_time=1.501 +[gpua005:0/64] 2023-12-04 20:33:48,485 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua005:0/64] 2023-12-04 20:34:06,794 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 20:34:10,208 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 20:34:10,208 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua005:0/64] 2023-12-04 20:34:10,211 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 20:42:23,818 (trainer:737) INFO: 9epoch:train:3701-3800batch: iter_time=4.682, forward_time=0.187, loss_ctc=74.201, loss_att=65.318, acc=0.657, loss=67.983, backward_time=0.307, grad_norm=43.114, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.393e-04, train_time=6.201 +[gpua005:0/64] 2023-12-04 20:44:24,351 (trainer:737) INFO: 9epoch:train:3801-3900batch: iter_time=1.100e-04, forward_time=0.149, loss_ctc=85.693, loss_att=68.726, acc=0.662, loss=73.816, backward_time=0.267, grad_norm=45.640, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.134, optim0_lr0=1.392e-04, train_time=1.205 +[gpua005:0/64] 2023-12-04 20:46:47,263 (trainer:737) INFO: 9epoch:train:3901-4000batch: iter_time=9.308e-05, forward_time=0.147, loss_ctc=86.379, loss_att=78.640, acc=0.643, loss=80.962, backward_time=0.277, grad_norm=50.474, clip=100.000, loss_scale=1.511e+23, optim_step_time=0.133, optim0_lr0=1.391e-04, train_time=1.429 +[gpua005:0/64] 2023-12-04 20:49:48,667 (trainer:737) INFO: 9epoch:train:4001-4100batch: iter_time=2.443e-04, forward_time=0.230, loss_ctc=100.346, loss_att=87.824, acc=0.648, loss=91.581, backward_time=0.412, grad_norm=50.130, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.149, optim0_lr0=1.391e-04, train_time=1.813 +[gpua005:0/64] 2023-12-04 20:52:00,234 (trainer:737) INFO: 9epoch:train:4101-4200batch: iter_time=9.210e-05, forward_time=0.146, loss_ctc=82.843, loss_att=70.160, acc=0.654, loss=73.965, backward_time=0.264, grad_norm=48.004, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.390e-04, train_time=1.316 +[gpua005:0/64] 2023-12-04 20:54:42,659 (trainer:737) INFO: 9epoch:train:4201-4300batch: iter_time=9.248e-05, forward_time=0.146, loss_ctc=73.418, loss_att=58.928, acc=0.679, loss=63.275, backward_time=0.285, grad_norm=43.392, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.390e-04, train_time=1.624 +[gpua005:0/64] 2023-12-04 20:57:09,210 (trainer:737) INFO: 9epoch:train:4301-4400batch: iter_time=9.371e-05, forward_time=0.146, loss_ctc=83.437, loss_att=70.509, acc=0.660, loss=74.388, backward_time=0.287, grad_norm=43.728, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.389e-04, train_time=1.465 +[gpua005:0/64] 2023-12-04 20:59:54,109 (trainer:737) INFO: 9epoch:train:4401-4500batch: iter_time=8.957e-05, forward_time=0.146, loss_ctc=70.702, loss_att=51.330, acc=0.682, loss=57.142, backward_time=0.325, grad_norm=38.597, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.389e-04, train_time=1.649 +[gpua005:0/64] 2023-12-04 21:02:19,574 (trainer:737) INFO: 9epoch:train:4501-4600batch: iter_time=8.830e-05, forward_time=0.146, loss_ctc=75.115, loss_att=62.240, acc=0.672, loss=66.102, backward_time=0.275, grad_norm=43.594, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.388e-04, train_time=1.454 +[gpua005:0/64] 2023-12-04 21:04:50,982 (trainer:737) INFO: 9epoch:train:4601-4700batch: iter_time=2.842e-04, forward_time=0.228, loss_ctc=80.987, loss_att=76.339, acc=0.638, loss=77.734, backward_time=0.334, grad_norm=43.124, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.139, optim0_lr0=1.388e-04, train_time=1.513 +[gpua005:0/64] 2023-12-04 21:07:13,362 (trainer:737) INFO: 9epoch:train:4701-4800batch: iter_time=9.028e-05, forward_time=0.148, loss_ctc=83.063, loss_att=71.930, acc=0.645, loss=75.270, backward_time=0.288, grad_norm=45.847, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.387e-04, train_time=1.424 +[gpua005:0/64] 2023-12-04 21:10:25,423 (trainer:737) INFO: 9epoch:train:4801-4900batch: iter_time=9.013e-05, forward_time=0.147, loss_ctc=92.913, loss_att=85.330, acc=0.628, loss=87.605, backward_time=0.310, grad_norm=48.900, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.386e-04, train_time=1.921 +[gpua005:0/64] 2023-12-04 21:13:00,444 (trainer:737) INFO: 9epoch:train:4901-5000batch: iter_time=8.980e-05, forward_time=0.147, loss_ctc=75.368, loss_att=60.517, acc=0.663, loss=64.972, backward_time=0.308, grad_norm=40.891, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.386e-04, train_time=1.550 +[gpua005:0/64] 2023-12-04 21:13:20,473 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua005:0/64] 2023-12-04 21:13:38,887 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 21:13:42,294 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 21:13:42,294 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua005:0/64] 2023-12-04 21:13:42,312 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 21:20:25,600 (trainer:737) INFO: 9epoch:train:5001-5100batch: iter_time=3.131, forward_time=0.146, loss_ctc=76.188, loss_att=68.203, acc=0.654, loss=70.598, backward_time=0.265, grad_norm=42.783, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.385e-04, train_time=4.451 +[gpua005:0/64] 2023-12-04 21:22:29,153 (trainer:737) INFO: 9epoch:train:5101-5200batch: iter_time=8.988e-05, forward_time=0.149, loss_ctc=84.586, loss_att=66.876, acc=0.665, loss=72.189, backward_time=0.266, grad_norm=47.321, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.385e-04, train_time=1.235 +[gpua005:0/64] 2023-12-04 21:24:31,646 (trainer:737) INFO: 9epoch:train:5201-5300batch: iter_time=8.851e-05, forward_time=0.150, loss_ctc=92.553, loss_att=89.237, acc=0.618, loss=90.232, backward_time=0.267, grad_norm=79.704, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.384e-04, train_time=1.225 +[gpua005:0/64] 2023-12-04 21:26:36,155 (trainer:737) INFO: 9epoch:train:5301-5400batch: iter_time=9.473e-05, forward_time=0.146, loss_ctc=94.844, loss_att=74.102, acc=0.646, loss=80.325, backward_time=0.266, grad_norm=50.909, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.384e-04, train_time=1.245 +[gpua005:0/64] 2023-12-04 21:29:38,645 (trainer:737) INFO: 9epoch:train:5401-5500batch: iter_time=8.523e-05, forward_time=0.251, loss_ctc=74.214, loss_att=60.592, acc=0.676, loss=64.679, backward_time=0.338, grad_norm=37.155, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.136, optim0_lr0=1.383e-04, train_time=1.825 +[gpua005:0/64] 2023-12-04 21:32:04,802 (trainer:737) INFO: 9epoch:train:5501-5600batch: iter_time=9.367e-05, forward_time=0.159, loss_ctc=78.435, loss_att=63.594, acc=0.661, loss=68.046, backward_time=0.289, grad_norm=42.051, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.383e-04, train_time=1.461 +[gpua005:0/64] 2023-12-04 21:34:53,579 (trainer:737) INFO: 9epoch:train:5601-5700batch: iter_time=8.223e-05, forward_time=0.148, loss_ctc=76.412, loss_att=61.122, acc=0.652, loss=65.709, backward_time=0.327, grad_norm=43.966, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.382e-04, train_time=1.688 +[gpua005:0/64] 2023-12-04 21:37:14,346 (trainer:737) INFO: 9epoch:train:5701-5800batch: iter_time=8.941e-05, forward_time=0.148, loss_ctc=70.804, loss_att=51.334, acc=0.693, loss=57.175, backward_time=0.272, grad_norm=42.792, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.134, optim0_lr0=1.381e-04, train_time=1.408 +[gpua005:0/64] 2023-12-04 21:40:14,773 (trainer:737) INFO: 9epoch:train:5801-5900batch: iter_time=8.980e-05, forward_time=0.147, loss_ctc=84.259, loss_att=76.645, acc=0.647, loss=78.930, backward_time=0.308, grad_norm=51.797, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.381e-04, train_time=1.804 +[gpua005:0/64] 2023-12-04 21:42:27,630 (trainer:737) INFO: 9epoch:train:5901-6000batch: iter_time=8.938e-05, forward_time=0.146, loss_ctc=75.463, loss_att=71.371, acc=0.644, loss=72.599, backward_time=0.265, grad_norm=42.188, clip=100.000, loss_scale=3.022e+23, optim_step_time=0.133, optim0_lr0=1.380e-04, train_time=1.328 +[gpua005:0/64] 2023-12-04 21:44:44,503 (trainer:737) INFO: 9epoch:train:6001-6100batch: iter_time=9.357e-05, forward_time=0.147, loss_ctc=86.205, loss_att=72.033, acc=0.624, loss=76.285, backward_time=0.295, grad_norm=48.484, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.380e-04, train_time=1.369 +[gpua005:0/64] 2023-12-04 21:46:50,826 (trainer:737) INFO: 9epoch:train:6101-6200batch: iter_time=9.277e-05, forward_time=0.147, loss_ctc=85.288, loss_att=71.927, acc=0.648, loss=75.935, backward_time=0.275, grad_norm=46.780, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.379e-04, train_time=1.263 +[gpua005:0/64] 2023-12-04 21:48:14,433 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua005:0/64] 2023-12-04 21:48:33,135 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 21:48:36,502 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 21:48:36,502 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua005:0/64] 2023-12-04 21:48:36,521 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 21:53:56,610 (trainer:737) INFO: 9epoch:train:6201-6300batch: iter_time=2.873, forward_time=0.147, loss_ctc=73.016, loss_att=64.444, acc=0.661, loss=67.016, backward_time=0.266, grad_norm=46.697, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.379e-04, train_time=4.258 +[gpua005:0/64] 2023-12-04 21:56:15,597 (trainer:737) INFO: 9epoch:train:6301-6400batch: iter_time=9.018e-05, forward_time=0.148, loss_ctc=84.769, loss_att=67.757, acc=0.664, loss=72.861, backward_time=0.282, grad_norm=43.021, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.378e-04, train_time=1.390 +[gpua005:0/64] 2023-12-04 21:58:36,779 (trainer:737) INFO: 9epoch:train:6401-6500batch: iter_time=3.361e-04, forward_time=0.240, loss_ctc=85.523, loss_att=78.335, acc=0.643, loss=80.491, backward_time=0.331, grad_norm=50.653, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.140, optim0_lr0=1.378e-04, train_time=1.411 +[gpua005:0/64] 2023-12-04 22:01:04,357 (trainer:737) INFO: 9epoch:train:6501-6600batch: iter_time=9.395e-05, forward_time=0.148, loss_ctc=99.384, loss_att=86.483, acc=0.653, loss=90.353, backward_time=0.294, grad_norm=52.979, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.377e-04, train_time=1.476 +[gpua005:0/64] 2023-12-04 22:03:26,989 (trainer:737) INFO: 9epoch:train:6601-6700batch: iter_time=9.244e-05, forward_time=0.148, loss_ctc=81.453, loss_att=69.351, acc=0.658, loss=72.981, backward_time=0.278, grad_norm=47.747, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.377e-04, train_time=1.426 +[gpua005:0/64] 2023-12-04 22:06:31,405 (trainer:737) INFO: 9epoch:train:6701-6800batch: iter_time=9.728e-05, forward_time=0.148, loss_ctc=72.412, loss_att=58.117, acc=0.688, loss=62.406, backward_time=0.290, grad_norm=36.327, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.376e-04, train_time=1.844 +[gpua005:0/64] 2023-12-04 22:09:01,607 (trainer:737) INFO: 9epoch:train:6801-6900batch: iter_time=9.564e-05, forward_time=0.147, loss_ctc=82.320, loss_att=69.061, acc=0.666, loss=73.038, backward_time=0.306, grad_norm=48.956, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.375e-04, train_time=1.502 +[gpua005:0/64] 2023-12-04 22:11:21,057 (trainer:737) INFO: 9epoch:train:6901-7000batch: iter_time=9.489e-05, forward_time=0.147, loss_ctc=69.316, loss_att=50.529, acc=0.685, loss=56.165, backward_time=0.286, grad_norm=34.349, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.375e-04, train_time=1.394 +[gpua005:0/64] 2023-12-04 22:13:28,786 (trainer:737) INFO: 9epoch:train:7001-7100batch: iter_time=8.847e-05, forward_time=0.147, loss_ctc=74.410, loss_att=61.331, acc=0.678, loss=65.255, backward_time=0.274, grad_norm=42.516, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.374e-04, train_time=1.277 +[gpua005:0/64] 2023-12-04 22:15:53,143 (trainer:737) INFO: 9epoch:train:7101-7200batch: iter_time=9.018e-05, forward_time=0.148, loss_ctc=80.250, loss_att=75.706, acc=0.639, loss=77.069, backward_time=0.275, grad_norm=44.759, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.374e-04, train_time=1.443 +[gpua005:0/64] 2023-12-04 22:18:27,631 (trainer:737) INFO: 9epoch:train:7201-7300batch: iter_time=9.133e-05, forward_time=0.148, loss_ctc=82.161, loss_att=71.294, acc=0.645, loss=74.554, backward_time=0.287, grad_norm=48.867, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.373e-04, train_time=1.545 +[gpua005:0/64] 2023-12-04 22:21:43,100 (trainer:737) INFO: 9epoch:train:7301-7400batch: iter_time=9.205e-05, forward_time=0.148, loss_ctc=91.830, loss_att=84.608, acc=0.632, loss=86.775, backward_time=0.301, grad_norm=48.200, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.373e-04, train_time=1.954 +[gpua005:0/64] 2023-12-04 22:24:28,392 (trainer:737) INFO: 9epoch:train:7401-7500batch: iter_time=9.275e-05, forward_time=0.160, loss_ctc=74.970, loss_att=59.811, acc=0.667, loss=64.359, backward_time=0.293, grad_norm=49.714, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.145, optim0_lr0=1.372e-04, train_time=1.653 +[gpua005:0/64] 2023-12-04 22:24:48,421 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua005:0/64] 2023-12-04 22:25:06,461 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 22:25:09,923 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 22:25:09,923 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua005:0/64] 2023-12-04 22:25:09,926 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 22:35:58,193 (trainer:737) INFO: 9epoch:train:7501-7600batch: iter_time=3.275, forward_time=0.186, loss_ctc=75.878, loss_att=67.822, acc=0.662, loss=70.239, backward_time=0.288, grad_norm=47.365, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.372e-04, train_time=6.897 +[gpua005:0/64] 2023-12-04 22:38:15,925 (trainer:737) INFO: 9epoch:train:7601-7700batch: iter_time=8.781e-05, forward_time=0.148, loss_ctc=83.938, loss_att=67.737, acc=0.664, loss=72.597, backward_time=0.277, grad_norm=52.281, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.371e-04, train_time=1.377 +[gpua005:0/64] 2023-12-04 22:41:45,775 (trainer:737) INFO: 9epoch:train:7701-7800batch: iter_time=8.727e-05, forward_time=0.149, loss_ctc=92.307, loss_att=90.349, acc=0.628, loss=90.937, backward_time=0.309, grad_norm=57.206, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.134, optim0_lr0=1.371e-04, train_time=2.098 +[gpua005:0/64] 2023-12-04 22:44:09,864 (trainer:737) INFO: 9epoch:train:7801-7900batch: iter_time=8.576e-05, forward_time=0.147, loss_ctc=95.010, loss_att=75.959, acc=0.655, loss=81.674, backward_time=0.276, grad_norm=51.840, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.370e-04, train_time=1.441 +[gpua005:0/64] 2023-12-04 22:46:52,501 (trainer:737) INFO: 9epoch:train:7901-8000batch: iter_time=9.455e-05, forward_time=0.147, loss_ctc=73.490, loss_att=60.868, acc=0.683, loss=64.655, backward_time=0.348, grad_norm=35.659, clip=100.000, loss_scale=6.045e+23, optim_step_time=0.133, optim0_lr0=1.370e-04, train_time=1.626 +[gpua005:0/64] 2023-12-04 22:49:24,847 (trainer:737) INFO: 9epoch:train:8001-8100batch: iter_time=8.603e-05, forward_time=0.147, loss_ctc=78.698, loss_att=63.212, acc=0.675, loss=67.858, backward_time=0.284, grad_norm=41.567, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.369e-04, train_time=1.523 +[gpua005:0/64] 2023-12-04 22:52:51,604 (trainer:737) INFO: 9epoch:train:8101-8200batch: iter_time=9.419e-05, forward_time=0.147, loss_ctc=76.038, loss_att=62.410, acc=0.660, loss=66.498, backward_time=0.317, grad_norm=41.133, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.368e-04, train_time=2.067 +[gpua005:0/64] 2023-12-04 22:55:40,412 (trainer:737) INFO: 9epoch:train:8201-8300batch: iter_time=8.645e-05, forward_time=0.147, loss_ctc=70.478, loss_att=51.442, acc=0.699, loss=57.153, backward_time=0.279, grad_norm=38.614, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.368e-04, train_time=1.688 +[gpua005:0/64] 2023-12-04 22:58:37,219 (trainer:737) INFO: 9epoch:train:8301-8400batch: iter_time=9.106e-05, forward_time=0.148, loss_ctc=83.435, loss_att=76.369, acc=0.653, loss=78.489, backward_time=0.314, grad_norm=45.919, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.367e-04, train_time=1.768 +[gpua005:0/64] 2023-12-04 23:01:10,299 (trainer:737) INFO: 9epoch:train:8401-8500batch: iter_time=4.056e-04, forward_time=0.166, loss_ctc=75.111, loss_att=71.713, acc=0.652, loss=72.733, backward_time=0.353, grad_norm=39.326, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.136, optim0_lr0=1.367e-04, train_time=1.531 +[gpua005:0/64] 2023-12-04 23:04:14,010 (trainer:737) INFO: 9epoch:train:8501-8600batch: iter_time=9.079e-05, forward_time=0.190, loss_ctc=85.411, loss_att=72.700, acc=0.634, loss=76.513, backward_time=0.356, grad_norm=47.817, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.135, optim0_lr0=1.366e-04, train_time=1.836 +[gpua005:0/64] 2023-12-04 23:06:48,049 (trainer:737) INFO: 9epoch:train:8601-8700batch: iter_time=8.273e-05, forward_time=0.148, loss_ctc=83.979, loss_att=74.014, acc=0.651, loss=77.003, backward_time=0.304, grad_norm=45.131, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.366e-04, train_time=1.541 +[gpua005:0/64] 2023-12-04 23:08:28,973 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua005:0/64] 2023-12-04 23:08:47,367 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 23:08:50,743 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 23:08:50,743 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua005:0/64] 2023-12-04 23:08:50,769 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 23:14:22,037 (trainer:737) INFO: 9epoch:train:8701-8800batch: iter_time=2.990, forward_time=0.147, loss_ctc=72.266, loss_att=63.643, acc=0.665, loss=66.230, backward_time=0.280, grad_norm=41.736, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.134, optim0_lr0=1.365e-04, train_time=4.540 +[gpua005:0/64] 2023-12-04 23:16:56,386 (trainer:737) INFO: 9epoch:train:8801-8900batch: iter_time=8.677e-05, forward_time=0.146, loss_ctc=83.359, loss_att=65.367, acc=0.664, loss=70.765, backward_time=0.318, grad_norm=48.180, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.365e-04, train_time=1.543 +[gpua005:0/64] 2023-12-04 23:19:01,087 (trainer:737) INFO: 9epoch:train:8901-9000batch: iter_time=8.591e-05, forward_time=0.147, loss_ctc=84.743, loss_att=76.998, acc=0.641, loss=79.322, backward_time=0.266, grad_norm=44.746, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.364e-04, train_time=1.247 +[gpua005:0/64] 2023-12-04 23:21:06,943 (trainer:737) INFO: 9epoch:train:9001-9100batch: iter_time=8.606e-05, forward_time=0.147, loss_ctc=98.056, loss_att=83.781, acc=0.647, loss=88.064, backward_time=0.271, grad_norm=50.911, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.364e-04, train_time=1.258 +[gpua005:0/64] 2023-12-04 23:23:20,829 (trainer:737) INFO: 9epoch:train:9101-9200batch: iter_time=9.365e-05, forward_time=0.147, loss_ctc=80.464, loss_att=68.611, acc=0.648, loss=72.167, backward_time=0.271, grad_norm=45.767, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.363e-04, train_time=1.339 +[gpua005:0/64] 2023-12-04 23:26:21,766 (trainer:737) INFO: 9epoch:train:9201-9300batch: iter_time=8.970e-05, forward_time=0.147, loss_ctc=71.895, loss_att=57.904, acc=0.681, loss=62.101, backward_time=0.291, grad_norm=35.804, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.363e-04, train_time=1.809 +[gpua005:0/64] 2023-12-04 23:28:35,530 (trainer:737) INFO: 9epoch:train:9301-9400batch: iter_time=8.813e-05, forward_time=0.147, loss_ctc=81.830, loss_att=67.274, acc=0.660, loss=71.641, backward_time=0.266, grad_norm=45.539, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.362e-04, train_time=1.337 +[gpua005:0/64] 2023-12-04 23:31:30,208 (trainer:737) INFO: 9epoch:train:9401-9500batch: iter_time=8.840e-05, forward_time=0.195, loss_ctc=69.651, loss_att=49.994, acc=0.688, loss=55.891, backward_time=0.367, grad_norm=37.353, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.135, optim0_lr0=1.362e-04, train_time=1.747 +[gpua005:0/64] 2023-12-04 23:34:04,853 (trainer:737) INFO: 9epoch:train:9501-9600batch: iter_time=8.574e-05, forward_time=0.196, loss_ctc=73.245, loss_att=60.289, acc=0.672, loss=64.176, backward_time=0.292, grad_norm=42.927, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.134, optim0_lr0=1.361e-04, train_time=1.545 +[gpua005:0/64] 2023-12-04 23:36:23,543 (trainer:737) INFO: 9epoch:train:9601-9700batch: iter_time=8.381e-05, forward_time=0.147, loss_ctc=79.820, loss_att=74.268, acc=0.639, loss=75.934, backward_time=0.273, grad_norm=42.362, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.361e-04, train_time=1.387 +[gpua005:0/64] 2023-12-04 23:38:47,112 (trainer:737) INFO: 9epoch:train:9701-9800batch: iter_time=8.990e-05, forward_time=0.149, loss_ctc=81.364, loss_att=69.593, acc=0.655, loss=73.124, backward_time=0.273, grad_norm=44.563, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.360e-04, train_time=1.435 +[gpua005:0/64] 2023-12-04 23:41:38,160 (trainer:737) INFO: 9epoch:train:9801-9900batch: iter_time=8.797e-05, forward_time=0.146, loss_ctc=90.850, loss_att=81.041, acc=0.633, loss=83.983, backward_time=0.315, grad_norm=49.419, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.360e-04, train_time=1.710 +[gpua005:0/64] 2023-12-04 23:44:08,628 (trainer:737) INFO: 9epoch:train:9901-10000batch: iter_time=8.555e-05, forward_time=0.148, loss_ctc=73.788, loss_att=57.837, acc=0.670, loss=62.622, backward_time=0.298, grad_norm=42.163, clip=100.000, loss_scale=1.209e+24, optim_step_time=0.133, optim0_lr0=1.359e-04, train_time=1.504 +[gpua005:0/64] 2023-12-04 23:44:28,657 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua005:0/64] 2023-12-04 23:44:46,777 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-04 23:44:50,170 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-04 23:44:50,170 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua005:0/64] 2023-12-04 23:44:50,198 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-04 23:54:10,362 (trainer:737) INFO: 9epoch:train:10001-10100batch: iter_time=2.959, forward_time=0.191, loss_ctc=75.065, loss_att=68.279, acc=0.665, loss=70.315, backward_time=0.274, grad_norm=41.061, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.358e-04, train_time=6.017 +[gpua005:0/64] 2023-12-04 23:56:22,255 (trainer:737) INFO: 9epoch:train:10101-10200batch: iter_time=8.945e-05, forward_time=0.148, loss_ctc=82.945, loss_att=66.264, acc=0.675, loss=71.268, backward_time=0.266, grad_norm=44.940, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.358e-04, train_time=1.319 +[gpua005:0/64] 2023-12-04 23:58:41,364 (trainer:737) INFO: 9epoch:train:10201-10300batch: iter_time=8.699e-05, forward_time=0.149, loss_ctc=91.630, loss_att=89.170, acc=0.636, loss=89.908, backward_time=0.272, grad_norm=49.924, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.357e-04, train_time=1.391 +[gpua005:0/64] 2023-12-05 00:01:20,874 (trainer:737) INFO: 9epoch:train:10301-10400batch: iter_time=9.162e-05, forward_time=0.147, loss_ctc=93.138, loss_att=75.325, acc=0.659, loss=80.669, backward_time=0.268, grad_norm=53.460, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.357e-04, train_time=1.595 +[gpua005:0/64] 2023-12-05 00:03:53,331 (trainer:737) INFO: 9epoch:train:10401-10500batch: iter_time=9.112e-05, forward_time=0.146, loss_ctc=73.064, loss_att=60.393, acc=0.686, loss=64.194, backward_time=0.273, grad_norm=38.346, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.356e-04, train_time=1.523 +[gpua005:0/64] 2023-12-05 00:06:24,185 (trainer:737) INFO: 9epoch:train:10501-10600batch: iter_time=9.208e-05, forward_time=0.148, loss_ctc=77.876, loss_att=62.649, acc=0.676, loss=67.217, backward_time=0.287, grad_norm=43.563, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.356e-04, train_time=1.509 +[gpua005:0/64] 2023-12-05 00:09:41,648 (trainer:737) INFO: 9epoch:train:10601-10700batch: iter_time=9.414e-05, forward_time=0.147, loss_ctc=76.080, loss_att=62.268, acc=0.663, loss=66.411, backward_time=0.344, grad_norm=41.294, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.355e-04, train_time=1.974 +[gpua005:0/64] 2023-12-05 00:12:36,544 (trainer:737) INFO: 9epoch:train:10701-10800batch: iter_time=9.058e-05, forward_time=0.146, loss_ctc=70.417, loss_att=51.505, acc=0.701, loss=57.179, backward_time=0.314, grad_norm=40.182, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.355e-04, train_time=1.749 +[gpua005:0/64] 2023-12-05 00:15:16,884 (trainer:737) INFO: 9epoch:train:10801-10900batch: iter_time=9.011e-05, forward_time=0.146, loss_ctc=82.770, loss_att=76.153, acc=0.656, loss=78.138, backward_time=0.315, grad_norm=44.910, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.354e-04, train_time=1.603 +[gpua005:0/64] 2023-12-05 00:17:55,000 (trainer:737) INFO: 9epoch:train:10901-11000batch: iter_time=9.216e-05, forward_time=0.253, loss_ctc=74.231, loss_att=69.968, acc=0.656, loss=71.247, backward_time=0.298, grad_norm=42.514, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.138, optim0_lr0=1.354e-04, train_time=1.581 +[gpua005:0/64] 2023-12-05 00:20:20,299 (trainer:737) INFO: 9epoch:train:11001-11100batch: iter_time=8.946e-05, forward_time=0.147, loss_ctc=85.541, loss_att=72.244, acc=0.637, loss=76.233, backward_time=0.333, grad_norm=49.711, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.353e-04, train_time=1.453 +[gpua005:0/64] 2023-12-05 00:23:12,901 (trainer:737) INFO: 9epoch:train:11101-11200batch: iter_time=8.880e-05, forward_time=0.147, loss_ctc=83.015, loss_att=73.422, acc=0.653, loss=76.300, backward_time=0.309, grad_norm=45.048, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.353e-04, train_time=1.726 +[gpua005:0/64] 2023-12-05 00:24:53,212 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua005:0/64] 2023-12-05 00:25:11,773 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 00:25:15,163 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 00:25:15,163 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua005:0/64] 2023-12-05 00:25:15,169 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 00:33:27,908 (trainer:737) INFO: 9epoch:train:11201-11300batch: iter_time=2.884, forward_time=0.147, loss_ctc=71.812, loss_att=63.096, acc=0.673, loss=65.711, backward_time=0.269, grad_norm=38.926, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.352e-04, train_time=6.149 +[gpua005:0/64] 2023-12-05 00:35:30,144 (trainer:737) INFO: 9epoch:train:11301-11400batch: iter_time=8.458e-05, forward_time=0.151, loss_ctc=82.778, loss_att=65.470, acc=0.674, loss=70.663, backward_time=0.266, grad_norm=40.675, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.352e-04, train_time=1.223 +[gpua005:0/64] 2023-12-05 00:37:38,196 (trainer:737) INFO: 9epoch:train:11401-11500batch: iter_time=8.544e-05, forward_time=0.147, loss_ctc=84.792, loss_att=75.655, acc=0.652, loss=78.396, backward_time=0.266, grad_norm=47.104, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.351e-04, train_time=1.280 +[gpua005:0/64] 2023-12-05 00:39:54,924 (trainer:737) INFO: 9epoch:train:11501-11600batch: iter_time=8.570e-05, forward_time=0.150, loss_ctc=96.439, loss_att=83.201, acc=0.662, loss=87.173, backward_time=0.279, grad_norm=49.782, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.351e-04, train_time=1.367 +[gpua005:0/64] 2023-12-05 00:42:19,958 (trainer:737) INFO: 9epoch:train:11601-11700batch: iter_time=9.189e-05, forward_time=0.149, loss_ctc=80.288, loss_att=67.402, acc=0.665, loss=71.268, backward_time=0.273, grad_norm=45.056, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.134, optim0_lr0=1.350e-04, train_time=1.450 +[gpua005:0/64] 2023-12-05 00:45:24,729 (trainer:737) INFO: 9epoch:train:11701-11800batch: iter_time=9.720e-05, forward_time=0.236, loss_ctc=71.689, loss_att=57.311, acc=0.691, loss=61.625, backward_time=0.372, grad_norm=41.812, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.139, optim0_lr0=1.350e-04, train_time=1.847 +[gpua005:0/64] 2023-12-05 00:48:03,449 (trainer:737) INFO: 9epoch:train:11801-11900batch: iter_time=9.472e-05, forward_time=0.154, loss_ctc=81.322, loss_att=68.141, acc=0.671, loss=72.095, backward_time=0.278, grad_norm=44.838, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.349e-04, train_time=1.587 +[gpua005:0/64] 2023-12-05 00:50:44,412 (trainer:737) INFO: 9epoch:train:11901-12000batch: iter_time=9.209e-05, forward_time=0.146, loss_ctc=69.162, loss_att=49.444, acc=0.693, loss=55.359, backward_time=0.291, grad_norm=38.785, clip=100.000, loss_scale=2.418e+24, optim_step_time=0.133, optim0_lr0=1.349e-04, train_time=1.609 +[gpua005:0/64] 2023-12-05 00:53:32,652 (trainer:737) INFO: 9epoch:train:12001-12100batch: iter_time=9.497e-05, forward_time=0.149, loss_ctc=72.405, loss_att=59.818, acc=0.683, loss=63.594, backward_time=0.304, grad_norm=40.331, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.348e-04, train_time=1.682 +[gpua005:0/64] 2023-12-05 00:56:12,444 (trainer:737) INFO: 9epoch:train:12101-12200batch: iter_time=9.207e-05, forward_time=0.147, loss_ctc=79.153, loss_att=73.584, acc=0.649, loss=75.255, backward_time=0.282, grad_norm=49.057, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.348e-04, train_time=1.596 +[gpua005:0/64] 2023-12-05 00:58:44,974 (trainer:737) INFO: 9epoch:train:12201-12300batch: iter_time=9.225e-05, forward_time=0.147, loss_ctc=80.293, loss_att=69.706, acc=0.656, loss=72.882, backward_time=0.276, grad_norm=45.039, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.347e-04, train_time=1.526 +[gpua005:0/64] 2023-12-05 01:01:19,879 (trainer:737) INFO: 9epoch:train:12301-12400batch: iter_time=9.088e-05, forward_time=0.148, loss_ctc=90.228, loss_att=82.891, acc=0.639, loss=85.092, backward_time=0.284, grad_norm=49.387, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.347e-04, train_time=1.549 +[gpua005:0/64] 2023-12-05 01:03:36,794 (trainer:737) INFO: 9epoch:train:12401-12500batch: iter_time=9.545e-05, forward_time=0.147, loss_ctc=73.677, loss_att=58.702, acc=0.674, loss=63.195, backward_time=0.284, grad_norm=39.024, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.346e-04, train_time=1.369 +[gpua005:0/64] 2023-12-05 01:03:56,823 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua005:0/64] 2023-12-05 01:04:15,627 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 01:04:19,020 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 01:04:19,020 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua005:0/64] 2023-12-05 01:04:19,023 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 01:10:51,636 (trainer:737) INFO: 9epoch:train:12501-12600batch: iter_time=2.967, forward_time=0.183, loss_ctc=74.628, loss_att=66.993, acc=0.662, loss=69.284, backward_time=0.272, grad_norm=44.009, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.135, optim0_lr0=1.346e-04, train_time=4.348 +[gpua005:0/64] 2023-12-05 01:13:04,312 (trainer:737) INFO: 9epoch:train:12601-12700batch: iter_time=9.548e-05, forward_time=0.148, loss_ctc=82.474, loss_att=65.940, acc=0.672, loss=70.900, backward_time=0.271, grad_norm=45.506, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.345e-04, train_time=1.327 +[gpua005:0/64] 2023-12-05 01:15:49,157 (trainer:737) INFO: 9epoch:train:12701-12800batch: iter_time=9.254e-05, forward_time=0.148, loss_ctc=90.669, loss_att=89.051, acc=0.624, loss=89.536, backward_time=0.313, grad_norm=50.088, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.345e-04, train_time=1.648 +[gpua005:0/64] 2023-12-05 01:18:14,320 (trainer:737) INFO: 9epoch:train:12801-12900batch: iter_time=9.178e-05, forward_time=0.147, loss_ctc=91.860, loss_att=72.490, acc=0.654, loss=78.301, backward_time=0.289, grad_norm=49.552, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.344e-04, train_time=1.451 +[gpua005:0/64] 2023-12-05 01:20:32,068 (trainer:737) INFO: 9epoch:train:12901-13000batch: iter_time=9.484e-05, forward_time=0.146, loss_ctc=72.018, loss_att=59.036, acc=0.684, loss=62.930, backward_time=0.269, grad_norm=39.007, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.344e-04, train_time=1.377 +[gpua005:0/64] 2023-12-05 01:23:09,559 (trainer:737) INFO: 9epoch:train:13001-13100batch: iter_time=1.019e-04, forward_time=0.147, loss_ctc=76.879, loss_att=62.134, acc=0.668, loss=66.557, backward_time=0.278, grad_norm=44.512, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.343e-04, train_time=1.574 +[gpua005:0/64] 2023-12-05 01:26:01,240 (trainer:737) INFO: 9epoch:train:13101-13200batch: iter_time=1.066e-04, forward_time=0.148, loss_ctc=75.755, loss_att=60.243, acc=0.659, loss=64.897, backward_time=0.302, grad_norm=44.940, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.343e-04, train_time=1.717 +[gpua005:0/64] 2023-12-05 01:28:38,224 (trainer:737) INFO: 9epoch:train:13201-13300batch: iter_time=1.013e-04, forward_time=0.146, loss_ctc=69.749, loss_att=50.154, acc=0.700, loss=56.033, backward_time=0.272, grad_norm=41.297, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.342e-04, train_time=1.570 +[gpua005:0/64] 2023-12-05 01:31:26,059 (trainer:737) INFO: 9epoch:train:13301-13400batch: iter_time=1.008e-04, forward_time=0.146, loss_ctc=82.258, loss_att=74.958, acc=0.655, loss=77.148, backward_time=0.284, grad_norm=47.140, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.342e-04, train_time=1.678 +[gpua005:0/64] 2023-12-05 01:34:17,979 (trainer:737) INFO: 9epoch:train:13401-13500batch: iter_time=2.120e-04, forward_time=0.218, loss_ctc=73.547, loss_att=69.693, acc=0.655, loss=70.850, backward_time=0.322, grad_norm=42.075, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.141, optim0_lr0=1.341e-04, train_time=1.719 +[gpua005:0/64] 2023-12-05 01:36:46,143 (trainer:737) INFO: 9epoch:train:13501-13600batch: iter_time=9.163e-05, forward_time=0.147, loss_ctc=84.159, loss_att=71.066, acc=0.632, loss=74.994, backward_time=0.323, grad_norm=50.394, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.341e-04, train_time=1.481 +[gpua005:0/64] 2023-12-05 01:38:50,020 (trainer:737) INFO: 9epoch:train:13601-13700batch: iter_time=9.483e-05, forward_time=0.146, loss_ctc=82.946, loss_att=70.940, acc=0.655, loss=74.542, backward_time=0.265, grad_norm=44.237, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.340e-04, train_time=1.239 +[gpua005:0/64] 2023-12-05 01:40:09,992 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua005:0/64] 2023-12-05 01:40:28,642 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 01:40:32,074 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 01:40:32,074 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua005:0/64] 2023-12-05 01:40:32,077 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 01:46:02,770 (trainer:737) INFO: 9epoch:train:13701-13800batch: iter_time=2.967, forward_time=0.147, loss_ctc=71.152, loss_att=61.554, acc=0.667, loss=64.434, backward_time=0.266, grad_norm=45.424, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.340e-04, train_time=4.326 +[gpua005:0/64] 2023-12-05 01:48:21,643 (trainer:737) INFO: 9epoch:train:13801-13900batch: iter_time=9.079e-05, forward_time=0.149, loss_ctc=81.423, loss_att=63.325, acc=0.670, loss=68.755, backward_time=0.278, grad_norm=45.860, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.134, optim0_lr0=1.339e-04, train_time=1.389 +[gpua005:0/64] 2023-12-05 01:50:47,329 (trainer:737) INFO: 9epoch:train:13901-14000batch: iter_time=8.842e-05, forward_time=0.147, loss_ctc=83.696, loss_att=74.484, acc=0.649, loss=77.247, backward_time=0.279, grad_norm=51.910, clip=100.000, loss_scale=4.836e+24, optim_step_time=0.133, optim0_lr0=1.339e-04, train_time=1.457 +[gpua005:0/64] 2023-12-05 01:53:27,133 (trainer:737) INFO: 9epoch:train:14001-14100batch: iter_time=9.455e-05, forward_time=0.148, loss_ctc=96.943, loss_att=81.888, acc=0.652, loss=86.405, backward_time=0.304, grad_norm=51.538, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.133, optim0_lr0=1.338e-04, train_time=1.598 +[gpua005:0/64] 2023-12-05 01:56:12,233 (trainer:737) INFO: 9epoch:train:14101-14200batch: iter_time=9.208e-05, forward_time=0.181, loss_ctc=78.814, loss_att=66.939, acc=0.656, loss=70.502, backward_time=0.282, grad_norm=46.081, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.150, optim0_lr0=1.338e-04, train_time=1.651 +[gpua005:0/64] 2023-12-05 01:58:24,222 (trainer:737) INFO: 9epoch:train:14201-14300batch: iter_time=9.307e-05, forward_time=0.182, loss_ctc=71.347, loss_att=56.590, acc=0.688, loss=61.017, backward_time=0.312, grad_norm=37.215, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.137, optim0_lr0=1.337e-04, train_time=1.319 +[gpua005:0/64] 2023-12-05 02:01:05,225 (trainer:737) INFO: 9epoch:train:14301-14400batch: iter_time=9.352e-05, forward_time=0.147, loss_ctc=80.552, loss_att=65.977, acc=0.666, loss=70.349, backward_time=0.275, grad_norm=43.552, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.337e-04, train_time=1.610 +[gpua005:0/64] 2023-12-05 02:03:40,222 (trainer:737) INFO: 9epoch:train:14401-14500batch: iter_time=8.766e-05, forward_time=0.147, loss_ctc=69.257, loss_att=49.886, acc=0.691, loss=55.697, backward_time=0.326, grad_norm=39.298, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.336e-04, train_time=1.550 +[gpua005:0/64] 2023-12-05 02:06:16,056 (trainer:737) INFO: 9epoch:train:14501-14600batch: iter_time=8.549e-05, forward_time=0.148, loss_ctc=72.107, loss_att=58.637, acc=0.678, loss=62.678, backward_time=0.294, grad_norm=46.198, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.336e-04, train_time=1.558 +[gpua005:0/64] 2023-12-05 02:09:14,176 (trainer:737) INFO: 9epoch:train:14601-14700batch: iter_time=9.026e-05, forward_time=0.148, loss_ctc=78.308, loss_att=73.049, acc=0.643, loss=74.627, backward_time=0.365, grad_norm=43.140, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.335e-04, train_time=1.780 +[gpua005:0/64] 2023-12-05 02:12:05,962 (trainer:737) INFO: 9epoch:train:14701-14800batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=79.697, loss_att=68.574, acc=0.659, loss=71.911, backward_time=0.294, grad_norm=46.835, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.335e-04, train_time=1.718 +[gpua005:0/64] 2023-12-05 02:14:30,709 (trainer:737) INFO: 9epoch:train:14801-14900batch: iter_time=9.311e-05, forward_time=0.148, loss_ctc=89.881, loss_att=79.445, acc=0.637, loss=82.576, backward_time=0.275, grad_norm=51.948, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.334e-04, train_time=1.447 +[gpua005:0/64] 2023-12-05 02:16:49,388 (trainer:737) INFO: 9epoch:train:14901-15000batch: iter_time=9.242e-05, forward_time=0.147, loss_ctc=72.648, loss_att=56.918, acc=0.675, loss=61.637, backward_time=0.289, grad_norm=45.636, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.334e-04, train_time=1.387 +[gpua005:0/64] 2023-12-05 02:43:37,722 (trainer:343) INFO: 9epoch results: [train] iter_time=0.262, forward_time=0.157, loss_ctc=81.239, loss_att=68.929, acc=0.657, loss=72.622, backward_time=0.293, grad_norm=45.661, clip=100.000, loss_scale=1.924e+24, optim_step_time=0.134, optim0_lr0=1.373e-04, train_time=1.813, time=7 hours, 33 minutes and 36.2 seconds, total_count=135000, gpu_max_cached_mem_GB=35.223, [valid] loss_ctc=59.031, cer_ctc=0.290, loss_att=53.119, acc=0.605, cer=0.327, wer=1.000, loss=54.892, time=26 minutes and 23.56 seconds, total_count=42039, gpu_max_cached_mem_GB=35.223 +[gpua005:0/64] 2023-12-05 02:43:59,916 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua005:0/64] 2023-12-05 02:44:00,018 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/4epoch.pth +[gpua005:0/64] 2023-12-05 02:44:00,098 (trainer:272) INFO: 10/40epoch started. Estimated time to finish: 1 week, 5 days and 4 hours +[gpua005:0/64] 2023-12-05 02:44:00,658 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua005:0/64] 2023-12-05 02:44:18,320 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 02:44:21,624 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 02:44:21,625 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua005:0/64] 2023-12-05 02:44:21,628 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 02:51:21,722 (trainer:737) INFO: 10epoch:train:1-100batch: iter_time=2.681, forward_time=0.178, loss_ctc=81.753, loss_att=70.886, acc=0.631, loss=74.146, backward_time=0.272, grad_norm=50.551, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.333e-04, train_time=4.410 +[gpua005:0/64] 2023-12-05 02:53:23,354 (trainer:737) INFO: 10epoch:train:101-200batch: iter_time=8.831e-05, forward_time=0.146, loss_ctc=70.168, loss_att=56.131, acc=0.660, loss=60.342, backward_time=0.266, grad_norm=43.626, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.333e-04, train_time=1.216 +[gpua005:0/64] 2023-12-05 02:55:31,363 (trainer:737) INFO: 10epoch:train:201-300batch: iter_time=8.598e-05, forward_time=0.146, loss_ctc=93.867, loss_att=86.460, acc=0.620, loss=88.682, backward_time=0.280, grad_norm=58.906, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.133, optim0_lr0=1.332e-04, train_time=1.280 +[gpua005:0/64] 2023-12-05 02:57:41,898 (trainer:737) INFO: 10epoch:train:301-400batch: iter_time=9.305e-05, forward_time=0.147, loss_ctc=93.036, loss_att=78.487, acc=0.633, loss=82.852, backward_time=0.274, grad_norm=57.552, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.133, optim0_lr0=1.332e-04, train_time=1.305 +[gpua005:0/64] 2023-12-05 03:00:13,367 (trainer:737) INFO: 10epoch:train:401-500batch: iter_time=9.623e-05, forward_time=0.149, loss_ctc=69.621, loss_att=57.108, acc=0.660, loss=60.862, backward_time=0.295, grad_norm=46.417, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.135, optim0_lr0=1.331e-04, train_time=1.513 +[gpua005:0/64] 2023-12-05 03:02:34,068 (trainer:737) INFO: 10epoch:train:501-600batch: iter_time=8.690e-05, forward_time=0.173, loss_ctc=76.957, loss_att=66.926, acc=0.654, loss=69.935, backward_time=0.280, grad_norm=46.112, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.331e-04, train_time=1.408 +[gpua005:0/64] 2023-12-05 03:05:11,370 (trainer:737) INFO: 10epoch:train:601-700batch: iter_time=2.145e-04, forward_time=0.171, loss_ctc=81.452, loss_att=66.050, acc=0.658, loss=70.671, backward_time=0.306, grad_norm=45.254, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.330e-04, train_time=1.573 +[gpua005:0/64] 2023-12-05 03:07:46,280 (trainer:737) INFO: 10epoch:train:701-800batch: iter_time=9.470e-05, forward_time=0.179, loss_ctc=76.051, loss_att=64.816, acc=0.655, loss=68.186, backward_time=0.359, grad_norm=50.173, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.138, optim0_lr0=1.330e-04, train_time=1.549 +[gpua005:0/64] 2023-12-05 03:10:32,253 (trainer:737) INFO: 10epoch:train:801-900batch: iter_time=9.160e-05, forward_time=0.147, loss_ctc=79.827, loss_att=67.208, acc=0.641, loss=70.994, backward_time=0.320, grad_norm=49.299, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.133, optim0_lr0=1.329e-04, train_time=1.660 +[gpua005:0/64] 2023-12-05 03:12:58,422 (trainer:737) INFO: 10epoch:train:901-1000batch: iter_time=9.396e-05, forward_time=0.147, loss_ctc=78.722, loss_att=60.568, acc=0.670, loss=66.014, backward_time=0.293, grad_norm=48.328, clip=100.000, loss_scale=9.671e+24, optim_step_time=0.134, optim0_lr0=1.329e-04, train_time=1.461 +[gpua005:0/64] 2023-12-05 03:15:20,305 (trainer:737) INFO: 10epoch:train:1001-1100batch: iter_time=9.605e-05, forward_time=0.147, loss_ctc=105.760, loss_att=77.499, acc=0.624, loss=85.978, backward_time=0.283, grad_norm=65.063, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.328e-04, train_time=1.418 +[gpua005:0/64] 2023-12-05 03:17:44,029 (trainer:737) INFO: 10epoch:train:1101-1200batch: iter_time=0.001, forward_time=0.170, loss_ctc=76.971, loss_att=61.021, acc=0.663, loss=65.806, backward_time=0.310, grad_norm=43.222, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.136, optim0_lr0=1.328e-04, train_time=1.437 +[gpua005:0/64] 2023-12-05 03:19:11,566 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua005:0/64] 2023-12-05 03:19:29,804 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 03:19:33,159 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 03:19:33,159 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua005:0/64] 2023-12-05 03:19:33,180 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 03:26:58,403 (trainer:737) INFO: 10epoch:train:1201-1300batch: iter_time=2.388, forward_time=0.148, loss_ctc=75.393, loss_att=67.276, acc=0.655, loss=69.711, backward_time=0.271, grad_norm=45.962, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.327e-04, train_time=5.545 +[gpua005:0/64] 2023-12-05 03:29:13,465 (trainer:737) INFO: 10epoch:train:1301-1400batch: iter_time=8.639e-05, forward_time=0.158, loss_ctc=79.596, loss_att=70.129, acc=0.644, loss=72.969, backward_time=0.266, grad_norm=46.266, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.327e-04, train_time=1.350 +[gpua005:0/64] 2023-12-05 03:31:44,631 (trainer:737) INFO: 10epoch:train:1401-1500batch: iter_time=7.919e-05, forward_time=0.163, loss_ctc=79.219, loss_att=64.935, acc=0.670, loss=69.220, backward_time=0.277, grad_norm=47.655, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.140, optim0_lr0=1.326e-04, train_time=1.511 +[gpua005:0/64] 2023-12-05 03:34:23,872 (trainer:737) INFO: 10epoch:train:1501-1600batch: iter_time=9.056e-05, forward_time=0.215, loss_ctc=92.463, loss_att=89.423, acc=0.627, loss=90.335, backward_time=0.295, grad_norm=50.050, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.135, optim0_lr0=1.326e-04, train_time=1.592 +[gpua005:0/64] 2023-12-05 03:36:37,685 (trainer:737) INFO: 10epoch:train:1601-1700batch: iter_time=9.330e-05, forward_time=0.173, loss_ctc=75.319, loss_att=60.734, acc=0.675, loss=65.109, backward_time=0.271, grad_norm=43.008, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.135, optim0_lr0=1.325e-04, train_time=1.338 +[gpua005:0/64] 2023-12-05 03:38:58,622 (trainer:737) INFO: 10epoch:train:1701-1800batch: iter_time=7.937e-05, forward_time=0.147, loss_ctc=73.759, loss_att=67.609, acc=0.653, loss=69.454, backward_time=0.282, grad_norm=44.811, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.325e-04, train_time=1.409 +[gpua005:0/64] 2023-12-05 03:41:51,895 (trainer:737) INFO: 10epoch:train:1801-1900batch: iter_time=0.005, forward_time=0.147, loss_ctc=74.531, loss_att=64.490, acc=0.681, loss=67.502, backward_time=0.364, grad_norm=41.073, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.324e-04, train_time=1.731 +[gpua005:0/64] 2023-12-05 03:44:47,629 (trainer:737) INFO: 10epoch:train:1901-2000batch: iter_time=8.784e-05, forward_time=0.147, loss_ctc=77.655, loss_att=64.844, acc=0.670, loss=68.687, backward_time=0.309, grad_norm=45.156, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.135, optim0_lr0=1.324e-04, train_time=1.758 +[gpua005:0/64] 2023-12-05 03:47:15,872 (trainer:737) INFO: 10epoch:train:2001-2100batch: iter_time=8.687e-05, forward_time=0.171, loss_ctc=77.400, loss_att=69.972, acc=0.651, loss=72.200, backward_time=0.288, grad_norm=46.074, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.141, optim0_lr0=1.323e-04, train_time=1.482 +[gpua005:0/64] 2023-12-05 03:49:36,265 (trainer:737) INFO: 10epoch:train:2101-2200batch: iter_time=8.688e-05, forward_time=0.149, loss_ctc=78.361, loss_att=62.838, acc=0.664, loss=67.494, backward_time=0.297, grad_norm=41.993, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.323e-04, train_time=1.404 +[gpua005:0/64] 2023-12-05 03:52:09,855 (trainer:737) INFO: 10epoch:train:2201-2300batch: iter_time=8.835e-05, forward_time=0.147, loss_ctc=93.676, loss_att=68.077, acc=0.662, loss=75.757, backward_time=0.294, grad_norm=57.099, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.133, optim0_lr0=1.322e-04, train_time=1.536 +[gpua005:0/64] 2023-12-05 03:54:28,206 (trainer:737) INFO: 10epoch:train:2301-2400batch: iter_time=9.574e-05, forward_time=0.146, loss_ctc=79.466, loss_att=60.456, acc=0.659, loss=66.159, backward_time=0.289, grad_norm=47.929, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.133, optim0_lr0=1.322e-04, train_time=1.383 +[gpua005:0/64] 2023-12-05 03:57:01,715 (trainer:737) INFO: 10epoch:train:2401-2500batch: iter_time=0.001, forward_time=0.162, loss_ctc=77.112, loss_att=63.013, acc=0.670, loss=67.242, backward_time=0.283, grad_norm=42.995, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.133, optim0_lr0=1.321e-04, train_time=1.535 +[gpua005:0/64] 2023-12-05 03:57:21,914 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua005:0/64] 2023-12-05 03:57:39,774 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 03:57:43,178 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 03:57:43,178 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua005:0/64] 2023-12-05 03:57:43,181 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 04:04:16,076 (trainer:737) INFO: 10epoch:train:2501-2600batch: iter_time=2.973, forward_time=0.171, loss_ctc=79.354, loss_att=68.889, acc=0.656, loss=72.028, backward_time=0.270, grad_norm=47.705, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.135, optim0_lr0=1.321e-04, train_time=4.343 +[gpua005:0/64] 2023-12-05 04:06:19,516 (trainer:737) INFO: 10epoch:train:2601-2700batch: iter_time=9.314e-05, forward_time=0.147, loss_ctc=69.105, loss_att=55.150, acc=0.678, loss=59.337, backward_time=0.267, grad_norm=42.826, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.320e-04, train_time=1.234 +[gpua005:0/64] 2023-12-05 04:08:25,738 (trainer:737) INFO: 10epoch:train:2701-2800batch: iter_time=9.497e-05, forward_time=0.147, loss_ctc=89.607, loss_att=84.626, acc=0.642, loss=86.121, backward_time=0.267, grad_norm=50.187, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.320e-04, train_time=1.262 +[gpua005:0/64] 2023-12-05 04:10:34,788 (trainer:737) INFO: 10epoch:train:2801-2900batch: iter_time=9.229e-05, forward_time=0.151, loss_ctc=90.146, loss_att=76.364, acc=0.654, loss=80.499, backward_time=0.267, grad_norm=49.956, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.319e-04, train_time=1.290 +[gpua005:0/64] 2023-12-05 04:13:05,228 (trainer:737) INFO: 10epoch:train:2901-3000batch: iter_time=1.010e-04, forward_time=0.148, loss_ctc=67.592, loss_att=55.774, acc=0.676, loss=59.319, backward_time=0.296, grad_norm=40.226, clip=100.000, loss_scale=1.934e+25, optim_step_time=0.134, optim0_lr0=1.319e-04, train_time=1.503 +[gpua005:0/64] 2023-12-05 04:15:49,294 (trainer:737) INFO: 10epoch:train:3001-3100batch: iter_time=1.042e-04, forward_time=0.168, loss_ctc=76.054, loss_att=67.148, acc=0.672, loss=69.820, backward_time=0.296, grad_norm=41.556, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.136, optim0_lr0=1.319e-04, train_time=1.642 +[gpua005:0/64] 2023-12-05 04:18:48,283 (trainer:737) INFO: 10epoch:train:3101-3200batch: iter_time=9.755e-05, forward_time=0.149, loss_ctc=78.595, loss_att=64.728, acc=0.675, loss=68.888, backward_time=0.340, grad_norm=45.123, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.318e-04, train_time=1.790 +[gpua005:0/64] 2023-12-05 04:21:13,274 (trainer:737) INFO: 10epoch:train:3201-3300batch: iter_time=9.777e-05, forward_time=0.148, loss_ctc=74.701, loss_att=64.577, acc=0.674, loss=67.614, backward_time=0.297, grad_norm=41.959, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.318e-04, train_time=1.450 +[gpua005:0/64] 2023-12-05 04:23:45,100 (trainer:737) INFO: 10epoch:train:3301-3400batch: iter_time=9.712e-05, forward_time=0.151, loss_ctc=77.502, loss_att=65.775, acc=0.651, loss=69.293, backward_time=0.272, grad_norm=46.082, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.317e-04, train_time=1.518 +[gpua005:0/64] 2023-12-05 04:26:18,198 (trainer:737) INFO: 10epoch:train:3401-3500batch: iter_time=8.833e-05, forward_time=0.167, loss_ctc=76.829, loss_att=60.625, acc=0.681, loss=65.486, backward_time=0.301, grad_norm=44.364, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.317e-04, train_time=1.531 +[gpua005:0/64] 2023-12-05 04:28:42,094 (trainer:737) INFO: 10epoch:train:3501-3600batch: iter_time=9.809e-05, forward_time=0.218, loss_ctc=97.174, loss_att=72.353, acc=0.646, loss=79.799, backward_time=0.303, grad_norm=61.733, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.138, optim0_lr0=1.316e-04, train_time=1.439 +[gpua005:0/64] 2023-12-05 04:30:55,249 (trainer:737) INFO: 10epoch:train:3601-3700batch: iter_time=8.873e-05, forward_time=0.147, loss_ctc=75.399, loss_att=60.313, acc=0.673, loss=64.839, backward_time=0.266, grad_norm=43.992, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.316e-04, train_time=1.331 +[gpua005:0/64] 2023-12-05 04:32:17,006 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua005:0/64] 2023-12-05 04:32:35,152 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 04:32:38,570 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 04:32:38,570 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua005:0/64] 2023-12-05 04:32:38,573 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 04:38:00,892 (trainer:737) INFO: 10epoch:train:3701-3800batch: iter_time=2.615, forward_time=0.150, loss_ctc=73.959, loss_att=63.104, acc=0.673, loss=66.361, backward_time=0.269, grad_norm=42.428, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.133, optim0_lr0=1.315e-04, train_time=4.256 +[gpua005:0/64] 2023-12-05 04:40:03,041 (trainer:737) INFO: 10epoch:train:3801-3900batch: iter_time=8.920e-05, forward_time=0.148, loss_ctc=79.284, loss_att=67.145, acc=0.652, loss=70.787, backward_time=0.265, grad_norm=46.989, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.315e-04, train_time=1.222 +[gpua005:0/64] 2023-12-05 04:42:10,737 (trainer:737) INFO: 10epoch:train:3901-4000batch: iter_time=9.087e-05, forward_time=0.179, loss_ctc=77.718, loss_att=63.326, acc=0.678, loss=67.643, backward_time=0.265, grad_norm=58.510, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.314e-04, train_time=1.277 +[gpua005:0/64] 2023-12-05 04:44:36,032 (trainer:737) INFO: 10epoch:train:4001-4100batch: iter_time=1.008e-04, forward_time=0.152, loss_ctc=90.864, loss_att=86.016, acc=0.636, loss=87.470, backward_time=0.285, grad_norm=52.895, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.314e-04, train_time=1.453 +[gpua005:0/64] 2023-12-05 04:46:46,895 (trainer:737) INFO: 10epoch:train:4101-4200batch: iter_time=1.608e-04, forward_time=0.149, loss_ctc=74.318, loss_att=58.992, acc=0.684, loss=63.590, backward_time=0.265, grad_norm=44.091, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.313e-04, train_time=1.308 +[gpua005:0/64] 2023-12-05 04:49:17,835 (trainer:737) INFO: 10epoch:train:4201-4300batch: iter_time=9.829e-05, forward_time=0.148, loss_ctc=73.171, loss_att=65.064, acc=0.662, loss=67.496, backward_time=0.294, grad_norm=48.099, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.313e-04, train_time=1.509 +[gpua005:0/64] 2023-12-05 04:51:51,765 (trainer:737) INFO: 10epoch:train:4301-4400batch: iter_time=9.964e-05, forward_time=0.151, loss_ctc=73.668, loss_att=63.323, acc=0.686, loss=66.427, backward_time=0.288, grad_norm=39.848, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.135, optim0_lr0=1.312e-04, train_time=1.539 +[gpua005:0/64] 2023-12-05 04:54:32,355 (trainer:737) INFO: 10epoch:train:4401-4500batch: iter_time=1.049e-04, forward_time=0.157, loss_ctc=77.001, loss_att=63.343, acc=0.678, loss=67.441, backward_time=0.314, grad_norm=41.608, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.135, optim0_lr0=1.312e-04, train_time=1.606 +[gpua005:0/64] 2023-12-05 04:57:10,404 (trainer:737) INFO: 10epoch:train:4501-4600batch: iter_time=9.160e-05, forward_time=0.188, loss_ctc=76.550, loss_att=68.185, acc=0.661, loss=70.694, backward_time=0.299, grad_norm=44.986, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.138, optim0_lr0=1.311e-04, train_time=1.580 +[gpua005:0/64] 2023-12-05 04:59:46,951 (trainer:737) INFO: 10epoch:train:4601-4700batch: iter_time=1.003e-04, forward_time=0.147, loss_ctc=77.579, loss_att=62.120, acc=0.669, loss=66.758, backward_time=0.329, grad_norm=55.368, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.311e-04, train_time=1.565 +[gpua005:0/64] 2023-12-05 05:02:23,727 (trainer:737) INFO: 10epoch:train:4701-4800batch: iter_time=9.503e-05, forward_time=0.147, loss_ctc=91.938, loss_att=67.046, acc=0.668, loss=74.513, backward_time=0.292, grad_norm=63.554, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.310e-04, train_time=1.568 +[gpua005:0/64] 2023-12-05 05:04:54,908 (trainer:737) INFO: 10epoch:train:4801-4900batch: iter_time=9.381e-05, forward_time=0.147, loss_ctc=78.020, loss_att=59.454, acc=0.664, loss=65.024, backward_time=0.278, grad_norm=47.086, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.134, optim0_lr0=1.310e-04, train_time=1.512 +[gpua005:0/64] 2023-12-05 05:07:19,069 (trainer:737) INFO: 10epoch:train:4901-5000batch: iter_time=1.073e-04, forward_time=0.149, loss_ctc=75.379, loss_att=61.420, acc=0.675, loss=65.607, backward_time=0.275, grad_norm=43.653, clip=100.000, loss_scale=3.869e+25, optim_step_time=0.135, optim0_lr0=1.310e-04, train_time=1.441 +[gpua005:0/64] 2023-12-05 05:07:39,099 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua005:0/64] 2023-12-05 05:07:57,193 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 05:08:00,568 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 05:08:00,568 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua005:0/64] 2023-12-05 05:08:00,605 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 05:17:00,058 (trainer:737) INFO: 10epoch:train:5001-5100batch: iter_time=2.881, forward_time=0.167, loss_ctc=79.639, loss_att=68.800, acc=0.660, loss=72.052, backward_time=0.269, grad_norm=46.284, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.309e-04, train_time=5.810 +[gpua005:0/64] 2023-12-05 05:19:01,184 (trainer:737) INFO: 10epoch:train:5101-5200batch: iter_time=8.913e-05, forward_time=0.148, loss_ctc=68.222, loss_att=54.112, acc=0.684, loss=58.345, backward_time=0.270, grad_norm=40.966, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.309e-04, train_time=1.211 +[gpua005:0/64] 2023-12-05 05:21:10,631 (trainer:737) INFO: 10epoch:train:5201-5300batch: iter_time=8.958e-05, forward_time=0.147, loss_ctc=88.856, loss_att=83.936, acc=0.648, loss=85.412, backward_time=0.270, grad_norm=59.615, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.308e-04, train_time=1.294 +[gpua005:0/64] 2023-12-05 05:23:35,564 (trainer:737) INFO: 10epoch:train:5301-5400batch: iter_time=9.622e-05, forward_time=0.153, loss_ctc=88.690, loss_att=75.116, acc=0.659, loss=79.188, backward_time=0.277, grad_norm=47.591, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.308e-04, train_time=1.449 +[gpua005:0/64] 2023-12-05 05:25:56,785 (trainer:737) INFO: 10epoch:train:5401-5500batch: iter_time=9.500e-05, forward_time=0.217, loss_ctc=66.894, loss_att=55.370, acc=0.681, loss=58.827, backward_time=0.298, grad_norm=43.770, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.144, optim0_lr0=1.307e-04, train_time=1.412 +[gpua005:0/64] 2023-12-05 05:28:59,079 (trainer:737) INFO: 10epoch:train:5501-5600batch: iter_time=9.383e-05, forward_time=0.148, loss_ctc=75.193, loss_att=65.248, acc=0.678, loss=68.232, backward_time=0.338, grad_norm=43.201, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.307e-04, train_time=1.823 +[gpua005:0/64] 2023-12-05 05:31:35,481 (trainer:737) INFO: 10epoch:train:5601-5700batch: iter_time=1.008e-04, forward_time=0.147, loss_ctc=78.131, loss_att=64.025, acc=0.680, loss=68.257, backward_time=0.301, grad_norm=44.227, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.306e-04, train_time=1.564 +[gpua005:0/64] 2023-12-05 05:34:00,748 (trainer:737) INFO: 10epoch:train:5701-5800batch: iter_time=1.063e-04, forward_time=0.147, loss_ctc=74.615, loss_att=63.945, acc=0.677, loss=67.146, backward_time=0.325, grad_norm=43.925, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.306e-04, train_time=1.452 +[gpua005:0/64] 2023-12-05 05:36:34,428 (trainer:737) INFO: 10epoch:train:5801-5900batch: iter_time=1.039e-04, forward_time=0.148, loss_ctc=75.655, loss_att=64.515, acc=0.655, loss=67.857, backward_time=0.282, grad_norm=42.918, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.135, optim0_lr0=1.305e-04, train_time=1.537 +[gpua005:0/64] 2023-12-05 05:39:03,876 (trainer:737) INFO: 10epoch:train:5901-6000batch: iter_time=9.523e-05, forward_time=0.172, loss_ctc=75.593, loss_att=59.347, acc=0.685, loss=64.220, backward_time=0.310, grad_norm=45.658, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.136, optim0_lr0=1.305e-04, train_time=1.494 +[gpua005:0/64] 2023-12-05 05:41:28,607 (trainer:737) INFO: 10epoch:train:6001-6100batch: iter_time=9.537e-05, forward_time=0.147, loss_ctc=95.614, loss_att=71.211, acc=0.651, loss=78.532, backward_time=0.292, grad_norm=59.626, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.304e-04, train_time=1.448 +[gpua005:0/64] 2023-12-05 05:43:38,238 (trainer:737) INFO: 10epoch:train:6101-6200batch: iter_time=9.677e-05, forward_time=0.147, loss_ctc=74.923, loss_att=59.710, acc=0.675, loss=64.274, backward_time=0.266, grad_norm=43.613, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.133, optim0_lr0=1.304e-04, train_time=1.296 +[gpua005:0/64] 2023-12-05 05:45:01,518 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua005:0/64] 2023-12-05 05:45:19,814 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 05:45:23,198 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 05:45:23,198 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua005:0/64] 2023-12-05 05:45:23,201 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 05:50:32,466 (trainer:737) INFO: 10epoch:train:6201-6300batch: iter_time=2.632, forward_time=0.181, loss_ctc=72.412, loss_att=63.919, acc=0.668, loss=66.467, backward_time=0.272, grad_norm=57.088, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.135, optim0_lr0=1.303e-04, train_time=4.142 +[gpua005:0/64] 2023-12-05 05:52:33,890 (trainer:737) INFO: 10epoch:train:6301-6400batch: iter_time=8.808e-05, forward_time=0.147, loss_ctc=78.679, loss_att=69.241, acc=0.631, loss=72.072, backward_time=0.264, grad_norm=50.237, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.303e-04, train_time=1.214 +[gpua005:0/64] 2023-12-05 05:54:46,262 (trainer:737) INFO: 10epoch:train:6401-6500batch: iter_time=8.942e-05, forward_time=0.147, loss_ctc=76.413, loss_att=63.624, acc=0.673, loss=67.460, backward_time=0.269, grad_norm=54.173, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.303e-04, train_time=1.324 +[gpua005:0/64] 2023-12-05 05:57:19,143 (trainer:737) INFO: 10epoch:train:6501-6600batch: iter_time=9.571e-05, forward_time=0.149, loss_ctc=89.798, loss_att=85.521, acc=0.626, loss=86.804, backward_time=0.294, grad_norm=54.451, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.302e-04, train_time=1.529 +[gpua005:0/64] 2023-12-05 05:59:34,671 (trainer:737) INFO: 10epoch:train:6601-6700batch: iter_time=8.738e-05, forward_time=0.165, loss_ctc=73.127, loss_att=58.520, acc=0.678, loss=62.902, backward_time=0.294, grad_norm=40.806, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.136, optim0_lr0=1.302e-04, train_time=1.355 +[gpua005:0/64] 2023-12-05 06:02:21,568 (trainer:737) INFO: 10epoch:train:6701-6800batch: iter_time=9.166e-05, forward_time=0.147, loss_ctc=72.535, loss_att=65.055, acc=0.650, loss=67.299, backward_time=0.287, grad_norm=46.639, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.301e-04, train_time=1.669 +[gpua005:0/64] 2023-12-05 06:04:40,412 (trainer:737) INFO: 10epoch:train:6801-6900batch: iter_time=8.609e-05, forward_time=0.147, loss_ctc=72.843, loss_att=63.097, acc=0.680, loss=66.020, backward_time=0.283, grad_norm=44.202, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.134, optim0_lr0=1.301e-04, train_time=1.388 +[gpua005:0/64] 2023-12-05 06:07:17,893 (trainer:737) INFO: 10epoch:train:6901-7000batch: iter_time=8.924e-05, forward_time=0.177, loss_ctc=76.367, loss_att=64.046, acc=0.662, loss=67.742, backward_time=0.308, grad_norm=54.391, clip=100.000, loss_scale=7.737e+25, optim_step_time=0.138, optim0_lr0=1.300e-04, train_time=1.575 +[gpua005:0/64] 2023-12-05 06:09:55,009 (trainer:737) INFO: 10epoch:train:7001-7100batch: iter_time=9.539e-05, forward_time=0.161, loss_ctc=75.835, loss_att=66.432, acc=0.655, loss=69.253, backward_time=0.320, grad_norm=49.525, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.135, optim0_lr0=1.300e-04, train_time=1.571 +[gpua005:0/64] 2023-12-05 06:12:19,683 (trainer:737) INFO: 10epoch:train:7101-7200batch: iter_time=8.993e-05, forward_time=0.148, loss_ctc=76.931, loss_att=60.809, acc=0.671, loss=65.646, backward_time=0.290, grad_norm=43.308, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.299e-04, train_time=1.447 +[gpua005:0/64] 2023-12-05 06:15:20,209 (trainer:737) INFO: 10epoch:train:7201-7300batch: iter_time=9.219e-05, forward_time=0.147, loss_ctc=87.835, loss_att=66.608, acc=0.669, loss=72.976, backward_time=0.313, grad_norm=56.387, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.299e-04, train_time=1.805 +[gpua005:0/64] 2023-12-05 06:17:37,272 (trainer:737) INFO: 10epoch:train:7301-7400batch: iter_time=9.036e-05, forward_time=0.146, loss_ctc=76.973, loss_att=58.432, acc=0.664, loss=63.994, backward_time=0.282, grad_norm=47.294, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.298e-04, train_time=1.370 +[gpua005:0/64] 2023-12-05 06:19:59,015 (trainer:737) INFO: 10epoch:train:7401-7500batch: iter_time=5.145e-04, forward_time=0.151, loss_ctc=74.994, loss_att=61.812, acc=0.666, loss=65.767, backward_time=0.286, grad_norm=45.198, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.135, optim0_lr0=1.298e-04, train_time=1.417 +[gpua005:0/64] 2023-12-05 06:20:19,044 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua005:0/64] 2023-12-05 06:20:37,319 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 06:20:40,721 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 06:20:40,721 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua005:0/64] 2023-12-05 06:20:40,738 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 06:27:37,099 (trainer:737) INFO: 10epoch:train:7501-7600batch: iter_time=2.913, forward_time=0.170, loss_ctc=79.032, loss_att=70.456, acc=0.657, loss=73.029, backward_time=0.276, grad_norm=50.260, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.298e-04, train_time=4.580 +[gpua005:0/64] 2023-12-05 06:30:01,179 (trainer:737) INFO: 10epoch:train:7601-7700batch: iter_time=9.223e-05, forward_time=0.149, loss_ctc=68.142, loss_att=54.172, acc=0.685, loss=58.363, backward_time=0.295, grad_norm=41.743, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.135, optim0_lr0=1.297e-04, train_time=1.441 +[gpua005:0/64] 2023-12-05 06:32:45,504 (trainer:737) INFO: 10epoch:train:7701-7800batch: iter_time=8.970e-05, forward_time=0.150, loss_ctc=87.405, loss_att=82.760, acc=0.651, loss=84.154, backward_time=0.324, grad_norm=54.256, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.297e-04, train_time=1.643 +[gpua005:0/64] 2023-12-05 06:35:06,182 (trainer:737) INFO: 10epoch:train:7801-7900batch: iter_time=9.686e-05, forward_time=0.147, loss_ctc=87.436, loss_att=73.924, acc=0.663, loss=77.978, backward_time=0.269, grad_norm=49.583, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.296e-04, train_time=1.407 +[gpua005:0/64] 2023-12-05 06:37:45,383 (trainer:737) INFO: 10epoch:train:7901-8000batch: iter_time=9.279e-05, forward_time=0.183, loss_ctc=67.199, loss_att=55.022, acc=0.683, loss=58.675, backward_time=0.295, grad_norm=40.639, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.136, optim0_lr0=1.296e-04, train_time=1.592 +[gpua005:0/64] 2023-12-05 06:40:24,827 (trainer:737) INFO: 10epoch:train:8001-8100batch: iter_time=9.036e-05, forward_time=0.186, loss_ctc=74.779, loss_att=65.850, acc=0.678, loss=68.529, backward_time=0.308, grad_norm=41.589, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.295e-04, train_time=1.594 +[gpua005:0/64] 2023-12-05 06:43:03,624 (trainer:737) INFO: 10epoch:train:8101-8200batch: iter_time=9.802e-05, forward_time=0.148, loss_ctc=76.762, loss_att=62.633, acc=0.684, loss=66.872, backward_time=0.301, grad_norm=41.515, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.295e-04, train_time=1.588 +[gpua005:0/64] 2023-12-05 06:45:26,914 (trainer:737) INFO: 10epoch:train:8201-8300batch: iter_time=9.148e-05, forward_time=0.147, loss_ctc=74.122, loss_att=64.324, acc=0.677, loss=67.264, backward_time=0.288, grad_norm=41.839, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.294e-04, train_time=1.433 +[gpua005:0/64] 2023-12-05 06:48:01,509 (trainer:737) INFO: 10epoch:train:8301-8400batch: iter_time=9.494e-05, forward_time=0.147, loss_ctc=75.514, loss_att=63.806, acc=0.661, loss=67.318, backward_time=0.350, grad_norm=44.320, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.294e-04, train_time=1.546 +[gpua005:0/64] 2023-12-05 06:50:56,501 (trainer:737) INFO: 10epoch:train:8401-8500batch: iter_time=9.346e-05, forward_time=0.156, loss_ctc=75.787, loss_att=58.962, acc=0.691, loss=64.009, backward_time=0.287, grad_norm=44.434, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.293e-04, train_time=1.749 +[gpua005:0/64] 2023-12-05 06:53:42,844 (trainer:737) INFO: 10epoch:train:8501-8600batch: iter_time=9.435e-05, forward_time=0.172, loss_ctc=93.110, loss_att=71.348, acc=0.652, loss=77.876, backward_time=0.305, grad_norm=58.324, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.293e-04, train_time=1.663 +[gpua005:0/64] 2023-12-05 06:55:55,398 (trainer:737) INFO: 10epoch:train:8601-8700batch: iter_time=9.342e-05, forward_time=0.147, loss_ctc=74.850, loss_att=58.502, acc=0.681, loss=63.406, backward_time=0.272, grad_norm=42.167, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.293e-04, train_time=1.324 +[gpua005:0/64] 2023-12-05 06:57:31,057 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua005:0/64] 2023-12-05 06:57:49,507 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 06:57:52,941 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 06:57:52,941 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua005:0/64] 2023-12-05 06:57:52,944 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 07:03:22,790 (trainer:737) INFO: 10epoch:train:8701-8800batch: iter_time=2.956, forward_time=0.174, loss_ctc=72.644, loss_att=63.425, acc=0.672, loss=66.191, backward_time=0.279, grad_norm=43.897, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.134, optim0_lr0=1.292e-04, train_time=4.475 +[gpua005:0/64] 2023-12-05 07:05:23,785 (trainer:737) INFO: 10epoch:train:8801-8900batch: iter_time=8.439e-05, forward_time=0.149, loss_ctc=77.303, loss_att=66.583, acc=0.640, loss=69.799, backward_time=0.267, grad_norm=46.400, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.292e-04, train_time=1.210 +[gpua005:0/64] 2023-12-05 07:07:44,139 (trainer:737) INFO: 10epoch:train:8901-9000batch: iter_time=8.398e-05, forward_time=0.146, loss_ctc=77.109, loss_att=63.130, acc=0.673, loss=67.324, backward_time=0.284, grad_norm=49.252, clip=100.000, loss_scale=1.547e+26, optim_step_time=0.133, optim0_lr0=1.291e-04, train_time=1.403 +[gpua005:0/64] 2023-12-05 07:09:48,708 (trainer:737) INFO: 10epoch:train:9001-9100batch: iter_time=8.207e-05, forward_time=0.149, loss_ctc=89.700, loss_att=84.076, acc=0.631, loss=85.763, backward_time=0.273, grad_norm=48.472, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.291e-04, train_time=1.245 +[gpua005:0/64] 2023-12-05 07:12:12,582 (trainer:737) INFO: 10epoch:train:9101-9200batch: iter_time=8.584e-05, forward_time=0.147, loss_ctc=72.722, loss_att=57.443, acc=0.684, loss=62.027, backward_time=0.277, grad_norm=39.675, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.290e-04, train_time=1.439 +[gpua005:0/64] 2023-12-05 07:15:15,641 (trainer:737) INFO: 10epoch:train:9201-9300batch: iter_time=8.304e-05, forward_time=0.148, loss_ctc=71.900, loss_att=63.643, acc=0.656, loss=66.120, backward_time=0.317, grad_norm=46.372, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.133, optim0_lr0=1.290e-04, train_time=1.830 +[gpua005:0/64] 2023-12-05 07:17:43,836 (trainer:737) INFO: 10epoch:train:9301-9400batch: iter_time=8.602e-05, forward_time=0.157, loss_ctc=72.468, loss_att=62.479, acc=0.685, loss=65.476, backward_time=0.289, grad_norm=38.643, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.289e-04, train_time=1.481 +[gpua005:0/64] 2023-12-05 07:20:22,852 (trainer:737) INFO: 10epoch:train:9401-9500batch: iter_time=5.350e-04, forward_time=0.202, loss_ctc=75.038, loss_att=62.358, acc=0.669, loss=66.162, backward_time=0.292, grad_norm=42.148, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.137, optim0_lr0=1.289e-04, train_time=1.590 +[gpua005:0/64] 2023-12-05 07:22:47,796 (trainer:737) INFO: 10epoch:train:9501-9600batch: iter_time=8.479e-05, forward_time=0.150, loss_ctc=75.261, loss_att=66.140, acc=0.658, loss=68.876, backward_time=0.282, grad_norm=48.099, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.289e-04, train_time=1.449 +[gpua005:0/64] 2023-12-05 07:25:38,264 (trainer:737) INFO: 10epoch:train:9601-9700batch: iter_time=9.866e-05, forward_time=0.147, loss_ctc=75.946, loss_att=60.900, acc=0.670, loss=65.414, backward_time=0.344, grad_norm=43.658, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.288e-04, train_time=1.704 +[gpua005:0/64] 2023-12-05 07:28:00,827 (trainer:737) INFO: 10epoch:train:9701-9800batch: iter_time=8.903e-05, forward_time=0.149, loss_ctc=88.012, loss_att=65.684, acc=0.673, loss=72.382, backward_time=0.280, grad_norm=53.716, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.288e-04, train_time=1.426 +[gpua005:0/64] 2023-12-05 07:30:24,119 (trainer:737) INFO: 10epoch:train:9801-9900batch: iter_time=9.431e-05, forward_time=0.185, loss_ctc=76.265, loss_att=58.286, acc=0.665, loss=63.680, backward_time=0.290, grad_norm=42.988, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.136, optim0_lr0=1.287e-04, train_time=1.433 +[gpua005:0/64] 2023-12-05 07:32:32,009 (trainer:737) INFO: 10epoch:train:9901-10000batch: iter_time=8.392e-05, forward_time=0.167, loss_ctc=74.307, loss_att=61.237, acc=0.669, loss=65.158, backward_time=0.274, grad_norm=44.314, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.135, optim0_lr0=1.287e-04, train_time=1.279 +[gpua005:0/64] 2023-12-05 07:32:52,062 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua005:0/64] 2023-12-05 07:33:10,411 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 07:33:13,823 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 07:33:13,823 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua005:0/64] 2023-12-05 07:33:13,827 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 07:40:09,819 (trainer:737) INFO: 10epoch:train:10001-10100batch: iter_time=3.199, forward_time=0.149, loss_ctc=78.285, loss_att=69.528, acc=0.660, loss=72.155, backward_time=0.270, grad_norm=46.824, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.136, optim0_lr0=1.286e-04, train_time=4.578 +[gpua005:0/64] 2023-12-05 07:42:13,963 (trainer:737) INFO: 10epoch:train:10101-10200batch: iter_time=9.204e-05, forward_time=0.148, loss_ctc=67.140, loss_att=53.413, acc=0.687, loss=57.531, backward_time=0.268, grad_norm=39.673, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.286e-04, train_time=1.241 +[gpua005:0/64] 2023-12-05 07:44:37,926 (trainer:737) INFO: 10epoch:train:10201-10300batch: iter_time=9.107e-05, forward_time=0.147, loss_ctc=86.549, loss_att=82.941, acc=0.654, loss=84.024, backward_time=0.271, grad_norm=51.951, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.285e-04, train_time=1.439 +[gpua005:0/64] 2023-12-05 07:46:42,273 (trainer:737) INFO: 10epoch:train:10301-10400batch: iter_time=9.130e-05, forward_time=0.150, loss_ctc=87.153, loss_att=73.876, acc=0.664, loss=77.859, backward_time=0.268, grad_norm=50.732, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.285e-04, train_time=1.243 +[gpua005:0/64] 2023-12-05 07:49:33,446 (trainer:737) INFO: 10epoch:train:10401-10500batch: iter_time=9.102e-05, forward_time=0.197, loss_ctc=66.343, loss_att=54.966, acc=0.682, loss=58.379, backward_time=0.302, grad_norm=41.609, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.135, optim0_lr0=1.285e-04, train_time=1.711 +[gpua005:0/64] 2023-12-05 07:52:01,491 (trainer:737) INFO: 10epoch:train:10501-10600batch: iter_time=8.933e-05, forward_time=0.147, loss_ctc=74.246, loss_att=65.319, acc=0.679, loss=67.997, backward_time=0.284, grad_norm=42.340, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.134, optim0_lr0=1.284e-04, train_time=1.480 +[gpua005:0/64] 2023-12-05 07:54:22,321 (trainer:737) INFO: 10epoch:train:10601-10700batch: iter_time=9.728e-05, forward_time=0.147, loss_ctc=76.261, loss_att=62.410, acc=0.686, loss=66.565, backward_time=0.282, grad_norm=39.074, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.133, optim0_lr0=1.284e-04, train_time=1.407 +[gpua005:0/64] 2023-12-05 07:57:23,434 (trainer:737) INFO: 10epoch:train:10701-10800batch: iter_time=9.179e-05, forward_time=0.184, loss_ctc=73.494, loss_att=63.602, acc=0.679, loss=66.570, backward_time=0.319, grad_norm=41.946, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.135, optim0_lr0=1.283e-04, train_time=1.812 +[gpua005:0/64] 2023-12-05 08:00:10,628 (trainer:737) INFO: 10epoch:train:10801-10900batch: iter_time=9.345e-05, forward_time=0.172, loss_ctc=75.207, loss_att=63.532, acc=0.663, loss=67.035, backward_time=0.336, grad_norm=46.792, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.135, optim0_lr0=1.283e-04, train_time=1.672 +[gpua005:0/64] 2023-12-05 08:03:02,411 (trainer:737) INFO: 10epoch:train:10901-11000batch: iter_time=8.828e-05, forward_time=0.146, loss_ctc=74.799, loss_att=58.134, acc=0.691, loss=63.134, backward_time=0.314, grad_norm=90.673, clip=100.000, loss_scale=3.095e+26, optim_step_time=0.133, optim0_lr0=1.282e-04, train_time=1.718 +[gpua005:0/64] 2023-12-05 08:05:12,322 (trainer:737) INFO: 10epoch:train:11001-11100batch: iter_time=8.965e-05, forward_time=0.151, loss_ctc=91.414, loss_att=70.730, acc=0.655, loss=76.935, backward_time=0.268, grad_norm=59.125, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.282e-04, train_time=1.299 +[gpua005:0/64] 2023-12-05 08:07:47,734 (trainer:737) INFO: 10epoch:train:11101-11200batch: iter_time=9.817e-05, forward_time=0.148, loss_ctc=73.867, loss_att=58.238, acc=0.683, loss=62.927, backward_time=0.275, grad_norm=41.607, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.281e-04, train_time=1.554 +[gpua005:0/64] 2023-12-05 08:09:22,905 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua005:0/64] 2023-12-05 08:09:42,172 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 08:09:45,621 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 08:09:45,621 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua005:0/64] 2023-12-05 08:09:45,624 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 08:15:20,937 (trainer:737) INFO: 10epoch:train:11201-11300batch: iter_time=3.064, forward_time=0.176, loss_ctc=71.972, loss_att=62.497, acc=0.675, loss=65.340, backward_time=0.274, grad_norm=44.194, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.281e-04, train_time=4.532 +[gpua005:0/64] 2023-12-05 08:17:23,325 (trainer:737) INFO: 10epoch:train:11301-11400batch: iter_time=8.605e-05, forward_time=0.149, loss_ctc=77.431, loss_att=66.149, acc=0.642, loss=69.533, backward_time=0.266, grad_norm=50.884, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.281e-04, train_time=1.224 +[gpua005:0/64] 2023-12-05 08:19:30,337 (trainer:737) INFO: 10epoch:train:11401-11500batch: iter_time=8.992e-05, forward_time=0.147, loss_ctc=75.808, loss_att=62.719, acc=0.675, loss=66.646, backward_time=0.270, grad_norm=51.432, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.280e-04, train_time=1.270 +[gpua005:0/64] 2023-12-05 08:21:54,635 (trainer:737) INFO: 10epoch:train:11501-11600batch: iter_time=9.172e-05, forward_time=0.146, loss_ctc=88.764, loss_att=83.266, acc=0.634, loss=84.915, backward_time=0.272, grad_norm=55.129, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.280e-04, train_time=1.443 +[gpua005:0/64] 2023-12-05 08:24:22,204 (trainer:737) INFO: 10epoch:train:11601-11700batch: iter_time=9.547e-05, forward_time=0.173, loss_ctc=72.376, loss_att=57.224, acc=0.686, loss=61.770, backward_time=0.279, grad_norm=41.058, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.279e-04, train_time=1.474 +[gpua005:0/64] 2023-12-05 08:27:13,964 (trainer:737) INFO: 10epoch:train:11701-11800batch: iter_time=9.210e-05, forward_time=0.190, loss_ctc=71.701, loss_att=63.383, acc=0.656, loss=65.878, backward_time=0.304, grad_norm=46.559, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.135, optim0_lr0=1.279e-04, train_time=1.719 +[gpua005:0/64] 2023-12-05 08:29:50,265 (trainer:737) INFO: 10epoch:train:11801-11900batch: iter_time=9.236e-05, forward_time=0.147, loss_ctc=72.303, loss_att=62.152, acc=0.685, loss=65.197, backward_time=0.296, grad_norm=40.180, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.278e-04, train_time=1.563 +[gpua005:0/64] 2023-12-05 08:32:06,761 (trainer:737) INFO: 10epoch:train:11901-12000batch: iter_time=9.400e-05, forward_time=0.152, loss_ctc=74.705, loss_att=61.618, acc=0.672, loss=65.544, backward_time=0.285, grad_norm=41.942, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.135, optim0_lr0=1.278e-04, train_time=1.365 +[gpua005:0/64] 2023-12-05 08:35:11,795 (trainer:737) INFO: 10epoch:train:12001-12100batch: iter_time=9.446e-05, forward_time=0.147, loss_ctc=74.058, loss_att=65.424, acc=0.661, loss=68.014, backward_time=0.330, grad_norm=45.504, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.278e-04, train_time=1.850 +[gpua005:0/64] 2023-12-05 08:37:40,344 (trainer:737) INFO: 10epoch:train:12101-12200batch: iter_time=8.963e-05, forward_time=0.147, loss_ctc=75.402, loss_att=60.604, acc=0.672, loss=65.044, backward_time=0.279, grad_norm=43.114, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.277e-04, train_time=1.485 +[gpua005:0/64] 2023-12-05 08:40:04,361 (trainer:737) INFO: 10epoch:train:12201-12300batch: iter_time=8.781e-05, forward_time=0.151, loss_ctc=86.063, loss_att=65.591, acc=0.675, loss=71.732, backward_time=0.285, grad_norm=59.445, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.277e-04, train_time=1.440 +[gpua005:0/64] 2023-12-05 08:42:31,878 (trainer:737) INFO: 10epoch:train:12301-12400batch: iter_time=9.021e-05, forward_time=0.174, loss_ctc=75.730, loss_att=57.721, acc=0.670, loss=63.124, backward_time=0.302, grad_norm=48.670, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.135, optim0_lr0=1.276e-04, train_time=1.474 +[gpua005:0/64] 2023-12-05 08:44:46,786 (trainer:737) INFO: 10epoch:train:12401-12500batch: iter_time=8.486e-05, forward_time=0.147, loss_ctc=73.613, loss_att=60.737, acc=0.671, loss=64.600, backward_time=0.287, grad_norm=43.415, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.276e-04, train_time=1.350 +[gpua005:0/64] 2023-12-05 08:45:06,813 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua005:0/64] 2023-12-05 08:45:25,325 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 08:45:28,719 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 08:45:28,719 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua005:0/64] 2023-12-05 08:45:28,747 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 08:52:32,215 (trainer:737) INFO: 10epoch:train:12501-12600batch: iter_time=3.022, forward_time=0.183, loss_ctc=76.807, loss_att=66.523, acc=0.651, loss=69.608, backward_time=0.278, grad_norm=43.718, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.275e-04, train_time=4.654 +[gpua005:0/64] 2023-12-05 08:54:44,524 (trainer:737) INFO: 10epoch:train:12601-12700batch: iter_time=9.497e-05, forward_time=0.148, loss_ctc=66.755, loss_att=52.917, acc=0.682, loss=57.068, backward_time=0.271, grad_norm=38.468, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.134, optim0_lr0=1.275e-04, train_time=1.323 +[gpua005:0/64] 2023-12-05 08:56:59,122 (trainer:737) INFO: 10epoch:train:12701-12800batch: iter_time=8.863e-05, forward_time=0.147, loss_ctc=85.503, loss_att=80.817, acc=0.641, loss=82.223, backward_time=0.267, grad_norm=53.900, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.274e-04, train_time=1.346 +[gpua005:0/64] 2023-12-05 08:59:23,347 (trainer:737) INFO: 10epoch:train:12801-12900batch: iter_time=9.025e-05, forward_time=0.147, loss_ctc=85.968, loss_att=72.329, acc=0.662, loss=76.421, backward_time=0.278, grad_norm=48.682, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.274e-04, train_time=1.442 +[gpua005:0/64] 2023-12-05 09:01:31,659 (trainer:737) INFO: 10epoch:train:12901-13000batch: iter_time=9.818e-05, forward_time=0.146, loss_ctc=65.750, loss_att=53.603, acc=0.681, loss=57.247, backward_time=0.266, grad_norm=39.465, clip=100.000, loss_scale=6.190e+26, optim_step_time=0.133, optim0_lr0=1.274e-04, train_time=1.283 +[gpua005:0/64] 2023-12-05 09:04:12,167 (trainer:737) INFO: 10epoch:train:13001-13100batch: iter_time=9.308e-05, forward_time=0.151, loss_ctc=73.628, loss_att=63.154, acc=0.673, loss=66.296, backward_time=0.323, grad_norm=42.812, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.273e-04, train_time=1.605 +[gpua005:0/64] 2023-12-05 09:06:53,627 (trainer:737) INFO: 10epoch:train:13101-13200batch: iter_time=9.198e-05, forward_time=0.165, loss_ctc=75.772, loss_att=62.347, acc=0.678, loss=66.374, backward_time=0.297, grad_norm=42.861, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.273e-04, train_time=1.614 +[gpua005:0/64] 2023-12-05 09:10:01,378 (trainer:737) INFO: 10epoch:train:13201-13300batch: iter_time=9.112e-05, forward_time=0.147, loss_ctc=72.454, loss_att=61.524, acc=0.675, loss=64.803, backward_time=0.307, grad_norm=43.801, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.272e-04, train_time=1.878 +[gpua005:0/64] 2023-12-05 09:12:35,506 (trainer:737) INFO: 10epoch:train:13301-13400batch: iter_time=8.898e-05, forward_time=0.147, loss_ctc=73.121, loss_att=62.510, acc=0.660, loss=65.693, backward_time=0.279, grad_norm=43.896, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.272e-04, train_time=1.541 +[gpua005:0/64] 2023-12-05 09:15:09,773 (trainer:737) INFO: 10epoch:train:13401-13500batch: iter_time=8.956e-05, forward_time=0.200, loss_ctc=73.640, loss_att=57.765, acc=0.688, loss=62.527, backward_time=0.315, grad_norm=42.621, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.137, optim0_lr0=1.271e-04, train_time=1.542 +[gpua005:0/64] 2023-12-05 09:17:58,244 (trainer:737) INFO: 10epoch:train:13501-13600batch: iter_time=8.742e-05, forward_time=0.148, loss_ctc=91.364, loss_att=70.458, acc=0.652, loss=76.730, backward_time=0.289, grad_norm=61.012, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.271e-04, train_time=1.685 +[gpua005:0/64] 2023-12-05 09:20:10,079 (trainer:737) INFO: 10epoch:train:13601-13700batch: iter_time=8.591e-05, forward_time=0.147, loss_ctc=73.437, loss_att=57.204, acc=0.682, loss=62.074, backward_time=0.267, grad_norm=43.356, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.271e-04, train_time=1.318 +[gpua005:0/64] 2023-12-05 09:21:31,563 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua005:0/64] 2023-12-05 09:21:50,072 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 09:21:53,487 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 09:21:53,487 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua005:0/64] 2023-12-05 09:21:53,491 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 09:27:27,590 (trainer:737) INFO: 10epoch:train:13701-13800batch: iter_time=3.092, forward_time=0.178, loss_ctc=70.844, loss_att=61.801, acc=0.672, loss=64.514, backward_time=0.274, grad_norm=43.882, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.270e-04, train_time=4.375 +[gpua005:0/64] 2023-12-05 09:29:30,994 (trainer:737) INFO: 10epoch:train:13801-13900batch: iter_time=8.703e-05, forward_time=0.147, loss_ctc=76.653, loss_att=64.080, acc=0.647, loss=67.852, backward_time=0.267, grad_norm=44.481, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.270e-04, train_time=1.234 +[gpua005:0/64] 2023-12-05 09:31:33,231 (trainer:737) INFO: 10epoch:train:13901-14000batch: iter_time=8.904e-05, forward_time=0.148, loss_ctc=74.951, loss_att=61.285, acc=0.680, loss=65.385, backward_time=0.265, grad_norm=48.074, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.269e-04, train_time=1.222 +[gpua005:0/64] 2023-12-05 09:34:11,522 (trainer:737) INFO: 10epoch:train:14001-14100batch: iter_time=9.095e-05, forward_time=0.147, loss_ctc=88.452, loss_att=81.441, acc=0.638, loss=83.544, backward_time=0.277, grad_norm=50.247, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.269e-04, train_time=1.583 +[gpua005:0/64] 2023-12-05 09:36:47,331 (trainer:737) INFO: 10epoch:train:14101-14200batch: iter_time=8.396e-04, forward_time=0.223, loss_ctc=72.014, loss_att=56.056, acc=0.689, loss=60.843, backward_time=0.304, grad_norm=49.359, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.141, optim0_lr0=1.269e-04, train_time=1.558 +[gpua005:0/64] 2023-12-05 09:39:25,416 (trainer:737) INFO: 10epoch:train:14201-14300batch: iter_time=9.284e-05, forward_time=0.178, loss_ctc=70.815, loss_att=61.391, acc=0.664, loss=64.218, backward_time=0.285, grad_norm=43.259, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.135, optim0_lr0=1.268e-04, train_time=1.581 +[gpua005:0/64] 2023-12-05 09:43:27,211 (trainer:737) INFO: 10epoch:train:14301-14400batch: iter_time=9.395e-05, forward_time=0.147, loss_ctc=71.561, loss_att=61.290, acc=0.688, loss=64.371, backward_time=0.374, grad_norm=40.874, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.268e-04, train_time=2.418 +[gpua005:0/64] 2023-12-05 09:45:54,205 (trainer:737) INFO: 10epoch:train:14401-14500batch: iter_time=9.094e-05, forward_time=0.147, loss_ctc=74.720, loss_att=61.438, acc=0.674, loss=65.422, backward_time=0.324, grad_norm=42.538, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.134, optim0_lr0=1.267e-04, train_time=1.470 +[gpua005:0/64] 2023-12-05 09:48:37,263 (trainer:737) INFO: 10epoch:train:14501-14600batch: iter_time=8.833e-05, forward_time=0.146, loss_ctc=73.292, loss_att=64.496, acc=0.664, loss=67.135, backward_time=0.319, grad_norm=45.467, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.267e-04, train_time=1.630 +[gpua005:0/64] 2023-12-05 09:50:56,831 (trainer:737) INFO: 10epoch:train:14601-14700batch: iter_time=8.531e-05, forward_time=0.146, loss_ctc=75.738, loss_att=59.726, acc=0.673, loss=64.529, backward_time=0.291, grad_norm=44.520, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.266e-04, train_time=1.395 +[gpua005:0/64] 2023-12-05 09:53:05,783 (trainer:737) INFO: 10epoch:train:14701-14800batch: iter_time=9.448e-05, forward_time=0.146, loss_ctc=85.750, loss_att=65.439, acc=0.676, loss=71.532, backward_time=0.281, grad_norm=58.832, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.266e-04, train_time=1.289 +[gpua005:0/64] 2023-12-05 09:55:22,026 (trainer:737) INFO: 10epoch:train:14801-14900batch: iter_time=9.456e-05, forward_time=0.146, loss_ctc=74.199, loss_att=56.703, acc=0.672, loss=61.952, backward_time=0.283, grad_norm=54.403, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.266e-04, train_time=1.362 +[gpua005:0/64] 2023-12-05 09:57:39,239 (trainer:737) INFO: 10epoch:train:14901-15000batch: iter_time=8.965e-05, forward_time=0.146, loss_ctc=73.252, loss_att=60.680, acc=0.672, loss=64.451, backward_time=0.276, grad_norm=43.454, clip=100.000, loss_scale=1.238e+27, optim_step_time=0.133, optim0_lr0=1.265e-04, train_time=1.372 +[gpua005:0/64] 2023-12-05 10:25:02,930 (trainer:343) INFO: 10epoch results: [train] iter_time=0.230, forward_time=0.158, loss_ctc=77.869, loss_att=65.094, acc=0.666, loss=68.927, backward_time=0.290, grad_norm=47.271, clip=100.000, loss_scale=3.282e+26, optim_step_time=0.134, optim0_lr0=1.298e-04, train_time=1.734, time=7 hours, 14 minutes and 2.87 seconds, total_count=150000, gpu_max_cached_mem_GB=35.223, [valid] loss_ctc=53.312, cer_ctc=0.274, loss_att=46.588, acc=0.625, cer=0.334, wer=0.995, loss=48.605, time=26 minutes and 59.63 seconds, total_count=46710, gpu_max_cached_mem_GB=35.223 +[gpua005:0/64] 2023-12-05 10:25:24,596 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua005:0/64] 2023-12-05 10:25:24,641 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/5epoch.pth +[gpua005:0/64] 2023-12-05 10:25:24,734 (trainer:272) INFO: 11/40epoch started. Estimated time to finish: 1 week, 4 days and 8 hours +[gpua005:0/64] 2023-12-05 10:25:25,420 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua005:0/64] 2023-12-05 10:25:42,874 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua005:0/64] 2023-12-05 10:25:46,276 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua005:0/64] 2023-12-05 10:25:46,276 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua005:0/64] 2023-12-05 10:25:46,280 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua005:0/64] 2023-12-05 10:32:22,760 (trainer:737) INFO: 11epoch:train:1-100batch: iter_time=2.696, forward_time=0.204, loss_ctc=84.207, loss_att=77.345, acc=0.656, loss=79.403, backward_time=0.277, grad_norm=51.301, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.134, optim0_lr0=1.265e-04, train_time=4.174 +[gpua005:0/64] 2023-12-05 10:34:27,033 (trainer:737) INFO: 11epoch:train:101-200batch: iter_time=8.961e-05, forward_time=0.147, loss_ctc=63.912, loss_att=59.490, acc=0.646, loss=60.817, backward_time=0.265, grad_norm=42.787, clip=100.000, loss_scale=2.476e+27, optim_step_time=0.133, optim0_lr0=1.264e-04, train_time=1.243 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log new file mode 100644 index 0000000000000000000000000000000000000000..244a238685e83a5644f3b0816025d01393fec689 --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log @@ -0,0 +1,4168 @@ +# Running on gpua007.delta.ncsa.illinois.edu +# Started at Wed Dec 20 04:39:37 CST 2023 +# SLURMD_NODENAME=gpua007 +# SLURM_CLUSTER_NAME=delta +# SLURM_CONF=/var/spool/slurmd/conf-cache/slurm.conf +# SLURM_CPUS_ON_NODE=64 +# SLURM_CPUS_PER_TASK=64 +# SLURM_EXPORT_ENV=PATH +# SLURM_GET_USER_ENV=1 +# SLURM_GPUS_ON_NODE=4 +# SLURM_GTIDS=0 +# SLURM_JOBID=2760198 +# SLURM_JOB_ACCOUNT=bbjs-delta-gpu +# SLURM_JOB_CPUS_PER_NODE='64(x16)' +# SLURM_JOB_END_TIME=1703241554 +# SLURM_JOB_GID=202 +# SLURM_JOB_GPUS=0,1,2,3 +# SLURM_JOB_ID=2760198 +# SLURM_JOB_NAME=exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/train.log +# SLURM_JOB_NODELIST='gpua[007,011,013-014,044,051,053-054,058-059,062,067-069,080,090]' +# SLURM_JOB_NUM_NODES=16 +# SLURM_JOB_PARTITION=gpuA100x4 +# SLURM_JOB_QOS=bbjs-delta-gpu +# SLURM_JOB_START_TIME=1703068754 +# SLURM_JOB_UID=68077 +# SLURM_JOB_USER=peng6 +# SLURM_LOCALID=0 +# SLURM_MEM_PER_NODE=240000 +# SLURM_NNODES=16 +# SLURM_NODEID=0 +# SLURM_NODELIST='gpua[007,011,013-014,044,051,053-054,058-059,062,067-069,080,090]' +# SLURM_NODE_ALIASES='(null)' +# SLURM_OPEN_MODE=a +# SLURM_PRIO_PROCESS=0 +# SLURM_PROCID=0 +# SLURM_SUBMIT_DIR=/scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1 +# SLURM_SUBMIT_HOST=dt-login01.delta.ncsa.illinois.edu +# SLURM_TASKS_PER_NODE='1(x16)' +# SLURM_TASK_PID=1129546 +# SLURM_TOPOLOGY_ADDR=ss00.ss05.gpua007 +# SLURM_TOPOLOGY_ADDR_PATTERN=switch.switch.node +# SLURM_WORKING_CLUSTER=delta:dt-sched:6817:9984:109 +# srun --export=ALL python3 -m espnet2.bin.s2t_train --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +/scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape /scratch/bbjs/peng6/espnet-whisper-public/tools/miniconda/envs/espnet/bin/python3 /scratch/bbjs/peng6/espnet-whisper-public/espnet2/bin/s2t_train.py --use_preprocessor true --bpemodel data/token_list/bpe_unigram50000/bpe.model --token_type bpe --token_list data/token_list/bpe_unigram50000/tokens.txt --non_linguistic_symbols none --cleaner none --g2p none --valid_data_path_and_name_and_type dump/raw/dev_v3/wav.scp,speech,kaldi_ark --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/speech_shape --resume true --fold_length 80000 --output_dir exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000 --config conf/train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn.yaml --frontend_conf fs=16k --normalize=global_mvn --normalize_conf stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/wav.scp,speech,kaldi_ark --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/speech_shape --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multipr--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +ocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +--fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.prev,text_prev,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_prev_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text.ctc,text_ctc,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_ctc_shape.bpe --fold_length 150 --train_data_path_and_name_and_type exp/s2t_stats_raw_bpe50000/splits12/text,text,text --train_shape_file exp/s2t_stats_raw_bpe50000/splits12/text_shape.bpe --multiple_iterator true --valid_data_path_and_name_and_type dump/raw/dev_v3/text.prev,text_prev,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_prev_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text.ctc,text_ctc,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_ctc_shape.bpe --valid_data_path_and_name_and_type dump/raw/dev_v3/text,text,text --valid_shape_file exp/s2t_stats_raw_bpe50000/valid/text_shape.bpe --ngpu 4 --multiprocessing_distributed true --dist_launcher slurm --dist_init_method file:///scratch/bbjs/peng6/espnet-whisper-public/egs2/owsm_v3.1/s2t1/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/.dist_init_2775be54-2abb-4273-b663-2734a37e18a6 +[gpua007:0/64] 2023-12-20 04:42:56,182 (distributed_c10d:319) INFO: Added key: store_based_barrier_key:1 to store for rank: 0 +[gpua007:0/64] 2023-12-20 04:42:57,183 (distributed_c10d:353) INFO: Rank 0: Completed store-based barrier for key:store_based_barrier_key:1 with 64 nodes. +[gpua007:0/64] 2023-12-20 04:42:57,309 (s2t:464) INFO: Vocabulary size: 50002 +[gpua007:0/64] 2023-12-20 04:43:11,164 (abs_task:1231) INFO: pytorch.version=1.13.1, cuda.available=True, cudnn.version=8500, cudnn.benchmark=False, cudnn.deterministic=True +[gpua007:0/64] 2023-12-20 04:43:11,175 (abs_task:1232) INFO: Model structure: +ESPnetS2TModel( + (frontend): DefaultFrontend( + (stft): Stft(n_fft=512, win_length=400, hop_length=160, center=True, normalized=False, onesided=True) + (frontend): Frontend() + (logmel): LogMel(sr=16000, n_fft=512, n_mels=80, fmin=0, fmax=8000.0, htk=False) + ) + (specaug): SpecAug( + (freq_mask): MaskAlongAxis(mask_width_range=[0, 27], num_mask=2, axis=freq) + (time_mask): MaskAlongAxisVariableMaxWidth(mask_width_ratio_range=[0.0, 0.05], num_mask=10, axis=time) + ) + (normalize): GlobalMVN(stats_file=exp/s2t_stats_raw_bpe50000/train/feats_stats.npz, norm_means=True, norm_vars=True) + (encoder): EBranchformerEncoder( + (embed): Conv2dSubsampling( + (conv): Sequential( + (0): Conv2d(1, 1024, kernel_size=(3, 3), stride=(2, 2)) + (1): ReLU() + (2): Conv2d(1024, 1024, kernel_size=(3, 3), stride=(2, 2)) + (3): ReLU() + ) + (out): Sequential( + (0): Linear(in_features=19456, out_features=1024, bias=True) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (encoders): MultiSequential( + (0): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (1): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (2): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (3): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (4): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (5): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (6): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (7): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (8): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (9): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (10): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (11): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (12): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (13): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (14): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (15): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (16): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + (17): EBranchformerEncoderLayer( + (attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (cgmlp): ConvolutionalGatingMLP( + (channel_proj1): Sequential( + (0): Linear(in_features=1024, out_features=4096, bias=True) + (1): GELU(approximate='none') + ) + (csgu): ConvolutionalSpatialGatingUnit( + (norm): LayerNorm((2048,), eps=1e-12, elementwise_affine=True) + (conv): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (act): Identity() + (dropout): Dropout(p=0.1, inplace=False) + ) + (channel_proj2): Linear(in_features=2048, out_features=1024, bias=True) + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (feed_forward_macaron): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): Swish() + ) + (norm_ff): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_ff_macaron): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mha): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_mlp): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm_final): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + (depthwise_conv_fusion): Conv1d(2048, 2048, kernel_size=(31,), stride=(1,), padding=(15,), groups=2048) + (merge_proj): Linear(in_features=2048, out_features=1024, bias=True) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + ) + (decoder): TransformerDecoder( + (embed): Sequential( + (0): Embedding(50002, 1024) + (1): PositionalEncoding( + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + (after_norm): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (output_layer): Linear(in_features=1024, out_features=50002, bias=True) + (decoders): MultiSequential( + (0): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (1): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (2): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (3): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (4): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (5): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (6): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (7): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (8): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (9): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (10): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (11): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (12): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (13): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (14): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (15): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (16): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + (17): DecoderLayer( + (self_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (src_attn): MultiHeadedAttention( + (linear_q): Linear(in_features=1024, out_features=1024, bias=True) + (linear_k): Linear(in_features=1024, out_features=1024, bias=True) + (linear_v): Linear(in_features=1024, out_features=1024, bias=True) + (linear_out): Linear(in_features=1024, out_features=1024, bias=True) + (dropout): Identity() + (q_norm): Identity() + (k_norm): Identity() + ) + (feed_forward): PositionwiseFeedForward( + (w_1): Linear(in_features=1024, out_features=4096, bias=True) + (w_2): Linear(in_features=4096, out_features=1024, bias=True) + (dropout): Dropout(p=0.1, inplace=False) + (activation): ReLU() + ) + (norm1): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm2): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (norm3): LayerNorm((1024,), eps=1e-12, elementwise_affine=True) + (dropout): Dropout(p=0.1, inplace=False) + ) + ) + ) + (criterion_att): LabelSmoothingLoss( + (criterion): KLDivLoss() + ) + (ctc): CTC( + (ctc_lo): Linear(in_features=1024, out_features=50002, bias=True) + (ctc_loss): CTCLoss() + ) +) + +Model summary: + Class Name: ESPnetS2TModel + Total Number of model parameters: 1.02 B + Number of trainable parameters: 1.02 B (100.0%) + Size: 4.07 GB + Type: torch.float32 +[gpua007:0/64] 2023-12-20 04:43:11,175 (abs_task:1235) INFO: Optimizer: +AdamW ( +Parameter Group 0 + amsgrad: False + betas: [0.9, 0.98] + capturable: False + eps: 1e-06 + foreach: None + initial_lr: 0.0002 + lr: 1.6666666666666667e-09 + maximize: False + weight_decay: 0.0 +) +[gpua007:0/64] 2023-12-20 04:43:11,175 (abs_task:1236) INFO: Scheduler: PiecewiseLinearWarmupLR(warmup_steps_list=[0, 30000, 60000], warmup_lr_list=[0.0, 5e-05, 0.0002]) +[gpua007:0/64] 2023-12-20 04:43:11,196 (abs_task:1245) INFO: Saving the configuration in exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml +[gpua007:0/64] 2023-12-20 04:43:18,158 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 04:43:19,144 (abs_task:1616) INFO: [valid] dataset: +ESPnetDataset( + speech: {"path": "dump/raw/dev_v3/wav.scp", "type": "kaldi_ark"} + text_prev: {"path": "dump/raw/dev_v3/text.prev", "type": "text"} + text_ctc: {"path": "dump/raw/dev_v3/text.ctc", "type": "text"} + text: {"path": "dump/raw/dev_v3/text", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 04:43:19,144 (abs_task:1617) INFO: [valid] Batch sampler: UnsortedBatchSampler(N-batch=4671, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/valid/speech_shape, +[gpua007:0/64] 2023-12-20 04:43:19,145 (abs_task:1618) INFO: [valid] mini-batch sizes summary: N-batch=4671, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 04:43:47,660 (trainer:159) INFO: The training was resumed using exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/checkpoint.pth +gpua007:1129633:1129633 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:1129633:1129633 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:1129633:1129633 [0] NCCL INFO cudaDriverVersion 12020 +NCCL version 2.14.3+cuda11.7 +[gpua007:0/64] 2023-12-20 04:43:56,263 (trainer:284) INFO: 42/45epoch started +[gpua007:0/64] 2023-12-20 04:43:56,311 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua007:0/64] 2023-12-20 04:44:14,163 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 04:44:17,606 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 04:44:17,607 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua007:0/64] 2023-12-20 04:44:17,610 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +gpua014:1652866:1652866 [0] NCCL INFO cudaDriverVersion 12020 +gpua014:1652866:1652866 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:1652866:1652866 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:1652866:1652938 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:1652866:1652938 [0] NCCL INFO Using network IB +gpua014:1652866:1652938 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua014:1652866:1652938 [0] NCCL INFO Trees [0] 13/-1/-1->12->8 [1] 13/4/-1->12->28 +gpua014:1652866:1652938 [0] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:1652866:1652938 [0] NCCL INFO Channel 00/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 12[7000] -> 13[46000] via P2P/IPC/read +gpua014:1652866:1652938 [0] NCCL INFO Connected all rings +gpua014:1652866:1652938 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [send] via NET/IB/0 +gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [receive] via NET/IB/0 +gpua014:1652866:1652938 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [send] via NET/IB/0 +gpua014:1652866:1652938 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [send] via NET/IB/0 +gpua014:1652866:1652938 [0] NCCL INFO Connected all trees +gpua014:1652866:1652938 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:1652866:1652938 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:1652866:1652938 [0] NCCL INFO comm 0xd383220 rank 12 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua014:1652867:1652867 [1] NCCL INFO cudaDriverVersion 12020 +gpua014:1652867:1652867 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:1652867:1652867 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:1652867:1652939 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:1652867:1652939 [1] NCCL INFO Using network IB +gpua014:1652867:1652939 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua014:1652867:1652939 [1] NCCL INFO Trees [0] 14/-1/-1->13->12 [1] 14/20/-1->13->12 +gpua014:1652867:1652939 [1] NCCL INFO Channel 00/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua014:1652867:1652939 [1] NCCL INFO Channel 01/0 : 13[46000] -> 14[85000] via P2P/IPC/read +gpua014:1652867:1652939 [1] NCCL INFO Connected all rings +gpua014:1652867:1652939 [1] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [send] via NET/IB/0 +gpua014:1652867:1652939 [1] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [receive] via NET/IB/0 +gpua014:1652867:1652939 [1] NCCL INFO Channel 00/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua014:1652867:1652939 [1] NCCL INFO Channel 01/0 : 13[46000] -> 12[7000] via P2P/IPC/read +gpua014:1652867:1652939 [1] NCCL INFO Connected all trees +gpua014:1652867:1652939 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:1652867:1652939 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:1652867:1652939 [1] NCCL INFO comm 0x4709ceb0 rank 13 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua044:535763:535763 [1] NCCL INFO cudaDriverVersion 12020 +gpua044:535763:535763 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.44<0> +gpua044:535763:535763 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua044:535763:535840 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.44<0> +gpua044:535763:535840 [1] NCCL INFO Using network IB +gpua044:535763:535840 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua044:535763:535840 [1] NCCL INFO Trees [0] 18/8/-1->17->16 [1] 18/-1/-1->17->16 +gpua044:535763:535840 [1] NCCL INFO Channel 00/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua044:535763:535840 [1] NCCL INFO Channel 01/0 : 17[46000] -> 18[85000] via P2P/IPC/read +gpua044:535763:535840 [1] NCCL INFO Connected all rings +gpua044:535763:535840 [1] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [receive] via NET/IB/0 +gpua044:535763:535840 [1] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [send] via NET/IB/0 +gpua044:535763:535840 [1] NCCL INFO Channel 00/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua044:535763:535840 [1] NCCL INFO Channel 01/0 : 17[46000] -> 16[7000] via P2P/IPC/read +gpua044:535763:535840 [1] NCCL INFO Connected all trees +gpua044:535763:535840 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua044:535763:535840 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua044:535763:535840 [1] NCCL INFO comm 0x1210ef10 rank 17 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua014:1652868:1652868 [2] NCCL INFO cudaDriverVersion 12020 +gpua014:1652868:1652868 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:1652868:1652868 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:1652868:1652940 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:1652868:1652940 [2] NCCL INFO Using network IB +gpua014:1652868:1652940 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua014:1652868:1652940 [2] NCCL INFO Trees [0] 15/-1/-1->14->13 [1] 15/-1/-1->14->13 +gpua014:1652868:1652940 [2] NCCL INFO Channel 00/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua014:1652868:1652940 [2] NCCL INFO Channel 01/0 : 14[85000] -> 15[c7000] via P2P/IPC/read +gpua014:1652868:1652940 [2] NCCL INFO Connected all rings +gpua014:1652868:1652940 [2] NCCL INFO Channel 00/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua014:1652868:1652940 [2] NCCL INFO Channel 01/0 : 14[85000] -> 13[46000] via P2P/IPC/read +gpua014:1652868:1652940 [2] NCCL INFO Connected all trees +gpua014:1652868:1652940 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:1652868:1652940 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:1652868:1652940 [2] NCCL INFO comm 0x331d0610 rank 14 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua014:1652869:1652869 [3] NCCL INFO cudaDriverVersion 12020 +gpua014:1652869:1652869 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.14<0> +gpua014:1652869:1652869 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua014:1652869:1652944 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.14<0> +gpua014:1652869:1652944 [3] NCCL INFO Using network IB +gpua014:1652869:1652944 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua014:1652869:1652944 [3] NCCL INFO Trees [0] -1/-1/-1->15->14 [1] -1/-1/-1->15->14 +gpua014:1652869:1652944 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua014:1652869:1652944 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [send] via NET/IB/0 +gpua014:1652869:1652944 [3] NCCL INFO Connected all rings +gpua014:1652869:1652944 [3] NCCL INFO Channel 00/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua014:1652869:1652944 [3] NCCL INFO Channel 01/0 : 15[c7000] -> 14[85000] via P2P/IPC/read +gpua014:1652869:1652944 [3] NCCL INFO Connected all trees +gpua014:1652869:1652944 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua014:1652869:1652944 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua014:1652869:1652944 [3] NCCL INFO comm 0x10fcaed0 rank 15 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua013:2626471:2626471 [1] NCCL INFO cudaDriverVersion 12020 +gpua013:2626471:2626471 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.13<0> +gpua013:2626471:2626471 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua013:2626471:2626529 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.13<0> +gpua013:2626471:2626529 [1] NCCL INFO Using network IB +gpua013:2626471:2626529 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua013:2626471:2626529 [1] NCCL INFO Trees [0] 10/4/-1->9->8 [1] 10/-1/-1->9->8 +gpua013:2626471:2626529 [1] NCCL INFO Channel 00/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua013:2626471:2626529 [1] NCCL INFO Channel 01/0 : 9[46000] -> 10[85000] via P2P/IPC/read +gpua013:2626471:2626529 [1] NCCL INFO Connected all rings +gpua013:2626471:2626529 [1] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [receive] via NET/IB/0 +gpua013:2626471:2626529 [1] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [send] via NET/IB/0 +gpua013:2626471:2626529 [1] NCCL INFO Channel 00/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua013:2626471:2626529 [1] NCCL INFO Channel 01/0 : 9[46000] -> 8[7000] via P2P/IPC/read +gpua013:2626471:2626529 [1] NCCL INFO Connected all trees +gpua013:2626471:2626529 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua013:2626471:2626529 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua013:2626471:2626529 [1] NCCL INFO comm 0xc80cc00 rank 9 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua080:3852059:3852059 [2] NCCL INFO cudaDriverVersion 12020 +gpua080:3852059:3852059 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> +gpua080:3852059:3852059 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua080:3852059:3852125 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> +gpua080:3852059:3852125 [2] NCCL INFO Using network IB +gpua080:3852059:3852125 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua080:3852059:3852125 [2] NCCL INFO Trees [0] 59/-1/-1->58->57 [1] 59/-1/-1->58->57 +gpua080:3852059:3852125 [2] NCCL INFO Channel 00/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua080:3852059:3852125 [2] NCCL INFO Channel 01/0 : 58[85000] -> 59[c7000] via P2P/IPC/read +gpua080:3852059:3852125 [2] NCCL INFO Connected all rings +gpua080:3852059:3852125 [2] NCCL INFO Channel 00/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua080:3852059:3852125 [2] NCCL INFO Channel 01/0 : 58[85000] -> 57[46000] via P2P/IPC/read +gpua080:3852059:3852125 [2] NCCL INFO Connected all trees +gpua080:3852059:3852125 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua080:3852059:3852125 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua080:3852059:3852125 [2] NCCL INFO comm 0x1b93b8b0 rank 58 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua080:3852057:3852057 [0] NCCL INFO cudaDriverVersion 12020 +gpua080:3852057:3852057 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> +gpua080:3852057:3852057 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua080:3852057:3852128 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> +gpua080:3852057:3852128 [0] NCCL INFO Using network IB +gpua080:3852057:3852128 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua080:3852057:3852128 [0] NCCL INFO Trees [0] 57/60/-1->56->48 [1] 57/-1/-1->56->53 +gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua080:3852057:3852128 [0] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [receive] via NET/IB/0 +gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua080:3852057:3852128 [0] NCCL INFO Channel 01/0 : 56[7000] -> 57[46000] via P2P/IPC/read +gpua080:3852057:3852128 [0] NCCL INFO Connected all rings +gpua080:3852057:3852128 [0] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [receive] via NET/IB/0 +gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [send] via NET/IB/0 +gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [receive] via NET/IB/0 +gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [send] via NET/IB/0 +gpua080:3852057:3852128 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [receive] via NET/IB/0 +gpua080:3852057:3852128 [0] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [send] via NET/IB/0 +gpua080:3852057:3852128 [0] NCCL INFO Connected all trees +gpua080:3852057:3852128 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua080:3852057:3852128 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua080:3852057:3852128 [0] NCCL INFO comm 0x11da6c00 rank 56 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua054:1011624:1011624 [2] NCCL INFO cudaDriverVersion 12020 +gpua054:1011624:1011624 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:1011624:1011624 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:1011624:1011704 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:1011624:1011704 [2] NCCL INFO Using network IB +gpua054:1011624:1011704 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua054:1011624:1011704 [2] NCCL INFO Trees [0] 31/-1/-1->30->29 [1] 31/-1/-1->30->29 +gpua054:1011624:1011704 [2] NCCL INFO Channel 00/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua054:1011624:1011704 [2] NCCL INFO Channel 01/0 : 30[85000] -> 31[c7000] via P2P/IPC/read +gpua054:1011624:1011704 [2] NCCL INFO Connected all rings +gpua054:1011624:1011704 [2] NCCL INFO Channel 00/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua054:1011624:1011704 [2] NCCL INFO Channel 01/0 : 30[85000] -> 29[46000] via P2P/IPC/read +gpua054:1011624:1011704 [2] NCCL INFO Connected all trees +gpua054:1011624:1011704 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:1011624:1011704 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:1011624:1011704 [2] NCCL INFO comm 0xb254b10 rank 30 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua011:1395547:1395547 [3] NCCL INFO cudaDriverVersion 12020 +gpua011:1395547:1395547 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:1395547:1395547 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:1395547:1395615 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:1395547:1395615 [3] NCCL INFO Using network IB +gpua011:1395547:1395615 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua011:1395547:1395615 [3] NCCL INFO Trees [0] -1/-1/-1->7->6 [1] -1/-1/-1->7->6 +gpua011:1395547:1395615 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua011:1395547:1395615 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [send] via NET/IB/0 +gpua011:1395547:1395615 [3] NCCL INFO Connected all rings +gpua011:1395547:1395615 [3] NCCL INFO Channel 00/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua011:1395547:1395615 [3] NCCL INFO Channel 01/0 : 7[c7000] -> 6[85000] via P2P/IPC/read +gpua011:1395547:1395615 [3] NCCL INFO Connected all trees +gpua011:1395547:1395615 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:1395547:1395615 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:1395547:1395615 [3] NCCL INFO comm 0x9ea35930 rank 7 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua044:535762:535762 [0] NCCL INFO cudaDriverVersion 12020 +gpua044:535762:535762 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.44<0> +gpua044:535762:535762 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua044:535762:535836 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.44<0> +gpua044:535762:535836 [0] NCCL INFO Using network IB +gpua044:535762:535836 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua044:535762:535836 [0] NCCL INFO Trees [0] 17/24/-1->16->33 [1] 17/-1/-1->16->20 +gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua044:535762:535836 [0] NCCL INFO Channel 01/0 : 15[c7000] -> 16[7000] [receive] via NET/IB/0 +gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua044:535762:535836 [0] NCCL INFO Channel 01/0 : 16[7000] -> 17[46000] via P2P/IPC/read +gpua044:535762:535836 [0] NCCL INFO Connected all rings +gpua044:535762:535836 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [send] via NET/IB/0 +gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [send] via NET/IB/0 +gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [send] via NET/IB/0 +gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [receive] via NET/IB/0 +gpua044:535762:535836 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [receive] via NET/IB/0 +gpua044:535762:535836 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [receive] via NET/IB/0 +gpua044:535762:535836 [0] NCCL INFO Connected all trees +gpua044:535762:535836 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua044:535762:535836 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua044:535762:535836 [0] NCCL INFO comm 0xa11bb5f0 rank 16 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua080:3852058:3852058 [1] NCCL INFO cudaDriverVersion 12020 +gpua080:3852058:3852058 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> +gpua080:3852058:3852058 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua080:3852058:3852127 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> +gpua080:3852058:3852127 [1] NCCL INFO Using network IB +gpua080:3852058:3852127 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua080:3852058:3852127 [1] NCCL INFO Trees [0] 58/52/-1->57->56 [1] 58/-1/-1->57->56 +gpua080:3852058:3852127 [1] NCCL INFO Channel 00/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua080:3852058:3852127 [1] NCCL INFO Channel 01/0 : 57[46000] -> 58[85000] via P2P/IPC/read +gpua080:3852058:3852127 [1] NCCL INFO Connected all rings +gpua080:3852058:3852127 [1] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [receive] via NET/IB/0 +gpua080:3852058:3852127 [1] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [send] via NET/IB/0 +gpua080:3852058:3852127 [1] NCCL INFO Channel 00/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua080:3852058:3852127 [1] NCCL INFO Channel 01/0 : 57[46000] -> 56[7000] via P2P/IPC/read +gpua080:3852058:3852127 [1] NCCL INFO Connected all trees +gpua080:3852058:3852127 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua080:3852058:3852127 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua080:3852058:3852127 [1] NCCL INFO comm 0xc134790 rank 57 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua051:859014:859014 [1] NCCL INFO cudaDriverVersion 12020 +gpua051:859014:859014 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.51<0> +gpua051:859014:859014 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua051:859014:859082 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.51<0> +gpua051:859014:859082 [1] NCCL INFO Using network IB +gpua051:859014:859082 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua051:859014:859082 [1] NCCL INFO Trees [0] 22/-1/-1->21->20 [1] 22/24/-1->21->20 +gpua051:859014:859082 [1] NCCL INFO Channel 00/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua051:859014:859082 [1] NCCL INFO Channel 01/0 : 21[46000] -> 22[85000] via P2P/IPC/read +gpua051:859014:859082 [1] NCCL INFO Connected all rings +gpua051:859014:859082 [1] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [send] via NET/IB/0 +gpua051:859014:859082 [1] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [receive] via NET/IB/0 +gpua007:1129636:1129636 [3] NCCL INFO cudaDriverVersion 12020 +gpua007:1129636:1129636 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:1129636:1129636 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:1129636:1129701 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:1129636:1129701 [3] NCCL INFO Using network IB +gpua007:1129636:1129701 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua007:1129636:1129701 [3] NCCL INFO Trees [0] -1/-1/-1->3->2 [1] -1/-1/-1->3->2 +gpua007:1129636:1129701 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua007:1129636:1129701 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [send] via NET/IB/0 +gpua007:1129636:1129701 [3] NCCL INFO Connected all rings +gpua007:1129636:1129701 [3] NCCL INFO Channel 00/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua007:1129636:1129701 [3] NCCL INFO Channel 01/0 : 3[c7000] -> 2[85000] via P2P/IPC/read +gpua051:859014:859082 [1] NCCL INFO Channel 00/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua051:859014:859082 [1] NCCL INFO Channel 01/0 : 21[46000] -> 20[7000] via P2P/IPC/read +gpua051:859014:859082 [1] NCCL INFO Connected all trees +gpua051:859014:859082 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua051:859014:859082 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua051:859014:859082 [1] NCCL INFO comm 0x94d38a90 rank 21 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua007:1129636:1129701 [3] NCCL INFO Connected all trees +gpua007:1129636:1129701 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:1129636:1129701 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:1129636:1129701 [3] NCCL INFO comm 0xc04b5e0 rank 3 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua011:1395546:1395546 [2] NCCL INFO cudaDriverVersion 12020 +gpua011:1395546:1395546 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:1395546:1395546 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:1395546:1395617 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:1395546:1395617 [2] NCCL INFO Using network IB +gpua011:1395546:1395617 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua011:1395546:1395617 [2] NCCL INFO Trees [0] 7/-1/-1->6->5 [1] 7/-1/-1->6->5 +gpua011:1395546:1395617 [2] NCCL INFO Channel 00/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua011:1395546:1395617 [2] NCCL INFO Channel 01/0 : 6[85000] -> 7[c7000] via P2P/IPC/read +gpua011:1395546:1395617 [2] NCCL INFO Connected all rings +gpua011:1395546:1395617 [2] NCCL INFO Channel 00/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua011:1395546:1395617 [2] NCCL INFO Channel 01/0 : 6[85000] -> 5[46000] via P2P/IPC/read +gpua007:1129633:1129698 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:1129633:1129698 [0] NCCL INFO Using network IB +gpua007:1129633:1129698 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua007:1129633:1129698 [0] NCCL INFO Channel 00/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua007:1129633:1129698 [0] NCCL INFO Channel 01/02 : 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 +gpua007:1129633:1129698 [0] NCCL INFO Trees [0] 1/32/-1->0->-1 [1] 1/-1/-1->0->4 +gpua007:1129633:1129698 [0] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua007:1129633:1129698 [0] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [receive] via NET/IB/0 +gpua007:1129633:1129698 [0] NCCL INFO Channel 00/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua007:1129633:1129698 [0] NCCL INFO Channel 01/0 : 0[7000] -> 1[46000] via P2P/IPC/read +gpua011:1395546:1395617 [2] NCCL INFO Connected all trees +gpua011:1395546:1395617 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:1395546:1395617 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:1395546:1395617 [2] NCCL INFO comm 0xf622b10 rank 6 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua051:859016:859016 [3] NCCL INFO cudaDriverVersion 12020 +gpua051:859016:859016 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.51<0> +gpua051:859016:859016 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua051:859016:859077 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.51<0> +gpua051:859016:859077 [3] NCCL INFO Using network IB +gpua051:859016:859077 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua051:859016:859077 [3] NCCL INFO Trees [0] -1/-1/-1->23->22 [1] -1/-1/-1->23->22 +gpua051:859016:859077 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua051:859016:859077 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [send] via NET/IB/0 +gpua051:859016:859077 [3] NCCL INFO Connected all rings +gpua051:859016:859077 [3] NCCL INFO Channel 00/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua051:859016:859077 [3] NCCL INFO Channel 01/0 : 23[c7000] -> 22[85000] via P2P/IPC/read +gpua007:1129633:1129698 [0] NCCL INFO Connected all rings +gpua007:1129633:1129698 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [send] via NET/IB/0 +gpua007:1129633:1129698 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [receive] via NET/IB/0 +gpua007:1129633:1129698 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [send] via NET/IB/0 +gpua007:1129633:1129698 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [receive] via NET/IB/0 +gpua007:1129633:1129698 [0] NCCL INFO Connected all trees +gpua007:1129633:1129698 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:1129633:1129698 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:1129633:1129698 [0] NCCL INFO comm 0x18ab0460 rank 0 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua051:859016:859077 [3] NCCL INFO Connected all trees +gpua051:859016:859077 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua051:859016:859077 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua051:859016:859077 [3] NCCL INFO comm 0xe083d590 rank 23 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua090:1047284:1047284 [2] NCCL INFO cudaDriverVersion 12020 +gpua090:1047284:1047284 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.90<0> +gpua090:1047284:1047284 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua090:1047284:1047349 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.90<0> +gpua090:1047284:1047349 [2] NCCL INFO Using network IB +gpua090:1047284:1047349 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua090:1047284:1047349 [2] NCCL INFO Trees [0] 63/-1/-1->62->61 [1] 63/-1/-1->62->61 +gpua090:1047284:1047349 [2] NCCL INFO Channel 00/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua090:1047284:1047349 [2] NCCL INFO Channel 01/0 : 62[85000] -> 63[c7000] via P2P/IPC/read +gpua090:1047284:1047349 [2] NCCL INFO Connected all rings +gpua090:1047284:1047349 [2] NCCL INFO Channel 00/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua090:1047284:1047349 [2] NCCL INFO Channel 01/0 : 62[85000] -> 61[46000] via P2P/IPC/read +gpua090:1047284:1047349 [2] NCCL INFO Connected all trees +gpua090:1047284:1047349 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua090:1047284:1047349 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua090:1047284:1047349 [2] NCCL INFO comm 0xe24aafb0 rank 62 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua011:1395545:1395545 [1] NCCL INFO cudaDriverVersion 12020 +gpua011:1395545:1395545 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:1395545:1395545 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:1395545:1395618 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:1395545:1395618 [1] NCCL INFO Using network IB +gpua011:1395545:1395618 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua011:1395545:1395618 [1] NCCL INFO Trees [0] 6/-1/-1->5->4 [1] 6/8/-1->5->4 +gpua011:1395545:1395618 [1] NCCL INFO Channel 00/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua011:1395545:1395618 [1] NCCL INFO Channel 01/0 : 5[46000] -> 6[85000] via P2P/IPC/read +gpua011:1395545:1395618 [1] NCCL INFO Connected all rings +gpua011:1395545:1395618 [1] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [send] via NET/IB/0 +gpua011:1395545:1395618 [1] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [receive] via NET/IB/0 +gpua011:1395545:1395618 [1] NCCL INFO Channel 00/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua011:1395545:1395618 [1] NCCL INFO Channel 01/0 : 5[46000] -> 4[7000] via P2P/IPC/read +gpua011:1395545:1395618 [1] NCCL INFO Connected all trees +gpua011:1395545:1395618 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:1395545:1395618 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:1395545:1395618 [1] NCCL INFO comm 0x39821130 rank 5 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua059:683870:683870 [1] NCCL INFO cudaDriverVersion 12020 +gpua059:683870:683870 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.59<0> +gpua059:683870:683870 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua059:683870:683942 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.59<0> +gpua059:683870:683942 [1] NCCL INFO Using network IB +gpua059:683870:683942 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua059:683870:683942 [1] NCCL INFO Trees [0] 38/-1/-1->37->36 [1] 38/40/-1->37->36 +gpua059:683870:683942 [1] NCCL INFO Channel 00/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua059:683870:683942 [1] NCCL INFO Channel 01/0 : 37[46000] -> 38[85000] via P2P/IPC/read +gpua059:683870:683942 [1] NCCL INFO Connected all rings +gpua059:683870:683942 [1] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [send] via NET/IB/0 +gpua059:683870:683942 [1] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [receive] via NET/IB/0 +gpua090:1047282:1047282 [0] NCCL INFO cudaDriverVersion 12020 +gpua090:1047282:1047282 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.90<0> +gpua090:1047282:1047282 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua090:1047282:1047346 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.90<0> +gpua090:1047282:1047346 [0] NCCL INFO Using network IB +gpua090:1047282:1047346 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua090:1047282:1047346 [0] NCCL INFO Trees [0] 61/-1/-1->60->56 [1] 61/28/-1->60->-1 +gpua090:1047282:1047346 [0] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua090:1047282:1047346 [0] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [receive] via NET/IB/0 +gpua090:1047282:1047346 [0] NCCL INFO Channel 00/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua090:1047282:1047346 [0] NCCL INFO Channel 01/0 : 60[7000] -> 61[46000] via P2P/IPC/read +gpua090:1047282:1047346 [0] NCCL INFO Connected all rings +gpua059:683870:683942 [1] NCCL INFO Channel 00/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua059:683870:683942 [1] NCCL INFO Channel 01/0 : 37[46000] -> 36[7000] via P2P/IPC/read +gpua059:683870:683942 [1] NCCL INFO Connected all trees +gpua059:683870:683942 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua059:683870:683942 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua059:683870:683942 [1] NCCL INFO comm 0x9a1c0ea0 rank 37 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua062:3530792:3530792 [3] NCCL INFO cudaDriverVersion 12020 +gpua062:3530792:3530792 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> +gpua062:3530792:3530792 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua062:3530792:3530858 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> +gpua062:3530792:3530858 [3] NCCL INFO Using network IB +gpua062:3530792:3530858 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua062:3530792:3530858 [3] NCCL INFO Trees [0] -1/-1/-1->43->42 [1] -1/-1/-1->43->42 +gpua062:3530792:3530858 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua062:3530792:3530858 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [send] via NET/IB/0 +gpua062:3530792:3530858 [3] NCCL INFO Connected all rings +gpua062:3530792:3530858 [3] NCCL INFO Channel 00/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua062:3530792:3530858 [3] NCCL INFO Channel 01/0 : 43[c7000] -> 42[85000] via P2P/IPC/read +gpua090:1047282:1047346 [0] NCCL INFO Channel 00/0 : 56[7000] -> 60[7000] [receive] via NET/IB/0 +gpua090:1047282:1047346 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [receive] via NET/IB/0 +gpua090:1047282:1047346 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [send] via NET/IB/0 +gpua090:1047282:1047346 [0] NCCL INFO Channel 00/0 : 60[7000] -> 56[7000] [send] via NET/IB/0 +gpua090:1047282:1047346 [0] NCCL INFO Connected all trees +gpua090:1047282:1047346 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua090:1047282:1047346 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua090:1047282:1047346 [0] NCCL INFO comm 0x11f10f50 rank 60 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua062:3530792:3530858 [3] NCCL INFO Connected all trees +gpua062:3530792:3530858 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua062:3530792:3530858 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua062:3530792:3530858 [3] NCCL INFO comm 0xe9b90b0 rank 43 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua090:1047283:1047283 [1] NCCL INFO cudaDriverVersion 12020 +gpua090:1047283:1047283 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.90<0> +gpua090:1047283:1047283 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua090:1047283:1047348 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.90<0> +gpua090:1047283:1047348 [1] NCCL INFO Using network IB +gpua090:1047283:1047348 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua090:1047283:1047348 [1] NCCL INFO Trees [0] 62/-1/-1->61->60 [1] 62/-1/-1->61->60 +gpua090:1047283:1047348 [1] NCCL INFO Channel 00/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua090:1047283:1047348 [1] NCCL INFO Channel 01/0 : 61[46000] -> 62[85000] via P2P/IPC/read +gpua090:1047283:1047348 [1] NCCL INFO Connected all rings +gpua090:1047283:1047348 [1] NCCL INFO Channel 00/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua090:1047283:1047348 [1] NCCL INFO Channel 01/0 : 61[46000] -> 60[7000] via P2P/IPC/read +gpua044:535765:535765 [3] NCCL INFO cudaDriverVersion 12020 +gpua044:535765:535765 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.44<0> +gpua044:535765:535765 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua044:535765:535834 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.44<0> +gpua044:535765:535834 [3] NCCL INFO Using network IB +gpua044:535765:535834 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua044:535765:535834 [3] NCCL INFO Trees [0] -1/-1/-1->19->18 [1] -1/-1/-1->19->18 +gpua044:535765:535834 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua044:535765:535834 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [send] via NET/IB/0 +gpua044:535765:535834 [3] NCCL INFO Connected all rings +gpua044:535765:535834 [3] NCCL INFO Channel 00/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua044:535765:535834 [3] NCCL INFO Channel 01/0 : 19[c7000] -> 18[85000] via P2P/IPC/read +gpua090:1047283:1047348 [1] NCCL INFO Connected all trees +gpua090:1047283:1047348 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua090:1047283:1047348 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua090:1047283:1047348 [1] NCCL INFO comm 0x25aa18a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua044:535765:535834 [3] NCCL INFO Connected all trees +gpua044:535765:535834 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua044:535765:535834 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua044:535765:535834 [3] NCCL INFO comm 0xec58c60 rank 19 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua007:1129635:1129635 [2] NCCL INFO cudaDriverVersion 12020 +gpua007:1129635:1129635 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:1129635:1129635 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:1129635:1129700 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:1129635:1129700 [2] NCCL INFO Using network IB +gpua007:1129635:1129700 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua007:1129635:1129700 [2] NCCL INFO Trees [0] 3/-1/-1->2->1 [1] 3/-1/-1->2->1 +gpua007:1129635:1129700 [2] NCCL INFO Channel 00/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua007:1129635:1129700 [2] NCCL INFO Channel 01/0 : 2[85000] -> 3[c7000] via P2P/IPC/read +gpua007:1129635:1129700 [2] NCCL INFO Connected all rings +gpua007:1129635:1129700 [2] NCCL INFO Channel 00/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua007:1129635:1129700 [2] NCCL INFO Channel 01/0 : 2[85000] -> 1[46000] via P2P/IPC/read +gpua007:1129635:1129700 [2] NCCL INFO Connected all trees +gpua007:1129635:1129700 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:1129635:1129700 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:1129635:1129700 [2] NCCL INFO comm 0x1be8a140 rank 2 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua080:3852060:3852060 [3] NCCL INFO cudaDriverVersion 12020 +gpua080:3852060:3852060 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.80<0> +gpua080:3852060:3852060 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua080:3852060:3852126 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.80<0> +gpua080:3852060:3852126 [3] NCCL INFO Using network IB +gpua080:3852060:3852126 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua080:3852060:3852126 [3] NCCL INFO Trees [0] -1/-1/-1->59->58 [1] -1/-1/-1->59->58 +gpua080:3852060:3852126 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua080:3852060:3852126 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 60[7000] [send] via NET/IB/0 +gpua080:3852060:3852126 [3] NCCL INFO Connected all rings +gpua080:3852060:3852126 [3] NCCL INFO Channel 00/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua080:3852060:3852126 [3] NCCL INFO Channel 01/0 : 59[c7000] -> 58[85000] via P2P/IPC/read +gpua080:3852060:3852126 [3] NCCL INFO Connected all trees +gpua080:3852060:3852126 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua080:3852060:3852126 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua080:3852060:3852126 [3] NCCL INFO comm 0x21b10200 rank 59 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua067:1213359:1213359 [2] NCCL INFO cudaDriverVersion 12020 +gpua067:1213359:1213359 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:1213359:1213359 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:1213359:1213428 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:1213359:1213428 [2] NCCL INFO Using network IB +gpua067:1213359:1213428 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua067:1213359:1213428 [2] NCCL INFO Trees [0] 47/-1/-1->46->45 [1] 47/-1/-1->46->45 +gpua067:1213359:1213428 [2] NCCL INFO Channel 00/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua067:1213359:1213428 [2] NCCL INFO Channel 01/0 : 46[85000] -> 47[c7000] via P2P/IPC/read +gpua067:1213359:1213428 [2] NCCL INFO Connected all rings +gpua067:1213359:1213428 [2] NCCL INFO Channel 00/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua067:1213359:1213428 [2] NCCL INFO Channel 01/0 : 46[85000] -> 45[46000] via P2P/IPC/read +gpua067:1213359:1213428 [2] NCCL INFO Connected all trees +gpua067:1213359:1213428 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1213359:1213428 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:1213359:1213428 [2] NCCL INFO comm 0x93266320 rank 46 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua067:1213358:1213358 [1] NCCL INFO cudaDriverVersion 12020 +gpua067:1213358:1213358 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:1213358:1213358 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:1213358:1213429 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:1213358:1213429 [1] NCCL INFO Using network IB +gpua067:1213358:1213429 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua067:1213358:1213429 [1] NCCL INFO Trees [0] 46/-1/-1->45->44 [1] 46/52/-1->45->44 +gpua067:1213358:1213429 [1] NCCL INFO Channel 00/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua067:1213358:1213429 [1] NCCL INFO Channel 01/0 : 45[46000] -> 46[85000] via P2P/IPC/read +gpua067:1213358:1213429 [1] NCCL INFO Connected all rings +gpua067:1213358:1213429 [1] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [send] via NET/IB/0 +gpua067:1213358:1213429 [1] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [receive] via NET/IB/0 +gpua067:1213358:1213429 [1] NCCL INFO Channel 00/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua067:1213358:1213429 [1] NCCL INFO Channel 01/0 : 45[46000] -> 44[7000] via P2P/IPC/read +gpua067:1213358:1213429 [1] NCCL INFO Connected all trees +gpua067:1213358:1213429 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1213358:1213429 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:1213358:1213429 [1] NCCL INFO comm 0xe94f88a0 rank 45 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua051:859015:859015 [2] NCCL INFO cudaDriverVersion 12020 +gpua051:859015:859015 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.51<0> +gpua051:859015:859015 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua051:859015:859081 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.51<0> +gpua051:859015:859081 [2] NCCL INFO Using network IB +gpua051:859015:859081 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua051:859015:859081 [2] NCCL INFO Trees [0] 23/-1/-1->22->21 [1] 23/-1/-1->22->21 +gpua051:859015:859081 [2] NCCL INFO Channel 00/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua051:859015:859081 [2] NCCL INFO Channel 01/0 : 22[85000] -> 23[c7000] via P2P/IPC/read +gpua051:859015:859081 [2] NCCL INFO Connected all rings +gpua051:859015:859081 [2] NCCL INFO Channel 00/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua051:859015:859081 [2] NCCL INFO Channel 01/0 : 22[85000] -> 21[46000] via P2P/IPC/read +gpua051:859015:859081 [2] NCCL INFO Connected all trees +gpua051:859015:859081 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua051:859015:859081 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua051:859015:859081 [2] NCCL INFO comm 0x17f8fc70 rank 22 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua067:1213360:1213360 [3] NCCL INFO cudaDriverVersion 12020 +gpua067:1213360:1213360 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:1213360:1213360 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:1213360:1213430 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:1213360:1213430 [3] NCCL INFO Using network IB +gpua067:1213360:1213430 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua067:1213360:1213430 [3] NCCL INFO Trees [0] -1/-1/-1->47->46 [1] -1/-1/-1->47->46 +gpua067:1213360:1213430 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua067:1213360:1213430 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [send] via NET/IB/0 +gpua067:1213360:1213430 [3] NCCL INFO Connected all rings +gpua067:1213360:1213430 [3] NCCL INFO Channel 00/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua067:1213360:1213430 [3] NCCL INFO Channel 01/0 : 47[c7000] -> 46[85000] via P2P/IPC/read +gpua059:683869:683869 [0] NCCL INFO cudaDriverVersion 12020 +gpua059:683869:683869 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.59<0> +gpua059:683869:683869 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua059:683869:683944 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.59<0> +gpua059:683869:683944 [0] NCCL INFO Using network IB +gpua059:683869:683944 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua059:683869:683944 [0] NCCL INFO Trees [0] 37/-1/-1->36->41 [1] 37/32/-1->36->44 +gpua059:683869:683944 [0] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [receive] via NET/IB/0 +gpua059:683869:683944 [0] NCCL INFO Channel 00/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 36[7000] -> 37[46000] via P2P/IPC/read +gpua059:683869:683944 [0] NCCL INFO Connected all rings +gpua067:1213360:1213430 [3] NCCL INFO Connected all trees +gpua067:1213360:1213430 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1213360:1213430 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:1213360:1213430 [3] NCCL INFO comm 0xea23ad0 rank 47 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [receive] via NET/IB/0 +gpua059:683869:683944 [0] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [send] via NET/IB/0 +gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [send] via NET/IB/0 +gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [receive] via NET/IB/0 +gpua059:683869:683944 [0] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [receive] via NET/IB/0 +gpua059:683869:683944 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [send] via NET/IB/0 +gpua059:683869:683944 [0] NCCL INFO Connected all trees +gpua059:683869:683944 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua059:683869:683944 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua059:683869:683944 [0] NCCL INFO comm 0x926f2d30 rank 36 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua051:859013:859013 [0] NCCL INFO cudaDriverVersion 12020 +gpua051:859013:859013 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.51<0> +gpua051:859013:859013 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua051:859013:859078 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.51<0> +gpua051:859013:859078 [0] NCCL INFO Using network IB +gpua051:859013:859078 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua051:859013:859078 [0] NCCL INFO Trees [0] 21/-1/-1->20->25 [1] 21/16/-1->20->13 +gpua051:859013:859078 [0] NCCL INFO Channel 00/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 19[c7000] -> 20[7000] [receive] via NET/IB/0 +gpua051:859013:859078 [0] NCCL INFO Channel 00/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 20[7000] -> 21[46000] via P2P/IPC/read +gpua051:859013:859078 [0] NCCL INFO Connected all rings +gpua059:683872:683872 [3] NCCL INFO cudaDriverVersion 12020 +gpua059:683872:683872 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.59<0> +gpua059:683872:683872 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua059:683872:683941 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.59<0> +gpua059:683872:683941 [3] NCCL INFO Using network IB +gpua059:683872:683941 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua059:683872:683941 [3] NCCL INFO Trees [0] -1/-1/-1->39->38 [1] -1/-1/-1->39->38 +gpua059:683872:683941 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua059:683872:683941 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [send] via NET/IB/0 +gpua059:683872:683941 [3] NCCL INFO Connected all rings +gpua059:683872:683941 [3] NCCL INFO Channel 00/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua059:683872:683941 [3] NCCL INFO Channel 01/0 : 39[c7000] -> 38[85000] via P2P/IPC/read +gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 16[7000] -> 20[7000] [receive] via NET/IB/0 +gpua051:859013:859078 [0] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [send] via NET/IB/0 +gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 13[46000] -> 20[7000] [receive] via NET/IB/0 +gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 20[7000] -> 13[46000] [send] via NET/IB/0 +gpua051:859013:859078 [0] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [receive] via NET/IB/0 +gpua051:859013:859078 [0] NCCL INFO Channel 01/0 : 20[7000] -> 16[7000] [send] via NET/IB/0 +gpua051:859013:859078 [0] NCCL INFO Connected all trees +gpua051:859013:859078 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua051:859013:859078 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua051:859013:859078 [0] NCCL INFO comm 0xa818640 rank 20 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua059:683872:683941 [3] NCCL INFO Connected all trees +gpua059:683872:683941 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua059:683872:683941 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua059:683872:683941 [3] NCCL INFO comm 0x133ef3a0 rank 39 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua062:3530790:3530790 [1] NCCL INFO cudaDriverVersion 12020 +gpua062:3530790:3530790 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> +gpua062:3530790:3530790 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua062:3530790:3530857 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> +gpua062:3530790:3530857 [1] NCCL INFO Using network IB +gpua062:3530790:3530857 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua062:3530790:3530857 [1] NCCL INFO Trees [0] 42/36/-1->41->40 [1] 42/-1/-1->41->40 +gpua062:3530790:3530857 [1] NCCL INFO Channel 00/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua062:3530790:3530857 [1] NCCL INFO Channel 01/0 : 41[46000] -> 42[85000] via P2P/IPC/read +gpua062:3530790:3530857 [1] NCCL INFO Connected all rings +gpua062:3530790:3530857 [1] NCCL INFO Channel 00/0 : 36[7000] -> 41[46000] [receive] via NET/IB/0 +gpua062:3530790:3530857 [1] NCCL INFO Channel 00/0 : 41[46000] -> 36[7000] [send] via NET/IB/0 +gpua062:3530790:3530857 [1] NCCL INFO Channel 00/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua062:3530790:3530857 [1] NCCL INFO Channel 01/0 : 41[46000] -> 40[7000] via P2P/IPC/read +gpua062:3530790:3530857 [1] NCCL INFO Connected all trees +gpua062:3530790:3530857 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua062:3530790:3530857 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua062:3530790:3530857 [1] NCCL INFO comm 0x958070d0 rank 41 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua011:1395544:1395544 [0] NCCL INFO cudaDriverVersion 12020 +gpua011:1395544:1395544 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.11<0> +gpua011:1395544:1395544 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua011:1395544:1395616 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.11<0> +gpua011:1395544:1395616 [0] NCCL INFO Using network IB +gpua011:1395544:1395616 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua011:1395544:1395616 [0] NCCL INFO Trees [0] 5/-1/-1->4->9 [1] 5/0/-1->4->12 +gpua011:1395544:1395616 [0] NCCL INFO Channel 00/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 3[c7000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1395544:1395616 [0] NCCL INFO Channel 00/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 4[7000] -> 5[46000] via P2P/IPC/read +gpua011:1395544:1395616 [0] NCCL INFO Connected all rings +gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 0[7000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1395544:1395616 [0] NCCL INFO Channel 00/0 : 4[7000] -> 9[46000] [send] via NET/IB/0 +gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 4[7000] -> 12[7000] [send] via NET/IB/0 +gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 12[7000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1395544:1395616 [0] NCCL INFO Channel 00/0 : 9[46000] -> 4[7000] [receive] via NET/IB/0 +gpua011:1395544:1395616 [0] NCCL INFO Channel 01/0 : 4[7000] -> 0[7000] [send] via NET/IB/0 +gpua011:1395544:1395616 [0] NCCL INFO Connected all trees +gpua011:1395544:1395616 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua011:1395544:1395616 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua011:1395544:1395616 [0] NCCL INFO comm 0x7f78169fa560 rank 4 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua054:1011625:1011625 [3] NCCL INFO cudaDriverVersion 12020 +gpua054:1011625:1011625 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:1011625:1011625 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:1011625:1011702 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:1011625:1011702 [3] NCCL INFO Using network IB +gpua054:1011625:1011702 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua054:1011625:1011702 [3] NCCL INFO Trees [0] -1/-1/-1->31->30 [1] -1/-1/-1->31->30 +gpua054:1011625:1011702 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua054:1011625:1011702 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [send] via NET/IB/0 +gpua054:1011625:1011702 [3] NCCL INFO Connected all rings +gpua054:1011625:1011702 [3] NCCL INFO Channel 00/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua054:1011625:1011702 [3] NCCL INFO Channel 01/0 : 31[c7000] -> 30[85000] via P2P/IPC/read +gpua054:1011625:1011702 [3] NCCL INFO Connected all trees +gpua054:1011625:1011702 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:1011625:1011702 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:1011625:1011702 [3] NCCL INFO comm 0xa2c0cd80 rank 31 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua062:3530789:3530789 [0] NCCL INFO cudaDriverVersion 12020 +gpua062:3530789:3530789 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> +gpua062:3530789:3530789 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua062:3530789:3530859 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> +gpua062:3530789:3530859 [0] NCCL INFO Using network IB +gpua062:3530789:3530859 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua062:3530789:3530859 [0] NCCL INFO Trees [0] 41/44/-1->40->49 [1] 41/-1/-1->40->37 +gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua062:3530789:3530859 [0] NCCL INFO Channel 01/0 : 39[c7000] -> 40[7000] [receive] via NET/IB/0 +gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua062:3530789:3530859 [0] NCCL INFO Channel 01/0 : 40[7000] -> 41[46000] via P2P/IPC/read +gpua062:3530789:3530859 [0] NCCL INFO Connected all rings +gpua062:3530789:3530859 [0] NCCL INFO Channel 01/0 : 37[46000] -> 40[7000] [receive] via NET/IB/0 +gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [send] via NET/IB/0 +gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [send] via NET/IB/0 +gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [receive] via NET/IB/0 +gpua062:3530789:3530859 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [receive] via NET/IB/0 +gpua062:3530789:3530859 [0] NCCL INFO Channel 01/0 : 40[7000] -> 37[46000] [send] via NET/IB/0 +gpua062:3530789:3530859 [0] NCCL INFO Connected all trees +gpua062:3530789:3530859 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua062:3530789:3530859 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua062:3530789:3530859 [0] NCCL INFO comm 0xc66c320 rank 40 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua090:1047285:1047285 [3] NCCL INFO cudaDriverVersion 12020 +gpua090:1047285:1047285 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.90<0> +gpua090:1047285:1047285 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua090:1047285:1047350 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.90<0> +gpua090:1047285:1047350 [3] NCCL INFO Using network IB +gpua090:1047285:1047350 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua090:1047285:1047350 [3] NCCL INFO Trees [0] -1/-1/-1->63->62 [1] -1/-1/-1->63->62 +gpua090:1047285:1047350 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua090:1047285:1047350 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 0[7000] [send] via NET/IB/0 +gpua090:1047285:1047350 [3] NCCL INFO Connected all rings +gpua090:1047285:1047350 [3] NCCL INFO Channel 00/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua090:1047285:1047350 [3] NCCL INFO Channel 01/0 : 63[c7000] -> 62[85000] via P2P/IPC/read +gpua090:1047285:1047350 [3] NCCL INFO Connected all trees +gpua090:1047285:1047350 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua090:1047285:1047350 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua090:1047285:1047350 [3] NCCL INFO comm 0x24a8ce90 rank 63 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua062:3530791:3530791 [2] NCCL INFO cudaDriverVersion 12020 +gpua062:3530791:3530791 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.62<0> +gpua062:3530791:3530791 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua062:3530791:3530855 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.62<0> +gpua062:3530791:3530855 [2] NCCL INFO Using network IB +gpua062:3530791:3530855 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua062:3530791:3530855 [2] NCCL INFO Trees [0] 43/-1/-1->42->41 [1] 43/-1/-1->42->41 +gpua062:3530791:3530855 [2] NCCL INFO Channel 00/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua062:3530791:3530855 [2] NCCL INFO Channel 01/0 : 42[85000] -> 43[c7000] via P2P/IPC/read +gpua062:3530791:3530855 [2] NCCL INFO Connected all rings +gpua062:3530791:3530855 [2] NCCL INFO Channel 00/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua062:3530791:3530855 [2] NCCL INFO Channel 01/0 : 42[85000] -> 41[46000] via P2P/IPC/read +gpua062:3530791:3530855 [2] NCCL INFO Connected all trees +gpua062:3530791:3530855 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua062:3530791:3530855 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua062:3530791:3530855 [2] NCCL INFO comm 0xa13e0ae0 rank 42 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua054:1011623:1011623 [1] NCCL INFO cudaDriverVersion 12020 +gpua054:1011623:1011623 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:1011623:1011623 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:1011623:1011705 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:1011623:1011705 [1] NCCL INFO Using network IB +gpua054:1011623:1011705 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua054:1011623:1011705 [1] NCCL INFO Trees [0] 30/-1/-1->29->28 [1] 30/44/-1->29->28 +gpua054:1011623:1011705 [1] NCCL INFO Channel 00/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua054:1011623:1011705 [1] NCCL INFO Channel 01/0 : 29[46000] -> 30[85000] via P2P/IPC/read +gpua054:1011623:1011705 [1] NCCL INFO Connected all rings +gpua054:1011623:1011705 [1] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [send] via NET/IB/0 +gpua054:1011623:1011705 [1] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [receive] via NET/IB/0 +gpua054:1011623:1011705 [1] NCCL INFO Channel 00/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua054:1011623:1011705 [1] NCCL INFO Channel 01/0 : 29[46000] -> 28[7000] via P2P/IPC/read +gpua054:1011623:1011705 [1] NCCL INFO Connected all trees +gpua054:1011623:1011705 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:1011623:1011705 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:1011623:1011705 [1] NCCL INFO comm 0xa8302e0 rank 29 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua054:1011622:1011622 [0] NCCL INFO cudaDriverVersion 12020 +gpua054:1011622:1011622 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.54<0> +gpua054:1011622:1011622 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua054:1011622:1011706 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.54<0> +gpua054:1011622:1011706 [0] NCCL INFO Using network IB +gpua054:1011622:1011706 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua054:1011622:1011706 [0] NCCL INFO Trees [0] 29/-1/-1->28->24 [1] 29/12/-1->28->60 +gpua054:1011622:1011706 [0] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:1011622:1011706 [0] NCCL INFO Channel 00/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 28[7000] -> 29[46000] via P2P/IPC/read +gpua054:1011622:1011706 [0] NCCL INFO Connected all rings +gpua054:1011622:1011706 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 12[7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 60[7000] -> 28[7000] [receive] via NET/IB/0 +gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 28[7000] -> 60[7000] [send] via NET/IB/0 +gpua054:1011622:1011706 [0] NCCL INFO Channel 01/0 : 28[7000] -> 12[7000] [send] via NET/IB/0 +gpua054:1011622:1011706 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [send] via NET/IB/0 +gpua054:1011622:1011706 [0] NCCL INFO Connected all trees +gpua054:1011622:1011706 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua054:1011622:1011706 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua054:1011622:1011706 [0] NCCL INFO comm 0x16962120 rank 28 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua044:535764:535764 [2] NCCL INFO cudaDriverVersion 12020 +gpua044:535764:535764 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.44<0> +gpua044:535764:535764 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua044:535764:535837 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.44<0> +gpua044:535764:535837 [2] NCCL INFO Using network IB +gpua044:535764:535837 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua044:535764:535837 [2] NCCL INFO Trees [0] 19/-1/-1->18->17 [1] 19/-1/-1->18->17 +gpua044:535764:535837 [2] NCCL INFO Channel 00/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua044:535764:535837 [2] NCCL INFO Channel 01/0 : 18[85000] -> 19[c7000] via P2P/IPC/read +gpua044:535764:535837 [2] NCCL INFO Connected all rings +gpua044:535764:535837 [2] NCCL INFO Channel 00/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua044:535764:535837 [2] NCCL INFO Channel 01/0 : 18[85000] -> 17[46000] via P2P/IPC/read +gpua044:535764:535837 [2] NCCL INFO Connected all trees +gpua044:535764:535837 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua044:535764:535837 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua044:535764:535837 [2] NCCL INFO comm 0x21c76c60 rank 18 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua059:683871:683871 [2] NCCL INFO cudaDriverVersion 12020 +gpua059:683871:683871 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.59<0> +gpua059:683871:683871 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua059:683871:683943 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.59<0> +gpua059:683871:683943 [2] NCCL INFO Using network IB +gpua059:683871:683943 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua059:683871:683943 [2] NCCL INFO Trees [0] 39/-1/-1->38->37 [1] 39/-1/-1->38->37 +gpua059:683871:683943 [2] NCCL INFO Channel 00/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua059:683871:683943 [2] NCCL INFO Channel 01/0 : 38[85000] -> 39[c7000] via P2P/IPC/read +gpua059:683871:683943 [2] NCCL INFO Connected all rings +gpua059:683871:683943 [2] NCCL INFO Channel 00/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua059:683871:683943 [2] NCCL INFO Channel 01/0 : 38[85000] -> 37[46000] via P2P/IPC/read +gpua059:683871:683943 [2] NCCL INFO Connected all trees +gpua059:683871:683943 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua059:683871:683943 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua059:683871:683943 [2] NCCL INFO comm 0x364c9450 rank 38 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua067:1213357:1213357 [0] NCCL INFO cudaDriverVersion 12020 +gpua067:1213357:1213357 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.67<0> +gpua067:1213357:1213357 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua067:1213357:1213431 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.67<0> +gpua067:1213357:1213431 [0] NCCL INFO Using network IB +gpua067:1213357:1213431 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua067:1213357:1213431 [0] NCCL INFO Trees [0] 45/-1/-1->44->40 [1] 45/36/-1->44->29 +gpua067:1213357:1213431 [0] NCCL INFO Channel 00/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 43[c7000] -> 44[7000] [receive] via NET/IB/0 +gpua067:1213357:1213431 [0] NCCL INFO Channel 00/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 44[7000] -> 45[46000] via P2P/IPC/read +gpua067:1213357:1213431 [0] NCCL INFO Connected all rings +gpua067:1213357:1213431 [0] NCCL INFO Channel 00/0 : 40[7000] -> 44[7000] [receive] via NET/IB/0 +gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 36[7000] -> 44[7000] [receive] via NET/IB/0 +gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 29[46000] -> 44[7000] [receive] via NET/IB/0 +gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 44[7000] -> 29[46000] [send] via NET/IB/0 +gpua067:1213357:1213431 [0] NCCL INFO Channel 01/0 : 44[7000] -> 36[7000] [send] via NET/IB/0 +gpua067:1213357:1213431 [0] NCCL INFO Channel 00/0 : 44[7000] -> 40[7000] [send] via NET/IB/0 +gpua067:1213357:1213431 [0] NCCL INFO Connected all trees +gpua067:1213357:1213431 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua067:1213357:1213431 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua067:1213357:1213431 [0] NCCL INFO comm 0xe2d917e0 rank 44 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua058:1102890:1102890 [0] NCCL INFO cudaDriverVersion 12020 +gpua058:1102890:1102890 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.58<0> +gpua058:1102890:1102890 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua058:1102890:1102960 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.58<0> +gpua058:1102890:1102960 [0] NCCL INFO Using network IB +gpua058:1102890:1102960 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua058:1102890:1102960 [0] NCCL INFO Trees [0] 33/48/-1->32->0 [1] 33/-1/-1->32->36 +gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua058:1102890:1102960 [0] NCCL INFO Channel 01/0 : 31[c7000] -> 32[7000] [receive] via NET/IB/0 +gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua058:1102890:1102960 [0] NCCL INFO Channel 01/0 : 32[7000] -> 33[46000] via P2P/IPC/read +gpua058:1102890:1102960 [0] NCCL INFO Connected all rings +gpua058:1102890:1102960 [0] NCCL INFO Channel 01/0 : 32[7000] -> 36[7000] [send] via NET/IB/0 +gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [send] via NET/IB/0 +gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 0[7000] -> 32[7000] [receive] via NET/IB/0 +gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 32[7000] -> 0[7000] [send] via NET/IB/0 +gpua058:1102890:1102960 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [receive] via NET/IB/0 +gpua058:1102890:1102960 [0] NCCL INFO Channel 01/0 : 36[7000] -> 32[7000] [receive] via NET/IB/0 +gpua058:1102890:1102960 [0] NCCL INFO Connected all trees +gpua058:1102890:1102960 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua058:1102890:1102960 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua058:1102890:1102960 [0] NCCL INFO comm 0x94401f70 rank 32 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua068:1144026:1144026 [2] NCCL INFO cudaDriverVersion 12020 +gpua068:1144026:1144026 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.68<0> +gpua068:1144026:1144026 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua068:1144026:1144091 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.68<0> +gpua068:1144026:1144091 [2] NCCL INFO Using network IB +gpua068:1144026:1144091 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua068:1144026:1144091 [2] NCCL INFO Trees [0] 51/-1/-1->50->49 [1] 51/-1/-1->50->49 +gpua068:1144026:1144091 [2] NCCL INFO Channel 00/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua068:1144026:1144091 [2] NCCL INFO Channel 01/0 : 50[85000] -> 51[c7000] via P2P/IPC/read +gpua068:1144026:1144091 [2] NCCL INFO Connected all rings +gpua068:1144026:1144091 [2] NCCL INFO Channel 00/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua068:1144026:1144091 [2] NCCL INFO Channel 01/0 : 50[85000] -> 49[46000] via P2P/IPC/read +gpua058:1102893:1102893 [3] NCCL INFO cudaDriverVersion 12020 +gpua058:1102893:1102893 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.58<0> +gpua058:1102893:1102893 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua058:1102893:1102961 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.58<0> +gpua058:1102893:1102961 [3] NCCL INFO Using network IB +gpua058:1102893:1102961 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua058:1102893:1102961 [3] NCCL INFO Trees [0] -1/-1/-1->35->34 [1] -1/-1/-1->35->34 +gpua058:1102893:1102961 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua058:1102893:1102961 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 36[7000] [send] via NET/IB/0 +gpua058:1102893:1102961 [3] NCCL INFO Connected all rings +gpua058:1102893:1102961 [3] NCCL INFO Channel 00/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua058:1102893:1102961 [3] NCCL INFO Channel 01/0 : 35[c7000] -> 34[85000] via P2P/IPC/read +gpua068:1144026:1144091 [2] NCCL INFO Connected all trees +gpua068:1144026:1144091 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua068:1144026:1144091 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua068:1144026:1144091 [2] NCCL INFO comm 0xef1fd20 rank 50 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua058:1102893:1102961 [3] NCCL INFO Connected all trees +gpua058:1102893:1102961 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua058:1102893:1102961 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua058:1102893:1102961 [3] NCCL INFO comm 0x1d5065d0 rank 35 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua013:2626470:2626470 [0] NCCL INFO cudaDriverVersion 12020 +gpua013:2626470:2626470 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.13<0> +gpua013:2626470:2626470 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua013:2626470:2626532 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.13<0> +gpua013:2626470:2626532 [0] NCCL INFO Using network IB +gpua013:2626470:2626532 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua013:2626470:2626532 [0] NCCL INFO Trees [0] 9/12/-1->8->17 [1] 9/-1/-1->8->5 +gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua013:2626470:2626532 [0] NCCL INFO Channel 01/0 : 7[c7000] -> 8[7000] [receive] via NET/IB/0 +gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua013:2626470:2626532 [0] NCCL INFO Channel 01/0 : 8[7000] -> 9[46000] via P2P/IPC/read +gpua013:2626470:2626532 [0] NCCL INFO Connected all rings +gpua013:2626470:2626532 [0] NCCL INFO Channel 01/0 : 5[46000] -> 8[7000] [receive] via NET/IB/0 +gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 8[7000] -> 12[7000] [send] via NET/IB/0 +gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 8[7000] -> 17[46000] [send] via NET/IB/0 +gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 17[46000] -> 8[7000] [receive] via NET/IB/0 +gpua013:2626470:2626532 [0] NCCL INFO Channel 00/0 : 12[7000] -> 8[7000] [receive] via NET/IB/0 +gpua013:2626470:2626532 [0] NCCL INFO Channel 01/0 : 8[7000] -> 5[46000] [send] via NET/IB/0 +gpua013:2626470:2626532 [0] NCCL INFO Connected all trees +gpua013:2626470:2626532 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua013:2626470:2626532 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua013:2626470:2626532 [0] NCCL INFO comm 0xdc24e00 rank 8 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua013:2626473:2626473 [3] NCCL INFO cudaDriverVersion 12020 +gpua013:2626473:2626473 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.13<0> +gpua013:2626473:2626473 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua013:2626473:2626530 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.13<0> +gpua013:2626473:2626530 [3] NCCL INFO Using network IB +gpua013:2626473:2626530 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua013:2626473:2626530 [3] NCCL INFO Trees [0] -1/-1/-1->11->10 [1] -1/-1/-1->11->10 +gpua013:2626473:2626530 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua013:2626473:2626530 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 12[7000] [send] via NET/IB/0 +gpua013:2626473:2626530 [3] NCCL INFO Connected all rings +gpua013:2626473:2626530 [3] NCCL INFO Channel 00/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua013:2626473:2626530 [3] NCCL INFO Channel 01/0 : 11[c7000] -> 10[85000] via P2P/IPC/read +gpua013:2626473:2626530 [3] NCCL INFO Connected all trees +gpua013:2626473:2626530 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua013:2626473:2626530 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua013:2626473:2626530 [3] NCCL INFO comm 0x9ae9f240 rank 11 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua013:2626472:2626472 [2] NCCL INFO cudaDriverVersion 12020 +gpua013:2626472:2626472 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.13<0> +gpua013:2626472:2626472 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua013:2626472:2626531 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.13<0> +gpua013:2626472:2626531 [2] NCCL INFO Using network IB +gpua013:2626472:2626531 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua013:2626472:2626531 [2] NCCL INFO Trees [0] 11/-1/-1->10->9 [1] 11/-1/-1->10->9 +gpua013:2626472:2626531 [2] NCCL INFO Channel 00/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua013:2626472:2626531 [2] NCCL INFO Channel 01/0 : 10[85000] -> 11[c7000] via P2P/IPC/read +gpua013:2626472:2626531 [2] NCCL INFO Connected all rings +gpua013:2626472:2626531 [2] NCCL INFO Channel 00/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua013:2626472:2626531 [2] NCCL INFO Channel 01/0 : 10[85000] -> 9[46000] via P2P/IPC/read +gpua013:2626472:2626531 [2] NCCL INFO Connected all trees +gpua013:2626472:2626531 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua013:2626472:2626531 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua013:2626472:2626531 [2] NCCL INFO comm 0x504c5060 rank 10 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua058:1102892:1102892 [2] NCCL INFO cudaDriverVersion 12020 +gpua058:1102892:1102892 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.58<0> +gpua058:1102892:1102892 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua058:1102892:1102959 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.58<0> +gpua058:1102892:1102959 [2] NCCL INFO Using network IB +gpua058:1102892:1102959 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua058:1102892:1102959 [2] NCCL INFO Trees [0] 35/-1/-1->34->33 [1] 35/-1/-1->34->33 +gpua058:1102892:1102959 [2] NCCL INFO Channel 00/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua058:1102892:1102959 [2] NCCL INFO Channel 01/0 : 34[85000] -> 35[c7000] via P2P/IPC/read +gpua058:1102892:1102959 [2] NCCL INFO Connected all rings +gpua058:1102892:1102959 [2] NCCL INFO Channel 00/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua058:1102892:1102959 [2] NCCL INFO Channel 01/0 : 34[85000] -> 33[46000] via P2P/IPC/read +gpua058:1102892:1102959 [2] NCCL INFO Connected all trees +gpua058:1102892:1102959 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua058:1102892:1102959 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua058:1102892:1102959 [2] NCCL INFO comm 0xa64fce0 rank 34 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua058:1102891:1102891 [1] NCCL INFO cudaDriverVersion 12020 +gpua058:1102891:1102891 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.58<0> +gpua058:1102891:1102891 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua058:1102891:1102958 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.58<0> +gpua058:1102891:1102958 [1] NCCL INFO Using network IB +gpua058:1102891:1102958 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua058:1102891:1102958 [1] NCCL INFO Trees [0] 34/16/-1->33->32 [1] 34/-1/-1->33->32 +gpua058:1102891:1102958 [1] NCCL INFO Channel 00/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua058:1102891:1102958 [1] NCCL INFO Channel 01/0 : 33[46000] -> 34[85000] via P2P/IPC/read +gpua058:1102891:1102958 [1] NCCL INFO Connected all rings +gpua058:1102891:1102958 [1] NCCL INFO Channel 00/0 : 16[7000] -> 33[46000] [receive] via NET/IB/0 +gpua058:1102891:1102958 [1] NCCL INFO Channel 00/0 : 33[46000] -> 16[7000] [send] via NET/IB/0 +gpua058:1102891:1102958 [1] NCCL INFO Channel 00/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua058:1102891:1102958 [1] NCCL INFO Channel 01/0 : 33[46000] -> 32[7000] via P2P/IPC/read +gpua058:1102891:1102958 [1] NCCL INFO Connected all trees +gpua058:1102891:1102958 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua058:1102891:1102958 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua058:1102891:1102958 [1] NCCL INFO comm 0x179e7410 rank 33 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua053:3072400:3072400 [2] NCCL INFO cudaDriverVersion 12020 +gpua053:3072400:3072400 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.53<0> +gpua053:3072400:3072400 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua053:3072400:3072463 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.53<0> +gpua053:3072400:3072463 [2] NCCL INFO Using network IB +gpua053:3072400:3072463 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua053:3072400:3072463 [2] NCCL INFO Trees [0] 27/-1/-1->26->25 [1] 27/-1/-1->26->25 +gpua053:3072400:3072463 [2] NCCL INFO Channel 00/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua053:3072400:3072463 [2] NCCL INFO Channel 01/0 : 26[85000] -> 27[c7000] via P2P/IPC/read +gpua053:3072400:3072463 [2] NCCL INFO Connected all rings +gpua053:3072400:3072463 [2] NCCL INFO Channel 00/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua053:3072400:3072463 [2] NCCL INFO Channel 01/0 : 26[85000] -> 25[46000] via P2P/IPC/read +gpua053:3072400:3072463 [2] NCCL INFO Connected all trees +gpua053:3072400:3072463 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua053:3072400:3072463 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua053:3072400:3072463 [2] NCCL INFO comm 0x9c183470 rank 26 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua068:1144024:1144024 [0] NCCL INFO cudaDriverVersion 12020 +gpua068:1144024:1144024 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.68<0> +gpua068:1144024:1144024 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua068:1144024:1144090 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.68<0> +gpua068:1144024:1144090 [0] NCCL INFO Using network IB +gpua068:1144024:1144090 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua068:1144024:1144090 [0] NCCL INFO Trees [0] 49/56/-1->48->32 [1] 49/-1/-1->48->52 +gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua068:1144024:1144090 [0] NCCL INFO Channel 01/0 : 47[c7000] -> 48[7000] [receive] via NET/IB/0 +gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua068:1144024:1144090 [0] NCCL INFO Channel 01/0 : 48[7000] -> 49[46000] via P2P/IPC/read +gpua068:1144024:1144090 [0] NCCL INFO Connected all rings +gpua068:1144024:1144090 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [send] via NET/IB/0 +gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 48[7000] -> 56[7000] [send] via NET/IB/0 +gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 32[7000] -> 48[7000] [receive] via NET/IB/0 +gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 48[7000] -> 32[7000] [send] via NET/IB/0 +gpua068:1144024:1144090 [0] NCCL INFO Channel 00/0 : 56[7000] -> 48[7000] [receive] via NET/IB/0 +gpua068:1144024:1144090 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [receive] via NET/IB/0 +gpua068:1144024:1144090 [0] NCCL INFO Connected all trees +gpua068:1144024:1144090 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua068:1144024:1144090 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua068:1144024:1144090 [0] NCCL INFO comm 0x367bb360 rank 48 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua068:1144025:1144025 [1] NCCL INFO cudaDriverVersion 12020 +gpua068:1144025:1144025 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.68<0> +gpua068:1144025:1144025 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua068:1144025:1144088 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.68<0> +gpua068:1144025:1144088 [1] NCCL INFO Using network IB +gpua068:1144025:1144088 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua068:1144025:1144088 [1] NCCL INFO Trees [0] 50/40/-1->49->48 [1] 50/-1/-1->49->48 +gpua068:1144025:1144088 [1] NCCL INFO Channel 00/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua068:1144025:1144088 [1] NCCL INFO Channel 01/0 : 49[46000] -> 50[85000] via P2P/IPC/read +gpua068:1144025:1144088 [1] NCCL INFO Connected all rings +gpua068:1144025:1144088 [1] NCCL INFO Channel 00/0 : 40[7000] -> 49[46000] [receive] via NET/IB/0 +gpua068:1144025:1144088 [1] NCCL INFO Channel 00/0 : 49[46000] -> 40[7000] [send] via NET/IB/0 +gpua068:1144025:1144088 [1] NCCL INFO Channel 00/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua068:1144025:1144088 [1] NCCL INFO Channel 01/0 : 49[46000] -> 48[7000] via P2P/IPC/read +gpua068:1144025:1144088 [1] NCCL INFO Connected all trees +gpua068:1144025:1144088 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua068:1144025:1144088 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua068:1144025:1144088 [1] NCCL INFO comm 0x163c48c0 rank 49 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua053:3072398:3072398 [0] NCCL INFO cudaDriverVersion 12020 +gpua053:3072398:3072398 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.53<0> +gpua053:3072398:3072398 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua053:3072398:3072465 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.53<0> +gpua053:3072398:3072465 [0] NCCL INFO Using network IB +gpua053:3072398:3072465 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua053:3072398:3072465 [0] NCCL INFO Trees [0] 25/28/-1->24->16 [1] 25/-1/-1->24->21 +gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua053:3072398:3072465 [0] NCCL INFO Channel 01/0 : 23[c7000] -> 24[7000] [receive] via NET/IB/0 +gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua053:3072398:3072465 [0] NCCL INFO Channel 01/0 : 24[7000] -> 25[46000] via P2P/IPC/read +gpua053:3072398:3072465 [0] NCCL INFO Connected all rings +gpua053:3072398:3072465 [0] NCCL INFO Channel 01/0 : 21[46000] -> 24[7000] [receive] via NET/IB/0 +gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 24[7000] -> 28[7000] [send] via NET/IB/0 +gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 16[7000] -> 24[7000] [receive] via NET/IB/0 +gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 24[7000] -> 16[7000] [send] via NET/IB/0 +gpua053:3072398:3072465 [0] NCCL INFO Channel 00/0 : 28[7000] -> 24[7000] [receive] via NET/IB/0 +gpua053:3072398:3072465 [0] NCCL INFO Channel 01/0 : 24[7000] -> 21[46000] [send] via NET/IB/0 +gpua053:3072398:3072465 [0] NCCL INFO Connected all trees +gpua053:3072398:3072465 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua053:3072398:3072465 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua053:3072398:3072465 [0] NCCL INFO comm 0xe3d36220 rank 24 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +gpua053:3072401:3072401 [3] NCCL INFO cudaDriverVersion 12020 +gpua053:3072401:3072401 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.53<0> +gpua053:3072401:3072401 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua053:3072401:3072462 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.53<0> +gpua053:3072401:3072462 [3] NCCL INFO Using network IB +gpua053:3072401:3072462 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua053:3072401:3072462 [3] NCCL INFO Trees [0] -1/-1/-1->27->26 [1] -1/-1/-1->27->26 +gpua053:3072401:3072462 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua053:3072401:3072462 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 28[7000] [send] via NET/IB/0 +gpua053:3072401:3072462 [3] NCCL INFO Connected all rings +gpua053:3072401:3072462 [3] NCCL INFO Channel 00/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua053:3072401:3072462 [3] NCCL INFO Channel 01/0 : 27[c7000] -> 26[85000] via P2P/IPC/read +gpua053:3072401:3072462 [3] NCCL INFO Connected all trees +gpua053:3072401:3072462 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua053:3072401:3072462 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua053:3072401:3072462 [3] NCCL INFO comm 0xd76a7b0 rank 27 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua053:3072399:3072399 [1] NCCL INFO cudaDriverVersion 12020 +gpua053:3072399:3072399 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.53<0> +gpua053:3072399:3072399 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua053:3072399:3072464 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.53<0> +gpua053:3072399:3072464 [1] NCCL INFO Using network IB +gpua053:3072399:3072464 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua053:3072399:3072464 [1] NCCL INFO Trees [0] 26/20/-1->25->24 [1] 26/-1/-1->25->24 +gpua053:3072399:3072464 [1] NCCL INFO Channel 00/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua053:3072399:3072464 [1] NCCL INFO Channel 01/0 : 25[46000] -> 26[85000] via P2P/IPC/read +gpua053:3072399:3072464 [1] NCCL INFO Connected all rings +gpua053:3072399:3072464 [1] NCCL INFO Channel 00/0 : 20[7000] -> 25[46000] [receive] via NET/IB/0 +gpua053:3072399:3072464 [1] NCCL INFO Channel 00/0 : 25[46000] -> 20[7000] [send] via NET/IB/0 +gpua053:3072399:3072464 [1] NCCL INFO Channel 00/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua053:3072399:3072464 [1] NCCL INFO Channel 01/0 : 25[46000] -> 24[7000] via P2P/IPC/read +gpua053:3072399:3072464 [1] NCCL INFO Connected all trees +gpua053:3072399:3072464 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua053:3072399:3072464 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua053:3072399:3072464 [1] NCCL INFO comm 0xca8b110 rank 25 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua068:1144027:1144027 [3] NCCL INFO cudaDriverVersion 12020 +gpua068:1144027:1144027 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.68<0> +gpua068:1144027:1144027 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua068:1144027:1144089 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.68<0> +gpua068:1144027:1144089 [3] NCCL INFO Using network IB +gpua068:1144027:1144089 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua068:1144027:1144089 [3] NCCL INFO Trees [0] -1/-1/-1->51->50 [1] -1/-1/-1->51->50 +gpua068:1144027:1144089 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua068:1144027:1144089 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [send] via NET/IB/0 +gpua068:1144027:1144089 [3] NCCL INFO Connected all rings +gpua068:1144027:1144089 [3] NCCL INFO Channel 00/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua068:1144027:1144089 [3] NCCL INFO Channel 01/0 : 51[c7000] -> 50[85000] via P2P/IPC/read +gpua068:1144027:1144089 [3] NCCL INFO Connected all trees +gpua068:1144027:1144089 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua068:1144027:1144089 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua068:1144027:1144089 [3] NCCL INFO comm 0x17c112e0 rank 51 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua007:1129634:1129634 [1] NCCL INFO cudaDriverVersion 12020 +gpua007:1129634:1129634 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.7<0> +gpua007:1129634:1129634 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua007:1129634:1129699 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.7<0> +gpua007:1129634:1129699 [1] NCCL INFO Using network IB +gpua007:1129634:1129699 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua007:1129634:1129699 [1] NCCL INFO Trees [0] 2/-1/-1->1->0 [1] 2/-1/-1->1->0 +gpua007:1129634:1129699 [1] NCCL INFO Channel 00/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua007:1129634:1129699 [1] NCCL INFO Channel 01/0 : 1[46000] -> 2[85000] via P2P/IPC/read +gpua007:1129634:1129699 [1] NCCL INFO Connected all rings +gpua007:1129634:1129699 [1] NCCL INFO Channel 00/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua007:1129634:1129699 [1] NCCL INFO Channel 01/0 : 1[46000] -> 0[7000] via P2P/IPC/read +gpua007:1129634:1129699 [1] NCCL INFO Connected all trees +gpua007:1129634:1129699 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua007:1129634:1129699 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua007:1129634:1129699 [1] NCCL INFO comm 0x2d59f940 rank 1 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua069:1842587:1842587 [3] NCCL INFO cudaDriverVersion 12020 +gpua069:1842587:1842587 [3] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> +gpua069:1842587:1842587 [3] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua069:1842587:1842661 [3] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> +gpua069:1842587:1842661 [3] NCCL INFO Using network IB +gpua069:1842587:1842661 [3] NCCL INFO Setting affinity for GPU 3 to ffff +gpua069:1842587:1842661 [3] NCCL INFO Trees [0] -1/-1/-1->55->54 [1] -1/-1/-1->55->54 +gpua069:1842587:1842661 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua069:1842587:1842661 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 56[7000] [send] via NET/IB/0 +gpua069:1842587:1842661 [3] NCCL INFO Connected all rings +gpua069:1842587:1842661 [3] NCCL INFO Channel 00/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua069:1842587:1842661 [3] NCCL INFO Channel 01/0 : 55[c7000] -> 54[85000] via P2P/IPC/read +gpua069:1842587:1842661 [3] NCCL INFO Connected all trees +gpua069:1842587:1842661 [3] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua069:1842587:1842661 [3] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua069:1842587:1842661 [3] NCCL INFO comm 0xb498ab0 rank 55 nranks 64 cudaDev 3 busId c7000 - Init COMPLETE +gpua069:1842586:1842586 [2] NCCL INFO cudaDriverVersion 12020 +gpua069:1842586:1842586 [2] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> +gpua069:1842586:1842586 [2] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua069:1842586:1842660 [2] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> +gpua069:1842586:1842660 [2] NCCL INFO Using network IB +gpua069:1842586:1842660 [2] NCCL INFO Setting affinity for GPU 2 to ffff0000 +gpua069:1842586:1842660 [2] NCCL INFO Trees [0] 55/-1/-1->54->53 [1] 55/-1/-1->54->53 +gpua069:1842586:1842660 [2] NCCL INFO Channel 00/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua069:1842586:1842660 [2] NCCL INFO Channel 01/0 : 54[85000] -> 55[c7000] via P2P/IPC/read +gpua069:1842586:1842660 [2] NCCL INFO Connected all rings +gpua069:1842586:1842660 [2] NCCL INFO Channel 00/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua069:1842586:1842660 [2] NCCL INFO Channel 01/0 : 54[85000] -> 53[46000] via P2P/IPC/read +gpua069:1842586:1842660 [2] NCCL INFO Connected all trees +gpua069:1842586:1842660 [2] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua069:1842586:1842660 [2] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua069:1842586:1842660 [2] NCCL INFO comm 0xe73e3d0 rank 54 nranks 64 cudaDev 2 busId 85000 - Init COMPLETE +gpua069:1842585:1842585 [1] NCCL INFO cudaDriverVersion 12020 +gpua069:1842585:1842585 [1] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> +gpua069:1842585:1842585 [1] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua069:1842585:1842666 [1] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> +gpua069:1842585:1842666 [1] NCCL INFO Using network IB +gpua069:1842585:1842666 [1] NCCL INFO Setting affinity for GPU 1 to ffff,00000000 +gpua069:1842585:1842666 [1] NCCL INFO Trees [0] 54/-1/-1->53->52 [1] 54/56/-1->53->52 +gpua069:1842585:1842666 [1] NCCL INFO Channel 00/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua069:1842585:1842666 [1] NCCL INFO Channel 01/0 : 53[46000] -> 54[85000] via P2P/IPC/read +gpua069:1842585:1842666 [1] NCCL INFO Connected all rings +gpua069:1842585:1842666 [1] NCCL INFO Channel 01/0 : 53[46000] -> 56[7000] [send] via NET/IB/0 +gpua069:1842585:1842666 [1] NCCL INFO Channel 01/0 : 56[7000] -> 53[46000] [receive] via NET/IB/0 +gpua069:1842585:1842666 [1] NCCL INFO Channel 00/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua069:1842585:1842666 [1] NCCL INFO Channel 01/0 : 53[46000] -> 52[7000] via P2P/IPC/read +gpua069:1842585:1842666 [1] NCCL INFO Connected all trees +gpua069:1842585:1842666 [1] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua069:1842585:1842666 [1] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua069:1842585:1842666 [1] NCCL INFO comm 0xd2bc600 rank 53 nranks 64 cudaDev 1 busId 46000 - Init COMPLETE +gpua069:1842584:1842584 [0] NCCL INFO cudaDriverVersion 12020 +gpua069:1842584:1842584 [0] NCCL INFO Bootstrap : Using eth1:172.28.23.69<0> +gpua069:1842584:1842584 [0] NCCL INFO NET/Plugin : No plugin found (libnccl-net.so), using internal implementation +gpua069:1842584:1842662 [0] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [RO]; OOB eth1:172.28.23.69<0> +gpua069:1842584:1842662 [0] NCCL INFO Using network IB +gpua069:1842584:1842662 [0] NCCL INFO Setting affinity for GPU 0 to ffff0000,00000000 +gpua069:1842584:1842662 [0] NCCL INFO Trees [0] 53/-1/-1->52->57 [1] 53/48/-1->52->45 +gpua069:1842584:1842662 [0] NCCL INFO Channel 00/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 51[c7000] -> 52[7000] [receive] via NET/IB/0 +gpua069:1842584:1842662 [0] NCCL INFO Channel 00/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 52[7000] -> 53[46000] via P2P/IPC/read +gpua069:1842584:1842662 [0] NCCL INFO Connected all rings +gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 48[7000] -> 52[7000] [receive] via NET/IB/0 +gpua069:1842584:1842662 [0] NCCL INFO Channel 00/0 : 52[7000] -> 57[46000] [send] via NET/IB/0 +gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 45[46000] -> 52[7000] [receive] via NET/IB/0 +gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 52[7000] -> 45[46000] [send] via NET/IB/0 +gpua069:1842584:1842662 [0] NCCL INFO Channel 00/0 : 57[46000] -> 52[7000] [receive] via NET/IB/0 +gpua069:1842584:1842662 [0] NCCL INFO Channel 01/0 : 52[7000] -> 48[7000] [send] via NET/IB/0 +gpua069:1842584:1842662 [0] NCCL INFO Connected all trees +gpua069:1842584:1842662 [0] NCCL INFO threadThresholds 8/8/64 | 512/8/64 | 512 | 512 +gpua069:1842584:1842662 [0] NCCL INFO 2 coll channels, 2 p2p channels, 2 p2p channels per peer +gpua069:1842584:1842662 [0] NCCL INFO comm 0xe4ba88a0 rank 52 nranks 64 cudaDev 0 busId 7000 - Init COMPLETE +[gpua007:0/64] 2023-12-20 04:51:49,000 (distributed:1027) INFO: Reducer buckets have been rebuilt in this iteration. +[gpua007:0/64] 2023-12-20 04:54:36,477 (trainer:737) INFO: 42epoch:train:1-100batch: iter_time=1.277, forward_time=0.230, loss_ctc=66.418, loss_att=46.415, acc=0.731, loss=52.416, backward_time=0.328, grad_norm=85.003, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.247e-05, train_time=6.401 +[gpua007:0/64] 2023-12-20 04:57:35,283 (trainer:737) INFO: 42epoch:train:101-200batch: iter_time=9.127e-05, forward_time=0.142, loss_ctc=65.121, loss_att=54.209, acc=0.719, loss=57.482, backward_time=0.330, grad_norm=77.539, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.247e-05, train_time=1.788 +[gpua007:0/64] 2023-12-20 05:00:50,105 (trainer:737) INFO: 42epoch:train:201-300batch: iter_time=8.540e-05, forward_time=0.142, loss_ctc=63.572, loss_att=50.839, acc=0.743, loss=54.659, backward_time=0.330, grad_norm=62.980, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.246e-05, train_time=1.948 +[gpua007:0/64] 2023-12-20 05:04:19,473 (trainer:737) INFO: 42epoch:train:301-400batch: iter_time=8.488e-05, forward_time=0.197, loss_ctc=66.008, loss_att=54.776, acc=0.722, loss=58.145, backward_time=0.394, grad_norm=120.025, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=6.246e-05, train_time=2.093 +[gpua007:0/64] 2023-12-20 05:07:48,669 (trainer:737) INFO: 42epoch:train:401-500batch: iter_time=9.765e-05, forward_time=0.158, loss_ctc=64.323, loss_att=55.363, acc=0.714, loss=58.051, backward_time=0.363, grad_norm=79.686, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.245e-05, train_time=2.092 +[gpua007:0/64] 2023-12-20 05:11:22,147 (trainer:737) INFO: 42epoch:train:501-600batch: iter_time=8.729e-05, forward_time=0.143, loss_ctc=59.019, loss_att=50.348, acc=0.732, loss=52.949, backward_time=0.337, grad_norm=103.262, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.245e-05, train_time=2.135 +[gpua007:0/64] 2023-12-20 05:14:18,625 (trainer:737) INFO: 42epoch:train:601-700batch: iter_time=8.778e-05, forward_time=0.143, loss_ctc=50.495, loss_att=36.306, acc=0.765, loss=40.562, backward_time=0.335, grad_norm=91.920, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.244e-05, train_time=1.765 +[gpua007:0/64] 2023-12-20 05:15:51,917 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 05:17:44,044 (trainer:737) INFO: 42epoch:train:701-800batch: iter_time=9.020e-05, forward_time=0.142, loss_ctc=68.129, loss_att=52.320, acc=0.732, loss=57.063, backward_time=0.345, grad_norm=143.227, clip=100.000, loss_scale=2.971e+31, optim_step_time=0.131, optim0_lr0=6.244e-05, train_time=2.054 +[gpua007:0/64] 2023-12-20 05:20:21,554 (trainer:737) INFO: 42epoch:train:801-900batch: iter_time=8.693e-05, forward_time=0.143, loss_ctc=67.850, loss_att=54.622, acc=0.713, loss=58.590, backward_time=0.307, grad_norm=105.251, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.243e-05, train_time=1.575 +[gpua007:0/64] 2023-12-20 05:23:25,658 (trainer:737) INFO: 42epoch:train:901-1000batch: iter_time=8.826e-05, forward_time=0.184, loss_ctc=54.112, loss_att=42.242, acc=0.745, loss=45.803, backward_time=0.342, grad_norm=112.174, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.243e-05, train_time=1.841 +[gpua007:0/64] 2023-12-20 05:26:21,970 (trainer:737) INFO: 42epoch:train:1001-1100batch: iter_time=8.612e-05, forward_time=0.193, loss_ctc=56.116, loss_att=43.465, acc=0.744, loss=47.260, backward_time=0.379, grad_norm=102.152, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.242e-05, train_time=1.763 +[gpua007:0/64] 2023-12-20 05:29:02,375 (trainer:737) INFO: 42epoch:train:1101-1200batch: iter_time=7.920e-05, forward_time=0.143, loss_ctc=65.994, loss_att=53.052, acc=0.727, loss=56.935, backward_time=0.299, grad_norm=135.754, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.130, optim0_lr0=6.242e-05, train_time=1.604 +[gpua007:0/64] 2023-12-20 05:30:36,888 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua007:0/64] 2023-12-20 05:30:54,937 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 05:30:58,323 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 05:30:58,323 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua007:0/64] 2023-12-20 05:30:58,328 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 05:38:01,869 (trainer:737) INFO: 42epoch:train:1201-1300batch: iter_time=2.730, forward_time=0.232, loss_ctc=67.053, loss_att=48.591, acc=0.732, loss=54.130, backward_time=0.318, grad_norm=100.703, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.241e-05, train_time=5.394 +[gpua007:0/64] 2023-12-20 05:44:40,177 (trainer:737) INFO: 42epoch:train:1301-1400batch: iter_time=8.435e-05, forward_time=0.148, loss_ctc=64.561, loss_att=46.722, acc=0.741, loss=52.074, backward_time=0.594, grad_norm=86.911, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.241e-05, train_time=3.983 +[gpua007:0/64] 2023-12-20 05:49:45,276 (trainer:737) INFO: 42epoch:train:1401-1500batch: iter_time=9.131e-04, forward_time=0.188, loss_ctc=66.115, loss_att=57.979, acc=0.735, loss=60.420, backward_time=0.512, grad_norm=67.084, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.240e-05, train_time=3.048 +[gpua007:0/64] 2023-12-20 05:53:59,046 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 05:54:33,039 (trainer:737) INFO: 42epoch:train:1501-1600batch: iter_time=8.291e-05, forward_time=0.177, loss_ctc=58.906, loss_att=49.695, acc=0.745, loss=52.458, backward_time=0.414, grad_norm=135.797, clip=100.000, loss_scale=1.916e+31, optim_step_time=0.135, optim0_lr0=6.240e-05, train_time=2.881 +[gpua007:0/64] 2023-12-20 05:58:35,612 (trainer:737) INFO: 42epoch:train:1601-1700batch: iter_time=8.479e-05, forward_time=0.255, loss_ctc=62.913, loss_att=53.864, acc=0.728, loss=56.579, backward_time=0.442, grad_norm=103.132, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.239e-05, train_time=2.423 +[gpua007:0/64] 2023-12-20 06:01:34,805 (trainer:737) INFO: 42epoch:train:1701-1800batch: iter_time=9.178e-05, forward_time=0.167, loss_ctc=61.038, loss_att=51.926, acc=0.726, loss=54.660, backward_time=0.332, grad_norm=94.618, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.239e-05, train_time=1.794 +[gpua007:0/64] 2023-12-20 06:04:48,933 (trainer:737) INFO: 42epoch:train:1801-1900batch: iter_time=3.699e-04, forward_time=0.171, loss_ctc=59.735, loss_att=48.335, acc=0.766, loss=51.755, backward_time=0.387, grad_norm=57.861, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.238e-05, train_time=1.941 +[gpua007:0/64] 2023-12-20 06:07:44,838 (trainer:737) INFO: 42epoch:train:1901-2000batch: iter_time=8.106e-05, forward_time=0.192, loss_ctc=57.697, loss_att=42.931, acc=0.747, loss=47.361, backward_time=0.355, grad_norm=82.645, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.238e-05, train_time=1.758 +[gpua007:0/64] 2023-12-20 06:10:58,445 (trainer:737) INFO: 42epoch:train:2001-2100batch: iter_time=6.331e-04, forward_time=0.190, loss_ctc=66.729, loss_att=51.431, acc=0.737, loss=56.020, backward_time=0.364, grad_norm=77.869, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.237e-05, train_time=1.937 +[gpua007:0/64] 2023-12-20 06:14:23,322 (trainer:737) INFO: 42epoch:train:2101-2200batch: iter_time=8.429e-05, forward_time=0.195, loss_ctc=60.305, loss_att=49.903, acc=0.730, loss=53.024, backward_time=0.359, grad_norm=180.807, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.237e-05, train_time=2.049 +[gpua007:0/64] 2023-12-20 06:17:01,988 (trainer:737) INFO: 42epoch:train:2201-2300batch: iter_time=8.633e-05, forward_time=0.159, loss_ctc=56.600, loss_att=45.500, acc=0.748, loss=48.830, backward_time=0.328, grad_norm=106.961, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.236e-05, train_time=1.584 +[gpua007:0/64] 2023-12-20 06:20:29,618 (trainer:737) INFO: 42epoch:train:2301-2400batch: iter_time=3.558e-04, forward_time=0.167, loss_ctc=59.113, loss_att=47.312, acc=0.742, loss=50.852, backward_time=0.317, grad_norm=82.826, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.236e-05, train_time=2.078 +[gpua007:0/64] 2023-12-20 06:23:02,692 (trainer:737) INFO: 42epoch:train:2401-2500batch: iter_time=8.777e-05, forward_time=0.165, loss_ctc=67.785, loss_att=50.821, acc=0.740, loss=55.910, backward_time=0.355, grad_norm=107.732, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.235e-05, train_time=1.531 +[gpua007:0/64] 2023-12-20 06:23:22,721 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua007:0/64] 2023-12-20 06:23:40,877 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 06:23:44,223 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 06:23:44,223 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua007:0/64] 2023-12-20 06:23:44,255 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 06:33:00,589 (trainer:737) INFO: 42epoch:train:2501-2600batch: iter_time=2.760, forward_time=0.220, loss_ctc=65.297, loss_att=46.696, acc=0.735, loss=52.276, backward_time=0.299, grad_norm=104.189, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.235e-05, train_time=5.979 +[gpua007:0/64] 2023-12-20 06:35:52,371 (trainer:737) INFO: 42epoch:train:2601-2700batch: iter_time=8.748e-05, forward_time=0.248, loss_ctc=64.761, loss_att=54.337, acc=0.723, loss=57.464, backward_time=0.341, grad_norm=85.422, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.141, optim0_lr0=6.234e-05, train_time=1.718 +[gpua007:0/64] 2023-12-20 06:38:11,224 (trainer:737) INFO: 42epoch:train:2701-2800batch: iter_time=8.730e-05, forward_time=0.148, loss_ctc=63.208, loss_att=50.417, acc=0.747, loss=54.254, backward_time=0.297, grad_norm=72.302, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.234e-05, train_time=1.388 +[gpua007:0/64] 2023-12-20 06:41:27,879 (trainer:737) INFO: 42epoch:train:2801-2900batch: iter_time=8.588e-05, forward_time=0.149, loss_ctc=64.819, loss_att=54.532, acc=0.728, loss=57.618, backward_time=0.364, grad_norm=164.983, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.233e-05, train_time=1.966 +[gpua007:0/64] 2023-12-20 06:44:15,690 (trainer:737) INFO: 42epoch:train:2901-3000batch: iter_time=8.553e-05, forward_time=0.147, loss_ctc=63.391, loss_att=54.549, acc=0.718, loss=57.202, backward_time=0.302, grad_norm=82.018, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.233e-05, train_time=1.678 +[gpua007:0/64] 2023-12-20 06:47:19,658 (trainer:737) INFO: 42epoch:train:3001-3100batch: iter_time=8.918e-05, forward_time=0.149, loss_ctc=58.934, loss_att=49.827, acc=0.737, loss=52.559, backward_time=0.353, grad_norm=84.613, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.232e-05, train_time=1.839 +[gpua007:0/64] 2023-12-20 06:50:18,487 (trainer:737) INFO: 42epoch:train:3101-3200batch: iter_time=5.957e-04, forward_time=0.258, loss_ctc=50.312, loss_att=35.943, acc=0.770, loss=40.254, backward_time=0.367, grad_norm=65.377, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.150, optim0_lr0=6.232e-05, train_time=1.788 +[gpua007:0/64] 2023-12-20 06:53:05,041 (trainer:737) INFO: 42epoch:train:3201-3300batch: iter_time=8.666e-05, forward_time=0.147, loss_ctc=67.565, loss_att=52.238, acc=0.734, loss=56.836, backward_time=0.300, grad_norm=198.358, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.231e-05, train_time=1.665 +[gpua007:0/64] 2023-12-20 06:55:50,791 (trainer:737) INFO: 42epoch:train:3301-3400batch: iter_time=8.763e-05, forward_time=0.149, loss_ctc=67.245, loss_att=54.028, acc=0.718, loss=57.993, backward_time=0.334, grad_norm=92.057, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.231e-05, train_time=1.657 +[gpua007:0/64] 2023-12-20 06:58:25,976 (trainer:737) INFO: 42epoch:train:3401-3500batch: iter_time=8.344e-05, forward_time=0.148, loss_ctc=53.517, loss_att=41.960, acc=0.749, loss=45.427, backward_time=0.305, grad_norm=170.098, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.230e-05, train_time=1.552 +[gpua007:0/64] 2023-12-20 07:01:00,094 (trainer:737) INFO: 42epoch:train:3501-3600batch: iter_time=8.613e-05, forward_time=0.147, loss_ctc=55.385, loss_att=42.824, acc=0.749, loss=46.593, backward_time=0.296, grad_norm=62.949, clip=100.000, loss_scale=1.126e+31, optim_step_time=0.132, optim0_lr0=6.230e-05, train_time=1.541 +[gpua007:0/64] 2023-12-20 07:03:28,302 (trainer:737) INFO: 42epoch:train:3601-3700batch: iter_time=8.280e-05, forward_time=0.147, loss_ctc=65.012, loss_att=52.668, acc=0.728, loss=56.371, backward_time=0.318, grad_norm=86.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.229e-05, train_time=1.482 +[gpua007:0/64] 2023-12-20 07:05:26,038 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua007:0/64] 2023-12-20 07:05:44,125 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 07:05:47,552 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 07:05:47,552 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua007:0/64] 2023-12-20 07:05:47,606 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 07:11:04,394 (trainer:737) INFO: 42epoch:train:3701-3800batch: iter_time=2.713, forward_time=0.213, loss_ctc=65.621, loss_att=47.052, acc=0.740, loss=52.622, backward_time=0.360, grad_norm=77.440, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.229e-05, train_time=4.560 +[gpua007:0/64] 2023-12-20 07:13:23,690 (trainer:737) INFO: 42epoch:train:3801-3900batch: iter_time=8.885e-05, forward_time=0.148, loss_ctc=63.757, loss_att=46.082, acc=0.747, loss=51.384, backward_time=0.295, grad_norm=75.483, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.228e-05, train_time=1.393 +[gpua007:0/64] 2023-12-20 07:15:35,408 (trainer:737) INFO: 42epoch:train:3901-4000batch: iter_time=9.101e-05, forward_time=0.148, loss_ctc=65.076, loss_att=57.081, acc=0.740, loss=59.480, backward_time=0.285, grad_norm=73.074, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.228e-05, train_time=1.317 +[gpua007:0/64] 2023-12-20 07:17:50,587 (trainer:737) INFO: 42epoch:train:4001-4100batch: iter_time=8.905e-05, forward_time=0.148, loss_ctc=58.760, loss_att=49.213, acc=0.748, loss=52.077, backward_time=0.301, grad_norm=87.330, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.227e-05, train_time=1.352 +[gpua007:0/64] 2023-12-20 07:20:14,014 (trainer:737) INFO: 42epoch:train:4101-4200batch: iter_time=8.373e-05, forward_time=0.148, loss_ctc=62.762, loss_att=53.302, acc=0.732, loss=56.140, backward_time=0.282, grad_norm=130.903, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.227e-05, train_time=1.434 +[gpua007:0/64] 2023-12-20 07:22:53,564 (trainer:737) INFO: 42epoch:train:4201-4300batch: iter_time=8.698e-05, forward_time=0.147, loss_ctc=60.480, loss_att=51.462, acc=0.731, loss=54.167, backward_time=0.303, grad_norm=104.292, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.226e-05, train_time=1.595 +[gpua007:0/64] 2023-12-20 07:25:06,685 (trainer:737) INFO: 42epoch:train:4301-4400batch: iter_time=8.667e-05, forward_time=0.148, loss_ctc=59.574, loss_att=48.200, acc=0.769, loss=51.612, backward_time=0.284, grad_norm=85.886, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.226e-05, train_time=1.331 +[gpua007:0/64] 2023-12-20 07:27:29,592 (trainer:737) INFO: 42epoch:train:4401-4500batch: iter_time=9.314e-05, forward_time=0.251, loss_ctc=57.765, loss_att=42.753, acc=0.750, loss=47.257, backward_time=0.321, grad_norm=81.376, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.225e-05, train_time=1.428 +[gpua007:0/64] 2023-12-20 07:30:18,205 (trainer:737) INFO: 42epoch:train:4501-4600batch: iter_time=8.901e-05, forward_time=0.154, loss_ctc=66.361, loss_att=50.727, acc=0.741, loss=55.418, backward_time=0.301, grad_norm=68.172, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.225e-05, train_time=1.686 +[gpua007:0/64] 2023-12-20 07:33:37,478 (trainer:737) INFO: 42epoch:train:4601-4700batch: iter_time=8.704e-05, forward_time=0.147, loss_ctc=59.776, loss_att=49.680, acc=0.733, loss=52.709, backward_time=0.335, grad_norm=68.507, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.224e-05, train_time=1.993 +[gpua007:0/64] 2023-12-20 07:36:20,946 (trainer:737) INFO: 42epoch:train:4701-4800batch: iter_time=9.577e-05, forward_time=0.148, loss_ctc=56.412, loss_att=45.596, acc=0.750, loss=48.841, backward_time=0.348, grad_norm=85.413, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.224e-05, train_time=1.634 +[gpua007:0/64] 2023-12-20 07:38:37,381 (trainer:737) INFO: 42epoch:train:4801-4900batch: iter_time=8.931e-05, forward_time=0.147, loss_ctc=58.573, loss_att=47.056, acc=0.744, loss=50.511, backward_time=0.288, grad_norm=93.389, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.223e-05, train_time=1.364 +[gpua007:0/64] 2023-12-20 07:40:52,449 (trainer:737) INFO: 42epoch:train:4901-5000batch: iter_time=8.873e-05, forward_time=0.148, loss_ctc=67.168, loss_att=50.195, acc=0.742, loss=55.287, backward_time=0.278, grad_norm=97.455, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.223e-05, train_time=1.351 +[gpua007:0/64] 2023-12-20 07:41:12,478 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua007:0/64] 2023-12-20 07:41:30,959 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 07:41:34,449 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 07:41:34,449 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua007:0/64] 2023-12-20 07:41:34,455 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 07:53:04,016 (trainer:737) INFO: 42epoch:train:5001-5100batch: iter_time=2.975, forward_time=0.310, loss_ctc=65.711, loss_att=46.045, acc=0.744, loss=51.945, backward_time=0.312, grad_norm=99.266, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.148, optim0_lr0=6.222e-05, train_time=7.315 +[gpua007:0/64] 2023-12-20 07:55:39,801 (trainer:737) INFO: 42epoch:train:5101-5200batch: iter_time=8.426e-05, forward_time=0.147, loss_ctc=64.291, loss_att=55.245, acc=0.727, loss=57.959, backward_time=0.294, grad_norm=87.786, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.222e-05, train_time=1.558 +[gpua007:0/64] 2023-12-20 07:58:06,311 (trainer:737) INFO: 42epoch:train:5201-5300batch: iter_time=8.631e-04, forward_time=0.275, loss_ctc=63.114, loss_att=49.781, acc=0.757, loss=53.781, backward_time=0.316, grad_norm=84.345, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.221e-05, train_time=1.465 +[gpua007:0/64] 2023-12-20 08:01:55,402 (trainer:737) INFO: 42epoch:train:5301-5400batch: iter_time=8.117e-05, forward_time=0.306, loss_ctc=64.848, loss_att=54.805, acc=0.740, loss=57.818, backward_time=0.362, grad_norm=97.723, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.221e-05, train_time=2.291 +[gpua007:0/64] 2023-12-20 08:04:28,382 (trainer:737) INFO: 42epoch:train:5401-5500batch: iter_time=8.041e-05, forward_time=0.149, loss_ctc=63.476, loss_att=55.782, acc=0.724, loss=58.090, backward_time=0.297, grad_norm=80.249, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.220e-05, train_time=1.529 +[gpua007:0/64] 2023-12-20 08:07:21,196 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 08:07:35,696 (trainer:737) INFO: 42epoch:train:5501-5600batch: iter_time=8.307e-05, forward_time=0.303, loss_ctc=57.797, loss_att=50.280, acc=0.745, loss=52.535, backward_time=0.394, grad_norm=84.232, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.220e-05, train_time=1.873 +[gpua007:0/64] 2023-12-20 08:10:25,622 (trainer:737) INFO: 42epoch:train:5601-5700batch: iter_time=9.575e-04, forward_time=0.244, loss_ctc=50.629, loss_att=36.051, acc=0.773, loss=40.424, backward_time=0.322, grad_norm=84.356, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.219e-05, train_time=1.698 +[gpua007:0/64] 2023-12-20 08:13:10,265 (trainer:737) INFO: 42epoch:train:5701-5800batch: iter_time=8.607e-05, forward_time=0.147, loss_ctc=67.329, loss_att=51.661, acc=0.746, loss=56.361, backward_time=0.318, grad_norm=91.448, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.219e-05, train_time=1.647 +[gpua007:0/64] 2023-12-20 08:16:05,644 (trainer:737) INFO: 42epoch:train:5801-5900batch: iter_time=8.391e-04, forward_time=0.312, loss_ctc=66.495, loss_att=54.456, acc=0.719, loss=58.067, backward_time=0.322, grad_norm=79.971, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.218e-05, train_time=1.752 +[gpua007:0/64] 2023-12-20 08:18:58,702 (trainer:737) INFO: 42epoch:train:5901-6000batch: iter_time=8.049e-05, forward_time=0.148, loss_ctc=53.472, loss_att=41.714, acc=0.760, loss=45.241, backward_time=0.293, grad_norm=140.583, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.218e-05, train_time=1.732 +[gpua007:0/64] 2023-12-20 08:21:29,549 (trainer:737) INFO: 42epoch:train:6001-6100batch: iter_time=5.971e-04, forward_time=0.282, loss_ctc=55.635, loss_att=43.205, acc=0.752, loss=46.934, backward_time=0.335, grad_norm=74.363, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.217e-05, train_time=1.508 +[gpua007:0/64] 2023-12-20 08:24:05,438 (trainer:737) INFO: 42epoch:train:6101-6200batch: iter_time=8.201e-05, forward_time=0.147, loss_ctc=64.563, loss_att=52.904, acc=0.733, loss=56.402, backward_time=0.321, grad_norm=138.203, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.217e-05, train_time=1.558 +[gpua007:0/64] 2023-12-20 08:25:41,832 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua007:0/64] 2023-12-20 08:26:00,439 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 08:26:03,831 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 08:26:03,832 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua007:0/64] 2023-12-20 08:26:03,836 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 08:35:06,700 (trainer:737) INFO: 42epoch:train:6201-6300batch: iter_time=2.827, forward_time=0.203, loss_ctc=65.858, loss_att=47.483, acc=0.737, loss=52.996, backward_time=0.293, grad_norm=92.583, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.216e-05, train_time=6.613 +[gpua007:0/64] 2023-12-20 08:37:34,597 (trainer:737) INFO: 42epoch:train:6301-6400batch: iter_time=7.929e-05, forward_time=0.152, loss_ctc=64.435, loss_att=46.763, acc=0.742, loss=52.065, backward_time=0.301, grad_norm=70.120, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.216e-05, train_time=1.477 +[gpua007:0/64] 2023-12-20 08:40:33,577 (trainer:737) INFO: 42epoch:train:6401-6500batch: iter_time=8.323e-05, forward_time=0.277, loss_ctc=65.304, loss_att=56.114, acc=0.736, loss=58.871, backward_time=0.332, grad_norm=136.184, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.158, optim0_lr0=6.215e-05, train_time=1.792 +[gpua007:0/64] 2023-12-20 08:43:26,919 (trainer:737) INFO: 42epoch:train:6501-6600batch: iter_time=8.415e-05, forward_time=0.219, loss_ctc=59.007, loss_att=49.270, acc=0.745, loss=52.191, backward_time=0.341, grad_norm=145.017, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.215e-05, train_time=1.732 +[gpua007:0/64] 2023-12-20 08:46:24,051 (trainer:737) INFO: 42epoch:train:6601-6700batch: iter_time=8.388e-05, forward_time=0.232, loss_ctc=61.610, loss_att=52.123, acc=0.730, loss=54.969, backward_time=0.327, grad_norm=147.221, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.214e-05, train_time=1.773 +[gpua007:0/64] 2023-12-20 08:49:26,005 (trainer:737) INFO: 42epoch:train:6701-6800batch: iter_time=8.309e-05, forward_time=0.159, loss_ctc=59.826, loss_att=50.939, acc=0.724, loss=53.605, backward_time=0.404, grad_norm=79.548, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.214e-05, train_time=1.819 +[gpua007:0/64] 2023-12-20 08:51:45,465 (trainer:737) INFO: 42epoch:train:6801-6900batch: iter_time=0.001, forward_time=0.162, loss_ctc=58.976, loss_att=47.569, acc=0.768, loss=50.991, backward_time=0.291, grad_norm=56.091, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.146, optim0_lr0=6.213e-05, train_time=1.395 +[gpua007:0/64] 2023-12-20 08:54:20,580 (trainer:737) INFO: 42epoch:train:6901-7000batch: iter_time=0.003, forward_time=0.199, loss_ctc=57.099, loss_att=42.614, acc=0.749, loss=46.960, backward_time=0.296, grad_norm=72.655, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.213e-05, train_time=1.551 +[gpua007:0/64] 2023-12-20 08:57:24,595 (trainer:737) INFO: 42epoch:train:7001-7100batch: iter_time=8.217e-05, forward_time=0.146, loss_ctc=65.885, loss_att=50.285, acc=0.738, loss=54.965, backward_time=0.339, grad_norm=90.811, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.131, optim0_lr0=6.212e-05, train_time=1.840 +[gpua007:0/64] 2023-12-20 08:59:55,810 (trainer:737) INFO: 42epoch:train:7101-7200batch: iter_time=8.015e-05, forward_time=0.175, loss_ctc=59.922, loss_att=49.516, acc=0.727, loss=52.638, backward_time=0.307, grad_norm=93.952, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.212e-05, train_time=1.512 +[gpua007:0/64] 2023-12-20 09:02:37,232 (trainer:737) INFO: 42epoch:train:7201-7300batch: iter_time=8.208e-05, forward_time=0.146, loss_ctc=55.976, loss_att=45.493, acc=0.744, loss=48.638, backward_time=0.311, grad_norm=82.535, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.211e-05, train_time=1.614 +[gpua007:0/64] 2023-12-20 09:05:27,682 (trainer:737) INFO: 42epoch:train:7301-7400batch: iter_time=8.176e-04, forward_time=0.155, loss_ctc=58.942, loss_att=46.135, acc=0.748, loss=49.977, backward_time=0.350, grad_norm=72.452, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.211e-05, train_time=1.704 +[gpua007:0/64] 2023-12-20 09:08:21,194 (trainer:737) INFO: 42epoch:train:7401-7500batch: iter_time=7.904e-05, forward_time=0.170, loss_ctc=67.268, loss_att=49.641, acc=0.742, loss=54.929, backward_time=0.334, grad_norm=74.010, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.210e-05, train_time=1.735 +[gpua007:0/64] 2023-12-20 09:08:41,222 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua007:0/64] 2023-12-20 09:08:59,676 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 09:09:03,116 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 09:09:03,116 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua007:0/64] 2023-12-20 09:09:03,120 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 09:20:02,691 (trainer:737) INFO: 42epoch:train:7501-7600batch: iter_time=3.081, forward_time=0.350, loss_ctc=64.769, loss_att=46.934, acc=0.745, loss=52.284, backward_time=0.319, grad_norm=92.822, clip=100.000, loss_scale=2.231e+31, optim_step_time=0.140, optim0_lr0=6.210e-05, train_time=7.014 +[gpua007:0/64] 2023-12-20 09:22:11,113 (trainer:737) INFO: 42epoch:train:7601-7700batch: iter_time=8.575e-05, forward_time=0.152, loss_ctc=63.773, loss_att=54.900, acc=0.730, loss=57.562, backward_time=0.280, grad_norm=77.245, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.209e-05, train_time=1.284 +[gpua007:0/64] 2023-12-20 09:24:46,761 (trainer:737) INFO: 42epoch:train:7701-7800batch: iter_time=8.563e-05, forward_time=0.148, loss_ctc=62.806, loss_att=50.166, acc=0.757, loss=53.958, backward_time=0.296, grad_norm=66.918, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.209e-05, train_time=1.556 +[gpua007:0/64] 2023-12-20 09:27:26,815 (trainer:737) INFO: 42epoch:train:7801-7900batch: iter_time=8.342e-05, forward_time=0.230, loss_ctc=64.223, loss_att=54.214, acc=0.743, loss=57.217, backward_time=0.320, grad_norm=115.896, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.208e-05, train_time=1.600 +[gpua007:0/64] 2023-12-20 09:29:54,943 (trainer:737) INFO: 42epoch:train:7901-8000batch: iter_time=8.296e-05, forward_time=0.147, loss_ctc=63.727, loss_att=55.895, acc=0.723, loss=58.244, backward_time=0.346, grad_norm=67.689, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.131, optim0_lr0=6.208e-05, train_time=1.482 +[gpua007:0/64] 2023-12-20 09:32:39,316 (trainer:737) INFO: 42epoch:train:8001-8100batch: iter_time=8.464e-05, forward_time=0.147, loss_ctc=58.516, loss_att=50.536, acc=0.745, loss=52.930, backward_time=0.357, grad_norm=73.247, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.132, optim0_lr0=6.207e-05, train_time=1.644 +[gpua007:0/64] 2023-12-20 09:33:16,537 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 09:36:13,094 (trainer:737) INFO: 42epoch:train:8101-8200batch: iter_time=4.475e-04, forward_time=0.283, loss_ctc=50.326, loss_att=35.839, acc=0.773, loss=40.185, backward_time=0.426, grad_norm=111.324, clip=100.000, loss_scale=2.499e+31, optim_step_time=0.136, optim0_lr0=6.207e-05, train_time=2.138 +[gpua007:0/64] 2023-12-20 09:39:03,699 (trainer:737) INFO: 42epoch:train:8201-8300batch: iter_time=8.612e-05, forward_time=0.148, loss_ctc=67.380, loss_att=51.543, acc=0.748, loss=56.294, backward_time=0.364, grad_norm=76.398, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.206e-05, train_time=1.706 +[gpua007:0/64] 2023-12-20 09:40:16,185 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 09:41:22,007 (trainer:737) INFO: 42epoch:train:8301-8400batch: iter_time=8.726e-05, forward_time=0.147, loss_ctc=66.463, loss_att=54.798, acc=0.720, loss=58.298, backward_time=0.278, grad_norm=82.286, clip=100.000, loss_scale=1.578e+31, optim_step_time=0.131, optim0_lr0=6.206e-05, train_time=1.383 +[gpua007:0/64] 2023-12-20 09:44:17,739 (trainer:737) INFO: 42epoch:train:8401-8500batch: iter_time=8.547e-05, forward_time=0.150, loss_ctc=52.871, loss_att=41.546, acc=0.761, loss=44.943, backward_time=0.304, grad_norm=71.466, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.205e-05, train_time=1.757 + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 09:47:29,367 (trainer:737) INFO: 42epoch:train:8501-8600batch: iter_time=8.254e-05, forward_time=0.254, loss_ctc=55.178, loss_att=42.879, acc=0.756, loss=46.569, backward_time=0.428, grad_norm=89.043, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.205e-05, train_time=1.915 +[gpua007:0/64] 2023-12-20 09:49:53,462 (trainer:737) INFO: 42epoch:train:8601-8700batch: iter_time=8.245e-05, forward_time=0.149, loss_ctc=63.608, loss_att=52.388, acc=0.736, loss=55.754, backward_time=0.287, grad_norm=86.991, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.204e-05, train_time=1.442 +[gpua007:0/64] 2023-12-20 09:51:21,839 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua007:0/64] 2023-12-20 09:51:40,371 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 09:51:43,885 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 09:51:43,885 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua007:0/64] 2023-12-20 09:51:43,891 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 09:59:58,803 (trainer:737) INFO: 42epoch:train:8701-8800batch: iter_time=2.848, forward_time=0.187, loss_ctc=65.579, loss_att=46.977, acc=0.739, loss=52.557, backward_time=0.321, grad_norm=86.665, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.204e-05, train_time=6.053 +[gpua007:0/64] 2023-12-20 10:02:36,027 (trainer:737) INFO: 42epoch:train:8801-8900batch: iter_time=8.765e-05, forward_time=0.239, loss_ctc=63.645, loss_att=45.929, acc=0.746, loss=51.244, backward_time=0.332, grad_norm=102.959, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.143, optim0_lr0=6.203e-05, train_time=1.572 +[gpua007:0/64] 2023-12-20 10:04:44,595 (trainer:737) INFO: 42epoch:train:8901-9000batch: iter_time=8.642e-05, forward_time=0.147, loss_ctc=65.167, loss_att=55.195, acc=0.738, loss=58.187, backward_time=0.280, grad_norm=65.708, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.203e-05, train_time=1.285 +[gpua007:0/64] 2023-12-20 10:07:50,983 (trainer:737) INFO: 42epoch:train:9001-9100batch: iter_time=8.531e-05, forward_time=0.147, loss_ctc=58.445, loss_att=48.739, acc=0.746, loss=51.651, backward_time=0.322, grad_norm=77.573, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.202e-05, train_time=1.864 +[gpua007:0/64] 2023-12-20 10:10:11,724 (trainer:737) INFO: 42epoch:train:9101-9200batch: iter_time=8.509e-05, forward_time=0.181, loss_ctc=61.722, loss_att=51.680, acc=0.732, loss=54.693, backward_time=0.332, grad_norm=65.383, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.202e-05, train_time=1.407 +[gpua007:0/64] 2023-12-20 10:12:39,543 (trainer:737) INFO: 42epoch:train:9201-9300batch: iter_time=8.569e-05, forward_time=0.180, loss_ctc=60.489, loss_att=51.154, acc=0.724, loss=53.955, backward_time=0.309, grad_norm=71.448, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.201e-05, train_time=1.478 +[gpua007:0/64] 2023-12-20 10:15:04,838 (trainer:737) INFO: 42epoch:train:9301-9400batch: iter_time=8.366e-05, forward_time=0.148, loss_ctc=58.776, loss_att=47.159, acc=0.771, loss=50.644, backward_time=0.290, grad_norm=130.265, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.201e-05, train_time=1.453 +[gpua007:0/64] 2023-12-20 10:18:00,597 (trainer:737) INFO: 42epoch:train:9401-9500batch: iter_time=8.794e-05, forward_time=0.147, loss_ctc=57.308, loss_att=42.616, acc=0.750, loss=47.024, backward_time=0.331, grad_norm=134.292, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.200e-05, train_time=1.757 +[gpua007:0/64] 2023-12-20 10:21:35,200 (trainer:737) INFO: 42epoch:train:9501-9600batch: iter_time=8.780e-05, forward_time=0.146, loss_ctc=65.521, loss_att=49.659, acc=0.741, loss=54.417, backward_time=0.301, grad_norm=111.510, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.200e-05, train_time=2.146 +[gpua007:0/64] 2023-12-20 10:23:57,070 (trainer:737) INFO: 42epoch:train:9601-9700batch: iter_time=8.620e-05, forward_time=0.147, loss_ctc=59.305, loss_att=48.954, acc=0.731, loss=52.059, backward_time=0.336, grad_norm=78.536, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.199e-05, train_time=1.418 +[gpua007:0/64] 2023-12-20 10:26:11,020 (trainer:737) INFO: 42epoch:train:9701-9800batch: iter_time=9.012e-05, forward_time=0.146, loss_ctc=56.297, loss_att=45.146, acc=0.745, loss=48.491, backward_time=0.298, grad_norm=74.031, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.199e-05, train_time=1.339 +[gpua007:0/64] 2023-12-20 10:27:32,988 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 10:28:32,149 (trainer:737) INFO: 42epoch:train:9801-9900batch: iter_time=7.146e-04, forward_time=0.204, loss_ctc=58.093, loss_att=45.678, acc=0.751, loss=49.402, backward_time=0.344, grad_norm=109.509, clip=100.000, loss_scale=8.041e+30, optim_step_time=0.134, optim0_lr0=6.198e-05, train_time=1.411 +[gpua007:0/64] 2023-12-20 10:31:09,309 (trainer:737) INFO: 42epoch:train:9901-10000batch: iter_time=8.554e-05, forward_time=0.159, loss_ctc=66.663, loss_att=49.537, acc=0.742, loss=54.675, backward_time=0.329, grad_norm=78.407, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.198e-05, train_time=1.572 +[gpua007:0/64] 2023-12-20 10:31:29,336 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua007:0/64] 2023-12-20 10:31:47,664 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 10:31:51,112 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 10:31:51,113 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua007:0/64] 2023-12-20 10:31:51,156 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 10:42:19,102 (trainer:737) INFO: 42epoch:train:10001-10100batch: iter_time=3.255, forward_time=0.193, loss_ctc=64.268, loss_att=46.251, acc=0.746, loss=51.656, backward_time=0.327, grad_norm=68.490, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.197e-05, train_time=6.698 +[gpua007:0/64] 2023-12-20 10:44:22,339 (trainer:737) INFO: 42epoch:train:10101-10200batch: iter_time=8.102e-05, forward_time=0.147, loss_ctc=63.611, loss_att=54.992, acc=0.730, loss=57.578, backward_time=0.278, grad_norm=71.055, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.197e-05, train_time=1.232 +[gpua007:0/64] 2023-12-20 10:46:47,510 (trainer:737) INFO: 42epoch:train:10201-10300batch: iter_time=8.314e-05, forward_time=0.148, loss_ctc=62.513, loss_att=49.855, acc=0.759, loss=53.653, backward_time=0.288, grad_norm=63.477, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.196e-05, train_time=1.451 +[gpua007:0/64] 2023-12-20 10:49:13,520 (trainer:737) INFO: 42epoch:train:10301-10400batch: iter_time=8.341e-05, forward_time=0.150, loss_ctc=64.091, loss_att=54.720, acc=0.743, loss=57.531, backward_time=0.282, grad_norm=94.880, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.196e-05, train_time=1.460 +[gpua007:0/64] 2023-12-20 10:52:25,404 (trainer:737) INFO: 42epoch:train:10401-10500batch: iter_time=8.440e-05, forward_time=0.153, loss_ctc=63.511, loss_att=55.476, acc=0.724, loss=57.886, backward_time=0.369, grad_norm=77.860, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.195e-05, train_time=1.919 +[gpua007:0/64] 2023-12-20 10:55:10,864 (trainer:737) INFO: 42epoch:train:10501-10600batch: iter_time=8.547e-05, forward_time=0.150, loss_ctc=58.306, loss_att=49.929, acc=0.746, loss=52.442, backward_time=0.334, grad_norm=59.790, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.195e-05, train_time=1.654 +[gpua007:0/64] 2023-12-20 10:57:52,398 (trainer:737) INFO: 42epoch:train:10601-10700batch: iter_time=8.813e-05, forward_time=0.172, loss_ctc=49.669, loss_att=35.494, acc=0.776, loss=39.747, backward_time=0.324, grad_norm=61.461, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.194e-05, train_time=1.615 +[gpua007:0/64] 2023-12-20 11:00:22,429 (trainer:737) INFO: 42epoch:train:10701-10800batch: iter_time=2.507e-04, forward_time=0.207, loss_ctc=67.082, loss_att=51.595, acc=0.747, loss=56.241, backward_time=0.351, grad_norm=79.071, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=6.194e-05, train_time=1.500 +[gpua007:0/64] 2023-12-20 11:03:03,963 (trainer:737) INFO: 42epoch:train:10801-10900batch: iter_time=8.178e-05, forward_time=0.148, loss_ctc=65.812, loss_att=53.995, acc=0.722, loss=57.540, backward_time=0.293, grad_norm=76.168, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.193e-05, train_time=1.615 +[gpua007:0/64] 2023-12-20 11:05:38,169 (trainer:737) INFO: 42epoch:train:10901-11000batch: iter_time=8.087e-05, forward_time=0.146, loss_ctc=52.570, loss_att=41.529, acc=0.762, loss=44.841, backward_time=0.334, grad_norm=54.149, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.193e-05, train_time=1.542 +[gpua007:0/64] 2023-12-20 11:08:49,426 (trainer:737) INFO: 42epoch:train:11001-11100batch: iter_time=8.493e-05, forward_time=0.149, loss_ctc=55.021, loss_att=42.662, acc=0.756, loss=46.370, backward_time=0.336, grad_norm=64.888, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.192e-05, train_time=1.912 +[gpua007:0/64] 2023-12-20 11:11:36,131 (trainer:737) INFO: 42epoch:train:11101-11200batch: iter_time=8.748e-05, forward_time=0.151, loss_ctc=63.751, loss_att=52.501, acc=0.737, loss=55.876, backward_time=0.332, grad_norm=79.175, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.192e-05, train_time=1.667 +[gpua007:0/64] 2023-12-20 11:13:02,811 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua007:0/64] 2023-12-20 11:13:21,102 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 11:13:24,593 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 11:13:24,593 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua007:0/64] 2023-12-20 11:13:24,600 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 11:20:41,641 (trainer:737) INFO: 42epoch:train:11201-11300batch: iter_time=2.632, forward_time=0.212, loss_ctc=65.536, loss_att=46.742, acc=0.739, loss=52.380, backward_time=0.305, grad_norm=120.465, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.191e-05, train_time=5.455 +[gpua007:0/64] 2023-12-20 11:23:47,476 (trainer:737) INFO: 42epoch:train:11301-11400batch: iter_time=7.880e-05, forward_time=0.147, loss_ctc=63.265, loss_att=45.465, acc=0.747, loss=50.805, backward_time=0.332, grad_norm=68.327, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.191e-05, train_time=1.858 +[gpua007:0/64] 2023-12-20 11:27:03,054 (trainer:737) INFO: 42epoch:train:11401-11500batch: iter_time=7.953e-05, forward_time=0.156, loss_ctc=65.416, loss_att=55.506, acc=0.739, loss=58.479, backward_time=0.385, grad_norm=64.157, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.132, optim0_lr0=6.190e-05, train_time=1.956 +[gpua007:0/64] 2023-12-20 11:30:30,162 (trainer:737) INFO: 42epoch:train:11501-11600batch: iter_time=8.271e-05, forward_time=0.149, loss_ctc=58.066, loss_att=48.593, acc=0.747, loss=51.435, backward_time=0.328, grad_norm=105.909, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.190e-05, train_time=2.071 +[gpua007:0/64] 2023-12-20 11:34:12,130 (trainer:737) INFO: 42epoch:train:11601-11700batch: iter_time=8.108e-05, forward_time=0.147, loss_ctc=61.625, loss_att=51.536, acc=0.734, loss=54.563, backward_time=0.352, grad_norm=77.526, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.131, optim0_lr0=6.189e-05, train_time=2.219 +[gpua007:0/64] 2023-12-20 11:37:25,469 (trainer:737) INFO: 42epoch:train:11701-11800batch: iter_time=8.218e-05, forward_time=0.159, loss_ctc=60.193, loss_att=50.961, acc=0.724, loss=53.730, backward_time=0.342, grad_norm=69.019, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.189e-05, train_time=1.933 +[gpua007:0/64] 2023-12-20 11:41:10,914 (trainer:737) INFO: 42epoch:train:11801-11900batch: iter_time=8.058e-05, forward_time=0.189, loss_ctc=59.176, loss_att=47.336, acc=0.770, loss=50.888, backward_time=0.443, grad_norm=66.359, clip=100.000, loss_scale=7.150e+30, optim_step_time=0.149, optim0_lr0=6.188e-05, train_time=2.254 +[gpua007:0/64] 2023-12-20 11:44:28,253 (trainer:737) INFO: 42epoch:train:11901-12000batch: iter_time=7.983e-05, forward_time=0.147, loss_ctc=56.921, loss_att=41.967, acc=0.754, loss=46.453, backward_time=0.357, grad_norm=67.150, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.188e-05, train_time=1.973 +[gpua007:0/64] 2023-12-20 11:47:37,594 (trainer:737) INFO: 42epoch:train:12001-12100batch: iter_time=7.980e-05, forward_time=0.148, loss_ctc=65.470, loss_att=49.738, acc=0.742, loss=54.458, backward_time=0.363, grad_norm=64.378, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.187e-05, train_time=1.893 +[gpua007:0/64] 2023-12-20 11:51:28,522 (trainer:737) INFO: 42epoch:train:12101-12200batch: iter_time=7.937e-05, forward_time=0.147, loss_ctc=58.925, loss_att=48.526, acc=0.732, loss=51.646, backward_time=0.356, grad_norm=71.725, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.187e-05, train_time=2.309 +[gpua007:0/64] 2023-12-20 11:54:42,175 (trainer:737) INFO: 42epoch:train:12201-12300batch: iter_time=7.849e-05, forward_time=0.152, loss_ctc=55.626, loss_att=44.748, acc=0.747, loss=48.011, backward_time=0.355, grad_norm=61.944, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.186e-05, train_time=1.936 +[gpua007:0/64] 2023-12-20 11:57:22,985 (trainer:737) INFO: 42epoch:train:12301-12400batch: iter_time=7.989e-05, forward_time=0.147, loss_ctc=58.312, loss_att=45.790, acc=0.751, loss=49.546, backward_time=0.303, grad_norm=63.611, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.131, optim0_lr0=6.186e-05, train_time=1.608 +[gpua007:0/64] 2023-12-20 12:00:30,012 (trainer:737) INFO: 42epoch:train:12401-12500batch: iter_time=1.725e-04, forward_time=0.247, loss_ctc=67.316, loss_att=49.227, acc=0.743, loss=54.653, backward_time=0.375, grad_norm=72.396, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.185e-05, train_time=1.870 +[gpua007:0/64] 2023-12-20 12:00:50,184 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua007:0/64] 2023-12-20 12:01:08,643 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 12:01:12,075 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 12:01:12,075 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua007:0/64] 2023-12-20 12:01:12,081 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 12:07:32,629 (trainer:737) INFO: 42epoch:train:12501-12600batch: iter_time=2.723, forward_time=0.152, loss_ctc=64.421, loss_att=44.675, acc=0.744, loss=50.599, backward_time=0.316, grad_norm=70.316, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.185e-05, train_time=4.226 +[gpua007:0/64] 2023-12-20 12:09:46,438 (trainer:737) INFO: 42epoch:train:12601-12700batch: iter_time=8.209e-05, forward_time=0.149, loss_ctc=63.136, loss_att=52.247, acc=0.733, loss=55.514, backward_time=0.278, grad_norm=63.922, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.184e-05, train_time=1.338 +[gpua007:0/64] 2023-12-20 12:12:07,281 (trainer:737) INFO: 42epoch:train:12701-12800batch: iter_time=8.588e-05, forward_time=0.148, loss_ctc=62.641, loss_att=49.539, acc=0.754, loss=53.470, backward_time=0.308, grad_norm=58.599, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.184e-05, train_time=1.408 +[gpua007:0/64] 2023-12-20 12:14:27,074 (trainer:737) INFO: 42epoch:train:12801-12900batch: iter_time=8.592e-05, forward_time=0.149, loss_ctc=64.257, loss_att=53.669, acc=0.734, loss=56.846, backward_time=0.286, grad_norm=68.885, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.183e-05, train_time=1.398 +[gpua007:0/64] 2023-12-20 12:16:58,102 (trainer:737) INFO: 42epoch:train:12901-13000batch: iter_time=1.529e-04, forward_time=0.238, loss_ctc=62.870, loss_att=53.824, acc=0.726, loss=56.538, backward_time=0.303, grad_norm=61.243, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.183e-05, train_time=1.510 +[gpua007:0/64] 2023-12-20 12:19:59,281 (trainer:737) INFO: 42epoch:train:13001-13100batch: iter_time=8.586e-05, forward_time=0.151, loss_ctc=57.644, loss_att=49.149, acc=0.743, loss=51.698, backward_time=0.344, grad_norm=66.216, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.183e-05, train_time=1.811 +[gpua007:0/64] 2023-12-20 12:22:57,550 (trainer:737) INFO: 42epoch:train:13101-13200batch: iter_time=8.585e-05, forward_time=0.148, loss_ctc=50.132, loss_att=35.593, acc=0.775, loss=39.954, backward_time=0.326, grad_norm=57.074, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.182e-05, train_time=1.782 +[gpua007:0/64] 2023-12-20 12:25:19,743 (trainer:737) INFO: 42epoch:train:13201-13300batch: iter_time=8.468e-05, forward_time=0.148, loss_ctc=66.331, loss_att=50.663, acc=0.744, loss=55.364, backward_time=0.283, grad_norm=65.007, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.182e-05, train_time=1.422 +[gpua007:0/64] 2023-12-20 12:27:38,084 (trainer:737) INFO: 42epoch:train:13301-13400batch: iter_time=8.158e-05, forward_time=0.147, loss_ctc=65.936, loss_att=53.579, acc=0.722, loss=57.286, backward_time=0.284, grad_norm=75.177, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.181e-05, train_time=1.383 +[gpua007:0/64] 2023-12-20 12:30:06,212 (trainer:737) INFO: 42epoch:train:13401-13500batch: iter_time=8.233e-05, forward_time=0.149, loss_ctc=52.851, loss_att=41.100, acc=0.754, loss=44.625, backward_time=0.289, grad_norm=57.509, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.181e-05, train_time=1.481 +[gpua007:0/64] 2023-12-20 12:32:47,087 (trainer:737) INFO: 42epoch:train:13501-13600batch: iter_time=8.158e-05, forward_time=0.148, loss_ctc=54.463, loss_att=42.940, acc=0.753, loss=46.397, backward_time=0.294, grad_norm=55.961, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.132, optim0_lr0=6.180e-05, train_time=1.609 +[gpua007:0/64] 2023-12-20 12:35:40,123 (trainer:737) INFO: 42epoch:train:13601-13700batch: iter_time=8.294e-05, forward_time=0.222, loss_ctc=63.648, loss_att=51.675, acc=0.735, loss=55.267, backward_time=0.367, grad_norm=69.845, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.180e-05, train_time=1.730 +[gpua007:0/64] 2023-12-20 12:37:09,250 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua007:0/64] 2023-12-20 12:37:27,717 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 12:37:31,230 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 12:37:31,230 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua007:0/64] 2023-12-20 12:37:31,234 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 12:47:27,808 (trainer:737) INFO: 42epoch:train:13701-13800batch: iter_time=3.423, forward_time=0.223, loss_ctc=65.149, loss_att=47.002, acc=0.743, loss=52.446, backward_time=0.293, grad_norm=68.474, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.179e-05, train_time=7.077 +[gpua007:0/64] 2023-12-20 12:49:41,149 (trainer:737) INFO: 42epoch:train:13801-13900batch: iter_time=7.801e-05, forward_time=0.147, loss_ctc=63.634, loss_att=45.876, acc=0.749, loss=51.203, backward_time=0.278, grad_norm=72.388, clip=100.000, loss_scale=1.430e+31, optim_step_time=0.132, optim0_lr0=6.179e-05, train_time=1.333 +[gpua007:0/64] 2023-12-20 12:52:30,956 (trainer:737) INFO: 42epoch:train:13901-14000batch: iter_time=7.575e-05, forward_time=0.184, loss_ctc=64.946, loss_att=56.492, acc=0.745, loss=59.028, backward_time=0.340, grad_norm=86.710, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.178e-05, train_time=1.698 +[gpua007:0/64] 2023-12-20 12:54:51,856 (trainer:737) INFO: 42epoch:train:14001-14100batch: iter_time=7.814e-05, forward_time=0.147, loss_ctc=57.972, loss_att=48.457, acc=0.754, loss=51.311, backward_time=0.283, grad_norm=58.449, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.178e-05, train_time=1.409 +[gpua007:0/64] 2023-12-20 12:58:05,423 (trainer:737) INFO: 42epoch:train:14101-14200batch: iter_time=7.943e-05, forward_time=0.149, loss_ctc=61.423, loss_att=52.819, acc=0.737, loss=55.400, backward_time=0.380, grad_norm=65.549, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.177e-05, train_time=1.935 +[gpua007:0/64] 2023-12-20 13:00:57,755 (trainer:737) INFO: 42epoch:train:14201-14300batch: iter_time=8.056e-05, forward_time=0.191, loss_ctc=59.695, loss_att=51.093, acc=0.734, loss=53.674, backward_time=0.367, grad_norm=60.882, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.177e-05, train_time=1.723 +[gpua007:0/64] 2023-12-20 13:03:50,752 (trainer:737) INFO: 42epoch:train:14301-14400batch: iter_time=8.016e-05, forward_time=0.147, loss_ctc=58.854, loss_att=47.476, acc=0.774, loss=50.890, backward_time=0.306, grad_norm=57.698, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.176e-05, train_time=1.730 +[gpua007:0/64] 2023-12-20 13:06:20,616 (trainer:737) INFO: 42epoch:train:14401-14500batch: iter_time=7.414e-04, forward_time=0.198, loss_ctc=56.644, loss_att=42.127, acc=0.754, loss=46.482, backward_time=0.292, grad_norm=60.588, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.176e-05, train_time=1.498 +[gpua007:0/64] 2023-12-20 13:08:57,619 (trainer:737) INFO: 42epoch:train:14501-14600batch: iter_time=7.986e-05, forward_time=0.147, loss_ctc=65.182, loss_att=50.518, acc=0.746, loss=54.917, backward_time=0.331, grad_norm=66.968, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.175e-05, train_time=1.570 +[gpua007:0/64] 2023-12-20 13:11:26,605 (trainer:737) INFO: 42epoch:train:14601-14700batch: iter_time=8.490e-05, forward_time=0.146, loss_ctc=58.868, loss_att=49.412, acc=0.737, loss=52.249, backward_time=0.291, grad_norm=63.620, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.175e-05, train_time=1.489 +[gpua007:0/64] 2023-12-20 13:14:29,730 (trainer:737) INFO: 42epoch:train:14701-14800batch: iter_time=8.321e-05, forward_time=0.147, loss_ctc=55.656, loss_att=44.566, acc=0.755, loss=47.893, backward_time=0.373, grad_norm=61.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.174e-05, train_time=1.831 +[gpua007:0/64] 2023-12-20 13:16:56,642 (trainer:737) INFO: 42epoch:train:14801-14900batch: iter_time=8.203e-05, forward_time=0.169, loss_ctc=58.135, loss_att=46.949, acc=0.748, loss=50.305, backward_time=0.320, grad_norm=62.362, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.174e-05, train_time=1.469 +[gpua007:0/64] 2023-12-20 13:19:28,613 (trainer:737) INFO: 42epoch:train:14901-15000batch: iter_time=8.077e-05, forward_time=0.167, loss_ctc=66.297, loss_att=49.552, acc=0.748, loss=54.576, backward_time=0.292, grad_norm=70.997, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.132, optim0_lr0=6.173e-05, train_time=1.519 +[gpua007:0/64] 2023-12-20 13:45:03,502 (trainer:343) INFO: 42epoch results: [train] iter_time=0.222, forward_time=0.176, loss_ctc=61.415, loss_att=48.930, acc=0.742, loss=52.675, backward_time=0.330, grad_norm=86.018, clip=100.000, loss_scale=1.626e+31, optim_step_time=0.134, optim0_lr0=6.210e-05, train_time=2.062, time=8 hours, 35 minutes and 56.96 seconds, total_count=630000, gpu_max_cached_mem_GB=36.107, [valid] loss_ctc=32.159, cer_ctc=0.164, loss_att=31.141, acc=0.759, cer=0.230, wer=0.927, loss=31.446, time=25 minutes and 9.99 seconds, total_count=196182, gpu_max_cached_mem_GB=36.107 +[gpua007:0/64] 2023-12-20 13:45:30,836 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua007:0/64] 2023-12-20 13:45:30,844 (trainer:272) INFO: 43/45epoch started. Estimated time to finish: 1 day, 3 hours and 4 minutes +[gpua007:0/64] 2023-12-20 13:45:30,856 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua007:0/64] 2023-12-20 13:45:48,605 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 13:45:51,991 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 13:45:51,991 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua007:0/64] 2023-12-20 13:45:51,995 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 13:56:40,662 (trainer:737) INFO: 43epoch:train:1-100batch: iter_time=2.992, forward_time=0.181, loss_ctc=74.125, loss_att=62.624, acc=0.717, loss=66.074, backward_time=0.286, grad_norm=103.234, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.173e-05, train_time=6.698 +[gpua007:0/64] 2023-12-20 13:59:43,181 (trainer:737) INFO: 43epoch:train:101-200batch: iter_time=8.241e-05, forward_time=0.147, loss_ctc=66.835, loss_att=51.967, acc=0.730, loss=56.428, backward_time=0.381, grad_norm=77.319, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.172e-05, train_time=1.825 +[gpua007:0/64] 2023-12-20 14:02:13,367 (trainer:737) INFO: 43epoch:train:201-300batch: iter_time=8.491e-05, forward_time=0.177, loss_ctc=62.362, loss_att=48.048, acc=0.739, loss=52.342, backward_time=0.337, grad_norm=74.993, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.138, optim0_lr0=6.172e-05, train_time=1.502 +[gpua007:0/64] 2023-12-20 14:04:46,479 (trainer:737) INFO: 43epoch:train:301-400batch: iter_time=2.645e-04, forward_time=0.190, loss_ctc=75.561, loss_att=54.558, acc=0.725, loss=60.859, backward_time=0.317, grad_norm=77.161, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.171e-05, train_time=1.531 +[gpua007:0/64] 2023-12-20 14:07:42,820 (trainer:737) INFO: 43epoch:train:401-500batch: iter_time=8.454e-05, forward_time=0.166, loss_ctc=69.858, loss_att=52.143, acc=0.734, loss=57.458, backward_time=0.336, grad_norm=79.243, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.171e-05, train_time=1.764 +[gpua007:0/64] 2023-12-20 14:10:39,486 (trainer:737) INFO: 43epoch:train:501-600batch: iter_time=8.515e-05, forward_time=0.170, loss_ctc=68.724, loss_att=55.731, acc=0.742, loss=59.629, backward_time=0.379, grad_norm=96.943, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=6.170e-05, train_time=1.766 +[gpua007:0/64] 2023-12-20 14:13:23,684 (trainer:737) INFO: 43epoch:train:601-700batch: iter_time=8.362e-05, forward_time=0.158, loss_ctc=60.144, loss_att=44.715, acc=0.762, loss=49.344, backward_time=0.312, grad_norm=61.580, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.170e-05, train_time=1.642 +[gpua007:0/64] 2023-12-20 14:15:49,450 (trainer:737) INFO: 43epoch:train:701-800batch: iter_time=8.459e-05, forward_time=0.178, loss_ctc=57.008, loss_att=44.791, acc=0.741, loss=48.456, backward_time=0.306, grad_norm=67.752, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.169e-05, train_time=1.458 +[gpua007:0/64] 2023-12-20 14:19:26,054 (trainer:737) INFO: 43epoch:train:801-900batch: iter_time=8.899e-05, forward_time=0.200, loss_ctc=77.169, loss_att=58.130, acc=0.742, loss=63.842, backward_time=0.338, grad_norm=70.190, clip=100.000, loss_scale=2.860e+31, optim_step_time=0.134, optim0_lr0=6.169e-05, train_time=2.166 +[gpua007:0/64] 2023-12-20 14:22:11,615 (trainer:737) INFO: 43epoch:train:901-1000batch: iter_time=8.305e-05, forward_time=0.160, loss_ctc=60.355, loss_att=47.622, acc=0.743, loss=51.442, backward_time=0.344, grad_norm=63.508, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.168e-05, train_time=1.655 +[gpua007:0/64] 2023-12-20 14:25:04,433 (trainer:737) INFO: 43epoch:train:1001-1100batch: iter_time=5.853e-04, forward_time=0.164, loss_ctc=67.748, loss_att=55.362, acc=0.735, loss=59.078, backward_time=0.341, grad_norm=67.856, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.168e-05, train_time=1.728 +[gpua007:0/64] 2023-12-20 14:28:09,109 (trainer:737) INFO: 43epoch:train:1101-1200batch: iter_time=8.724e-05, forward_time=0.186, loss_ctc=58.194, loss_att=43.640, acc=0.748, loss=48.006, backward_time=0.351, grad_norm=97.315, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.167e-05, train_time=1.847 +[gpua007:0/64] 2023-12-20 14:29:42,050 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua007:0/64] 2023-12-20 14:30:00,573 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 14:30:03,977 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 14:30:03,977 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua007:0/64] 2023-12-20 14:30:03,983 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 14:40:40,169 (trainer:737) INFO: 43epoch:train:1201-1300batch: iter_time=3.560, forward_time=0.164, loss_ctc=64.806, loss_att=54.828, acc=0.719, loss=57.821, backward_time=0.289, grad_norm=83.114, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.167e-05, train_time=7.510 +[gpua007:0/64] 2023-12-20 14:42:52,856 (trainer:737) INFO: 43epoch:train:1301-1400batch: iter_time=7.791e-05, forward_time=0.187, loss_ctc=70.451, loss_att=58.043, acc=0.712, loss=61.766, backward_time=0.285, grad_norm=77.788, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.166e-05, train_time=1.327 +[gpua007:0/64] 2023-12-20 14:45:12,822 (trainer:737) INFO: 43epoch:train:1401-1500batch: iter_time=0.002, forward_time=0.162, loss_ctc=68.047, loss_att=51.714, acc=0.735, loss=56.614, backward_time=0.299, grad_norm=70.826, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.166e-05, train_time=1.399 +[gpua007:0/64] 2023-12-20 14:48:41,659 (trainer:737) INFO: 43epoch:train:1501-1600batch: iter_time=8.709e-05, forward_time=0.190, loss_ctc=59.561, loss_att=42.979, acc=0.734, loss=47.954, backward_time=0.392, grad_norm=62.811, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.165e-05, train_time=2.089 +[gpua007:0/64] 2023-12-20 14:50:54,749 (trainer:737) INFO: 43epoch:train:1601-1700batch: iter_time=8.005e-05, forward_time=0.147, loss_ctc=80.121, loss_att=56.104, acc=0.711, loss=63.309, backward_time=0.282, grad_norm=91.721, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.165e-05, train_time=1.331 +[gpua007:0/64] 2023-12-20 14:53:06,481 (trainer:737) INFO: 43epoch:train:1701-1800batch: iter_time=2.648e-04, forward_time=0.153, loss_ctc=67.344, loss_att=55.719, acc=0.736, loss=59.207, backward_time=0.283, grad_norm=92.652, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.164e-05, train_time=1.316 +[gpua007:0/64] 2023-12-20 14:56:20,482 (trainer:737) INFO: 43epoch:train:1801-1900batch: iter_time=9.059e-05, forward_time=0.205, loss_ctc=60.779, loss_att=46.980, acc=0.748, loss=51.119, backward_time=0.333, grad_norm=63.752, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.164e-05, train_time=1.940 +[gpua007:0/64] 2023-12-20 14:59:41,856 (trainer:737) INFO: 43epoch:train:1901-2000batch: iter_time=8.542e-05, forward_time=0.180, loss_ctc=60.602, loss_att=44.514, acc=0.748, loss=49.340, backward_time=0.326, grad_norm=81.843, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.163e-05, train_time=2.013 +[gpua007:0/64] 2023-12-20 15:02:11,430 (trainer:737) INFO: 43epoch:train:2001-2100batch: iter_time=5.731e-04, forward_time=0.184, loss_ctc=62.876, loss_att=46.621, acc=0.747, loss=51.497, backward_time=0.305, grad_norm=64.592, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.163e-05, train_time=1.496 +[gpua007:0/64] 2023-12-20 15:04:41,408 (trainer:737) INFO: 43epoch:train:2101-2200batch: iter_time=8.777e-05, forward_time=0.157, loss_ctc=70.579, loss_att=55.432, acc=0.732, loss=59.976, backward_time=0.301, grad_norm=94.484, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.162e-05, train_time=1.500 +[gpua007:0/64] 2023-12-20 15:07:46,437 (trainer:737) INFO: 43epoch:train:2201-2300batch: iter_time=8.400e-05, forward_time=0.148, loss_ctc=60.906, loss_att=49.309, acc=0.743, loss=52.788, backward_time=0.328, grad_norm=105.244, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.162e-05, train_time=1.850 +[gpua007:0/64] 2023-12-20 15:10:00,374 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 15:10:18,721 (trainer:737) INFO: 43epoch:train:2301-2400batch: iter_time=9.336e-05, forward_time=0.160, loss_ctc=62.711, loss_att=48.856, acc=0.733, loss=53.013, backward_time=0.306, grad_norm=86.789, clip=100.000, loss_scale=3.749e+31, optim_step_time=0.135, optim0_lr0=6.161e-05, train_time=1.523 +[gpua007:0/64] 2023-12-20 15:12:34,269 (trainer:737) INFO: 43epoch:train:2401-2500batch: iter_time=0.004, forward_time=0.198, loss_ctc=59.311, loss_att=43.769, acc=0.748, loss=48.431, backward_time=0.287, grad_norm=90.380, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.161e-05, train_time=1.355 +[gpua007:0/64] 2023-12-20 15:12:54,298 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua007:0/64] 2023-12-20 15:13:12,869 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 15:13:16,692 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 15:13:16,692 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua007:0/64] 2023-12-20 15:13:16,695 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 15:22:04,846 (trainer:737) INFO: 43epoch:train:2501-2600batch: iter_time=2.956, forward_time=0.196, loss_ctc=72.921, loss_att=62.356, acc=0.706, loss=65.526, backward_time=0.290, grad_norm=94.797, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.160e-05, train_time=5.706 +[gpua007:0/64] 2023-12-20 15:25:04,464 (trainer:737) INFO: 43epoch:train:2601-2700batch: iter_time=8.767e-05, forward_time=0.148, loss_ctc=64.855, loss_att=50.220, acc=0.730, loss=54.610, backward_time=0.368, grad_norm=68.063, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.160e-05, train_time=1.796 +[gpua007:0/64] 2023-12-20 15:28:16,892 (trainer:737) INFO: 43epoch:train:2701-2800batch: iter_time=1.946e-04, forward_time=0.151, loss_ctc=61.898, loss_att=46.537, acc=0.741, loss=51.145, backward_time=0.357, grad_norm=137.314, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.160e-05, train_time=1.924 +[gpua007:0/64] 2023-12-20 15:31:39,829 (trainer:737) INFO: 43epoch:train:2801-2900batch: iter_time=2.250e-04, forward_time=0.184, loss_ctc=73.657, loss_att=52.906, acc=0.721, loss=59.132, backward_time=0.379, grad_norm=96.369, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.159e-05, train_time=2.029 +[gpua007:0/64] 2023-12-20 15:35:04,248 (trainer:737) INFO: 43epoch:train:2901-3000batch: iter_time=9.195e-05, forward_time=0.159, loss_ctc=66.869, loss_att=49.392, acc=0.735, loss=54.635, backward_time=0.376, grad_norm=115.028, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.159e-05, train_time=2.044 +[gpua007:0/64] 2023-12-20 15:38:18,908 (trainer:737) INFO: 43epoch:train:3001-3100batch: iter_time=9.113e-05, forward_time=0.164, loss_ctc=66.507, loss_att=53.587, acc=0.735, loss=57.463, backward_time=0.374, grad_norm=85.489, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.158e-05, train_time=1.946 +[gpua007:0/64] 2023-12-20 15:41:34,795 (trainer:737) INFO: 43epoch:train:3101-3200batch: iter_time=9.203e-05, forward_time=0.148, loss_ctc=59.427, loss_att=44.320, acc=0.758, loss=48.852, backward_time=0.409, grad_norm=77.514, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.158e-05, train_time=1.959 + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 15:45:41,249 (trainer:737) INFO: 43epoch:train:3201-3300batch: iter_time=8.728e-05, forward_time=0.152, loss_ctc=56.678, loss_att=44.325, acc=0.740, loss=48.031, backward_time=0.365, grad_norm=101.959, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.157e-05, train_time=2.464 + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 15:50:26,231 (trainer:737) INFO: 43epoch:train:3301-3400batch: iter_time=9.012e-05, forward_time=0.197, loss_ctc=76.206, loss_att=56.472, acc=0.741, loss=62.392, backward_time=0.449, grad_norm=94.737, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.141, optim0_lr0=6.157e-05, train_time=2.849 +[gpua007:0/64] 2023-12-20 15:54:19,467 (trainer:737) INFO: 43epoch:train:3401-3500batch: iter_time=9.094e-05, forward_time=0.148, loss_ctc=59.348, loss_att=46.063, acc=0.747, loss=50.048, backward_time=0.397, grad_norm=92.686, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.156e-05, train_time=2.333 +[gpua007:0/64] 2023-12-20 15:55:56,822 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 15:57:46,254 (trainer:737) INFO: 43epoch:train:3501-3600batch: iter_time=8.909e-05, forward_time=0.165, loss_ctc=66.645, loss_att=53.213, acc=0.738, loss=57.243, backward_time=0.412, grad_norm=86.020, clip=100.000, loss_scale=1.485e+31, optim_step_time=0.134, optim0_lr0=6.156e-05, train_time=2.068 + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 16:01:37,823 (trainer:737) INFO: 43epoch:train:3601-3700batch: iter_time=8.857e-05, forward_time=0.148, loss_ctc=57.008, loss_att=42.188, acc=0.747, loss=46.634, backward_time=0.473, grad_norm=83.232, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.145, optim0_lr0=6.155e-05, train_time=2.315 +[gpua007:0/64] 2023-12-20 16:03:41,916 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua007:0/64] 2023-12-20 16:04:00,385 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 16:04:03,744 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 16:04:03,744 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua007:0/64] 2023-12-20 16:04:03,755 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 16:09:52,087 (trainer:737) INFO: 43epoch:train:3701-3800batch: iter_time=2.899, forward_time=0.187, loss_ctc=63.869, loss_att=53.167, acc=0.722, loss=56.377, backward_time=0.363, grad_norm=79.668, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.155e-05, train_time=4.942 +[gpua007:0/64] 2023-12-20 16:12:09,122 (trainer:737) INFO: 43epoch:train:3801-3900batch: iter_time=7.832e-05, forward_time=0.148, loss_ctc=68.215, loss_att=56.147, acc=0.717, loss=59.767, backward_time=0.279, grad_norm=90.583, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.154e-05, train_time=1.370 +[gpua007:0/64] 2023-12-20 16:14:40,549 (trainer:737) INFO: 43epoch:train:3901-4000batch: iter_time=8.465e-05, forward_time=0.189, loss_ctc=66.943, loss_att=49.917, acc=0.742, loss=55.025, backward_time=0.309, grad_norm=79.672, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.154e-05, train_time=1.514 +[gpua007:0/64] 2023-12-20 16:17:15,522 (trainer:737) INFO: 43epoch:train:4001-4100batch: iter_time=3.989e-04, forward_time=0.150, loss_ctc=59.326, loss_att=42.309, acc=0.738, loss=47.414, backward_time=0.292, grad_norm=78.665, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.153e-05, train_time=1.549 +[gpua007:0/64] 2023-12-20 16:19:54,961 (trainer:737) INFO: 43epoch:train:4101-4200batch: iter_time=2.434e-04, forward_time=0.153, loss_ctc=77.422, loss_att=54.591, acc=0.717, loss=61.440, backward_time=0.301, grad_norm=149.392, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.153e-05, train_time=1.594 +[gpua007:0/64] 2023-12-20 16:22:47,620 (trainer:737) INFO: 43epoch:train:4201-4300batch: iter_time=8.513e-05, forward_time=0.249, loss_ctc=66.770, loss_att=54.866, acc=0.739, loss=58.437, backward_time=0.312, grad_norm=85.266, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.148, optim0_lr0=6.152e-05, train_time=1.726 +[gpua007:0/64] 2023-12-20 16:25:17,592 (trainer:737) INFO: 43epoch:train:4301-4400batch: iter_time=8.317e-05, forward_time=0.157, loss_ctc=60.516, loss_att=46.722, acc=0.750, loss=50.860, backward_time=0.303, grad_norm=73.170, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.152e-05, train_time=1.499 + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 16:28:25,648 (trainer:737) INFO: 43epoch:train:4401-4500batch: iter_time=8.323e-05, forward_time=0.147, loss_ctc=59.549, loss_att=43.777, acc=0.754, loss=48.508, backward_time=0.310, grad_norm=107.840, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.151e-05, train_time=1.880 +[gpua007:0/64] 2023-12-20 16:31:10,816 (trainer:737) INFO: 43epoch:train:4501-4600batch: iter_time=7.940e-05, forward_time=0.148, loss_ctc=63.357, loss_att=45.972, acc=0.751, loss=51.188, backward_time=0.321, grad_norm=73.623, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.151e-05, train_time=1.651 +[gpua007:0/64] 2023-12-20 16:34:01,860 (trainer:737) INFO: 43epoch:train:4601-4700batch: iter_time=8.077e-05, forward_time=0.164, loss_ctc=69.390, loss_att=54.708, acc=0.733, loss=59.113, backward_time=0.329, grad_norm=154.070, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.150e-05, train_time=1.710 +[gpua007:0/64] 2023-12-20 16:36:40,806 (trainer:737) INFO: 43epoch:train:4701-4800batch: iter_time=8.248e-05, forward_time=0.208, loss_ctc=60.535, loss_att=48.846, acc=0.747, loss=52.352, backward_time=0.311, grad_norm=60.755, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.150e-05, train_time=1.589 +[gpua007:0/64] 2023-12-20 16:38:56,438 (trainer:737) INFO: 43epoch:train:4801-4900batch: iter_time=8.294e-05, forward_time=0.153, loss_ctc=62.700, loss_att=47.700, acc=0.738, loss=52.200, backward_time=0.299, grad_norm=89.994, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.149e-05, train_time=1.356 +[gpua007:0/64] 2023-12-20 16:41:34,545 (trainer:737) INFO: 43epoch:train:4901-5000batch: iter_time=7.853e-05, forward_time=0.148, loss_ctc=59.215, loss_att=43.146, acc=0.752, loss=47.967, backward_time=0.313, grad_norm=80.610, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.149e-05, train_time=1.581 +[gpua007:0/64] 2023-12-20 16:41:54,574 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua007:0/64] 2023-12-20 16:42:12,930 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 16:42:16,527 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 16:42:16,527 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua007:0/64] 2023-12-20 16:42:16,530 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 16:49:55,591 (trainer:737) INFO: 43epoch:train:5001-5100batch: iter_time=3.320, forward_time=0.148, loss_ctc=71.666, loss_att=63.449, acc=0.719, loss=65.914, backward_time=0.291, grad_norm=92.963, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.148e-05, train_time=5.010 +[gpua007:0/64] 2023-12-20 16:52:16,646 (trainer:737) INFO: 43epoch:train:5101-5200batch: iter_time=7.982e-05, forward_time=0.149, loss_ctc=64.659, loss_att=50.822, acc=0.738, loss=54.973, backward_time=0.280, grad_norm=100.092, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.148e-05, train_time=1.410 +[gpua007:0/64] 2023-12-20 16:53:54,474 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 16:54:19,694 (trainer:737) INFO: 43epoch:train:5201-5300batch: iter_time=7.920e-05, forward_time=0.149, loss_ctc=61.536, loss_att=47.432, acc=0.745, loss=51.663, backward_time=0.284, grad_norm=131.939, clip=100.000, loss_scale=9.066e+30, optim_step_time=0.133, optim0_lr0=6.147e-05, train_time=1.230 +[gpua007:0/64] 2023-12-20 16:57:39,208 (trainer:737) INFO: 43epoch:train:5301-5400batch: iter_time=9.030e-05, forward_time=0.149, loss_ctc=73.193, loss_att=53.361, acc=0.733, loss=59.310, backward_time=0.359, grad_norm=106.191, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.147e-05, train_time=1.995 +[gpua007:0/64] 2023-12-20 17:00:02,312 (trainer:737) INFO: 43epoch:train:5401-5500batch: iter_time=9.295e-05, forward_time=0.154, loss_ctc=67.495, loss_att=50.428, acc=0.742, loss=55.548, backward_time=0.315, grad_norm=97.323, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.146e-05, train_time=1.431 +[gpua007:0/64] 2023-12-20 17:03:22,547 (trainer:737) INFO: 43epoch:train:5501-5600batch: iter_time=8.662e-05, forward_time=0.178, loss_ctc=65.854, loss_att=54.790, acc=0.748, loss=58.109, backward_time=0.388, grad_norm=88.541, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.146e-05, train_time=2.002 +[gpua007:0/64] 2023-12-20 17:06:15,893 (trainer:737) INFO: 43epoch:train:5601-5700batch: iter_time=8.624e-05, forward_time=0.215, loss_ctc=59.020, loss_att=43.696, acc=0.769, loss=48.293, backward_time=0.351, grad_norm=96.046, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=6.145e-05, train_time=1.733 +[gpua007:0/64] 2023-12-20 17:08:31,559 (trainer:737) INFO: 43epoch:train:5701-5800batch: iter_time=7.620e-05, forward_time=0.148, loss_ctc=57.001, loss_att=44.358, acc=0.746, loss=48.151, backward_time=0.283, grad_norm=85.194, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.145e-05, train_time=1.357 +[gpua007:0/64] 2023-12-20 17:11:22,021 (trainer:737) INFO: 43epoch:train:5801-5900batch: iter_time=8.173e-05, forward_time=0.148, loss_ctc=75.547, loss_att=57.519, acc=0.749, loss=62.927, backward_time=0.302, grad_norm=93.322, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.144e-05, train_time=1.704 +[gpua007:0/64] 2023-12-20 17:14:06,711 (trainer:737) INFO: 43epoch:train:5901-6000batch: iter_time=8.183e-05, forward_time=0.148, loss_ctc=58.754, loss_att=46.658, acc=0.749, loss=50.287, backward_time=0.314, grad_norm=75.763, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.144e-05, train_time=1.647 +[gpua007:0/64] 2023-12-20 17:16:39,642 (trainer:737) INFO: 43epoch:train:6001-6100batch: iter_time=8.307e-05, forward_time=0.148, loss_ctc=66.650, loss_att=54.610, acc=0.741, loss=58.222, backward_time=0.305, grad_norm=82.272, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.144e-05, train_time=1.529 +[gpua007:0/64] 2023-12-20 17:19:03,569 (trainer:737) INFO: 43epoch:train:6101-6200batch: iter_time=8.046e-05, forward_time=0.149, loss_ctc=57.396, loss_att=42.870, acc=0.753, loss=47.227, backward_time=0.291, grad_norm=80.080, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.143e-05, train_time=1.439 + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 17:20:59,746 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua007:0/64] 2023-12-20 17:21:18,067 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 17:21:21,472 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 17:21:21,472 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua007:0/64] 2023-12-20 17:21:21,475 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 17:30:42,684 (trainer:737) INFO: 43epoch:train:6201-6300batch: iter_time=3.055, forward_time=0.176, loss_ctc=63.234, loss_att=52.930, acc=0.732, loss=56.021, backward_time=0.324, grad_norm=72.011, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.143e-05, train_time=6.991 +[gpua007:0/64] 2023-12-20 17:32:58,540 (trainer:737) INFO: 43epoch:train:6301-6400batch: iter_time=7.839e-05, forward_time=0.149, loss_ctc=68.663, loss_att=56.654, acc=0.731, loss=60.257, backward_time=0.281, grad_norm=70.260, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.142e-05, train_time=1.358 +[gpua007:0/64] 2023-12-20 17:35:19,543 (trainer:737) INFO: 43epoch:train:6401-6500batch: iter_time=8.353e-05, forward_time=0.154, loss_ctc=67.038, loss_att=50.219, acc=0.751, loss=55.265, backward_time=0.303, grad_norm=75.879, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.142e-05, train_time=1.410 +[gpua007:0/64] 2023-12-20 17:38:08,308 (trainer:737) INFO: 43epoch:train:6501-6600batch: iter_time=1.900e-04, forward_time=0.179, loss_ctc=59.008, loss_att=42.702, acc=0.744, loss=47.594, backward_time=0.297, grad_norm=68.217, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=6.141e-05, train_time=1.687 + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 17:41:10,133 (trainer:737) INFO: 43epoch:train:6601-6700batch: iter_time=8.676e-05, forward_time=0.205, loss_ctc=78.292, loss_att=56.871, acc=0.725, loss=63.297, backward_time=0.353, grad_norm=85.627, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=6.141e-05, train_time=1.818 +[gpua007:0/64] 2023-12-20 17:43:48,437 (trainer:737) INFO: 43epoch:train:6701-6800batch: iter_time=8.251e-05, forward_time=0.157, loss_ctc=65.263, loss_att=55.178, acc=0.746, loss=58.204, backward_time=0.306, grad_norm=121.014, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.140e-05, train_time=1.583 + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 17:46:38,186 (trainer:737) INFO: 43epoch:train:6801-6900batch: iter_time=0.001, forward_time=0.194, loss_ctc=59.841, loss_att=46.730, acc=0.765, loss=50.663, backward_time=0.348, grad_norm=67.200, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.140e-05, train_time=1.697 +[gpua007:0/64] 2023-12-20 17:49:23,497 (trainer:737) INFO: 43epoch:train:6901-7000batch: iter_time=0.002, forward_time=0.216, loss_ctc=59.601, loss_att=43.678, acc=0.762, loss=48.455, backward_time=0.306, grad_norm=170.988, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.139e-05, train_time=1.652 +[gpua007:0/64] 2023-12-20 17:51:55,329 (trainer:737) INFO: 43epoch:train:7001-7100batch: iter_time=8.797e-05, forward_time=0.155, loss_ctc=62.421, loss_att=46.496, acc=0.755, loss=51.274, backward_time=0.311, grad_norm=111.798, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.139e-05, train_time=1.518 +[gpua007:0/64] 2023-12-20 17:55:08,086 (trainer:737) INFO: 43epoch:train:7101-7200batch: iter_time=1.969e-04, forward_time=0.175, loss_ctc=68.869, loss_att=54.445, acc=0.743, loss=58.773, backward_time=0.340, grad_norm=89.970, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.138e-05, train_time=1.925 +[gpua007:0/64] 2023-12-20 17:57:45,410 (trainer:737) INFO: 43epoch:train:7201-7300batch: iter_time=8.003e-05, forward_time=0.182, loss_ctc=59.830, loss_att=49.424, acc=0.748, loss=52.546, backward_time=0.292, grad_norm=88.750, clip=100.000, loss_scale=6.135e+30, optim_step_time=0.135, optim0_lr0=6.138e-05, train_time=1.575 + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 18:00:30,901 (trainer:737) INFO: 43epoch:train:7301-7400batch: iter_time=8.035e-05, forward_time=0.210, loss_ctc=62.563, loss_att=48.504, acc=0.741, loss=52.722, backward_time=0.325, grad_norm=112.269, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.137e-05, train_time=1.654 +[gpua007:0/64] 2023-12-20 18:02:53,691 (trainer:737) INFO: 43epoch:train:7401-7500batch: iter_time=0.003, forward_time=0.154, loss_ctc=58.486, loss_att=44.047, acc=0.757, loss=48.379, backward_time=0.293, grad_norm=147.422, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.137e-05, train_time=1.421 +[gpua007:0/64] 2023-12-20 18:03:13,848 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua007:0/64] 2023-12-20 18:03:32,333 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 18:03:35,751 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 18:03:35,751 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua007:0/64] 2023-12-20 18:03:35,756 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 18:08:34,567 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 18:10:46,049 (trainer:737) INFO: 43epoch:train:7501-7600batch: iter_time=3.198, forward_time=0.174, loss_ctc=71.793, loss_att=63.698, acc=0.706, loss=66.126, backward_time=0.290, grad_norm=134.000, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.137, optim0_lr0=6.136e-05, train_time=4.723 +[gpua007:0/64] 2023-12-20 18:13:15,183 (trainer:737) INFO: 43epoch:train:7601-7700batch: iter_time=2.394e-04, forward_time=0.204, loss_ctc=63.851, loss_att=50.283, acc=0.732, loss=54.354, backward_time=0.328, grad_norm=289.734, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.141, optim0_lr0=6.136e-05, train_time=1.492 +[gpua007:0/64] 2023-12-20 18:15:30,681 (trainer:737) INFO: 43epoch:train:7701-7800batch: iter_time=7.885e-05, forward_time=0.171, loss_ctc=61.495, loss_att=46.283, acc=0.746, loss=50.847, backward_time=0.297, grad_norm=83.593, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.135e-05, train_time=1.355 +[gpua007:0/64] 2023-12-20 18:17:53,090 (trainer:737) INFO: 43epoch:train:7801-7900batch: iter_time=8.213e-05, forward_time=0.150, loss_ctc=72.611, loss_att=52.363, acc=0.727, loss=58.437, backward_time=0.303, grad_norm=332.216, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.135e-05, train_time=1.424 +[gpua007:0/64] 2023-12-20 18:20:19,243 (trainer:737) INFO: 43epoch:train:7901-8000batch: iter_time=8.014e-05, forward_time=0.165, loss_ctc=66.651, loss_att=48.933, acc=0.740, loss=54.248, backward_time=0.290, grad_norm=99.104, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.134e-05, train_time=1.461 +[gpua007:0/64] 2023-12-20 18:23:48,145 (trainer:737) INFO: 43epoch:train:8001-8100batch: iter_time=8.411e-05, forward_time=0.188, loss_ctc=66.068, loss_att=53.521, acc=0.737, loss=57.285, backward_time=0.331, grad_norm=76.334, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.138, optim0_lr0=6.134e-05, train_time=2.088 +[gpua007:0/64] 2023-12-20 18:26:34,368 (trainer:737) INFO: 43epoch:train:8101-8200batch: iter_time=8.054e-05, forward_time=0.148, loss_ctc=58.772, loss_att=44.030, acc=0.761, loss=48.453, backward_time=0.305, grad_norm=125.609, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.133e-05, train_time=1.663 +[gpua007:0/64] 2023-12-20 18:29:24,099 (trainer:737) INFO: 43epoch:train:8201-8300batch: iter_time=7.972e-05, forward_time=0.150, loss_ctc=56.138, loss_att=43.438, acc=0.747, loss=47.248, backward_time=0.329, grad_norm=158.818, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.133e-05, train_time=1.697 +[gpua007:0/64] 2023-12-20 18:31:40,364 (trainer:737) INFO: 43epoch:train:8301-8400batch: iter_time=8.128e-05, forward_time=0.148, loss_ctc=74.957, loss_att=55.859, acc=0.744, loss=61.589, backward_time=0.288, grad_norm=74.499, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.132e-05, train_time=1.363 +[gpua007:0/64] 2023-12-20 18:34:04,111 (trainer:737) INFO: 43epoch:train:8401-8500batch: iter_time=3.044e-04, forward_time=0.175, loss_ctc=58.442, loss_att=46.263, acc=0.747, loss=49.916, backward_time=0.327, grad_norm=65.198, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.142, optim0_lr0=6.132e-05, train_time=1.437 +[gpua007:0/64] 2023-12-20 18:36:23,530 (trainer:737) INFO: 43epoch:train:8501-8600batch: iter_time=8.073e-05, forward_time=0.185, loss_ctc=65.837, loss_att=52.719, acc=0.742, loss=56.654, backward_time=0.329, grad_norm=65.064, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.135, optim0_lr0=6.131e-05, train_time=1.392 +[gpua007:0/64] 2023-12-20 18:39:03,397 (trainer:737) INFO: 43epoch:train:8601-8700batch: iter_time=8.235e-05, forward_time=0.151, loss_ctc=55.975, loss_att=41.258, acc=0.752, loss=45.673, backward_time=0.297, grad_norm=67.544, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.131e-05, train_time=1.600 + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 18:41:15,066 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua007:0/64] 2023-12-20 18:41:33,588 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 18:41:37,037 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 18:41:37,037 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua007:0/64] 2023-12-20 18:41:37,062 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 18:51:53,964 (trainer:737) INFO: 43epoch:train:8701-8800batch: iter_time=3.409, forward_time=0.202, loss_ctc=63.601, loss_att=52.366, acc=0.728, loss=55.736, backward_time=0.320, grad_norm=79.675, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.131e-05, train_time=7.705 +[gpua007:0/64] 2023-12-20 18:53:56,812 (trainer:737) INFO: 43epoch:train:8801-8900batch: iter_time=8.351e-05, forward_time=0.147, loss_ctc=67.058, loss_att=55.931, acc=0.719, loss=59.269, backward_time=0.286, grad_norm=105.901, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.130e-05, train_time=1.228 +[gpua007:0/64] 2023-12-20 18:56:35,963 (trainer:737) INFO: 43epoch:train:8901-9000batch: iter_time=8.485e-05, forward_time=0.147, loss_ctc=66.029, loss_att=49.346, acc=0.746, loss=54.351, backward_time=0.309, grad_norm=78.327, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.133, optim0_lr0=6.130e-05, train_time=1.591 +[gpua007:0/64] 2023-12-20 18:59:49,674 (trainer:737) INFO: 43epoch:train:9001-9100batch: iter_time=0.001, forward_time=0.271, loss_ctc=59.054, loss_att=42.279, acc=0.743, loss=47.312, backward_time=0.325, grad_norm=111.319, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.141, optim0_lr0=6.129e-05, train_time=1.936 + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-20 19:02:43,597 (trainer:737) INFO: 43epoch:train:9101-9200batch: iter_time=8.616e-05, forward_time=0.149, loss_ctc=76.976, loss_att=54.165, acc=0.720, loss=61.008, backward_time=0.287, grad_norm=81.405, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.129e-05, train_time=1.739 +[gpua007:0/64] 2023-12-20 19:04:50,461 (trainer:737) INFO: 43epoch:train:9201-9300batch: iter_time=8.437e-05, forward_time=0.148, loss_ctc=65.081, loss_att=54.306, acc=0.743, loss=57.539, backward_time=0.285, grad_norm=79.105, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.134, optim0_lr0=6.128e-05, train_time=1.268 +[gpua007:0/64] 2023-12-20 19:07:51,253 (trainer:737) INFO: 43epoch:train:9301-9400batch: iter_time=9.644e-04, forward_time=0.181, loss_ctc=59.812, loss_att=46.451, acc=0.752, loss=50.459, backward_time=0.315, grad_norm=83.633, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.147, optim0_lr0=6.128e-05, train_time=1.808 +[gpua007:0/64] 2023-12-20 19:11:31,597 (trainer:737) INFO: 43epoch:train:9401-9500batch: iter_time=8.513e-05, forward_time=0.215, loss_ctc=59.072, loss_att=43.337, acc=0.755, loss=48.058, backward_time=0.390, grad_norm=102.989, clip=100.000, loss_scale=5.071e+30, optim_step_time=0.136, optim0_lr0=6.127e-05, train_time=2.203 +[gpua007:0/64] 2023-12-20 19:14:16,171 (trainer:737) INFO: 43epoch:train:9501-9600batch: iter_time=9.619e-05, forward_time=0.149, loss_ctc=62.572, loss_att=45.646, acc=0.754, loss=50.724, backward_time=0.406, grad_norm=161.343, clip=100.000, loss_scale=1.009e+31, optim_step_time=0.133, optim0_lr0=6.127e-05, train_time=1.645 +[gpua007:0/64] 2023-12-20 19:16:57,048 (trainer:737) INFO: 43epoch:train:9601-9700batch: iter_time=8.717e-05, forward_time=0.154, loss_ctc=68.787, loss_att=54.464, acc=0.735, loss=58.761, backward_time=0.309, grad_norm=71.660, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.126e-05, train_time=1.609 +[gpua007:0/64] 2023-12-20 19:20:08,215 (trainer:737) INFO: 43epoch:train:9701-9800batch: iter_time=8.715e-05, forward_time=0.230, loss_ctc=60.205, loss_att=48.483, acc=0.748, loss=52.000, backward_time=0.325, grad_norm=78.584, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.126e-05, train_time=1.911 +[gpua007:0/64] 2023-12-20 19:22:50,560 (trainer:737) INFO: 43epoch:train:9801-9900batch: iter_time=8.193e-05, forward_time=0.197, loss_ctc=61.694, loss_att=47.321, acc=0.741, loss=51.633, backward_time=0.293, grad_norm=82.361, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.125e-05, train_time=1.623 +[gpua007:0/64] 2023-12-20 19:25:38,776 (trainer:737) INFO: 43epoch:train:9901-10000batch: iter_time=8.396e-05, forward_time=0.148, loss_ctc=58.098, loss_att=42.599, acc=0.754, loss=47.249, backward_time=0.296, grad_norm=60.263, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.125e-05, train_time=1.682 +[gpua007:0/64] 2023-12-20 19:25:58,824 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua007:0/64] 2023-12-20 19:26:17,486 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 19:26:21,036 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 19:26:21,037 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua007:0/64] 2023-12-20 19:26:21,040 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 19:38:16,688 (trainer:737) INFO: 43epoch:train:10001-10100batch: iter_time=3.286, forward_time=0.203, loss_ctc=70.674, loss_att=61.274, acc=0.711, loss=64.094, backward_time=0.291, grad_norm=82.414, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.124e-05, train_time=7.579 +[gpua007:0/64] 2023-12-20 19:41:23,242 (trainer:737) INFO: 43epoch:train:10101-10200batch: iter_time=7.819e-05, forward_time=0.212, loss_ctc=63.781, loss_att=49.154, acc=0.735, loss=53.542, backward_time=0.350, grad_norm=87.683, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.146, optim0_lr0=6.124e-05, train_time=1.865 +[gpua007:0/64] 2023-12-20 19:44:05,663 (trainer:737) INFO: 43epoch:train:10201-10300batch: iter_time=7.821e-05, forward_time=0.159, loss_ctc=61.663, loss_att=45.968, acc=0.748, loss=50.676, backward_time=0.313, grad_norm=107.990, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.123e-05, train_time=1.624 +[gpua007:0/64] 2023-12-20 19:47:22,764 (trainer:737) INFO: 43epoch:train:10301-10400batch: iter_time=7.995e-05, forward_time=0.176, loss_ctc=72.995, loss_att=52.225, acc=0.726, loss=58.456, backward_time=0.383, grad_norm=128.722, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.123e-05, train_time=1.971 +[gpua007:0/64] 2023-12-20 19:50:54,544 (trainer:737) INFO: 43epoch:train:10401-10500batch: iter_time=4.435e-04, forward_time=0.283, loss_ctc=66.051, loss_att=48.754, acc=0.740, loss=53.943, backward_time=0.376, grad_norm=95.727, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.146, optim0_lr0=6.122e-05, train_time=2.117 +[gpua007:0/64] 2023-12-20 19:53:30,140 (trainer:737) INFO: 43epoch:train:10501-10600batch: iter_time=6.892e-04, forward_time=0.246, loss_ctc=65.371, loss_att=52.467, acc=0.740, loss=56.338, backward_time=0.342, grad_norm=77.705, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.150, optim0_lr0=6.122e-05, train_time=1.555 +[gpua007:0/64] 2023-12-20 19:56:33,311 (trainer:737) INFO: 43epoch:train:10601-10700batch: iter_time=7.810e-05, forward_time=0.160, loss_ctc=59.102, loss_att=43.939, acc=0.761, loss=48.488, backward_time=0.316, grad_norm=73.752, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.121e-05, train_time=1.832 +[gpua007:0/64] 2023-12-20 19:59:53,029 (trainer:737) INFO: 43epoch:train:10701-10800batch: iter_time=8.040e-05, forward_time=0.257, loss_ctc=56.484, loss_att=43.852, acc=0.745, loss=47.641, backward_time=0.341, grad_norm=75.675, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.156, optim0_lr0=6.121e-05, train_time=1.997 +[gpua007:0/64] 2023-12-20 20:02:35,067 (trainer:737) INFO: 43epoch:train:10801-10900batch: iter_time=4.185e-04, forward_time=0.201, loss_ctc=74.656, loss_att=55.568, acc=0.745, loss=61.295, backward_time=0.358, grad_norm=120.026, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.144, optim0_lr0=6.120e-05, train_time=1.621 +[gpua007:0/64] 2023-12-20 20:05:49,918 (trainer:737) INFO: 43epoch:train:10901-11000batch: iter_time=8.108e-05, forward_time=0.161, loss_ctc=58.557, loss_att=45.582, acc=0.749, loss=49.475, backward_time=0.357, grad_norm=86.059, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.120e-05, train_time=1.947 +[gpua007:0/64] 2023-12-20 20:08:37,857 (trainer:737) INFO: 43epoch:train:11001-11100batch: iter_time=8.349e-05, forward_time=0.256, loss_ctc=66.286, loss_att=53.379, acc=0.741, loss=57.251, backward_time=0.319, grad_norm=73.114, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.147, optim0_lr0=6.120e-05, train_time=1.680 +[gpua007:0/64] 2023-12-20 20:11:31,431 (trainer:737) INFO: 43epoch:train:11101-11200batch: iter_time=8.054e-05, forward_time=0.151, loss_ctc=56.252, loss_att=41.326, acc=0.753, loss=45.804, backward_time=0.351, grad_norm=75.655, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.119e-05, train_time=1.735 +[gpua007:0/64] 2023-12-20 20:12:59,698 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua007:0/64] 2023-12-20 20:13:17,862 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 20:13:21,290 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 20:13:21,290 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua007:0/64] 2023-12-20 20:13:21,350 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 20:19:37,848 (trainer:737) INFO: 43epoch:train:11201-11300batch: iter_time=3.400, forward_time=0.200, loss_ctc=62.503, loss_att=53.067, acc=0.731, loss=55.898, backward_time=0.288, grad_norm=74.432, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.119e-05, train_time=4.864 +[gpua007:0/64] 2023-12-20 20:21:38,677 (trainer:737) INFO: 43epoch:train:11301-11400batch: iter_time=8.236e-05, forward_time=0.149, loss_ctc=67.247, loss_att=57.859, acc=0.729, loss=60.675, backward_time=0.279, grad_norm=86.645, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.118e-05, train_time=1.208 +[gpua007:0/64] 2023-12-20 20:24:16,729 (trainer:737) INFO: 43epoch:train:11401-11500batch: iter_time=8.061e-05, forward_time=0.151, loss_ctc=66.474, loss_att=50.315, acc=0.753, loss=55.162, backward_time=0.299, grad_norm=78.594, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.118e-05, train_time=1.580 +[gpua007:0/64] 2023-12-20 20:27:28,320 (trainer:737) INFO: 43epoch:train:11501-11600batch: iter_time=9.158e-05, forward_time=0.149, loss_ctc=59.247, loss_att=43.243, acc=0.743, loss=48.044, backward_time=0.351, grad_norm=63.047, clip=100.000, loss_scale=2.018e+31, optim_step_time=0.134, optim0_lr0=6.117e-05, train_time=1.915 +[gpua007:0/64] 2023-12-20 20:30:12,222 (trainer:737) INFO: 43epoch:train:11601-11700batch: iter_time=8.770e-05, forward_time=0.157, loss_ctc=76.348, loss_att=56.787, acc=0.726, loss=62.655, backward_time=0.310, grad_norm=83.557, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.117e-05, train_time=1.640 +[gpua007:0/64] 2023-12-20 20:32:47,816 (trainer:737) INFO: 43epoch:train:11701-11800batch: iter_time=8.743e-05, forward_time=0.207, loss_ctc=64.805, loss_att=54.641, acc=0.748, loss=57.690, backward_time=0.398, grad_norm=71.208, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=6.116e-05, train_time=1.556 +[gpua007:0/64] 2023-12-20 20:35:38,388 (trainer:737) INFO: 43epoch:train:11801-11900batch: iter_time=9.088e-05, forward_time=0.149, loss_ctc=60.060, loss_att=46.968, acc=0.767, loss=50.895, backward_time=0.327, grad_norm=62.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.116e-05, train_time=1.706 +[gpua007:0/64] 2023-12-20 20:38:26,172 (trainer:737) INFO: 43epoch:train:11901-12000batch: iter_time=8.644e-05, forward_time=0.152, loss_ctc=59.015, loss_att=43.514, acc=0.764, loss=48.164, backward_time=0.315, grad_norm=64.460, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.115e-05, train_time=1.678 +[gpua007:0/64] 2023-12-20 20:41:14,631 (trainer:737) INFO: 43epoch:train:12001-12100batch: iter_time=9.082e-05, forward_time=0.150, loss_ctc=62.134, loss_att=46.461, acc=0.757, loss=51.163, backward_time=0.345, grad_norm=67.138, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.115e-05, train_time=1.684 +[gpua007:0/64] 2023-12-20 20:45:16,509 (trainer:737) INFO: 43epoch:train:12101-12200batch: iter_time=9.506e-05, forward_time=0.252, loss_ctc=68.865, loss_att=54.989, acc=0.744, loss=59.152, backward_time=0.340, grad_norm=74.036, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.114e-05, train_time=2.419 +[gpua007:0/64] 2023-12-20 20:47:58,796 (trainer:737) INFO: 43epoch:train:12201-12300batch: iter_time=8.501e-05, forward_time=0.176, loss_ctc=59.758, loss_att=49.550, acc=0.748, loss=52.612, backward_time=0.322, grad_norm=61.248, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.114e-05, train_time=1.623 +[gpua007:0/64] 2023-12-20 20:50:04,467 (trainer:737) INFO: 43epoch:train:12301-12400batch: iter_time=8.133e-05, forward_time=0.149, loss_ctc=61.536, loss_att=47.931, acc=0.743, loss=52.013, backward_time=0.282, grad_norm=64.918, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.113e-05, train_time=1.257 +[gpua007:0/64] 2023-12-20 20:53:13,178 (trainer:737) INFO: 43epoch:train:12401-12500batch: iter_time=7.903e-05, forward_time=0.149, loss_ctc=58.016, loss_att=43.770, acc=0.759, loss=48.044, backward_time=0.332, grad_norm=57.800, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.113e-05, train_time=1.887 +[gpua007:0/64] 2023-12-20 20:53:33,206 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua007:0/64] 2023-12-20 20:53:51,463 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 20:53:54,882 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 20:53:54,882 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua007:0/64] 2023-12-20 20:53:54,902 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 21:05:41,363 (trainer:737) INFO: 43epoch:train:12501-12600batch: iter_time=3.341, forward_time=0.215, loss_ctc=70.239, loss_att=61.210, acc=0.725, loss=63.919, backward_time=0.294, grad_norm=78.528, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.112e-05, train_time=7.482 +[gpua007:0/64] 2023-12-20 21:09:13,726 (trainer:737) INFO: 43epoch:train:12601-12700batch: iter_time=8.111e-05, forward_time=0.264, loss_ctc=63.664, loss_att=49.763, acc=0.742, loss=53.933, backward_time=0.396, grad_norm=67.329, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.153, optim0_lr0=6.112e-05, train_time=2.123 +[gpua007:0/64] 2023-12-20 21:11:58,417 (trainer:737) INFO: 43epoch:train:12701-12800batch: iter_time=8.448e-05, forward_time=0.305, loss_ctc=60.931, loss_att=46.258, acc=0.751, loss=50.660, backward_time=0.322, grad_norm=61.544, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.152, optim0_lr0=6.111e-05, train_time=1.646 +[gpua007:0/64] 2023-12-20 21:15:17,294 (trainer:737) INFO: 43epoch:train:12801-12900batch: iter_time=8.866e-05, forward_time=0.253, loss_ctc=72.868, loss_att=52.712, acc=0.739, loss=58.759, backward_time=0.345, grad_norm=72.299, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.111e-05, train_time=1.989 +[gpua007:0/64] 2023-12-20 21:18:18,095 (trainer:737) INFO: 43epoch:train:12901-13000batch: iter_time=8.543e-05, forward_time=0.209, loss_ctc=65.106, loss_att=50.204, acc=0.744, loss=54.675, backward_time=0.373, grad_norm=65.145, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.145, optim0_lr0=6.110e-05, train_time=1.808 +[gpua007:0/64] 2023-12-20 21:21:08,157 (trainer:737) INFO: 43epoch:train:13001-13100batch: iter_time=4.773e-04, forward_time=0.199, loss_ctc=64.939, loss_att=53.391, acc=0.755, loss=56.855, backward_time=0.335, grad_norm=69.691, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.110e-05, train_time=1.700 +[gpua007:0/64] 2023-12-20 21:25:08,829 (trainer:737) INFO: 43epoch:train:13101-13200batch: iter_time=0.001, forward_time=0.269, loss_ctc=58.165, loss_att=43.105, acc=0.772, loss=47.623, backward_time=0.397, grad_norm=56.950, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.110e-05, train_time=2.404 +[gpua007:0/64] 2023-12-20 21:27:48,077 (trainer:737) INFO: 43epoch:train:13201-13300batch: iter_time=8.607e-05, forward_time=0.216, loss_ctc=56.324, loss_att=43.653, acc=0.751, loss=47.454, backward_time=0.319, grad_norm=63.363, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=6.109e-05, train_time=1.594 +[gpua007:0/64] 2023-12-20 21:31:31,488 (trainer:737) INFO: 43epoch:train:13301-13400batch: iter_time=4.878e-04, forward_time=0.214, loss_ctc=74.556, loss_att=56.696, acc=0.750, loss=62.054, backward_time=0.448, grad_norm=70.195, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.143, optim0_lr0=6.109e-05, train_time=2.234 +[gpua007:0/64] 2023-12-20 21:34:32,521 (trainer:737) INFO: 43epoch:train:13401-13500batch: iter_time=7.197e-04, forward_time=0.170, loss_ctc=58.398, loss_att=45.775, acc=0.752, loss=49.562, backward_time=0.340, grad_norm=60.918, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.108e-05, train_time=1.808 +[gpua007:0/64] 2023-12-20 21:38:04,699 (trainer:737) INFO: 43epoch:train:13501-13600batch: iter_time=7.054e-04, forward_time=0.328, loss_ctc=65.447, loss_att=54.352, acc=0.743, loss=57.680, backward_time=0.479, grad_norm=64.653, clip=100.000, loss_scale=4.036e+31, optim_step_time=0.147, optim0_lr0=6.108e-05, train_time=2.121 +[gpua007:0/64] 2023-12-20 21:41:04,929 (trainer:737) INFO: 43epoch:train:13601-13700batch: iter_time=2.614e-04, forward_time=0.177, loss_ctc=55.939, loss_att=41.868, acc=0.758, loss=46.089, backward_time=0.312, grad_norm=63.015, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.107e-05, train_time=1.804 +[gpua007:0/64] 2023-12-20 21:42:37,333 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua007:0/64] 2023-12-20 21:42:55,771 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 21:42:59,253 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 21:42:59,253 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua007:0/64] 2023-12-20 21:42:59,257 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 21:53:41,060 (trainer:737) INFO: 43epoch:train:13701-13800batch: iter_time=3.395, forward_time=0.230, loss_ctc=62.817, loss_att=52.507, acc=0.736, loss=55.600, backward_time=0.347, grad_norm=69.448, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.140, optim0_lr0=6.107e-05, train_time=7.559 +[gpua007:0/64] 2023-12-20 21:56:13,732 (trainer:737) INFO: 43epoch:train:13801-13900batch: iter_time=7.640e-05, forward_time=0.151, loss_ctc=66.708, loss_att=55.744, acc=0.736, loss=59.033, backward_time=0.296, grad_norm=73.769, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.106e-05, train_time=1.529 +[gpua007:0/64] 2023-12-20 21:59:30,368 (trainer:737) INFO: 43epoch:train:13901-14000batch: iter_time=7.772e-05, forward_time=0.202, loss_ctc=66.776, loss_att=49.950, acc=0.754, loss=54.998, backward_time=0.350, grad_norm=79.217, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.106e-05, train_time=1.965 +[gpua007:0/64] 2023-12-20 22:01:58,879 (trainer:737) INFO: 43epoch:train:14001-14100batch: iter_time=8.739e-05, forward_time=0.217, loss_ctc=58.689, loss_att=42.881, acc=0.742, loss=47.623, backward_time=0.310, grad_norm=58.886, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.105e-05, train_time=1.485 +[gpua007:0/64] 2023-12-20 22:05:25,339 (trainer:737) INFO: 43epoch:train:14101-14200batch: iter_time=4.813e-04, forward_time=0.178, loss_ctc=76.117, loss_att=55.434, acc=0.731, loss=61.639, backward_time=0.334, grad_norm=77.092, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.105e-05, train_time=2.063 +[gpua007:0/64] 2023-12-20 22:07:55,445 (trainer:737) INFO: 43epoch:train:14201-14300batch: iter_time=8.920e-05, forward_time=0.201, loss_ctc=65.077, loss_att=54.591, acc=0.748, loss=57.737, backward_time=0.318, grad_norm=73.234, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.104e-05, train_time=1.502 +[gpua007:0/64] 2023-12-20 22:11:11,785 (trainer:737) INFO: 43epoch:train:14301-14400batch: iter_time=8.344e-05, forward_time=0.159, loss_ctc=59.409, loss_att=46.792, acc=0.767, loss=50.577, backward_time=0.328, grad_norm=73.979, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.104e-05, train_time=1.963 +[gpua007:0/64] 2023-12-20 22:13:55,177 (trainer:737) INFO: 43epoch:train:14401-14500batch: iter_time=8.494e-05, forward_time=0.246, loss_ctc=59.734, loss_att=43.554, acc=0.765, loss=48.408, backward_time=0.317, grad_norm=65.871, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=6.103e-05, train_time=1.634 +[gpua007:0/64] 2023-12-20 22:17:14,756 (trainer:737) INFO: 43epoch:train:14501-14600batch: iter_time=8.340e-05, forward_time=0.154, loss_ctc=62.498, loss_att=46.552, acc=0.758, loss=51.336, backward_time=0.352, grad_norm=62.254, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.103e-05, train_time=1.996 +[gpua007:0/64] 2023-12-20 22:20:21,502 (trainer:737) INFO: 43epoch:train:14601-14700batch: iter_time=7.834e-04, forward_time=0.232, loss_ctc=68.341, loss_att=54.203, acc=0.746, loss=58.445, backward_time=0.359, grad_norm=75.270, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.150, optim0_lr0=6.102e-05, train_time=1.867 +[gpua007:0/64] 2023-12-20 22:23:18,527 (trainer:737) INFO: 43epoch:train:14701-14800batch: iter_time=8.095e-05, forward_time=0.166, loss_ctc=59.672, loss_att=50.178, acc=0.746, loss=53.027, backward_time=0.333, grad_norm=71.145, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.102e-05, train_time=1.769 +[gpua007:0/64] 2023-12-20 22:26:40,593 (trainer:737) INFO: 43epoch:train:14801-14900batch: iter_time=4.063e-04, forward_time=0.223, loss_ctc=62.189, loss_att=47.716, acc=0.744, loss=52.058, backward_time=0.342, grad_norm=67.511, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=6.101e-05, train_time=2.021 +[gpua007:0/64] 2023-12-20 22:29:20,419 (trainer:737) INFO: 43epoch:train:14901-15000batch: iter_time=8.251e-05, forward_time=0.150, loss_ctc=58.176, loss_att=43.916, acc=0.759, loss=48.194, backward_time=0.319, grad_norm=59.103, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.101e-05, train_time=1.598 +[gpua007:0/64] 2023-12-20 22:56:40,016 (trainer:343) INFO: 43epoch results: [train] iter_time=0.259, forward_time=0.180, loss_ctc=64.461, loss_att=49.976, acc=0.742, loss=54.322, backward_time=0.329, grad_norm=87.949, clip=100.000, loss_scale=1.764e+31, optim_step_time=0.137, optim0_lr0=6.137e-05, train_time=2.095, time=8 hours, 44 minutes and 14.47 seconds, total_count=645000, gpu_max_cached_mem_GB=36.506, [valid] loss_ctc=31.668, cer_ctc=0.162, loss_att=30.319, acc=0.761, cer=0.223, wer=0.927, loss=30.724, time=26 minutes and 54.47 seconds, total_count=200853, gpu_max_cached_mem_GB=36.506 +[gpua007:0/64] 2023-12-20 22:56:59,215 (trainer:391) INFO: The best model has been updated: valid.acc, valid.total_count +[gpua007:0/64] 2023-12-20 22:56:59,230 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/35epoch.pth, exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/38epoch.pth +[gpua007:0/64] 2023-12-20 22:56:59,230 (trainer:272) INFO: 44/45epoch started. Estimated time to finish: 18 hours, 13 minutes and 2.97 seconds +[gpua007:0/64] 2023-12-20 22:56:59,241 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua007:0/64] 2023-12-20 22:57:16,580 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 22:57:19,861 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 22:57:19,861 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua007:0/64] 2023-12-20 22:57:19,864 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 23:06:37,511 (trainer:737) INFO: 44epoch:train:1-100batch: iter_time=2.733, forward_time=0.231, loss_ctc=58.637, loss_att=44.610, acc=0.745, loss=48.818, backward_time=0.292, grad_norm=92.012, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.100e-05, train_time=5.782 +[gpua007:0/64] 2023-12-20 23:09:52,275 (trainer:737) INFO: 44epoch:train:101-200batch: iter_time=8.351e-05, forward_time=0.147, loss_ctc=63.763, loss_att=50.987, acc=0.740, loss=54.820, backward_time=0.364, grad_norm=65.900, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.100e-05, train_time=1.948 +[gpua007:0/64] 2023-12-20 23:12:50,336 (trainer:737) INFO: 44epoch:train:201-300batch: iter_time=8.540e-05, forward_time=0.149, loss_ctc=64.310, loss_att=54.444, acc=0.727, loss=57.404, backward_time=0.303, grad_norm=78.402, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.100e-05, train_time=1.780 +[gpua007:0/64] 2023-12-20 23:15:39,379 (trainer:737) INFO: 44epoch:train:301-400batch: iter_time=8.676e-05, forward_time=0.147, loss_ctc=63.389, loss_att=56.648, acc=0.720, loss=58.670, backward_time=0.306, grad_norm=71.317, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.099e-05, train_time=1.690 +[gpua007:0/64] 2023-12-20 23:18:00,229 (trainer:737) INFO: 44epoch:train:401-500batch: iter_time=8.799e-05, forward_time=0.147, loss_ctc=55.657, loss_att=46.548, acc=0.737, loss=49.280, backward_time=0.286, grad_norm=79.508, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.099e-05, train_time=1.408 +[gpua007:0/64] 2023-12-20 23:21:49,082 (trainer:737) INFO: 44epoch:train:501-600batch: iter_time=9.030e-05, forward_time=0.147, loss_ctc=66.940, loss_att=54.369, acc=0.734, loss=58.140, backward_time=0.419, grad_norm=74.189, clip=100.000, loss_scale=8.072e+31, optim_step_time=0.134, optim0_lr0=6.098e-05, train_time=2.288 +[gpua007:0/64] 2023-12-20 23:22:26,268 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-20 23:24:58,656 (trainer:737) INFO: 44epoch:train:601-700batch: iter_time=8.569e-05, forward_time=0.147, loss_ctc=66.172, loss_att=52.122, acc=0.736, loss=56.337, backward_time=0.355, grad_norm=70.153, clip=100.000, loss_scale=4.794e+31, optim_step_time=0.134, optim0_lr0=6.098e-05, train_time=1.896 +[gpua007:0/64] 2023-12-20 23:28:03,967 (trainer:737) INFO: 44epoch:train:701-800batch: iter_time=8.827e-05, forward_time=0.147, loss_ctc=60.660, loss_att=45.456, acc=0.740, loss=50.017, backward_time=0.311, grad_norm=92.540, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.097e-05, train_time=1.853 +[gpua007:0/64] 2023-12-20 23:31:08,285 (trainer:737) INFO: 44epoch:train:801-900batch: iter_time=8.696e-05, forward_time=0.323, loss_ctc=72.846, loss_att=59.969, acc=0.722, loss=63.832, backward_time=0.359, grad_norm=81.441, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.138, optim0_lr0=6.097e-05, train_time=1.842 +[gpua007:0/64] 2023-12-20 23:34:23,388 (trainer:737) INFO: 44epoch:train:901-1000batch: iter_time=8.958e-05, forward_time=0.147, loss_ctc=62.507, loss_att=47.355, acc=0.737, loss=51.900, backward_time=0.343, grad_norm=70.123, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.096e-05, train_time=1.951 +[gpua007:0/64] 2023-12-20 23:36:44,004 (trainer:737) INFO: 44epoch:train:1001-1100batch: iter_time=9.041e-05, forward_time=0.148, loss_ctc=58.398, loss_att=41.653, acc=0.750, loss=46.676, backward_time=0.289, grad_norm=69.522, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.096e-05, train_time=1.406 +[gpua007:0/64] 2023-12-20 23:39:31,784 (trainer:737) INFO: 44epoch:train:1101-1200batch: iter_time=8.671e-05, forward_time=0.147, loss_ctc=60.425, loss_att=50.693, acc=0.716, loss=53.612, backward_time=0.320, grad_norm=73.487, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.095e-05, train_time=1.678 +[gpua007:0/64] 2023-12-20 23:41:19,039 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua007:0/64] 2023-12-20 23:41:37,333 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-20 23:41:41,191 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-20 23:41:41,191 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua007:0/64] 2023-12-20 23:41:41,196 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-20 23:50:18,384 (trainer:737) INFO: 44epoch:train:1201-1300batch: iter_time=2.679, forward_time=0.147, loss_ctc=65.253, loss_att=50.345, acc=0.741, loss=54.818, backward_time=0.318, grad_norm=74.325, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.095e-05, train_time=6.466 +[gpua007:0/64] 2023-12-20 23:56:17,444 (trainer:737) INFO: 44epoch:train:1301-1400batch: iter_time=8.070e-05, forward_time=0.148, loss_ctc=62.704, loss_att=50.412, acc=0.742, loss=54.100, backward_time=0.555, grad_norm=90.989, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.094e-05, train_time=3.590 +[gpua007:0/64] 2023-12-21 00:07:29,707 (trainer:737) INFO: 44epoch:train:1401-1500batch: iter_time=8.366e-05, forward_time=0.149, loss_ctc=59.805, loss_att=46.834, acc=0.738, loss=50.725, backward_time=0.630, grad_norm=74.264, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.094e-05, train_time=6.722 +[gpua007:0/64] 2023-12-21 00:19:05,958 (trainer:737) INFO: 44epoch:train:1501-1600batch: iter_time=9.659e-05, forward_time=0.149, loss_ctc=65.126, loss_att=59.541, acc=0.720, loss=61.216, backward_time=1.135, grad_norm=72.803, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.093e-05, train_time=6.962 +[gpua007:0/64] 2023-12-21 00:30:29,684 (trainer:737) INFO: 44epoch:train:1601-1700batch: iter_time=1.003e-04, forward_time=0.149, loss_ctc=58.493, loss_att=48.783, acc=0.732, loss=51.696, backward_time=1.186, grad_norm=83.911, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.093e-05, train_time=6.837 +[gpua007:0/64] 2023-12-21 00:36:00,409 (trainer:737) INFO: 44epoch:train:1701-1800batch: iter_time=9.945e-05, forward_time=0.261, loss_ctc=62.262, loss_att=51.888, acc=0.742, loss=55.000, backward_time=0.623, grad_norm=93.988, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.092e-05, train_time=3.307 +[gpua007:0/64] 2023-12-21 00:40:05,482 (trainer:737) INFO: 44epoch:train:1801-1900batch: iter_time=9.627e-05, forward_time=0.151, loss_ctc=66.260, loss_att=51.025, acc=0.734, loss=55.595, backward_time=0.423, grad_norm=97.173, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.092e-05, train_time=2.450 +[gpua007:0/64] 2023-12-21 00:44:40,610 (trainer:737) INFO: 44epoch:train:1901-2000batch: iter_time=8.897e-05, forward_time=0.148, loss_ctc=58.072, loss_att=44.919, acc=0.749, loss=48.865, backward_time=0.429, grad_norm=75.072, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.092e-05, train_time=2.752 +[gpua007:0/64] 2023-12-21 00:49:02,638 (trainer:737) INFO: 44epoch:train:2001-2100batch: iter_time=8.672e-05, forward_time=0.147, loss_ctc=64.815, loss_att=50.753, acc=0.737, loss=54.972, backward_time=0.446, grad_norm=77.357, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.091e-05, train_time=2.620 +[gpua007:0/64] 2023-12-21 00:49:46,319 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 00:52:55,190 (trainer:737) INFO: 44epoch:train:2101-2200batch: iter_time=8.404e-05, forward_time=0.147, loss_ctc=70.020, loss_att=57.927, acc=0.725, loss=61.555, backward_time=0.379, grad_norm=73.146, clip=100.000, loss_scale=2.356e+31, optim_step_time=0.133, optim0_lr0=6.091e-05, train_time=2.325 +[gpua007:0/64] 2023-12-21 00:56:47,440 (trainer:737) INFO: 44epoch:train:2201-2300batch: iter_time=8.470e-05, forward_time=0.147, loss_ctc=59.394, loss_att=42.879, acc=0.747, loss=47.833, backward_time=0.465, grad_norm=76.702, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.090e-05, train_time=2.322 +[gpua007:0/64] 2023-12-21 01:00:27,798 (trainer:737) INFO: 44epoch:train:2301-2400batch: iter_time=8.378e-05, forward_time=0.147, loss_ctc=59.804, loss_att=46.080, acc=0.728, loss=50.197, backward_time=0.399, grad_norm=68.397, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.090e-05, train_time=2.203 +[gpua007:0/64] 2023-12-21 01:04:06,235 (trainer:737) INFO: 44epoch:train:2401-2500batch: iter_time=8.136e-05, forward_time=0.148, loss_ctc=65.674, loss_att=54.232, acc=0.732, loss=57.665, backward_time=0.415, grad_norm=68.961, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.089e-05, train_time=2.184 +[gpua007:0/64] 2023-12-21 01:04:26,263 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua007:0/64] 2023-12-21 01:04:44,567 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 01:04:47,997 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 01:04:47,997 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua007:0/64] 2023-12-21 01:04:48,000 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 01:20:03,892 (trainer:737) INFO: 44epoch:train:2501-2600batch: iter_time=3.539, forward_time=0.189, loss_ctc=57.095, loss_att=45.445, acc=0.740, loss=48.940, backward_time=0.621, grad_norm=77.270, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.089e-05, train_time=9.576 +[gpua007:0/64] 2023-12-21 01:24:48,866 (trainer:737) INFO: 44epoch:train:2601-2700batch: iter_time=8.357e-05, forward_time=0.147, loss_ctc=62.944, loss_att=49.129, acc=0.744, loss=53.273, backward_time=0.436, grad_norm=66.537, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.088e-05, train_time=2.850 +[gpua007:0/64] 2023-12-21 01:29:49,837 (trainer:737) INFO: 44epoch:train:2701-2800batch: iter_time=9.430e-05, forward_time=0.147, loss_ctc=63.846, loss_att=54.453, acc=0.725, loss=57.271, backward_time=0.367, grad_norm=75.350, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.088e-05, train_time=3.009 +[gpua007:0/64] 2023-12-21 01:34:54,781 (trainer:737) INFO: 44epoch:train:2801-2900batch: iter_time=8.840e-05, forward_time=0.149, loss_ctc=62.756, loss_att=55.103, acc=0.720, loss=57.399, backward_time=0.398, grad_norm=79.622, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.087e-05, train_time=3.049 +[gpua007:0/64] 2023-12-21 01:39:39,337 (trainer:737) INFO: 44epoch:train:2901-3000batch: iter_time=9.519e-05, forward_time=0.147, loss_ctc=54.937, loss_att=46.170, acc=0.737, loss=48.800, backward_time=0.451, grad_norm=81.865, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.087e-05, train_time=2.845 +[gpua007:0/64] 2023-12-21 01:44:56,672 (trainer:737) INFO: 44epoch:train:3001-3100batch: iter_time=8.822e-05, forward_time=0.147, loss_ctc=66.076, loss_att=53.687, acc=0.729, loss=57.404, backward_time=0.538, grad_norm=73.287, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.086e-05, train_time=3.173 +[gpua007:0/64] 2023-12-21 01:47:29,733 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 01:51:14,646 (trainer:737) INFO: 44epoch:train:3101-3200batch: iter_time=8.483e-05, forward_time=0.147, loss_ctc=65.288, loss_att=51.196, acc=0.736, loss=55.423, backward_time=0.471, grad_norm=75.602, clip=100.000, loss_scale=1.352e+31, optim_step_time=0.133, optim0_lr0=6.086e-05, train_time=3.780 +[gpua007:0/64] 2023-12-21 01:56:06,415 (trainer:737) INFO: 44epoch:train:3201-3300batch: iter_time=9.449e-05, forward_time=0.147, loss_ctc=59.630, loss_att=44.762, acc=0.737, loss=49.223, backward_time=0.469, grad_norm=76.134, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.085e-05, train_time=2.917 +[gpua007:0/64] 2023-12-21 02:03:21,533 (trainer:737) INFO: 44epoch:train:3301-3400batch: iter_time=9.960e-05, forward_time=0.148, loss_ctc=72.007, loss_att=57.050, acc=0.724, loss=61.537, backward_time=0.679, grad_norm=109.129, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.085e-05, train_time=4.351 +[gpua007:0/64] 2023-12-21 02:10:37,275 (trainer:737) INFO: 44epoch:train:3401-3500batch: iter_time=9.500e-04, forward_time=0.198, loss_ctc=61.337, loss_att=47.192, acc=0.730, loss=51.435, backward_time=0.784, grad_norm=62.270, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.084e-05, train_time=4.357 +[gpua007:0/64] 2023-12-21 02:17:14,611 (trainer:737) INFO: 44epoch:train:3501-3600batch: iter_time=1.041e-04, forward_time=0.167, loss_ctc=57.406, loss_att=41.480, acc=0.745, loss=46.258, backward_time=0.643, grad_norm=81.731, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.084e-05, train_time=3.973 +[gpua007:0/64] 2023-12-21 02:24:39,787 (trainer:737) INFO: 44epoch:train:3601-3700batch: iter_time=1.027e-04, forward_time=0.147, loss_ctc=59.449, loss_att=49.462, acc=0.721, loss=52.458, backward_time=0.791, grad_norm=73.837, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.084e-05, train_time=4.451 +[gpua007:0/64] 2023-12-21 02:28:13,636 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua007:0/64] 2023-12-21 02:28:31,878 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 02:28:35,339 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 02:28:35,339 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua007:0/64] 2023-12-21 02:28:35,342 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 02:38:45,521 (trainer:737) INFO: 44epoch:train:3701-3800batch: iter_time=3.350, forward_time=0.148, loss_ctc=65.453, loss_att=50.132, acc=0.742, loss=54.728, backward_time=0.508, grad_norm=92.184, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.083e-05, train_time=8.457 +[gpua007:0/64] 2023-12-21 02:40:55,560 (trainer:737) INFO: 44epoch:train:3801-3900batch: iter_time=7.528e-05, forward_time=0.148, loss_ctc=62.457, loss_att=51.101, acc=0.743, loss=54.508, backward_time=0.282, grad_norm=68.506, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.083e-05, train_time=1.300 +[gpua007:0/64] 2023-12-21 02:43:30,220 (trainer:737) INFO: 44epoch:train:3901-4000batch: iter_time=7.924e-05, forward_time=0.148, loss_ctc=60.535, loss_att=47.718, acc=0.740, loss=51.563, backward_time=0.305, grad_norm=60.626, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.082e-05, train_time=1.546 +[gpua007:0/64] 2023-12-21 02:46:16,136 (trainer:737) INFO: 44epoch:train:4001-4100batch: iter_time=8.793e-05, forward_time=0.148, loss_ctc=64.827, loss_att=59.406, acc=0.724, loss=61.032, backward_time=0.305, grad_norm=70.776, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.082e-05, train_time=1.659 +[gpua007:0/64] 2023-12-21 02:49:10,985 (trainer:737) INFO: 44epoch:train:4101-4200batch: iter_time=8.533e-05, forward_time=0.148, loss_ctc=57.726, loss_att=48.394, acc=0.735, loss=51.194, backward_time=0.366, grad_norm=75.676, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.081e-05, train_time=1.748 +[gpua007:0/64] 2023-12-21 02:51:53,831 (trainer:737) INFO: 44epoch:train:4201-4300batch: iter_time=8.789e-05, forward_time=0.147, loss_ctc=62.167, loss_att=51.436, acc=0.745, loss=54.655, backward_time=0.339, grad_norm=82.058, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.081e-05, train_time=1.628 +[gpua007:0/64] 2023-12-21 02:54:14,975 (trainer:737) INFO: 44epoch:train:4301-4400batch: iter_time=8.959e-05, forward_time=0.147, loss_ctc=65.546, loss_att=50.572, acc=0.737, loss=55.064, backward_time=0.289, grad_norm=116.595, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.080e-05, train_time=1.411 +[gpua007:0/64] 2023-12-21 02:56:50,093 (trainer:737) INFO: 44epoch:train:4401-4500batch: iter_time=8.224e-05, forward_time=0.167, loss_ctc=57.412, loss_att=44.408, acc=0.752, loss=48.309, backward_time=0.291, grad_norm=92.906, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.080e-05, train_time=1.551 +[gpua007:0/64] 2023-12-21 03:00:18,617 (trainer:737) INFO: 44epoch:train:4501-4600batch: iter_time=8.612e-05, forward_time=0.276, loss_ctc=65.098, loss_att=50.582, acc=0.740, loss=54.937, backward_time=0.395, grad_norm=70.193, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.079e-05, train_time=2.085 +[gpua007:0/64] 2023-12-21 03:03:13,220 (trainer:737) INFO: 44epoch:train:4601-4700batch: iter_time=9.208e-05, forward_time=0.149, loss_ctc=69.077, loss_att=57.371, acc=0.727, loss=60.883, backward_time=0.300, grad_norm=85.159, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.079e-05, train_time=1.746 +[gpua007:0/64] 2023-12-21 03:06:02,918 (trainer:737) INFO: 44epoch:train:4701-4800batch: iter_time=8.754e-05, forward_time=0.148, loss_ctc=58.941, loss_att=42.914, acc=0.749, loss=47.722, backward_time=0.296, grad_norm=75.306, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.078e-05, train_time=1.697 +[gpua007:0/64] 2023-12-21 03:08:15,556 (trainer:737) INFO: 44epoch:train:4801-4900batch: iter_time=8.253e-05, forward_time=0.147, loss_ctc=59.471, loss_att=45.408, acc=0.732, loss=49.627, backward_time=0.295, grad_norm=87.145, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.078e-05, train_time=1.326 +[gpua007:0/64] 2023-12-21 03:10:58,138 (trainer:737) INFO: 44epoch:train:4901-5000batch: iter_time=8.336e-05, forward_time=0.147, loss_ctc=65.410, loss_att=53.724, acc=0.734, loss=57.230, backward_time=0.304, grad_norm=93.386, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.077e-05, train_time=1.626 +[gpua007:0/64] 2023-12-21 03:11:18,167 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua007:0/64] 2023-12-21 03:11:36,563 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 03:11:40,033 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 03:11:40,034 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua007:0/64] 2023-12-21 03:11:40,046 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 03:22:44,180 (trainer:737) INFO: 44epoch:train:5001-5100batch: iter_time=3.506, forward_time=0.147, loss_ctc=56.753, loss_att=44.478, acc=0.745, loss=48.160, backward_time=0.639, grad_norm=78.687, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.077e-05, train_time=7.060 +[gpua007:0/64] 2023-12-21 03:26:49,881 (trainer:737) INFO: 44epoch:train:5101-5200batch: iter_time=8.816e-05, forward_time=0.147, loss_ctc=63.105, loss_att=48.626, acc=0.746, loss=52.970, backward_time=0.455, grad_norm=60.271, clip=100.000, loss_scale=1.683e+31, optim_step_time=0.133, optim0_lr0=6.077e-05, train_time=2.457 +[gpua007:0/64] 2023-12-21 03:31:44,721 (trainer:737) INFO: 44epoch:train:5201-5300batch: iter_time=9.724e-05, forward_time=0.147, loss_ctc=62.934, loss_att=53.089, acc=0.731, loss=56.043, backward_time=0.486, grad_norm=72.656, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.076e-05, train_time=2.948 +[gpua007:0/64] 2023-12-21 03:34:04,698 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 03:40:33,675 (trainer:737) INFO: 44epoch:train:5301-5400batch: iter_time=1.021e-04, forward_time=0.147, loss_ctc=62.221, loss_att=54.087, acc=0.725, loss=56.527, backward_time=1.035, grad_norm=84.944, clip=100.000, loss_scale=1.260e+31, optim_step_time=0.133, optim0_lr0=6.076e-05, train_time=5.289 +[gpua007:0/64] 2023-12-21 03:49:48,911 (trainer:737) INFO: 44epoch:train:5401-5500batch: iter_time=9.650e-05, forward_time=0.153, loss_ctc=54.462, loss_att=45.188, acc=0.743, loss=47.970, backward_time=1.168, grad_norm=70.554, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.075e-05, train_time=5.552 +[gpua007:0/64] 2023-12-21 03:59:40,149 (trainer:737) INFO: 44epoch:train:5501-5600batch: iter_time=9.946e-05, forward_time=0.228, loss_ctc=66.039, loss_att=53.774, acc=0.731, loss=57.454, backward_time=0.871, grad_norm=104.395, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.075e-05, train_time=5.912 +[gpua007:0/64] 2023-12-21 04:07:11,833 (trainer:737) INFO: 44epoch:train:5601-5700batch: iter_time=1.002e-04, forward_time=0.149, loss_ctc=64.988, loss_att=51.036, acc=0.737, loss=55.221, backward_time=0.703, grad_norm=82.791, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.074e-05, train_time=4.517 +[gpua007:0/64] 2023-12-21 04:12:25,516 (trainer:737) INFO: 44epoch:train:5701-5800batch: iter_time=9.156e-05, forward_time=0.148, loss_ctc=59.578, loss_att=44.511, acc=0.737, loss=49.031, backward_time=0.629, grad_norm=103.312, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.074e-05, train_time=3.137 +[gpua007:0/64] 2023-12-21 04:16:00,300 (trainer:737) INFO: 44epoch:train:5801-5900batch: iter_time=8.812e-05, forward_time=0.148, loss_ctc=70.876, loss_att=57.230, acc=0.724, loss=61.324, backward_time=0.411, grad_norm=75.170, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.073e-05, train_time=2.148 +[gpua007:0/64] 2023-12-21 04:19:19,661 (trainer:737) INFO: 44epoch:train:5901-6000batch: iter_time=8.994e-05, forward_time=0.149, loss_ctc=61.163, loss_att=47.127, acc=0.732, loss=51.338, backward_time=0.371, grad_norm=74.656, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.073e-05, train_time=1.993 +[gpua007:0/64] 2023-12-21 04:22:08,580 (trainer:737) INFO: 44epoch:train:6001-6100batch: iter_time=8.368e-05, forward_time=0.148, loss_ctc=57.405, loss_att=41.549, acc=0.746, loss=46.306, backward_time=0.356, grad_norm=62.218, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.072e-05, train_time=1.689 +[gpua007:0/64] 2023-12-21 04:25:56,873 (trainer:737) INFO: 44epoch:train:6101-6200batch: iter_time=8.908e-05, forward_time=0.148, loss_ctc=58.941, loss_att=48.698, acc=0.726, loss=51.771, backward_time=0.472, grad_norm=72.455, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.072e-05, train_time=2.283 +[gpua007:0/64] 2023-12-21 04:27:54,673 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua007:0/64] 2023-12-21 04:28:13,195 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 04:28:16,780 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 04:28:16,780 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua007:0/64] 2023-12-21 04:28:16,783 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 04:38:46,423 (trainer:737) INFO: 44epoch:train:6201-6300batch: iter_time=3.448, forward_time=0.203, loss_ctc=64.625, loss_att=49.578, acc=0.741, loss=54.092, backward_time=0.310, grad_norm=63.882, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.071e-05, train_time=7.695 +[gpua007:0/64] 2023-12-21 04:40:49,815 (trainer:737) INFO: 44epoch:train:6301-6400batch: iter_time=7.626e-05, forward_time=0.148, loss_ctc=61.929, loss_att=48.360, acc=0.744, loss=52.430, backward_time=0.279, grad_norm=67.946, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.071e-05, train_time=1.234 +[gpua007:0/64] 2023-12-21 04:43:40,673 (trainer:737) INFO: 44epoch:train:6401-6500batch: iter_time=8.591e-05, forward_time=0.146, loss_ctc=59.635, loss_att=46.105, acc=0.741, loss=50.164, backward_time=0.304, grad_norm=58.837, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.070e-05, train_time=1.708 +[gpua007:0/64] 2023-12-21 04:46:20,128 (trainer:737) INFO: 44epoch:train:6501-6600batch: iter_time=9.915e-05, forward_time=0.147, loss_ctc=64.174, loss_att=56.948, acc=0.722, loss=59.116, backward_time=0.294, grad_norm=79.939, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.070e-05, train_time=1.594 +[gpua007:0/64] 2023-12-21 04:48:29,378 (trainer:737) INFO: 44epoch:train:6601-6700batch: iter_time=8.209e-05, forward_time=0.147, loss_ctc=57.467, loss_att=47.700, acc=0.734, loss=50.630, backward_time=0.278, grad_norm=71.244, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.070e-05, train_time=1.292 +[gpua007:0/64] 2023-12-21 04:51:06,202 (trainer:737) INFO: 44epoch:train:6701-6800batch: iter_time=8.264e-05, forward_time=0.149, loss_ctc=61.318, loss_att=50.840, acc=0.744, loss=53.983, backward_time=0.319, grad_norm=72.369, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.069e-05, train_time=1.568 +[gpua007:0/64] 2023-12-21 04:54:08,747 (trainer:737) INFO: 44epoch:train:6801-6900batch: iter_time=8.846e-05, forward_time=0.147, loss_ctc=64.838, loss_att=50.704, acc=0.733, loss=54.944, backward_time=0.375, grad_norm=75.132, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.069e-05, train_time=1.825 +[gpua007:0/64] 2023-12-21 04:57:22,868 (trainer:737) INFO: 44epoch:train:6901-7000batch: iter_time=8.915e-05, forward_time=0.147, loss_ctc=57.142, loss_att=43.765, acc=0.745, loss=47.778, backward_time=0.330, grad_norm=88.247, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.068e-05, train_time=1.941 +[gpua007:0/64] 2023-12-21 05:00:04,503 (trainer:737) INFO: 44epoch:train:7001-7100batch: iter_time=8.800e-05, forward_time=0.147, loss_ctc=63.891, loss_att=48.889, acc=0.736, loss=53.390, backward_time=0.347, grad_norm=75.643, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.068e-05, train_time=1.616 +[gpua007:0/64] 2023-12-21 05:03:03,300 (trainer:737) INFO: 44epoch:train:7101-7200batch: iter_time=9.242e-05, forward_time=0.209, loss_ctc=68.561, loss_att=55.315, acc=0.723, loss=59.289, backward_time=0.417, grad_norm=82.551, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.067e-05, train_time=1.787 +[gpua007:0/64] 2023-12-21 05:05:51,942 (trainer:737) INFO: 44epoch:train:7201-7300batch: iter_time=9.565e-05, forward_time=0.147, loss_ctc=58.657, loss_att=43.344, acc=0.739, loss=47.938, backward_time=0.328, grad_norm=61.102, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.067e-05, train_time=1.687 +[gpua007:0/64] 2023-12-21 05:08:14,232 (trainer:737) INFO: 44epoch:train:7301-7400batch: iter_time=9.399e-05, forward_time=0.149, loss_ctc=58.621, loss_att=44.537, acc=0.734, loss=48.762, backward_time=0.302, grad_norm=85.253, clip=100.000, loss_scale=1.775e+31, optim_step_time=0.134, optim0_lr0=6.066e-05, train_time=1.423 +[gpua007:0/64] 2023-12-21 05:10:57,410 (trainer:737) INFO: 44epoch:train:7401-7500batch: iter_time=8.567e-05, forward_time=0.147, loss_ctc=65.225, loss_att=53.392, acc=0.727, loss=56.941, backward_time=0.372, grad_norm=69.795, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.066e-05, train_time=1.632 +[gpua007:0/64] 2023-12-21 05:11:17,439 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua007:0/64] 2023-12-21 05:11:35,790 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 05:11:39,293 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 05:11:39,294 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua007:0/64] 2023-12-21 05:11:39,297 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 05:19:03,995 (trainer:737) INFO: 44epoch:train:7501-7600batch: iter_time=3.440, forward_time=0.149, loss_ctc=56.944, loss_att=43.589, acc=0.746, loss=47.595, backward_time=0.287, grad_norm=76.107, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.065e-05, train_time=4.866 +[gpua007:0/64] 2023-12-21 05:21:22,258 (trainer:737) INFO: 44epoch:train:7601-7700batch: iter_time=8.266e-05, forward_time=0.148, loss_ctc=62.993, loss_att=47.898, acc=0.748, loss=52.426, backward_time=0.280, grad_norm=69.985, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.065e-05, train_time=1.383 +[gpua007:0/64] 2023-12-21 05:24:17,124 (trainer:737) INFO: 44epoch:train:7701-7800batch: iter_time=9.410e-05, forward_time=0.148, loss_ctc=63.132, loss_att=52.550, acc=0.730, loss=55.725, backward_time=0.312, grad_norm=82.655, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.064e-05, train_time=1.748 +[gpua007:0/64] 2023-12-21 05:27:07,654 (trainer:737) INFO: 44epoch:train:7801-7900batch: iter_time=8.598e-05, forward_time=0.148, loss_ctc=62.091, loss_att=54.120, acc=0.726, loss=56.512, backward_time=0.310, grad_norm=79.754, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.064e-05, train_time=1.705 +[gpua007:0/64] 2023-12-21 05:29:43,437 (trainer:737) INFO: 44epoch:train:7901-8000batch: iter_time=8.386e-05, forward_time=0.148, loss_ctc=54.870, loss_att=45.948, acc=0.739, loss=48.625, backward_time=0.303, grad_norm=94.568, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.063e-05, train_time=1.558 +[gpua007:0/64] 2023-12-21 05:33:05,407 (trainer:737) INFO: 44epoch:train:8001-8100batch: iter_time=8.717e-05, forward_time=0.255, loss_ctc=65.220, loss_att=53.026, acc=0.732, loss=56.684, backward_time=0.446, grad_norm=172.966, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.063e-05, train_time=2.019 +[gpua007:0/64] 2023-12-21 05:35:17,002 (trainer:737) INFO: 44epoch:train:8101-8200batch: iter_time=8.465e-05, forward_time=0.148, loss_ctc=64.985, loss_att=50.486, acc=0.739, loss=54.836, backward_time=0.286, grad_norm=83.039, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.063e-05, train_time=1.316 +[gpua007:0/64] 2023-12-21 05:38:11,091 (trainer:737) INFO: 44epoch:train:8201-8300batch: iter_time=8.601e-05, forward_time=0.147, loss_ctc=58.998, loss_att=43.945, acc=0.742, loss=48.461, backward_time=0.293, grad_norm=83.670, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.062e-05, train_time=1.741 +[gpua007:0/64] 2023-12-21 05:41:07,894 (trainer:737) INFO: 44epoch:train:8301-8400batch: iter_time=8.314e-05, forward_time=0.147, loss_ctc=70.277, loss_att=56.223, acc=0.726, loss=60.439, backward_time=0.313, grad_norm=142.091, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.062e-05, train_time=1.768 +[gpua007:0/64] 2023-12-21 05:43:17,765 (trainer:737) INFO: 44epoch:train:8401-8500batch: iter_time=8.207e-05, forward_time=0.148, loss_ctc=61.019, loss_att=46.544, acc=0.734, loss=50.886, backward_time=0.278, grad_norm=81.584, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.061e-05, train_time=1.298 +[gpua007:0/64] 2023-12-21 05:45:47,042 (trainer:737) INFO: 44epoch:train:8501-8600batch: iter_time=7.835e-05, forward_time=0.148, loss_ctc=57.251, loss_att=41.130, acc=0.749, loss=45.966, backward_time=0.295, grad_norm=92.169, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.061e-05, train_time=1.493 +[gpua007:0/64] 2023-12-21 05:48:43,890 (trainer:737) INFO: 44epoch:train:8601-8700batch: iter_time=8.264e-05, forward_time=0.148, loss_ctc=58.808, loss_att=49.007, acc=0.725, loss=51.947, backward_time=0.323, grad_norm=85.503, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.060e-05, train_time=1.768 +[gpua007:0/64] 2023-12-21 05:50:17,801 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua007:0/64] 2023-12-21 05:50:36,916 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 05:50:40,519 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 05:50:40,519 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua007:0/64] 2023-12-21 05:50:40,523 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 05:56:35,286 (trainer:737) INFO: 44epoch:train:8701-8800batch: iter_time=3.144, forward_time=0.196, loss_ctc=64.893, loss_att=49.661, acc=0.741, loss=54.230, backward_time=0.298, grad_norm=91.430, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.060e-05, train_time=4.714 +[gpua007:0/64] 2023-12-21 05:58:48,355 (trainer:737) INFO: 44epoch:train:8801-8900batch: iter_time=7.737e-05, forward_time=0.147, loss_ctc=61.368, loss_att=47.755, acc=0.746, loss=51.839, backward_time=0.288, grad_norm=75.283, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.059e-05, train_time=1.331 +[gpua007:0/64] 2023-12-21 06:00:55,581 (trainer:737) INFO: 44epoch:train:8901-9000batch: iter_time=8.546e-05, forward_time=0.148, loss_ctc=59.522, loss_att=45.901, acc=0.742, loss=49.987, backward_time=0.278, grad_norm=68.693, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.059e-05, train_time=1.272 +[gpua007:0/64] 2023-12-21 06:03:28,827 (trainer:737) INFO: 44epoch:train:9001-9100batch: iter_time=8.793e-05, forward_time=0.147, loss_ctc=64.771, loss_att=57.256, acc=0.721, loss=59.510, backward_time=0.311, grad_norm=73.482, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.058e-05, train_time=1.532 +[gpua007:0/64] 2023-12-21 06:05:24,840 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 06:05:47,657 (trainer:737) INFO: 44epoch:train:9101-9200batch: iter_time=8.419e-05, forward_time=0.147, loss_ctc=57.423, loss_att=47.972, acc=0.732, loss=50.807, backward_time=0.303, grad_norm=72.137, clip=100.000, loss_scale=1.834e+31, optim_step_time=0.133, optim0_lr0=6.058e-05, train_time=1.388 +[gpua007:0/64] 2023-12-21 06:08:31,586 (trainer:737) INFO: 44epoch:train:9201-9300batch: iter_time=8.726e-05, forward_time=0.147, loss_ctc=60.894, loss_att=50.297, acc=0.746, loss=53.476, backward_time=0.308, grad_norm=77.975, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.057e-05, train_time=1.639 +[gpua007:0/64] 2023-12-21 06:11:40,282 (trainer:737) INFO: 44epoch:train:9301-9400batch: iter_time=8.637e-05, forward_time=0.147, loss_ctc=64.561, loss_att=50.023, acc=0.734, loss=54.384, backward_time=0.357, grad_norm=78.020, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.057e-05, train_time=1.887 +[gpua007:0/64] 2023-12-21 06:14:25,212 (trainer:737) INFO: 44epoch:train:9401-9500batch: iter_time=9.147e-05, forward_time=0.147, loss_ctc=57.271, loss_att=43.445, acc=0.748, loss=47.592, backward_time=0.301, grad_norm=115.655, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.057e-05, train_time=1.649 +[gpua007:0/64] 2023-12-21 06:17:07,842 (trainer:737) INFO: 44epoch:train:9501-9600batch: iter_time=8.696e-05, forward_time=0.148, loss_ctc=64.259, loss_att=48.605, acc=0.738, loss=53.301, backward_time=0.301, grad_norm=72.098, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.056e-05, train_time=1.626 +[gpua007:0/64] 2023-12-21 06:19:41,613 (trainer:737) INFO: 44epoch:train:9601-9700batch: iter_time=8.435e-05, forward_time=0.179, loss_ctc=68.404, loss_att=55.636, acc=0.722, loss=59.466, backward_time=0.310, grad_norm=89.920, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.056e-05, train_time=1.537 +[gpua007:0/64] 2023-12-21 06:22:18,836 (trainer:737) INFO: 44epoch:train:9701-9800batch: iter_time=7.820e-05, forward_time=0.242, loss_ctc=58.609, loss_att=42.868, acc=0.743, loss=47.590, backward_time=0.312, grad_norm=71.153, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.055e-05, train_time=1.572 +[gpua007:0/64] 2023-12-21 06:24:52,621 (trainer:737) INFO: 44epoch:train:9801-9900batch: iter_time=7.947e-05, forward_time=0.148, loss_ctc=58.712, loss_att=44.285, acc=0.737, loss=48.613, backward_time=0.288, grad_norm=67.857, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.055e-05, train_time=1.538 +[gpua007:0/64] 2023-12-21 06:27:28,411 (trainer:737) INFO: 44epoch:train:9901-10000batch: iter_time=8.217e-05, forward_time=0.147, loss_ctc=64.789, loss_att=53.113, acc=0.728, loss=56.616, backward_time=0.361, grad_norm=69.450, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.054e-05, train_time=1.558 +[gpua007:0/64] 2023-12-21 06:27:48,440 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua007:0/64] 2023-12-21 06:28:06,906 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 06:28:10,435 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 06:28:10,435 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua007:0/64] 2023-12-21 06:28:10,441 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 06:35:14,084 (trainer:737) INFO: 44epoch:train:10001-10100batch: iter_time=3.246, forward_time=0.149, loss_ctc=56.462, loss_att=44.312, acc=0.757, loss=47.957, backward_time=0.285, grad_norm=65.084, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.054e-05, train_time=4.656 +[gpua007:0/64] 2023-12-21 06:37:38,316 (trainer:737) INFO: 44epoch:train:10101-10200batch: iter_time=8.825e-05, forward_time=0.149, loss_ctc=62.651, loss_att=50.389, acc=0.748, loss=54.067, backward_time=0.340, grad_norm=67.159, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.053e-05, train_time=1.442 +[gpua007:0/64] 2023-12-21 06:40:04,173 (trainer:737) INFO: 44epoch:train:10201-10300batch: iter_time=2.079e-04, forward_time=0.162, loss_ctc=62.717, loss_att=54.108, acc=0.736, loss=56.690, backward_time=0.303, grad_norm=63.588, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.053e-05, train_time=1.458 +[gpua007:0/64] 2023-12-21 06:44:15,565 (trainer:737) INFO: 44epoch:train:10301-10400batch: iter_time=0.005, forward_time=0.213, loss_ctc=62.101, loss_att=56.618, acc=0.726, loss=58.263, backward_time=0.384, grad_norm=62.825, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.052e-05, train_time=2.513 +[gpua007:0/64] 2023-12-21 06:47:03,837 (trainer:737) INFO: 44epoch:train:10401-10500batch: iter_time=9.110e-05, forward_time=0.148, loss_ctc=53.873, loss_att=45.318, acc=0.748, loss=47.885, backward_time=0.299, grad_norm=74.762, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.052e-05, train_time=1.683 +[gpua007:0/64] 2023-12-21 06:49:42,512 (trainer:737) INFO: 44epoch:train:10501-10600batch: iter_time=8.406e-05, forward_time=0.148, loss_ctc=65.663, loss_att=53.102, acc=0.743, loss=56.870, backward_time=0.296, grad_norm=73.603, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.051e-05, train_time=1.587 +[gpua007:0/64] 2023-12-21 06:52:56,033 (trainer:737) INFO: 44epoch:train:10601-10700batch: iter_time=8.382e-05, forward_time=0.148, loss_ctc=64.721, loss_att=50.950, acc=0.747, loss=55.081, backward_time=0.338, grad_norm=85.923, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.051e-05, train_time=1.935 +[gpua007:0/64] 2023-12-21 06:55:26,154 (trainer:737) INFO: 44epoch:train:10701-10800batch: iter_time=8.214e-05, forward_time=0.148, loss_ctc=58.864, loss_att=44.505, acc=0.749, loss=48.813, backward_time=0.295, grad_norm=141.215, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.051e-05, train_time=1.501 +[gpua007:0/64] 2023-12-21 06:58:21,605 (trainer:737) INFO: 44epoch:train:10801-10900batch: iter_time=8.709e-05, forward_time=0.147, loss_ctc=70.017, loss_att=58.778, acc=0.732, loss=62.150, backward_time=0.288, grad_norm=93.164, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.050e-05, train_time=1.754 +[gpua007:0/64] 2023-12-21 07:01:04,034 (trainer:737) INFO: 44epoch:train:10901-11000batch: iter_time=2.063e-04, forward_time=0.170, loss_ctc=60.922, loss_att=47.171, acc=0.742, loss=51.297, backward_time=0.361, grad_norm=67.859, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.050e-05, train_time=1.624 +[gpua007:0/64] 2023-12-21 07:04:13,421 (trainer:737) INFO: 44epoch:train:11001-11100batch: iter_time=8.564e-05, forward_time=0.204, loss_ctc=56.964, loss_att=41.329, acc=0.756, loss=46.019, backward_time=0.324, grad_norm=72.421, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.142, optim0_lr0=6.049e-05, train_time=1.894 +[gpua007:0/64] 2023-12-21 07:06:57,491 (trainer:737) INFO: 44epoch:train:11101-11200batch: iter_time=8.628e-05, forward_time=0.148, loss_ctc=58.181, loss_att=48.594, acc=0.729, loss=51.470, backward_time=0.305, grad_norm=84.937, clip=100.000, loss_scale=1.207e+31, optim_step_time=0.133, optim0_lr0=6.049e-05, train_time=1.641 +[gpua007:0/64] 2023-12-21 07:08:41,062 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua007:0/64] 2023-12-21 07:08:59,726 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 07:09:03,261 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 07:09:03,261 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua007:0/64] 2023-12-21 07:09:03,265 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 07:19:13,708 (trainer:737) INFO: 44epoch:train:11201-11300batch: iter_time=3.327, forward_time=0.152, loss_ctc=64.951, loss_att=50.133, acc=0.746, loss=54.579, backward_time=0.292, grad_norm=72.832, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.048e-05, train_time=7.362 +[gpua007:0/64] 2023-12-21 07:21:30,166 (trainer:737) INFO: 44epoch:train:11301-11400batch: iter_time=7.784e-05, forward_time=0.149, loss_ctc=61.384, loss_att=48.817, acc=0.745, loss=52.587, backward_time=0.285, grad_norm=67.621, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.048e-05, train_time=1.365 +[gpua007:0/64] 2023-12-21 07:24:07,493 (trainer:737) INFO: 44epoch:train:11401-11500batch: iter_time=0.003, forward_time=0.190, loss_ctc=59.392, loss_att=46.000, acc=0.744, loss=50.017, backward_time=0.317, grad_norm=63.374, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.047e-05, train_time=1.573 +[gpua007:0/64] 2023-12-21 07:27:38,221 (trainer:737) INFO: 44epoch:train:11501-11600batch: iter_time=8.396e-05, forward_time=0.250, loss_ctc=63.811, loss_att=57.162, acc=0.723, loss=59.157, backward_time=0.381, grad_norm=78.475, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.144, optim0_lr0=6.047e-05, train_time=2.107 +[gpua007:0/64] 2023-12-21 07:29:44,057 (trainer:737) INFO: 44epoch:train:11601-11700batch: iter_time=8.055e-05, forward_time=0.148, loss_ctc=57.406, loss_att=47.267, acc=0.735, loss=50.309, backward_time=0.284, grad_norm=67.152, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.046e-05, train_time=1.258 +[gpua007:0/64] 2023-12-21 07:32:40,604 (trainer:737) INFO: 44epoch:train:11701-11800batch: iter_time=8.388e-05, forward_time=0.150, loss_ctc=60.617, loss_att=50.647, acc=0.746, loss=53.638, backward_time=0.336, grad_norm=77.136, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.046e-05, train_time=1.765 +[gpua007:0/64] 2023-12-21 07:36:02,100 (trainer:737) INFO: 44epoch:train:11801-11900batch: iter_time=9.136e-05, forward_time=0.148, loss_ctc=64.678, loss_att=50.497, acc=0.734, loss=54.751, backward_time=0.345, grad_norm=74.575, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.045e-05, train_time=2.015 +[gpua007:0/64] 2023-12-21 07:39:15,165 (trainer:737) INFO: 44epoch:train:11901-12000batch: iter_time=9.209e-05, forward_time=0.169, loss_ctc=57.307, loss_att=43.712, acc=0.747, loss=47.791, backward_time=0.350, grad_norm=71.775, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.045e-05, train_time=1.930 +[gpua007:0/64] 2023-12-21 07:42:02,623 (trainer:737) INFO: 44epoch:train:12001-12100batch: iter_time=0.002, forward_time=0.189, loss_ctc=64.086, loss_att=48.833, acc=0.737, loss=53.409, backward_time=0.331, grad_norm=75.829, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.045e-05, train_time=1.674 +[gpua007:0/64] 2023-12-21 07:44:27,239 (trainer:737) INFO: 44epoch:train:12101-12200batch: iter_time=8.551e-05, forward_time=0.251, loss_ctc=68.625, loss_att=55.896, acc=0.724, loss=59.715, backward_time=0.293, grad_norm=76.394, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=6.044e-05, train_time=1.446 +[gpua007:0/64] 2023-12-21 07:47:45,862 (trainer:737) INFO: 44epoch:train:12201-12300batch: iter_time=8.235e-05, forward_time=0.147, loss_ctc=58.533, loss_att=43.188, acc=0.741, loss=47.791, backward_time=0.397, grad_norm=92.660, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.044e-05, train_time=1.986 +[gpua007:0/64] 2023-12-21 07:51:10,096 (trainer:737) INFO: 44epoch:train:12301-12400batch: iter_time=8.539e-05, forward_time=0.156, loss_ctc=58.907, loss_att=44.444, acc=0.737, loss=48.783, backward_time=0.349, grad_norm=76.209, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.043e-05, train_time=2.042 +[gpua007:0/64] 2023-12-21 07:53:36,504 (trainer:737) INFO: 44epoch:train:12401-12500batch: iter_time=8.373e-05, forward_time=0.147, loss_ctc=64.142, loss_att=52.454, acc=0.732, loss=55.961, backward_time=0.283, grad_norm=66.637, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.043e-05, train_time=1.464 +[gpua007:0/64] 2023-12-21 07:53:56,533 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua007:0/64] 2023-12-21 07:54:15,239 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 07:54:18,681 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 07:54:18,681 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua007:0/64] 2023-12-21 07:54:18,685 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 08:06:22,832 (trainer:737) INFO: 44epoch:train:12501-12600batch: iter_time=3.441, forward_time=0.214, loss_ctc=56.167, loss_att=43.473, acc=0.760, loss=47.281, backward_time=0.288, grad_norm=67.774, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.042e-05, train_time=7.663 +[gpua007:0/64] 2023-12-21 08:09:19,203 (trainer:737) INFO: 44epoch:train:12601-12700batch: iter_time=8.068e-05, forward_time=0.148, loss_ctc=62.436, loss_att=49.696, acc=0.750, loss=53.518, backward_time=0.317, grad_norm=73.565, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.042e-05, train_time=1.764 +[gpua007:0/64] 2023-12-21 08:12:23,835 (trainer:737) INFO: 44epoch:train:12701-12800batch: iter_time=8.389e-05, forward_time=0.165, loss_ctc=62.429, loss_att=53.618, acc=0.739, loss=56.261, backward_time=0.312, grad_norm=70.325, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.041e-05, train_time=1.846 +[gpua007:0/64] 2023-12-21 08:14:28,033 (trainer:737) INFO: 44epoch:train:12801-12900batch: iter_time=8.392e-05, forward_time=0.148, loss_ctc=62.000, loss_att=56.655, acc=0.727, loss=58.258, backward_time=0.280, grad_norm=80.281, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.041e-05, train_time=1.242 +[gpua007:0/64] 2023-12-21 08:17:25,016 (trainer:737) INFO: 44epoch:train:12901-13000batch: iter_time=8.463e-05, forward_time=0.166, loss_ctc=53.969, loss_att=45.429, acc=0.748, loss=47.991, backward_time=0.284, grad_norm=76.248, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.040e-05, train_time=1.770 +[gpua007:0/64] 2023-12-21 08:21:15,534 (trainer:737) INFO: 44epoch:train:13001-13100batch: iter_time=8.960e-05, forward_time=0.274, loss_ctc=65.082, loss_att=52.842, acc=0.743, loss=56.514, backward_time=0.359, grad_norm=81.263, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.040e-05, train_time=2.305 +[gpua007:0/64] 2023-12-21 08:24:11,905 (trainer:737) INFO: 44epoch:train:13101-13200batch: iter_time=8.560e-05, forward_time=0.147, loss_ctc=64.526, loss_att=50.507, acc=0.747, loss=54.713, backward_time=0.314, grad_norm=70.058, clip=100.000, loss_scale=2.414e+31, optim_step_time=0.133, optim0_lr0=6.039e-05, train_time=1.764 +[gpua007:0/64] 2023-12-21 08:26:15,090 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 08:26:48,307 (trainer:737) INFO: 44epoch:train:13201-13300batch: iter_time=8.536e-05, forward_time=0.155, loss_ctc=59.299, loss_att=44.687, acc=0.749, loss=49.071, backward_time=0.322, grad_norm=72.023, clip=100.000, loss_scale=3.708e+31, optim_step_time=0.133, optim0_lr0=6.039e-05, train_time=1.564 +[gpua007:0/64] 2023-12-21 08:29:24,773 (trainer:737) INFO: 44epoch:train:13301-13400batch: iter_time=8.687e-05, forward_time=0.155, loss_ctc=70.389, loss_att=58.301, acc=0.734, loss=61.928, backward_time=0.309, grad_norm=75.430, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.039e-05, train_time=1.564 +[gpua007:0/64] 2023-12-21 08:32:45,527 (trainer:737) INFO: 44epoch:train:13401-13500batch: iter_time=8.712e-05, forward_time=0.148, loss_ctc=60.522, loss_att=46.743, acc=0.743, loss=50.877, backward_time=0.366, grad_norm=63.041, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.038e-05, train_time=2.007 +[gpua007:0/64] 2023-12-21 08:35:21,309 (trainer:737) INFO: 44epoch:train:13501-13600batch: iter_time=8.612e-05, forward_time=0.148, loss_ctc=56.423, loss_att=40.850, acc=0.758, loss=45.522, backward_time=0.298, grad_norm=71.289, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.038e-05, train_time=1.558 +[gpua007:0/64] 2023-12-21 08:38:37,950 (trainer:737) INFO: 44epoch:train:13601-13700batch: iter_time=8.317e-05, forward_time=0.148, loss_ctc=58.101, loss_att=48.508, acc=0.731, loss=51.386, backward_time=0.314, grad_norm=74.347, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.037e-05, train_time=1.966 +[gpua007:0/64] 2023-12-21 08:40:35,257 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua007:0/64] 2023-12-21 08:40:53,893 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 08:40:57,419 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 08:40:57,420 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua007:0/64] 2023-12-21 08:40:57,430 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 08:46:34,244 (trainer:737) INFO: 44epoch:train:13701-13800batch: iter_time=2.896, forward_time=0.291, loss_ctc=64.558, loss_att=48.952, acc=0.753, loss=53.634, backward_time=0.327, grad_norm=77.522, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.142, optim0_lr0=6.037e-05, train_time=4.762 +[gpua007:0/64] 2023-12-21 08:48:34,506 (trainer:737) INFO: 44epoch:train:13801-13900batch: iter_time=7.723e-05, forward_time=0.149, loss_ctc=61.331, loss_att=49.239, acc=0.751, loss=52.867, backward_time=0.281, grad_norm=66.703, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.036e-05, train_time=1.203 +[gpua007:0/64] 2023-12-21 08:50:47,500 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 08:51:18,702 (trainer:737) INFO: 44epoch:train:13901-14000batch: iter_time=8.090e-05, forward_time=0.148, loss_ctc=59.173, loss_att=46.822, acc=0.745, loss=50.527, backward_time=0.351, grad_norm=62.085, clip=100.000, loss_scale=1.885e+31, optim_step_time=0.134, optim0_lr0=6.036e-05, train_time=1.642 +[gpua007:0/64] 2023-12-21 08:54:16,373 (trainer:737) INFO: 44epoch:train:14001-14100batch: iter_time=8.647e-05, forward_time=0.148, loss_ctc=64.304, loss_att=58.688, acc=0.727, loss=60.372, backward_time=0.311, grad_norm=69.322, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.035e-05, train_time=1.776 +[gpua007:0/64] 2023-12-21 08:57:04,882 (trainer:737) INFO: 44epoch:train:14101-14200batch: iter_time=8.509e-05, forward_time=0.213, loss_ctc=56.958, loss_att=48.562, acc=0.737, loss=51.081, backward_time=0.357, grad_norm=70.332, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.035e-05, train_time=1.685 +[gpua007:0/64] 2023-12-21 09:00:17,554 (trainer:737) INFO: 44epoch:train:14201-14300batch: iter_time=8.259e-05, forward_time=0.150, loss_ctc=60.959, loss_att=50.086, acc=0.752, loss=53.348, backward_time=0.349, grad_norm=67.595, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.034e-05, train_time=1.927 +[gpua007:0/64] 2023-12-21 09:03:40,306 (trainer:737) INFO: 44epoch:train:14301-14400batch: iter_time=8.143e-05, forward_time=0.147, loss_ctc=64.305, loss_att=50.350, acc=0.742, loss=54.537, backward_time=0.357, grad_norm=71.511, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.034e-05, train_time=2.027 +[gpua007:0/64] 2023-12-21 09:06:57,309 (trainer:737) INFO: 44epoch:train:14401-14500batch: iter_time=8.158e-05, forward_time=0.147, loss_ctc=57.039, loss_att=43.805, acc=0.756, loss=47.775, backward_time=0.411, grad_norm=94.729, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.133, optim0_lr0=6.034e-05, train_time=1.970 +[gpua007:0/64] 2023-12-21 09:09:10,537 (trainer:737) INFO: 44epoch:train:14501-14600batch: iter_time=8.485e-05, forward_time=0.157, loss_ctc=64.084, loss_att=49.635, acc=0.746, loss=53.970, backward_time=0.284, grad_norm=67.425, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.033e-05, train_time=1.332 +[gpua007:0/64] 2023-12-21 09:12:16,850 (trainer:737) INFO: 44epoch:train:14601-14700batch: iter_time=8.680e-05, forward_time=0.285, loss_ctc=67.891, loss_att=56.823, acc=0.731, loss=60.144, backward_time=0.378, grad_norm=66.728, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.148, optim0_lr0=6.033e-05, train_time=1.863 +[gpua007:0/64] 2023-12-21 09:15:05,571 (trainer:737) INFO: 44epoch:train:14701-14800batch: iter_time=8.978e-05, forward_time=0.149, loss_ctc=58.304, loss_att=42.849, acc=0.749, loss=47.486, backward_time=0.339, grad_norm=70.390, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.032e-05, train_time=1.687 +[gpua007:0/64] 2023-12-21 09:18:19,434 (trainer:737) INFO: 44epoch:train:14801-14900batch: iter_time=8.628e-05, forward_time=0.148, loss_ctc=58.606, loss_att=45.026, acc=0.737, loss=49.100, backward_time=0.328, grad_norm=75.101, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.032e-05, train_time=1.938 + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port error + +gpua014:1652866:1652941 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652867:1652943 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652869:1652945 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active + +gpua014:1652868:1652942 [0] transport/net_ib.cc:93 NCCL WARN NET/IB : Got async event : port active +[gpua007:0/64] 2023-12-21 09:21:38,854 (trainer:737) INFO: 44epoch:train:14901-15000batch: iter_time=9.113e-05, forward_time=0.147, loss_ctc=63.971, loss_att=52.289, acc=0.741, loss=55.794, backward_time=0.395, grad_norm=82.231, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.031e-05, train_time=1.994 +[gpua007:0/64] 2023-12-21 09:48:59,510 (trainer:343) INFO: 44epoch results: [train] iter_time=0.258, forward_time=0.162, loss_ctc=61.898, loss_att=49.517, acc=0.738, loss=53.231, backward_time=0.388, grad_norm=78.274, clip=100.000, loss_scale=1.885e+31, optim_step_time=0.134, optim0_lr0=6.066e-05, train_time=2.498, time=10 hours, 25 minutes and 4.02 seconds, total_count=660000, gpu_max_cached_mem_GB=38.758, [valid] loss_ctc=31.779, cer_ctc=0.162, loss_att=30.270, acc=0.750, cer=0.283, wer=0.954, loss=30.723, time=26 minutes and 55.97 seconds, total_count=205524, gpu_max_cached_mem_GB=38.758 +[gpua007:0/64] 2023-12-21 09:49:19,072 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua007:0/64] 2023-12-21 09:49:19,320 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/39epoch.pth +[gpua007:0/64] 2023-12-21 09:49:19,320 (trainer:272) INFO: 45/45epoch started. Estimated time to finish: 9 hours, 41 minutes and 47.69 seconds +[gpua007:0/64] 2023-12-21 09:49:19,331 (multiple_iter_factory:32) INFO: Building 0th iter-factory... +[gpua007:0/64] 2023-12-21 09:49:36,552 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 09:49:39,840 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.8", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.8", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.8", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.8", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 09:49:39,841 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.8, +[gpua007:0/64] 2023-12-21 09:49:39,844 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 09:58:54,986 (trainer:737) INFO: 45epoch:train:1-100batch: iter_time=2.610, forward_time=0.211, loss_ctc=63.674, loss_att=52.878, acc=0.733, loss=56.117, backward_time=0.288, grad_norm=71.580, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.135, optim0_lr0=6.031e-05, train_time=5.756 +[gpua007:0/64] 2023-12-21 10:01:34,928 (trainer:737) INFO: 45epoch:train:101-200batch: iter_time=8.587e-05, forward_time=0.147, loss_ctc=59.922, loss_att=44.364, acc=0.749, loss=49.031, backward_time=0.290, grad_norm=68.764, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.030e-05, train_time=1.600 +[gpua007:0/64] 2023-12-21 10:03:50,204 (trainer:737) INFO: 45epoch:train:201-300batch: iter_time=2.065e-04, forward_time=0.153, loss_ctc=67.584, loss_att=51.223, acc=0.736, loss=56.131, backward_time=0.293, grad_norm=67.170, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.030e-05, train_time=1.353 +[gpua007:0/64] 2023-12-21 10:07:11,193 (trainer:737) INFO: 45epoch:train:301-400batch: iter_time=8.871e-05, forward_time=0.180, loss_ctc=51.223, loss_att=38.436, acc=0.754, loss=42.272, backward_time=0.381, grad_norm=64.386, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.137, optim0_lr0=6.029e-05, train_time=2.010 +[gpua007:0/64] 2023-12-21 10:10:11,402 (trainer:737) INFO: 45epoch:train:401-500batch: iter_time=1.008e-04, forward_time=0.248, loss_ctc=68.410, loss_att=53.584, acc=0.760, loss=58.032, backward_time=0.334, grad_norm=70.211, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.136, optim0_lr0=6.029e-05, train_time=1.802 +[gpua007:0/64] 2023-12-21 10:12:50,687 (trainer:737) INFO: 45epoch:train:501-600batch: iter_time=8.863e-05, forward_time=0.153, loss_ctc=79.500, loss_att=56.835, acc=0.739, loss=63.634, backward_time=0.297, grad_norm=72.988, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.138, optim0_lr0=6.029e-05, train_time=1.593 +[gpua007:0/64] 2023-12-21 10:15:31,459 (trainer:737) INFO: 45epoch:train:601-700batch: iter_time=9.172e-05, forward_time=0.168, loss_ctc=71.638, loss_att=52.757, acc=0.743, loss=58.421, backward_time=0.339, grad_norm=72.951, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.140, optim0_lr0=6.028e-05, train_time=1.607 +[gpua007:0/64] 2023-12-21 10:17:59,961 (trainer:737) INFO: 45epoch:train:701-800batch: iter_time=4.993e-04, forward_time=0.150, loss_ctc=69.272, loss_att=48.048, acc=0.742, loss=54.415, backward_time=0.296, grad_norm=71.449, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.134, optim0_lr0=6.028e-05, train_time=1.485 +[gpua007:0/64] 2023-12-21 10:20:25,691 (trainer:737) INFO: 45epoch:train:801-900batch: iter_time=9.299e-05, forward_time=0.228, loss_ctc=61.612, loss_att=48.001, acc=0.740, loss=52.084, backward_time=0.318, grad_norm=74.240, clip=100.000, loss_scale=1.014e+31, optim_step_time=0.139, optim0_lr0=6.027e-05, train_time=1.456 +[gpua007:0/64] 2023-12-21 10:23:26,759 (trainer:737) INFO: 45epoch:train:901-1000batch: iter_time=3.206e-04, forward_time=0.165, loss_ctc=62.268, loss_att=51.558, acc=0.746, loss=54.771, backward_time=0.325, grad_norm=65.971, clip=100.000, loss_scale=1.156e+31, optim_step_time=0.135, optim0_lr0=6.027e-05, train_time=1.811 +[gpua007:0/64] 2023-12-21 10:26:09,305 (trainer:737) INFO: 45epoch:train:1001-1100batch: iter_time=8.701e-05, forward_time=0.147, loss_ctc=56.446, loss_att=47.606, acc=0.739, loss=50.258, backward_time=0.327, grad_norm=61.724, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.026e-05, train_time=1.625 +[gpua007:0/64] 2023-12-21 10:28:54,179 (trainer:737) INFO: 45epoch:train:1101-1200batch: iter_time=2.973e-04, forward_time=0.266, loss_ctc=69.277, loss_att=52.125, acc=0.724, loss=57.271, backward_time=0.326, grad_norm=93.337, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.026e-05, train_time=1.647 +[gpua007:0/64] 2023-12-21 10:30:19,990 (multiple_iter_factory:32) INFO: Building 1th iter-factory... +[gpua007:0/64] 2023-12-21 10:30:38,782 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 10:30:42,209 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.5", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.5", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.5", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.5", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 10:30:42,209 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.5, +[gpua007:0/64] 2023-12-21 10:30:42,214 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 10:36:06,808 (trainer:737) INFO: 45epoch:train:1201-1300batch: iter_time=2.809, forward_time=0.150, loss_ctc=61.206, loss_att=52.906, acc=0.732, loss=55.396, backward_time=0.282, grad_norm=73.204, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.025e-05, train_time=4.327 +[gpua007:0/64] 2023-12-21 10:38:10,380 (trainer:737) INFO: 45epoch:train:1301-1400batch: iter_time=7.783e-05, forward_time=0.148, loss_ctc=60.868, loss_att=48.578, acc=0.732, loss=52.265, backward_time=0.279, grad_norm=64.827, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.025e-05, train_time=1.235 +[gpua007:0/64] 2023-12-21 10:40:33,579 (trainer:737) INFO: 45epoch:train:1401-1500batch: iter_time=7.911e-05, forward_time=0.147, loss_ctc=64.212, loss_att=46.610, acc=0.744, loss=51.891, backward_time=0.293, grad_norm=71.491, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.024e-05, train_time=1.432 +[gpua007:0/64] 2023-12-21 10:42:59,307 (trainer:737) INFO: 45epoch:train:1501-1600batch: iter_time=8.161e-05, forward_time=0.179, loss_ctc=60.104, loss_att=44.287, acc=0.744, loss=49.032, backward_time=0.322, grad_norm=67.955, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=6.024e-05, train_time=1.457 +[gpua007:0/64] 2023-12-21 10:45:38,153 (trainer:737) INFO: 45epoch:train:1601-1700batch: iter_time=8.499e-05, forward_time=0.218, loss_ctc=58.133, loss_att=45.167, acc=0.752, loss=49.057, backward_time=0.323, grad_norm=63.406, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=6.023e-05, train_time=1.587 +[gpua007:0/64] 2023-12-21 10:48:27,420 (trainer:737) INFO: 45epoch:train:1701-1800batch: iter_time=8.748e-05, forward_time=0.147, loss_ctc=66.903, loss_att=54.107, acc=0.748, loss=57.946, backward_time=0.299, grad_norm=63.239, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.023e-05, train_time=1.694 +[gpua007:0/64] 2023-12-21 10:51:06,124 (trainer:737) INFO: 45epoch:train:1801-1900batch: iter_time=8.615e-05, forward_time=0.149, loss_ctc=77.828, loss_att=53.866, acc=0.736, loss=61.054, backward_time=0.296, grad_norm=78.453, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.023e-05, train_time=1.587 +[gpua007:0/64] 2023-12-21 10:54:28,003 (trainer:737) INFO: 45epoch:train:1901-2000batch: iter_time=8.763e-05, forward_time=0.147, loss_ctc=80.355, loss_att=54.138, acc=0.738, loss=62.003, backward_time=0.342, grad_norm=87.864, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.022e-05, train_time=2.019 +[gpua007:0/64] 2023-12-21 10:56:44,374 (trainer:737) INFO: 45epoch:train:2001-2100batch: iter_time=9.095e-05, forward_time=0.154, loss_ctc=62.640, loss_att=49.310, acc=0.721, loss=53.309, backward_time=0.296, grad_norm=72.900, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.022e-05, train_time=1.363 +[gpua007:0/64] 2023-12-21 10:59:37,498 (trainer:737) INFO: 45epoch:train:2101-2200batch: iter_time=3.484e-04, forward_time=0.263, loss_ctc=56.770, loss_att=44.309, acc=0.749, loss=48.047, backward_time=0.353, grad_norm=60.646, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=6.021e-05, train_time=1.730 +[gpua007:0/64] 2023-12-21 11:01:57,876 (trainer:737) INFO: 45epoch:train:2201-2300batch: iter_time=8.721e-05, forward_time=0.147, loss_ctc=59.529, loss_att=53.836, acc=0.729, loss=55.544, backward_time=0.281, grad_norm=64.963, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.021e-05, train_time=1.402 +[gpua007:0/64] 2023-12-21 11:04:48,811 (trainer:737) INFO: 45epoch:train:2301-2400batch: iter_time=8.871e-05, forward_time=0.147, loss_ctc=61.443, loss_att=46.329, acc=0.747, loss=50.863, backward_time=0.311, grad_norm=63.456, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.020e-05, train_time=1.711 +[gpua007:0/64] 2023-12-21 11:07:29,165 (trainer:737) INFO: 45epoch:train:2401-2500batch: iter_time=8.522e-05, forward_time=0.147, loss_ctc=65.120, loss_att=50.992, acc=0.722, loss=55.231, backward_time=0.347, grad_norm=83.913, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=6.020e-05, train_time=1.603 +[gpua007:0/64] 2023-12-21 11:07:49,192 (multiple_iter_factory:32) INFO: Building 2th iter-factory... +[gpua007:0/64] 2023-12-21 11:08:07,541 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 11:08:10,981 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.2", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.2", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.2", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.2", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 11:08:10,982 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.2, +[gpua007:0/64] 2023-12-21 11:08:10,987 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 11:14:40,463 (trainer:737) INFO: 45epoch:train:2501-2600batch: iter_time=2.861, forward_time=0.160, loss_ctc=62.596, loss_att=52.685, acc=0.741, loss=55.658, backward_time=0.282, grad_norm=64.713, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.019e-05, train_time=4.313 +[gpua007:0/64] 2023-12-21 11:17:07,608 (trainer:737) INFO: 45epoch:train:2601-2700batch: iter_time=7.931e-05, forward_time=0.149, loss_ctc=57.714, loss_att=43.844, acc=0.756, loss=48.005, backward_time=0.291, grad_norm=67.891, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=6.019e-05, train_time=1.471 +[gpua007:0/64] 2023-12-21 11:19:35,055 (trainer:737) INFO: 45epoch:train:2701-2800batch: iter_time=8.191e-05, forward_time=0.178, loss_ctc=66.760, loss_att=50.248, acc=0.744, loss=55.202, backward_time=0.303, grad_norm=63.773, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=6.018e-05, train_time=1.474 +[gpua007:0/64] 2023-12-21 11:22:57,163 (trainer:737) INFO: 45epoch:train:2801-2900batch: iter_time=3.953e-04, forward_time=0.216, loss_ctc=51.107, loss_att=37.783, acc=0.761, loss=41.780, backward_time=0.398, grad_norm=60.891, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=6.018e-05, train_time=2.021 +[gpua007:0/64] 2023-12-21 11:25:14,616 (trainer:737) INFO: 45epoch:train:2901-3000batch: iter_time=8.506e-05, forward_time=0.149, loss_ctc=67.794, loss_att=52.928, acc=0.766, loss=57.388, backward_time=0.284, grad_norm=66.883, clip=100.000, loss_scale=2.312e+31, optim_step_time=0.133, optim0_lr0=6.018e-05, train_time=1.374 +[gpua007:0/64] 2023-12-21 11:27:37,639 (trainer:737) INFO: 45epoch:train:3001-3100batch: iter_time=8.313e-05, forward_time=0.148, loss_ctc=77.150, loss_att=55.565, acc=0.742, loss=62.040, backward_time=0.294, grad_norm=73.797, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.017e-05, train_time=1.430 +[gpua007:0/64] 2023-12-21 11:30:12,947 (trainer:737) INFO: 45epoch:train:3101-3200batch: iter_time=8.457e-05, forward_time=0.155, loss_ctc=70.359, loss_att=52.171, acc=0.746, loss=57.628, backward_time=0.314, grad_norm=64.962, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=6.017e-05, train_time=1.553 +[gpua007:0/64] 2023-12-21 11:33:14,328 (trainer:737) INFO: 45epoch:train:3201-3300batch: iter_time=8.933e-05, forward_time=0.148, loss_ctc=68.842, loss_att=47.861, acc=0.745, loss=54.155, backward_time=0.352, grad_norm=83.284, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.016e-05, train_time=1.814 +[gpua007:0/64] 2023-12-21 11:35:43,439 (trainer:737) INFO: 45epoch:train:3301-3400batch: iter_time=9.623e-05, forward_time=0.147, loss_ctc=60.010, loss_att=48.086, acc=0.740, loss=51.663, backward_time=0.285, grad_norm=64.536, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.016e-05, train_time=1.491 +[gpua007:0/64] 2023-12-21 11:38:12,158 (trainer:737) INFO: 45epoch:train:3401-3500batch: iter_time=8.807e-05, forward_time=0.179, loss_ctc=61.278, loss_att=50.652, acc=0.752, loss=53.839, backward_time=0.293, grad_norm=63.574, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.015e-05, train_time=1.487 +[gpua007:0/64] 2023-12-21 11:40:57,899 (trainer:737) INFO: 45epoch:train:3501-3600batch: iter_time=6.318e-04, forward_time=0.224, loss_ctc=56.590, loss_att=48.190, acc=0.739, loss=50.710, backward_time=0.337, grad_norm=70.097, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.015e-05, train_time=1.657 +[gpua007:0/64] 2023-12-21 11:43:38,364 (trainer:737) INFO: 45epoch:train:3601-3700batch: iter_time=9.093e-05, forward_time=0.148, loss_ctc=68.602, loss_att=50.884, acc=0.729, loss=56.199, backward_time=0.287, grad_norm=85.135, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.014e-05, train_time=1.604 +[gpua007:0/64] 2023-12-21 11:45:35,678 (multiple_iter_factory:32) INFO: Building 3th iter-factory... +[gpua007:0/64] 2023-12-21 11:45:54,312 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 11:45:57,788 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.9", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.9", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.9", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.9", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 11:45:57,788 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.9, +[gpua007:0/64] 2023-12-21 11:45:57,817 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 11:51:52,991 (trainer:737) INFO: 45epoch:train:3701-3800batch: iter_time=3.085, forward_time=0.165, loss_ctc=59.868, loss_att=51.133, acc=0.742, loss=53.754, backward_time=0.338, grad_norm=72.715, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.014e-05, train_time=4.947 +[gpua007:0/64] 2023-12-21 11:54:10,220 (trainer:737) INFO: 45epoch:train:3801-3900batch: iter_time=7.422e-05, forward_time=0.147, loss_ctc=61.110, loss_att=47.878, acc=0.736, loss=51.847, backward_time=0.295, grad_norm=62.428, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.014e-05, train_time=1.372 +[gpua007:0/64] 2023-12-21 11:56:21,169 (trainer:737) INFO: 45epoch:train:3901-4000batch: iter_time=7.684e-05, forward_time=0.149, loss_ctc=62.939, loss_att=45.776, acc=0.750, loss=50.925, backward_time=0.286, grad_norm=78.851, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.013e-05, train_time=1.309 +[gpua007:0/64] 2023-12-21 11:58:55,820 (trainer:737) INFO: 45epoch:train:4001-4100batch: iter_time=8.171e-05, forward_time=0.147, loss_ctc=59.503, loss_att=43.807, acc=0.748, loss=48.516, backward_time=0.286, grad_norm=65.321, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.013e-05, train_time=1.546 +[gpua007:0/64] 2023-12-21 12:01:49,592 (trainer:737) INFO: 45epoch:train:4101-4200batch: iter_time=0.003, forward_time=0.255, loss_ctc=58.123, loss_att=45.056, acc=0.756, loss=48.976, backward_time=0.361, grad_norm=79.948, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=6.012e-05, train_time=1.737 +[gpua007:0/64] 2023-12-21 12:04:54,636 (trainer:737) INFO: 45epoch:train:4201-4300batch: iter_time=9.150e-05, forward_time=0.147, loss_ctc=66.285, loss_att=53.710, acc=0.753, loss=57.483, backward_time=0.407, grad_norm=66.488, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.012e-05, train_time=1.850 +[gpua007:0/64] 2023-12-21 12:07:51,371 (trainer:737) INFO: 45epoch:train:4301-4400batch: iter_time=8.693e-05, forward_time=0.148, loss_ctc=76.508, loss_att=53.557, acc=0.737, loss=60.442, backward_time=0.315, grad_norm=90.679, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=6.011e-05, train_time=1.767 +[gpua007:0/64] 2023-12-21 12:10:55,922 (trainer:737) INFO: 45epoch:train:4401-4500batch: iter_time=8.855e-05, forward_time=0.182, loss_ctc=79.914, loss_att=53.962, acc=0.739, loss=61.747, backward_time=0.358, grad_norm=87.105, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.011e-05, train_time=1.844 +[gpua007:0/64] 2023-12-21 12:13:33,909 (trainer:737) INFO: 45epoch:train:4501-4600batch: iter_time=8.410e-05, forward_time=0.170, loss_ctc=61.625, loss_att=48.890, acc=0.724, loss=52.710, backward_time=0.310, grad_norm=69.046, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.010e-05, train_time=1.581 +[gpua007:0/64] 2023-12-21 12:15:59,184 (trainer:737) INFO: 45epoch:train:4601-4700batch: iter_time=8.332e-05, forward_time=0.147, loss_ctc=56.661, loss_att=44.017, acc=0.753, loss=47.810, backward_time=0.302, grad_norm=78.699, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.010e-05, train_time=1.453 +[gpua007:0/64] 2023-12-21 12:18:38,793 (trainer:737) INFO: 45epoch:train:4701-4800batch: iter_time=8.559e-05, forward_time=0.147, loss_ctc=59.293, loss_att=53.230, acc=0.733, loss=55.049, backward_time=0.325, grad_norm=64.802, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=6.009e-05, train_time=1.596 +[gpua007:0/64] 2023-12-21 12:21:36,530 (trainer:737) INFO: 45epoch:train:4801-4900batch: iter_time=8.616e-05, forward_time=0.161, loss_ctc=60.589, loss_att=45.481, acc=0.750, loss=50.013, backward_time=0.320, grad_norm=61.908, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=6.009e-05, train_time=1.777 +[gpua007:0/64] 2023-12-21 12:24:47,833 (trainer:737) INFO: 45epoch:train:4901-5000batch: iter_time=8.447e-05, forward_time=0.230, loss_ctc=64.262, loss_att=50.019, acc=0.725, loss=54.292, backward_time=0.328, grad_norm=84.061, clip=100.000, loss_scale=4.624e+31, optim_step_time=0.136, optim0_lr0=6.009e-05, train_time=1.913 +[gpua007:0/64] 2023-12-21 12:25:07,861 (multiple_iter_factory:32) INFO: Building 4th iter-factory... +[gpua007:0/64] 2023-12-21 12:25:26,563 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 12:25:30,319 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.7", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.7", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.7", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.7", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 12:25:30,319 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.7, +[gpua007:0/64] 2023-12-21 12:25:30,322 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 12:32:27,539 (trainer:737) INFO: 45epoch:train:5001-5100batch: iter_time=3.245, forward_time=0.162, loss_ctc=62.443, loss_att=50.178, acc=0.738, loss=53.858, backward_time=0.280, grad_norm=64.111, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.008e-05, train_time=4.596 +[gpua007:0/64] 2023-12-21 12:34:37,088 (trainer:737) INFO: 45epoch:train:5101-5200batch: iter_time=8.821e-05, forward_time=0.147, loss_ctc=57.267, loss_att=43.172, acc=0.752, loss=47.400, backward_time=0.286, grad_norm=61.677, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.008e-05, train_time=1.296 +[gpua007:0/64] 2023-12-21 12:37:10,710 (trainer:737) INFO: 45epoch:train:5201-5300batch: iter_time=8.505e-05, forward_time=0.147, loss_ctc=66.188, loss_att=50.267, acc=0.734, loss=55.044, backward_time=0.285, grad_norm=64.823, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.007e-05, train_time=1.536 +[gpua007:0/64] 2023-12-21 12:39:26,846 (trainer:737) INFO: 45epoch:train:5301-5400batch: iter_time=9.176e-05, forward_time=0.147, loss_ctc=50.631, loss_att=36.923, acc=0.765, loss=41.035, backward_time=0.282, grad_norm=59.541, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.007e-05, train_time=1.361 +[gpua007:0/64] 2023-12-21 12:41:57,295 (trainer:737) INFO: 45epoch:train:5401-5500batch: iter_time=8.475e-05, forward_time=0.148, loss_ctc=66.757, loss_att=51.968, acc=0.760, loss=56.405, backward_time=0.310, grad_norm=76.414, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.006e-05, train_time=1.504 +[gpua007:0/64] 2023-12-21 12:45:22,817 (trainer:737) INFO: 45epoch:train:5501-5600batch: iter_time=9.121e-05, forward_time=0.253, loss_ctc=76.356, loss_att=55.073, acc=0.740, loss=61.458, backward_time=0.400, grad_norm=85.280, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=6.006e-05, train_time=2.055 +[gpua007:0/64] 2023-12-21 12:48:25,130 (trainer:737) INFO: 45epoch:train:5601-5700batch: iter_time=9.065e-05, forward_time=0.158, loss_ctc=70.202, loss_att=52.148, acc=0.743, loss=57.564, backward_time=0.341, grad_norm=72.998, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.005e-05, train_time=1.820 +[gpua007:0/64] 2023-12-21 12:50:57,304 (trainer:737) INFO: 45epoch:train:5701-5800batch: iter_time=8.979e-05, forward_time=0.147, loss_ctc=68.445, loss_att=47.751, acc=0.742, loss=53.959, backward_time=0.279, grad_norm=71.116, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.005e-05, train_time=1.524 +[gpua007:0/64] 2023-12-21 12:53:24,551 (trainer:737) INFO: 45epoch:train:5801-5900batch: iter_time=8.925e-05, forward_time=0.147, loss_ctc=58.983, loss_att=46.408, acc=0.737, loss=50.180, backward_time=0.302, grad_norm=68.563, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.004e-05, train_time=1.472 +[gpua007:0/64] 2023-12-21 12:55:55,636 (trainer:737) INFO: 45epoch:train:5901-6000batch: iter_time=9.252e-05, forward_time=0.146, loss_ctc=61.255, loss_att=50.361, acc=0.746, loss=53.629, backward_time=0.304, grad_norm=61.359, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.004e-05, train_time=1.511 +[gpua007:0/64] 2023-12-21 12:58:21,420 (trainer:737) INFO: 45epoch:train:6001-6100batch: iter_time=9.253e-05, forward_time=0.146, loss_ctc=56.103, loss_att=46.765, acc=0.739, loss=49.567, backward_time=0.284, grad_norm=60.548, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.132, optim0_lr0=6.004e-05, train_time=1.458 +[gpua007:0/64] 2023-12-21 13:01:10,991 (trainer:737) INFO: 45epoch:train:6101-6200batch: iter_time=9.258e-05, forward_time=0.223, loss_ctc=67.403, loss_att=51.112, acc=0.724, loss=55.999, backward_time=0.372, grad_norm=73.185, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=6.003e-05, train_time=1.694 +[gpua007:0/64] 2023-12-21 13:02:48,031 (multiple_iter_factory:32) INFO: Building 5th iter-factory... +[gpua007:0/64] 2023-12-21 13:03:06,346 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 13:03:10,162 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.4", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.4", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.4", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.4", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 13:03:10,162 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.4, +[gpua007:0/64] 2023-12-21 13:03:10,165 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 13:09:03,327 (trainer:737) INFO: 45epoch:train:6201-6300batch: iter_time=3.208, forward_time=0.150, loss_ctc=59.234, loss_att=50.361, acc=0.747, loss=53.023, backward_time=0.289, grad_norm=66.202, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.003e-05, train_time=4.724 +[gpua007:0/64] 2023-12-21 13:11:09,053 (trainer:737) INFO: 45epoch:train:6301-6400batch: iter_time=8.260e-05, forward_time=0.149, loss_ctc=60.574, loss_att=49.356, acc=0.746, loss=52.721, backward_time=0.282, grad_norm=62.897, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.002e-05, train_time=1.257 +[gpua007:0/64] 2023-12-21 13:13:33,183 (trainer:737) INFO: 45epoch:train:6401-6500batch: iter_time=8.016e-05, forward_time=0.148, loss_ctc=63.303, loss_att=45.484, acc=0.759, loss=50.830, backward_time=0.309, grad_norm=66.855, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.002e-05, train_time=1.441 +[gpua007:0/64] 2023-12-21 13:15:41,512 (trainer:737) INFO: 45epoch:train:6501-6600batch: iter_time=7.922e-05, forward_time=0.147, loss_ctc=58.989, loss_att=43.483, acc=0.758, loss=48.135, backward_time=0.281, grad_norm=59.398, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.001e-05, train_time=1.283 +[gpua007:0/64] 2023-12-21 13:18:12,916 (trainer:737) INFO: 45epoch:train:6601-6700batch: iter_time=7.940e-05, forward_time=0.147, loss_ctc=57.668, loss_att=45.466, acc=0.757, loss=49.126, backward_time=0.295, grad_norm=61.704, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=6.001e-05, train_time=1.514 +[gpua007:0/64] 2023-12-21 13:21:38,446 (trainer:737) INFO: 45epoch:train:6701-6800batch: iter_time=8.244e-05, forward_time=0.233, loss_ctc=65.569, loss_att=53.755, acc=0.763, loss=57.299, backward_time=0.436, grad_norm=71.129, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.142, optim0_lr0=6.000e-05, train_time=2.055 +[gpua007:0/64] 2023-12-21 13:24:05,656 (trainer:737) INFO: 45epoch:train:6801-6900batch: iter_time=7.745e-05, forward_time=0.170, loss_ctc=75.839, loss_att=53.575, acc=0.743, loss=60.254, backward_time=0.281, grad_norm=83.309, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=6.000e-05, train_time=1.472 +[gpua007:0/64] 2023-12-21 13:26:55,694 (trainer:737) INFO: 45epoch:train:6901-7000batch: iter_time=8.228e-05, forward_time=0.148, loss_ctc=79.038, loss_att=53.931, acc=0.749, loss=61.463, backward_time=0.340, grad_norm=79.510, clip=100.000, loss_scale=9.249e+31, optim_step_time=0.134, optim0_lr0=6.000e-05, train_time=1.700 +[gpua007:0/64] 2023-12-21 13:29:45,344 (trainer:737) INFO: 45epoch:train:7001-7100batch: iter_time=8.257e-05, forward_time=0.147, loss_ctc=61.361, loss_att=48.622, acc=0.736, loss=52.443, backward_time=0.337, grad_norm=78.442, clip=100.000, loss_scale=1.623e+32, optim_step_time=0.133, optim0_lr0=5.999e-05, train_time=1.696 +[gpua007:0/64] 2023-12-21 13:31:37,258 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 13:32:17,268 (trainer:737) INFO: 45epoch:train:7101-7200batch: iter_time=8.266e-05, forward_time=0.147, loss_ctc=56.557, loss_att=43.827, acc=0.759, loss=47.646, backward_time=0.318, grad_norm=63.580, clip=100.000, loss_scale=1.418e+32, optim_step_time=0.134, optim0_lr0=5.999e-05, train_time=1.519 +[gpua007:0/64] 2023-12-21 13:35:28,235 (trainer:737) INFO: 45epoch:train:7201-7300batch: iter_time=8.239e-05, forward_time=0.147, loss_ctc=59.888, loss_att=54.317, acc=0.739, loss=55.988, backward_time=0.307, grad_norm=64.744, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.998e-05, train_time=1.909 +[gpua007:0/64] 2023-12-21 13:37:45,426 (trainer:737) INFO: 45epoch:train:7301-7400batch: iter_time=7.712e-05, forward_time=0.179, loss_ctc=60.300, loss_att=45.386, acc=0.753, loss=49.860, backward_time=0.285, grad_norm=60.830, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.137, optim0_lr0=5.998e-05, train_time=1.372 +[gpua007:0/64] 2023-12-21 13:40:25,091 (trainer:737) INFO: 45epoch:train:7401-7500batch: iter_time=8.297e-05, forward_time=0.212, loss_ctc=63.816, loss_att=51.542, acc=0.729, loss=55.224, backward_time=0.337, grad_norm=84.839, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.138, optim0_lr0=5.997e-05, train_time=1.596 +[gpua007:0/64] 2023-12-21 13:40:45,255 (multiple_iter_factory:32) INFO: Building 6th iter-factory... +[gpua007:0/64] 2023-12-21 13:41:03,612 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 13:41:07,432 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.1", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.1", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.1", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.1", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 13:41:07,432 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.1, +[gpua007:0/64] 2023-12-21 13:41:07,435 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 13:48:17,413 (trainer:737) INFO: 45epoch:train:7501-7600batch: iter_time=3.404, forward_time=0.148, loss_ctc=62.563, loss_att=51.158, acc=0.737, loss=54.579, backward_time=0.282, grad_norm=65.570, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.997e-05, train_time=4.723 +[gpua007:0/64] 2023-12-21 13:50:19,594 (trainer:737) INFO: 45epoch:train:7601-7700batch: iter_time=8.922e-05, forward_time=0.148, loss_ctc=57.945, loss_att=43.775, acc=0.751, loss=48.026, backward_time=0.280, grad_norm=68.224, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.996e-05, train_time=1.222 +[gpua007:0/64] 2023-12-21 13:53:30,783 (trainer:737) INFO: 45epoch:train:7701-7800batch: iter_time=8.799e-05, forward_time=0.146, loss_ctc=66.272, loss_att=50.095, acc=0.736, loss=54.948, backward_time=0.314, grad_norm=81.760, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.996e-05, train_time=1.912 +[gpua007:0/64] 2023-12-21 13:55:54,805 (trainer:737) INFO: 45epoch:train:7801-7900batch: iter_time=9.524e-05, forward_time=0.197, loss_ctc=50.345, loss_att=36.762, acc=0.766, loss=40.837, backward_time=0.285, grad_norm=63.577, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.140, optim0_lr0=5.995e-05, train_time=1.440 +[gpua007:0/64] 2023-12-21 13:59:10,072 (trainer:737) INFO: 45epoch:train:7901-8000batch: iter_time=9.744e-05, forward_time=0.223, loss_ctc=67.027, loss_att=52.014, acc=0.759, loss=56.518, backward_time=0.360, grad_norm=62.389, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.152, optim0_lr0=5.995e-05, train_time=1.952 +[gpua007:0/64] 2023-12-21 14:02:04,259 (trainer:737) INFO: 45epoch:train:8001-8100batch: iter_time=9.566e-05, forward_time=0.148, loss_ctc=76.902, loss_att=54.711, acc=0.741, loss=61.368, backward_time=0.306, grad_norm=80.975, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.995e-05, train_time=1.742 +[gpua007:0/64] 2023-12-21 14:05:14,246 (trainer:737) INFO: 45epoch:train:8101-8200batch: iter_time=9.448e-05, forward_time=0.148, loss_ctc=70.156, loss_att=51.543, acc=0.745, loss=57.127, backward_time=0.348, grad_norm=66.992, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.994e-05, train_time=1.900 +[gpua007:0/64] 2023-12-21 14:05:34,469 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 14:07:50,077 (trainer:737) INFO: 45epoch:train:8201-8300batch: iter_time=8.502e-05, forward_time=0.148, loss_ctc=68.482, loss_att=47.775, acc=0.743, loss=53.987, backward_time=0.302, grad_norm=74.943, clip=100.000, loss_scale=4.630e+31, optim_step_time=0.133, optim0_lr0=5.994e-05, train_time=1.558 +[gpua007:0/64] 2023-12-21 14:10:42,042 (trainer:737) INFO: 45epoch:train:8301-8400batch: iter_time=8.407e-05, forward_time=0.147, loss_ctc=59.352, loss_att=47.464, acc=0.733, loss=51.031, backward_time=0.307, grad_norm=64.836, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.993e-05, train_time=1.719 +[gpua007:0/64] 2023-12-21 14:13:28,624 (trainer:737) INFO: 45epoch:train:8401-8500batch: iter_time=8.554e-05, forward_time=0.147, loss_ctc=61.131, loss_att=50.408, acc=0.746, loss=53.625, backward_time=0.298, grad_norm=71.492, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.993e-05, train_time=1.666 +[gpua007:0/64] 2023-12-21 14:16:46,316 (trainer:737) INFO: 45epoch:train:8501-8600batch: iter_time=8.639e-05, forward_time=0.147, loss_ctc=55.728, loss_att=46.434, acc=0.740, loss=49.222, backward_time=0.344, grad_norm=83.753, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.992e-05, train_time=1.977 +[gpua007:0/64] 2023-12-21 14:19:31,053 (trainer:737) INFO: 45epoch:train:8601-8700batch: iter_time=8.659e-05, forward_time=0.216, loss_ctc=67.552, loss_att=50.888, acc=0.729, loss=55.887, backward_time=0.382, grad_norm=76.977, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=5.992e-05, train_time=1.647 +[gpua007:0/64] 2023-12-21 14:20:59,946 (multiple_iter_factory:32) INFO: Building 7th iter-factory... +[gpua007:0/64] 2023-12-21 14:21:18,347 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 14:21:21,949 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.0", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.0", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.0", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.0", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 14:21:21,949 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.0, +[gpua007:0/64] 2023-12-21 14:21:21,952 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 14:28:09,972 (trainer:737) INFO: 45epoch:train:8701-8800batch: iter_time=3.432, forward_time=0.148, loss_ctc=58.929, loss_att=49.875, acc=0.747, loss=52.591, backward_time=0.301, grad_norm=67.776, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.991e-05, train_time=5.189 +[gpua007:0/64] 2023-12-21 14:31:03,985 (trainer:737) INFO: 45epoch:train:8801-8900batch: iter_time=7.436e-05, forward_time=0.148, loss_ctc=60.402, loss_att=49.147, acc=0.748, loss=52.523, backward_time=0.304, grad_norm=62.162, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.991e-05, train_time=1.740 +[gpua007:0/64] 2023-12-21 14:33:42,986 (trainer:737) INFO: 45epoch:train:8901-9000batch: iter_time=7.963e-05, forward_time=0.148, loss_ctc=62.532, loss_att=44.869, acc=0.761, loss=50.168, backward_time=0.309, grad_norm=66.822, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.991e-05, train_time=1.590 +[gpua007:0/64] 2023-12-21 14:37:05,202 (trainer:737) INFO: 45epoch:train:9001-9100batch: iter_time=8.221e-05, forward_time=0.147, loss_ctc=59.075, loss_att=43.270, acc=0.760, loss=48.012, backward_time=0.368, grad_norm=69.429, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.990e-05, train_time=2.022 +[gpua007:0/64] 2023-12-21 14:39:52,075 (trainer:737) INFO: 45epoch:train:9101-9200batch: iter_time=8.229e-05, forward_time=0.238, loss_ctc=57.401, loss_att=45.672, acc=0.757, loss=49.191, backward_time=0.303, grad_norm=59.766, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.139, optim0_lr0=5.990e-05, train_time=1.669 +[gpua007:0/64] 2023-12-21 14:42:32,252 (trainer:737) INFO: 45epoch:train:9201-9300batch: iter_time=0.001, forward_time=0.208, loss_ctc=65.649, loss_att=54.110, acc=0.761, loss=57.572, backward_time=0.315, grad_norm=64.026, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.989e-05, train_time=1.599 +[gpua007:0/64] 2023-12-21 14:45:52,391 (trainer:737) INFO: 45epoch:train:9301-9400batch: iter_time=8.294e-05, forward_time=0.148, loss_ctc=75.646, loss_att=53.539, acc=0.743, loss=60.171, backward_time=0.382, grad_norm=89.375, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.989e-05, train_time=2.002 +[gpua007:0/64] 2023-12-21 14:49:12,408 (trainer:737) INFO: 45epoch:train:9401-9500batch: iter_time=8.390e-05, forward_time=0.148, loss_ctc=78.621, loss_att=53.820, acc=0.750, loss=61.260, backward_time=0.301, grad_norm=75.849, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.988e-05, train_time=2.000 +[gpua007:0/64] 2023-12-21 14:52:32,730 (trainer:737) INFO: 45epoch:train:9501-9600batch: iter_time=8.764e-05, forward_time=0.147, loss_ctc=60.527, loss_att=47.844, acc=0.737, loss=51.649, backward_time=0.376, grad_norm=87.404, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.988e-05, train_time=2.003 +[gpua007:0/64] 2023-12-21 14:55:24,797 (trainer:737) INFO: 45epoch:train:9601-9700batch: iter_time=0.005, forward_time=0.232, loss_ctc=56.457, loss_att=43.689, acc=0.758, loss=47.520, backward_time=0.333, grad_norm=62.130, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.141, optim0_lr0=5.987e-05, train_time=1.720 +[gpua007:0/64] 2023-12-21 14:58:10,800 (trainer:737) INFO: 45epoch:train:9701-9800batch: iter_time=8.543e-05, forward_time=0.147, loss_ctc=58.874, loss_att=53.587, acc=0.741, loss=55.173, backward_time=0.298, grad_norm=61.921, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.987e-05, train_time=1.659 +[gpua007:0/64] 2023-12-21 15:00:49,584 (trainer:737) INFO: 45epoch:train:9801-9900batch: iter_time=8.141e-05, forward_time=0.148, loss_ctc=60.183, loss_att=45.142, acc=0.755, loss=49.654, backward_time=0.343, grad_norm=67.829, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.987e-05, train_time=1.589 +[gpua007:0/64] 2023-12-21 15:03:25,140 (trainer:737) INFO: 45epoch:train:9901-10000batch: iter_time=7.617e-05, forward_time=0.149, loss_ctc=62.943, loss_att=50.002, acc=0.732, loss=53.884, backward_time=0.338, grad_norm=94.141, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.986e-05, train_time=1.555 +[gpua007:0/64] 2023-12-21 15:03:45,168 (multiple_iter_factory:32) INFO: Building 8th iter-factory... +[gpua007:0/64] 2023-12-21 15:04:03,574 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 15:04:07,067 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.3", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.3", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.3", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.3", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 15:04:07,067 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.3, +[gpua007:0/64] 2023-12-21 15:04:07,072 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 15:11:28,584 (trainer:737) INFO: 45epoch:train:10001-10100batch: iter_time=3.463, forward_time=0.170, loss_ctc=62.480, loss_att=51.119, acc=0.738, loss=54.528, backward_time=0.281, grad_norm=75.342, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.986e-05, train_time=4.834 +[gpua007:0/64] 2023-12-21 15:14:05,976 (trainer:737) INFO: 45epoch:train:10101-10200batch: iter_time=0.002, forward_time=0.251, loss_ctc=57.039, loss_att=43.339, acc=0.753, loss=47.449, backward_time=0.307, grad_norm=70.206, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=5.985e-05, train_time=1.573 +[gpua007:0/64] 2023-12-21 15:16:14,300 (trainer:737) INFO: 45epoch:train:10201-10300batch: iter_time=8.045e-05, forward_time=0.147, loss_ctc=65.993, loss_att=50.240, acc=0.735, loss=54.966, backward_time=0.278, grad_norm=67.056, clip=100.000, loss_scale=7.504e+31, optim_step_time=0.133, optim0_lr0=5.985e-05, train_time=1.281 +[gpua007:0/64] 2023-12-21 15:18:21,548 (trainer:737) INFO: 45epoch:train:10301-10400batch: iter_time=8.105e-05, forward_time=0.146, loss_ctc=50.051, loss_att=36.576, acc=0.768, loss=40.619, backward_time=0.278, grad_norm=56.221, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.984e-05, train_time=1.274 +[gpua007:0/64] 2023-12-21 15:21:48,185 (trainer:737) INFO: 45epoch:train:10401-10500batch: iter_time=8.249e-05, forward_time=0.166, loss_ctc=67.168, loss_att=51.977, acc=0.760, loss=56.534, backward_time=0.329, grad_norm=66.286, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=5.984e-05, train_time=2.066 +[gpua007:0/64] 2023-12-21 15:24:38,846 (trainer:737) INFO: 45epoch:train:10501-10600batch: iter_time=8.615e-05, forward_time=0.146, loss_ctc=76.893, loss_att=54.865, acc=0.740, loss=61.473, backward_time=0.324, grad_norm=78.148, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.983e-05, train_time=1.706 +[gpua007:0/64] 2023-12-21 15:27:41,602 (trainer:737) INFO: 45epoch:train:10601-10700batch: iter_time=8.521e-05, forward_time=0.240, loss_ctc=69.423, loss_att=51.462, acc=0.746, loss=56.850, backward_time=0.347, grad_norm=70.144, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.136, optim0_lr0=5.983e-05, train_time=1.827 +[gpua007:0/64] 2023-12-21 15:30:45,092 (trainer:737) INFO: 45epoch:train:10701-10800batch: iter_time=8.537e-05, forward_time=0.168, loss_ctc=67.562, loss_att=47.556, acc=0.744, loss=53.558, backward_time=0.320, grad_norm=78.920, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.139, optim0_lr0=5.982e-05, train_time=1.834 +[gpua007:0/64] 2023-12-21 15:33:20,338 (trainer:737) INFO: 45epoch:train:10801-10900batch: iter_time=8.065e-05, forward_time=0.146, loss_ctc=58.743, loss_att=46.438, acc=0.737, loss=50.130, backward_time=0.296, grad_norm=64.806, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.982e-05, train_time=1.553 +[gpua007:0/64] 2023-12-21 15:36:21,285 (trainer:737) INFO: 45epoch:train:10901-11000batch: iter_time=9.017e-05, forward_time=0.147, loss_ctc=61.269, loss_att=50.576, acc=0.746, loss=53.784, backward_time=0.313, grad_norm=58.492, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.134, optim0_lr0=5.982e-05, train_time=1.809 +[gpua007:0/64] 2023-12-21 15:38:50,816 (trainer:737) INFO: 45epoch:train:11001-11100batch: iter_time=8.636e-05, forward_time=0.147, loss_ctc=55.948, loss_att=46.593, acc=0.742, loss=49.400, backward_time=0.306, grad_norm=59.086, clip=100.000, loss_scale=8.113e+31, optim_step_time=0.133, optim0_lr0=5.981e-05, train_time=1.495 +[gpua007:0/64] 2023-12-21 15:39:40,179 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 15:41:02,929 (trainer:737) INFO: 45epoch:train:11101-11200batch: iter_time=8.946e-05, forward_time=0.147, loss_ctc=67.612, loss_att=51.049, acc=0.727, loss=56.018, backward_time=0.286, grad_norm=80.186, clip=100.000, loss_scale=5.654e+31, optim_step_time=0.133, optim0_lr0=5.981e-05, train_time=1.321 +[gpua007:0/64] 2023-12-21 15:43:22,193 (multiple_iter_factory:32) INFO: Building 9th iter-factory... +[gpua007:0/64] 2023-12-21 15:43:40,391 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 15:43:43,896 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.10", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.10", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.10", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.10", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 15:43:43,896 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.10, +[gpua007:0/64] 2023-12-21 15:43:43,900 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 15:50:28,158 (trainer:737) INFO: 45epoch:train:11201-11300batch: iter_time=3.559, forward_time=0.237, loss_ctc=58.978, loss_att=49.613, acc=0.749, loss=52.423, backward_time=0.373, grad_norm=74.747, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.143, optim0_lr0=5.980e-05, train_time=5.651 +[gpua007:0/64] 2023-12-21 15:52:29,279 (trainer:737) INFO: 45epoch:train:11301-11400batch: iter_time=7.784e-05, forward_time=0.148, loss_ctc=60.722, loss_att=48.958, acc=0.749, loss=52.487, backward_time=0.278, grad_norm=64.390, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.980e-05, train_time=1.212 +[gpua007:0/64] 2023-12-21 15:55:57,196 (trainer:737) INFO: 45epoch:train:11401-11500batch: iter_time=0.002, forward_time=0.333, loss_ctc=62.842, loss_att=45.546, acc=0.758, loss=50.735, backward_time=0.352, grad_norm=85.843, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=5.979e-05, train_time=2.079 +[gpua007:0/64] 2023-12-21 15:59:14,888 (trainer:737) INFO: 45epoch:train:11501-11600batch: iter_time=8.079e-05, forward_time=0.148, loss_ctc=58.624, loss_att=42.717, acc=0.762, loss=47.489, backward_time=0.341, grad_norm=61.081, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.979e-05, train_time=1.977 +[gpua007:0/64] 2023-12-21 16:01:37,536 (trainer:737) INFO: 45epoch:train:11601-11700batch: iter_time=8.274e-05, forward_time=0.147, loss_ctc=57.645, loss_att=45.689, acc=0.757, loss=49.276, backward_time=0.283, grad_norm=79.216, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.978e-05, train_time=1.426 +[gpua007:0/64] 2023-12-21 16:04:33,866 (trainer:737) INFO: 45epoch:train:11701-11800batch: iter_time=8.085e-05, forward_time=0.148, loss_ctc=66.000, loss_att=53.292, acc=0.763, loss=57.104, backward_time=0.341, grad_norm=61.598, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.978e-05, train_time=1.763 +[gpua007:0/64] 2023-12-21 16:07:42,512 (trainer:737) INFO: 45epoch:train:11801-11900batch: iter_time=4.302e-04, forward_time=0.220, loss_ctc=76.018, loss_att=53.547, acc=0.744, loss=60.289, backward_time=0.347, grad_norm=79.995, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=5.978e-05, train_time=1.886 +[gpua007:0/64] 2023-12-21 16:11:27,406 (trainer:737) INFO: 45epoch:train:11901-12000batch: iter_time=0.004, forward_time=0.218, loss_ctc=77.638, loss_att=53.561, acc=0.751, loss=60.784, backward_time=0.332, grad_norm=69.643, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.136, optim0_lr0=5.977e-05, train_time=2.245 +[gpua007:0/64] 2023-12-21 16:13:57,998 (trainer:737) INFO: 45epoch:train:12001-12100batch: iter_time=8.291e-05, forward_time=0.147, loss_ctc=60.741, loss_att=48.020, acc=0.736, loss=51.836, backward_time=0.316, grad_norm=69.208, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.977e-05, train_time=1.510 +[gpua007:0/64] 2023-12-21 16:17:26,115 (trainer:737) INFO: 45epoch:train:12101-12200batch: iter_time=8.651e-05, forward_time=0.147, loss_ctc=56.510, loss_att=44.036, acc=0.759, loss=47.778, backward_time=0.318, grad_norm=57.561, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.134, optim0_lr0=5.976e-05, train_time=2.081 +[gpua007:0/64] 2023-12-21 16:17:29,622 (trainer:668) WARNING: The grad norm is nan. Skipping updating the model. +[gpua007:0/64] 2023-12-21 16:21:15,521 (trainer:737) INFO: 45epoch:train:12201-12300batch: iter_time=8.127e-05, forward_time=0.148, loss_ctc=58.866, loss_att=53.900, acc=0.743, loss=55.390, backward_time=0.390, grad_norm=68.387, clip=100.000, loss_scale=2.069e+31, optim_step_time=0.134, optim0_lr0=5.976e-05, train_time=2.294 +[gpua007:0/64] 2023-12-21 16:23:49,762 (trainer:737) INFO: 45epoch:train:12301-12400batch: iter_time=8.285e-05, forward_time=0.147, loss_ctc=59.728, loss_att=45.557, acc=0.753, loss=49.808, backward_time=0.297, grad_norm=69.915, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.975e-05, train_time=1.542 +[gpua007:0/64] 2023-12-21 16:27:36,281 (trainer:737) INFO: 45epoch:train:12401-12500batch: iter_time=1.944e-04, forward_time=0.277, loss_ctc=63.595, loss_att=50.304, acc=0.734, loss=54.291, backward_time=0.397, grad_norm=86.741, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.147, optim0_lr0=5.975e-05, train_time=2.265 +[gpua007:0/64] 2023-12-21 16:27:56,515 (multiple_iter_factory:32) INFO: Building 10th iter-factory... +[gpua007:0/64] 2023-12-21 16:28:14,933 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 16:28:18,379 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.11", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.11", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.11", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.11", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 16:28:18,379 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.11, +[gpua007:0/64] 2023-12-21 16:28:18,385 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 16:36:07,498 (trainer:737) INFO: 45epoch:train:12501-12600batch: iter_time=3.454, forward_time=0.193, loss_ctc=62.073, loss_att=50.753, acc=0.738, loss=54.149, backward_time=0.297, grad_norm=65.550, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.974e-05, train_time=5.112 +[gpua007:0/64] 2023-12-21 16:38:19,674 (trainer:737) INFO: 45epoch:train:12601-12700batch: iter_time=8.384e-05, forward_time=0.148, loss_ctc=57.150, loss_att=43.244, acc=0.754, loss=47.415, backward_time=0.277, grad_norm=63.075, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.974e-05, train_time=1.322 +[gpua007:0/64] 2023-12-21 16:41:07,534 (trainer:737) INFO: 45epoch:train:12701-12800batch: iter_time=8.758e-05, forward_time=0.170, loss_ctc=65.794, loss_att=49.856, acc=0.736, loss=54.637, backward_time=0.329, grad_norm=63.262, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=5.974e-05, train_time=1.678 +[gpua007:0/64] 2023-12-21 16:44:37,632 (trainer:737) INFO: 45epoch:train:12801-12900batch: iter_time=9.325e-05, forward_time=0.210, loss_ctc=50.239, loss_att=36.494, acc=0.768, loss=40.617, backward_time=0.378, grad_norm=57.439, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.139, optim0_lr0=5.973e-05, train_time=2.101 +[gpua007:0/64] 2023-12-21 16:47:26,243 (trainer:737) INFO: 45epoch:train:12901-13000batch: iter_time=8.461e-05, forward_time=0.147, loss_ctc=67.009, loss_att=51.940, acc=0.760, loss=56.461, backward_time=0.304, grad_norm=63.665, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.973e-05, train_time=1.686 +[gpua007:0/64] 2023-12-21 16:50:16,597 (trainer:737) INFO: 45epoch:train:13001-13100batch: iter_time=8.456e-05, forward_time=0.168, loss_ctc=77.134, loss_att=54.784, acc=0.741, loss=61.489, backward_time=0.365, grad_norm=83.718, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.972e-05, train_time=1.703 +[gpua007:0/64] 2023-12-21 16:53:22,096 (trainer:737) INFO: 45epoch:train:13101-13200batch: iter_time=8.483e-05, forward_time=0.168, loss_ctc=69.568, loss_att=51.603, acc=0.746, loss=56.993, backward_time=0.376, grad_norm=67.838, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=5.972e-05, train_time=1.855 +[gpua007:0/64] 2023-12-21 16:56:19,622 (trainer:737) INFO: 45epoch:train:13201-13300batch: iter_time=8.817e-05, forward_time=0.194, loss_ctc=67.802, loss_att=47.783, acc=0.745, loss=53.789, backward_time=0.334, grad_norm=68.838, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=5.971e-05, train_time=1.775 +[gpua007:0/64] 2023-12-21 16:59:14,607 (trainer:737) INFO: 45epoch:train:13301-13400batch: iter_time=9.085e-05, forward_time=0.192, loss_ctc=58.487, loss_att=46.308, acc=0.740, loss=49.962, backward_time=0.336, grad_norm=62.206, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.135, optim0_lr0=5.971e-05, train_time=1.750 +[gpua007:0/64] 2023-12-21 17:02:24,048 (trainer:737) INFO: 45epoch:train:13401-13500batch: iter_time=5.314e-04, forward_time=0.160, loss_ctc=60.726, loss_att=50.170, acc=0.747, loss=53.337, backward_time=0.341, grad_norm=56.711, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.970e-05, train_time=1.894 +[gpua007:0/64] 2023-12-21 17:05:20,415 (trainer:737) INFO: 45epoch:train:13501-13600batch: iter_time=1.017e-04, forward_time=0.155, loss_ctc=54.971, loss_att=46.171, acc=0.742, loss=48.811, backward_time=0.335, grad_norm=59.035, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.137, optim0_lr0=5.970e-05, train_time=1.763 +[gpua007:0/64] 2023-12-21 17:08:17,021 (trainer:737) INFO: 45epoch:train:13601-13700batch: iter_time=8.555e-05, forward_time=0.154, loss_ctc=66.377, loss_att=50.440, acc=0.728, loss=55.221, backward_time=0.332, grad_norm=78.541, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.133, optim0_lr0=5.970e-05, train_time=1.766 +[gpua007:0/64] 2023-12-21 17:10:13,033 (multiple_iter_factory:32) INFO: Building 11th iter-factory... +[gpua007:0/64] 2023-12-21 17:10:31,435 (s2t:445) INFO: Optional Data Names: ('text_prev', 'text_ctc', 'text_spk2', 'text_spk3', 'text_spk4') +[gpua007:0/64] 2023-12-21 17:10:35,174 (abs_task:1616) INFO: [train] dataset: +ESPnetDataset( + speech: {"path": "exp/s2t_stats_raw_bpe50000/splits12/wav.scp/split.6", "type": "kaldi_ark"} + text_prev: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.prev/split.6", "type": "text"} + text_ctc: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text.ctc/split.6", "type": "text"} + text: {"path": "exp/s2t_stats_raw_bpe50000/splits12/text/split.6", "type": "text"} + preprocess: ) +[gpua007:0/64] 2023-12-21 17:10:35,174 (abs_task:1617) INFO: [train] Batch sampler: UnsortedBatchSampler(N-batch=19027, batch_size=256, key_file=exp/s2t_stats_raw_bpe50000/splits12/speech_shape/split.6, +[gpua007:0/64] 2023-12-21 17:10:35,178 (abs_task:1618) INFO: [train] mini-batch sizes summary: N-batch=19027, mean=256.0, min=256, max=257 +[gpua007:0/64] 2023-12-21 17:16:52,483 (trainer:737) INFO: 45epoch:train:13701-13800batch: iter_time=3.464, forward_time=0.224, loss_ctc=58.808, loss_att=49.692, acc=0.750, loss=52.427, backward_time=0.315, grad_norm=66.316, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.136, optim0_lr0=5.969e-05, train_time=5.153 +[gpua007:0/64] 2023-12-21 17:19:06,790 (trainer:737) INFO: 45epoch:train:13801-13900batch: iter_time=8.672e-05, forward_time=0.148, loss_ctc=60.283, loss_att=48.616, acc=0.750, loss=52.116, backward_time=0.283, grad_norm=59.208, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.969e-05, train_time=1.344 +[gpua007:0/64] 2023-12-21 17:22:25,458 (trainer:737) INFO: 45epoch:train:13901-14000batch: iter_time=8.288e-05, forward_time=0.148, loss_ctc=62.376, loss_att=45.283, acc=0.760, loss=50.411, backward_time=0.314, grad_norm=65.246, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.968e-05, train_time=1.986 +[gpua007:0/64] 2023-12-21 17:25:16,779 (trainer:737) INFO: 45epoch:train:14001-14100batch: iter_time=9.295e-05, forward_time=0.148, loss_ctc=59.211, loss_att=43.233, acc=0.762, loss=48.027, backward_time=0.316, grad_norm=84.052, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.134, optim0_lr0=5.968e-05, train_time=1.713 +[gpua007:0/64] 2023-12-21 17:27:52,988 (trainer:737) INFO: 45epoch:train:14101-14200batch: iter_time=1.189e-04, forward_time=0.199, loss_ctc=57.571, loss_att=45.474, acc=0.758, loss=49.103, backward_time=0.331, grad_norm=60.379, clip=100.000, loss_scale=2.028e+31, optim_step_time=0.140, optim0_lr0=5.967e-05, train_time=1.562 +[gpua007:0/64] 2023-12-21 17:30:34,103 (trainer:737) INFO: 45epoch:train:14201-14300batch: iter_time=8.561e-05, forward_time=0.196, loss_ctc=65.579, loss_att=53.069, acc=0.764, loss=56.822, backward_time=0.361, grad_norm=61.330, clip=100.000, loss_scale=3.996e+31, optim_step_time=0.134, optim0_lr0=5.967e-05, train_time=1.609 +[gpua007:0/64] 2023-12-21 17:33:34,722 (trainer:737) INFO: 45epoch:train:14301-14400batch: iter_time=8.696e-05, forward_time=0.149, loss_ctc=75.664, loss_att=53.298, acc=0.744, loss=60.008, backward_time=0.316, grad_norm=76.981, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.967e-05, train_time=1.808 +[gpua007:0/64] 2023-12-21 17:37:56,284 (trainer:737) INFO: 45epoch:train:14401-14500batch: iter_time=9.220e-05, forward_time=0.148, loss_ctc=78.253, loss_att=53.723, acc=0.750, loss=61.082, backward_time=0.457, grad_norm=80.150, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.966e-05, train_time=2.615 +[gpua007:0/64] 2023-12-21 17:40:36,460 (trainer:737) INFO: 45epoch:train:14501-14600batch: iter_time=9.200e-05, forward_time=0.148, loss_ctc=60.146, loss_att=47.732, acc=0.740, loss=51.456, backward_time=0.291, grad_norm=68.568, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.966e-05, train_time=1.602 +[gpua007:0/64] 2023-12-21 17:43:23,242 (trainer:737) INFO: 45epoch:train:14601-14700batch: iter_time=8.577e-05, forward_time=0.160, loss_ctc=56.030, loss_att=43.592, acc=0.760, loss=47.323, backward_time=0.385, grad_norm=63.127, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.135, optim0_lr0=5.965e-05, train_time=1.668 +[gpua007:0/64] 2023-12-21 17:45:53,842 (trainer:737) INFO: 45epoch:train:14701-14800batch: iter_time=8.483e-05, forward_time=0.193, loss_ctc=58.917, loss_att=54.009, acc=0.741, loss=55.481, backward_time=0.357, grad_norm=59.367, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.137, optim0_lr0=5.965e-05, train_time=1.504 +[gpua007:0/64] 2023-12-21 17:49:07,527 (trainer:737) INFO: 45epoch:train:14801-14900batch: iter_time=9.241e-05, forward_time=0.147, loss_ctc=59.551, loss_att=45.307, acc=0.754, loss=49.580, backward_time=0.411, grad_norm=62.615, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.964e-05, train_time=1.938 +[gpua007:0/64] 2023-12-21 17:51:41,199 (trainer:737) INFO: 45epoch:train:14901-15000batch: iter_time=9.053e-05, forward_time=0.147, loss_ctc=63.274, loss_att=49.777, acc=0.737, loss=53.826, backward_time=0.343, grad_norm=86.123, clip=100.000, loss_scale=4.056e+31, optim_step_time=0.133, optim0_lr0=5.964e-05, train_time=1.537 +[gpua007:0/64] 2023-12-21 18:19:13,387 (trainer:343) INFO: 45epoch results: [train] iter_time=0.258, forward_time=0.170, loss_ctc=63.516, loss_att=48.913, acc=0.746, loss=53.294, backward_time=0.321, grad_norm=70.082, clip=100.000, loss_scale=4.540e+31, optim_step_time=0.135, optim0_lr0=5.997e-05, train_time=1.929, time=8 hours, 2 minutes and 45.67 seconds, total_count=675000, gpu_max_cached_mem_GB=38.758, [valid] loss_ctc=30.756, cer_ctc=0.159, loss_att=31.099, acc=0.734, cer=0.336, wer=0.999, loss=30.996, time=27 minutes and 8.14 seconds, total_count=210195, gpu_max_cached_mem_GB=38.758 +gpua044:535764:535844 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua059:683871:683952 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua051:859014:859086 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua013:2626470:2626538 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua062:3530790:3530865 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua059:683872:683951 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua054:1011622:1011711 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua044:535764:535764 [2] NCCL INFO comm 0x21c76c60 rank 18 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua059:683872:683872 [3] NCCL INFO comm 0x133ef3a0 rank 39 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua051:859014:859014 [1] NCCL INFO comm 0x94d38a90 rank 21 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua059:683871:683871 [2] NCCL INFO comm 0x364c9450 rank 38 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua051:859013:859085 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua007:1129636:1129708 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua067:1213358:1213438 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua067:1213359:1213437 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua054:1011622:1011622 [0] NCCL INFO comm 0x16962120 rank 28 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua051:859013:859013 [0] NCCL INFO comm 0xa818640 rank 20 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua080:3852058:3852133 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua014:1652866:1652946 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua051:859015:859088 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua062:3530790:3530790 [1] NCCL INFO comm 0x958070d0 rank 41 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua069:1842587:1842671 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua090:1047284:1047357 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua080:3852059:3852135 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua080:3852059:3852059 [2] NCCL INFO comm 0x1b93b8b0 rank 58 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua014:1652869:1652949 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua059:683870:683949 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua013:2626470:2626470 [0] NCCL INFO comm 0xdc24e00 rank 8 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua051:859015:859015 [2] NCCL INFO comm 0x17f8fc70 rank 22 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua007:1129636:1129636 [3] NCCL INFO comm 0xc04b5e0 rank 3 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua080:3852058:3852058 [1] NCCL INFO comm 0xc134790 rank 57 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua090:1047285:1047355 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua067:1213359:1213359 [2] NCCL INFO comm 0x93266320 rank 46 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua013:2626472:2626539 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua069:1842587:1842587 [3] NCCL INFO comm 0xb498ab0 rank 55 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua067:1213358:1213358 [1] NCCL INFO comm 0xe94f88a0 rank 45 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua059:683870:683870 [1] NCCL INFO comm 0x9a1c0ea0 rank 37 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua014:1652866:1652866 [0] NCCL INFO comm 0xd383220 rank 12 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua069:1842585:1842669 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua090:1047284:1047284 [2] NCCL INFO comm 0xe24aafb0 rank 62 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua058:1102893:1102969 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua011:1395546:1395623 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua058:1102890:1102966 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua090:1047285:1047285 [3] NCCL INFO comm 0x24a8ce90 rank 63 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua007:1129634:1129706 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua014:1652869:1652869 [3] NCCL INFO comm 0x10fcaed0 rank 15 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua090:1047282:1047354 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua013:2626472:2626472 [2] NCCL INFO comm 0x504c5060 rank 10 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua069:1842586:1842670 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua069:1842584:1842668 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua058:1102892:1102968 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua054:1011625:1011712 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua054:1011623:1011713 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua080:3852060:3852136 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua090:1047282:1047282 [0] NCCL INFO comm 0x11f10f50 rank 60 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua062:3530789:3530863 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua062:3530791:3530864 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua067:1213360:1213439 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua011:1395546:1395546 [2] NCCL INFO comm 0xf622b10 rank 6 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua058:1102893:1102893 [3] NCCL INFO comm 0x1d5065d0 rank 35 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua013:2626473:2626537 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua011:1395547:1395626 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua051:859016:859087 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua011:1395544:1395625 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua069:1842586:1842586 [2] NCCL INFO comm 0xe73e3d0 rank 54 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua013:2626471:2626540 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua067:1213360:1213360 [3] NCCL INFO comm 0xea23ad0 rank 47 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua069:1842585:1842585 [1] NCCL INFO comm 0xd2bc600 rank 53 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua007:1129634:1129634 [1] NCCL INFO comm 0x2d59f940 rank 1 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua013:2626473:2626473 [3] NCCL INFO comm 0x9ae9f240 rank 11 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua058:1102891:1102967 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua080:3852057:3852134 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua054:1011625:1011625 [3] NCCL INFO comm 0xa2c0cd80 rank 31 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua007:1129635:1129709 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua051:859016:859016 [3] NCCL INFO comm 0xe083d590 rank 23 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua058:1102890:1102890 [0] NCCL INFO comm 0x94401f70 rank 32 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua062:3530791:3530791 [2] NCCL INFO comm 0xa13e0ae0 rank 42 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua054:1011624:1011710 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua059:683869:683950 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua090:1047283:1047356 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua067:1213357:1213436 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua011:1395544:1395544 [0] NCCL INFO comm 0x7f78169fa560 rank 4 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua053:3072401:3072472 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua058:1102892:1102892 [2] NCCL INFO comm 0xa64fce0 rank 34 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua062:3530789:3530789 [0] NCCL INFO comm 0xc66c320 rank 40 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua090:1047283:1047283 [1] NCCL INFO comm 0x25aa18a0 rank 61 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua054:1011623:1011623 [1] NCCL INFO comm 0xa8302e0 rank 29 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua011:1395547:1395547 [3] NCCL INFO comm 0x9ea35930 rank 7 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua069:1842584:1842584 [0] NCCL INFO comm 0xe4ba88a0 rank 52 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua080:3852060:3852060 [3] NCCL INFO comm 0x21b10200 rank 59 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua007:1129635:1129635 [2] NCCL INFO comm 0x1be8a140 rank 2 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua059:683869:683869 [0] NCCL INFO comm 0x926f2d30 rank 36 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua013:2626471:2626471 [1] NCCL INFO comm 0xc80cc00 rank 9 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua062:3530792:3530866 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua053:3072401:3072401 [3] NCCL INFO comm 0xd76a7b0 rank 27 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua058:1102891:1102891 [1] NCCL INFO comm 0x179e7410 rank 33 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua011:1395545:1395624 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua054:1011624:1011624 [2] NCCL INFO comm 0xb254b10 rank 30 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua080:3852057:3852057 [0] NCCL INFO comm 0x11da6c00 rank 56 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua062:3530792:3530792 [3] NCCL INFO comm 0xe9b90b0 rank 43 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua067:1213357:1213357 [0] NCCL INFO comm 0xe2d917e0 rank 44 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua011:1395545:1395545 [1] NCCL INFO comm 0x39821130 rank 5 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua053:3072398:3072470 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua053:3072399:3072471 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua053:3072400:3072473 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua053:3072399:3072399 [1] NCCL INFO comm 0xca8b110 rank 25 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua053:3072400:3072400 [2] NCCL INFO comm 0x9c183470 rank 26 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua053:3072398:3072398 [0] NCCL INFO comm 0xe3d36220 rank 24 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua044:535765:535843 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua044:535763:535845 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua044:535762:535842 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua044:535763:535763 [1] NCCL INFO comm 0x1210ef10 rank 17 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua068:1144024:1144096 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua044:535762:535762 [0] NCCL INFO comm 0xa11bb5f0 rank 16 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua068:1144026:1144099 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua068:1144025:1144098 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua068:1144027:1144097 [3] NCCL INFO [Service thread] Connection closed by localRank 3 +gpua068:1144027:1144027 [3] NCCL INFO comm 0x17c112e0 rank 51 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua044:535765:535765 [3] NCCL INFO comm 0xec58c60 rank 19 nranks 64 cudaDev 3 busId c7000 - Abort COMPLETE +gpua068:1144025:1144025 [1] NCCL INFO comm 0x163c48c0 rank 49 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +gpua068:1144024:1144024 [0] NCCL INFO comm 0x367bb360 rank 48 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +gpua068:1144026:1144026 [2] NCCL INFO comm 0xef1fd20 rank 50 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua014:1652867:1652948 [1] NCCL INFO [Service thread] Connection closed by localRank 1 +gpua014:1652868:1652947 [2] NCCL INFO [Service thread] Connection closed by localRank 2 +gpua014:1652868:1652868 [2] NCCL INFO comm 0x331d0610 rank 14 nranks 64 cudaDev 2 busId 85000 - Abort COMPLETE +gpua014:1652867:1652867 [1] NCCL INFO comm 0x4709ceb0 rank 13 nranks 64 cudaDev 1 busId 46000 - Abort COMPLETE +[gpua007:0/64] 2023-12-21 18:19:32,838 (trainer:391) INFO: The best model has been updated: valid.total_count +[gpua007:0/64] 2023-12-21 18:19:32,867 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.till45epoch.pth +[gpua007:0/64] 2023-12-21 18:20:26,673 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth +[gpua007:0/64] 2023-12-21 18:20:46,201 (trainer:445) INFO: The model files were removed: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/40epoch.pth +[gpua007:0/64] 2023-12-21 18:20:46,243 (trainer:463) INFO: The training was finished at 45 epochs +[gpua007:0/64] 2023-12-21 18:20:46,539 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.acc": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.acc.ave_5best.pth +[gpua007:0/64] 2023-12-21 18:21:00,463 (average_nbest_models:69) INFO: Averaging 5best models: criterion="valid.total_count": exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.pth +gpua007:1129633:1129707 [0] NCCL INFO [Service thread] Connection closed by localRank 0 +gpua007:1129633:1129633 [0] NCCL INFO comm 0x18ab0460 rank 0 nranks 64 cudaDev 0 busId 7000 - Abort COMPLETE +# Accounting: begin_time=1703068777 +# Accounting: end_time=1703204515 +# Accounting: time=135738 threads=1 +# Finished at Thu Dec 21 18:21:55 CST 2023 with status 0 diff --git a/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth new file mode 100644 index 0000000000000000000000000000000000000000..3acbabc9e2de733a8acacad3740372a6add8669f --- /dev/null +++ b/owsm_v3.1_ebf/exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:dfb6d34e9f03af6113ada55463d3abe26f133ff2c64e56c65419f9a469313ad3 +size 4068122375 diff --git a/owsm_v3.1_ebf/meta.yaml b/owsm_v3.1_ebf/meta.yaml new file mode 100644 index 0000000000000000000000000000000000000000..49ae407b1cb4aec16bf9defdb29ce1ff78219cb6 --- /dev/null +++ b/owsm_v3.1_ebf/meta.yaml @@ -0,0 +1,8 @@ +espnet: '202308' +files: + s2t_model_file: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/valid.total_count.ave_5best.till45epoch.pth +python: 3.10.10 (main, Mar 21 2023, 18:45:11) [GCC 11.2.0] +timestamp: 1703273348.000399 +torch: 1.13.1 +yaml_files: + s2t_train_config: exp/s2t_train_s2t_ebf_conv2d_size1024_e18_d18_piecewise_lr2e-4_warmup60k_flashattn_raw_bpe50000/config.yaml